FFmpeg音频解码流程详解及简单demo参考

article/2025/10/23 5:18:42

本文主要讲解FFmpeg的音频解码具体流程，API使用。最后再以一个非常简单的demo演示将一个mp3格式的音频文件解码为原始数据pcm文件。本文主要基于FFmpeg音频解码新接口。

一、FFmpeg音频解码API调用流程图

API接口简单大体讲解如下：

av_register_all()：注册FFmpeg所有编解码器。avformat_open_input()：打开音频地址并获取里面的内容(解封装)avformat_find_stream_info()：获取内容avcodec_find_decoder()：寻找解码器avcodec_alloc_context3()：申请解码器相关上下文avcodec_open2()：打开解码器av_read_frame()：从原始有格式文件中一帧一帧读取出来avcodec_send_packet()：解码核心接口新接口，发送一帧音频给解码器。即是AVPacket（存储AAC等音频格式码流数据）。avcodec_receive_frame()：解码核心接口新接口，接收解码器解码后的一帧视频，AVFrame（PCM原始数据）。

二、音频解码过程API调用流程

1、注册各大组件

这一步是ffmpeg的任何程序的第一步都是需要先注册ffmpeg相关的各大组件的：

    //注册各大组件av_register_all();LOGE("注册成功")

2、打开音频文件并获取相关上下文

在解码之前我们得获取里面的内容，这一步就是打开地址并且获取里面的内容。其中avFormatContext是内容的一个上下文。

并使用avformat_open_input打开播放源，inputPath为输入的地址，也就是音频文件，然后使用avformat_find_stream_info从获取的内容中寻找相关流。

//打开音频地址并获取里面的内容(解封装)
error = avformat_open_input(&avFormatContext, inputPath, NULL, NULL);
if (error < 0){LOGE("打开音频文件失败\n");return false;
}
if (avformat_find_stream_info(avFormatContext, NULL) < 0){LOGE("获取内容失败")return false;
}

3、寻找音频流

我们在上面已经获取了内容，我们再从中找出相对应的音频流。

//获取音频的编码信息
AVCodecParameters *origin_par = NULL;
int mAudioStreamIdx = -1;
mAudioStreamIdx = av_find_best_stream(avFormatContext, AVMEDIA_TYPE_AUDIO, -1, -1, NULL, 0);
if (mAudioStreamIdx < 0) {av_log(NULL, AV_LOG_ERROR, "Can't find audio stream in input file\n");return false;
}
LOGE("成功找到音频流")

4、获取并打开解码器

如果要进行解码，那么得有解码器并打开解码器。在这一步中我加了个过滤器的相关配置，这个东西不是非必要的，所以我加了个宏ABSFILTER_ENABLE可以选择是否打开。

    // 寻找解码器 {startAVCodec *mAcodec = NULL;AVCodecContext *mAvContext = NULL;mAcodec = avcodec_find_decoder(origin_par->codec_id);mAvContext = avcodec_alloc_context3(mAcodec);if (!mAcodec || !mAvContext){return false;}#if ABSFILTER_ENABLE//过滤器相关配置，这个与音频码流格式相关const AVBitStreamFilter * absFilter = NULL;AVBSFContext *absCtx = NULL;AVCodecParameters *codecpar = NULL;absFilter = av_bsf_get_by_name("mp3decomp");//过滤器分配内存av_bsf_alloc(absFilter, &absCtx);//添加解码器属性codecpar = avFormatContext->streams[mAudioStreamIdx]->codecpar;avcodec_parameters_copy(absCtx->par_in, codecpar);absCtx->time_base_in = avFormatContext->streams[mAudioStreamIdx]->time_base;//初始化过滤器上下文av_bsf_init(absCtx);
#endif// 打开解码器if (avcodec_open2(mAvContext, mAcodec, NULL) != 0){LOGE("打开失败")return false;}LOGE("解码器打开成功")// 寻找解码器 end}

5、申请AVPacket和AVFrame以及相关设置

申请AVPacket和AVFrame，其中AVPacket的作用是：保存解码之前的数据和一些附加信息等；AVFrame的作用是：存放解码过后的数据。

    //申请AVPacketAVPacket *packet = (AVPacket *) av_malloc(sizeof(AVPacket));av_init_packet(packet);//申请AVFrameAVFrame *frame = av_frame_alloc();//分配一个AVFrame结构体,AVFrame结构体一般用于存储原始数据，指向解码后的原始帧

6、开始解码

接下来就可以开始解码，如下是解码的核心段代码，这里同样有上面所说的过滤器的，这个可以先不关心：

{// 发送待解码包int result = avcodec_send_packet(mAvContext, packet);av_packet_unref(packet);if (result < 0){av_log(NULL, AV_LOG_ERROR, "Error submitting a packet for decoding\n");continue;}// 接收解码数据while (result >= 0){result = avcodec_receive_frame(mAvContext, frame);if (result == AVERROR_EOF)break;else if (result == AVERROR(EAGAIN)){result = 0;break;}else if (result < 0){av_log(NULL, AV_LOG_ERROR, "Error decoding frame\n");av_frame_unref(frame);break;}av_frame_unref(frame);}
}

7、解码并保存为PCM文件

PCM是音频解码后的原始数据，我们将解码后的数据保存为PCM文件，用于分析。在上一步中解码后的地方加上保存为PCM文件的操作。

另外这里有用了上面所说的过滤器的东西，我们暂时先不关心。

完整过程如下：

while(1)
{int ret = av_read_frame(avFormatContext, packet);if (ret != 0){av_strerror(ret,buf,sizeof(buf));LOGE("--%s--\n",buf);av_packet_unref(packet);break;}if (ret >= 0 && packet->stream_index != mAudioStreamIdx){av_packet_unref(packet);continue;}#if ABSFILTER_ENABLEif (av_bsf_send_packet(absCtx, packet) < 0){LOGE("av_bsf_send_packet faile \n");av_packet_unref(packet);continue;}if (av_bsf_receive_packet(absCtx, packet) < 0) {LOGE("av_bsf_receive_packet faile \n");av_packet_unref(packet);continue;}
#endif{// 发送待解码包int result = avcodec_send_packet(mAvContext, packet);av_packet_unref(packet);if (result < 0){av_log(NULL, AV_LOG_ERROR, "Error submitting a packet for decoding\n");continue;}// 接收解码数据while (result >= 0){result = avcodec_receive_frame(mAvContext, frame);if (result == AVERROR_EOF)break;else if (result == AVERROR(EAGAIN)){result = 0;break;}else if (result < 0){av_log(NULL, AV_LOG_ERROR, "Error decoding frame\n");av_frame_unref(frame);break;}// 写文件保存音频数据data_size = av_get_bytes_per_sample(mAvContext->sample_fmt);if (data_size < 0) {/* This should not occur, checking just for paranoia */LOGE("Failed to calculate data size\n");return false;}for (i = 0; i < frame->nb_samples; i++)for (ch = 0; ch < mAvContext->channels; ch++)fwrite(frame->data[ch] + data_size*i, 1, data_size, fp_PCM);av_frame_unref(frame);}}}

8、收尾释放

最后释放相关资源

    fclose(fp_PCM);av_frame_free(&frame);avcodec_close(mAvContext);avformat_free_context(avFormatContext);
#if ABSFILTER_ENABLEav_bsf_free(&absCtx);absCtx = NULL;
#endif

至此，mp3格式的文件就被解码出原始数据并保存为PCM文件。

三、demo运行

demo中指定了视频源文件是/sdcard/input.mp3，编码后的pcm文件是/sdcard/audioDecodeOut.pcm，如下代码，若要改文件，可以在此处修改：

@Override
public void run() {String PATH = Environment.getExternalStorageDirectory().getPath();//视频解码String input = PATH + File.separator + "input.mp3";String output = PATH + File.separator + "audioDecodeOut.pcm";decode_audio(input,output);Toast.makeText(MainActivity.this, "音频解码完成，请自行从手机中拉取pcm文件", Toast.LENGTH_SHORT).show();
}

运行后截图如下：