我们常见的音视频文件格式例如:mp4 ,flv,rmvb,avi等称为封装格式。封装格式里面封装了各种编码器编码的视频源信息的宽高比,视频轨,音频轨。例如视频源为H264,265编码格式的编码器编码之后的后缀为h264,265的视频编码源文件,音频同理,后缀为.aac .mp3的音频编码文件。
例如通过Media Player classic播放器打开一个.mov后缀格式的播放文件
视音频主要包括以下几种技术:封装技术,视频压缩编码技术以及音频压缩编码技术,流媒体协议技术。
解协议的作用:就是将流媒体协议的数据,解析为相应的封装格式的数据.
音视频数据主要依靠流媒体协议在网络上传输,例如http,rtmp,MMS,这些视音频在传输同时伴随着信令控制例如暂停,播放和对网络的描述这些控制信令,解协议的过程其实就是去掉控制信令的数据只保留封装音视频数据
解封装作用:就是将输入封装格式的数据分离出来,分离成为音频流压缩编码数据和视频流压缩编码数据
解码的作用:就是将视频和音频压缩编码数据解码成为非压缩编码数据,视频的压缩编码格式有:H264 ,265, MPEG-4.解码就是将H264,265编码格式的数据解码成为yuv420 RGB格式的数据.
视音频同步的作用:就是根据解封装模块处理过程中的参数信息,同步解码出来的视频和音频数据,并将视频和音频数据同步到显卡和声卡中播放出来。