Gstreamer解决什么问题?
— 上层接口和应用方式的 相对稳定 与底层接口、平台环境的 多样化 。例如: codec 不同种类不同实现,音视频处理不同,硬件输入、输出、采集播放不同,芯片不同,操作系统不同。
— 通用组件不灵活与需求的多变。色彩空间转换、缩放、编解码等组件功能是单一的。通过对这些组件进行组合,就可以满足多变的需求。要想拥有模块性、可移植性和通用的功能,通常是以极高的复杂性为代价。
— 计算机系统的万能解决办法: 加一层!
— Gstreamer 媒体控制程序作为 中间件 ,它可以解析上层指令,并对底层进行控制。
Gstreamer基础
— 所有的 gstreamer 应用都是基于 gobject 的。
— 除了理解封装、继承、多态的模拟以外,理解 this 指针, vtable 的实现原理也很有帮助。
— 参照下图理解 gobject 对象。
深入浅出Gstreamer基础概念
— 是一个管道化多媒体框架。管道的属性 : 包含一系列不同功能的链接起来的元件以及元件之间的数据流动;管道的行为:包含一系列多媒体操作,如元件链接等。
— 一个元件,由时钟、衬垫、总线、状态等组成。
— 衬垫( pad )一个元件与外界通信的接口。
— 互相链接的元件构成一个箱柜 (BIN) 。 BIN 作为一个整体,本身也可被认为是一个元件。
— 管道 (pipeline) 是一个特殊的 bin ,是最高级别的 bin 。
— 每一个 pipeline 都有一个默认的总线,该总线会在一个 mainloop 里去检查消息,并触发相应你的 callback ,实现与应用程序的通信。 Bus 含一个队列,每次 post 一个消息就加到队列里,然后出发 maincontext 的 wakeup。 这样就完成了将消息路由到 maincontext 去了。因为 maincontext 等待的有这个 bus 队列。
— Caps 代表一个媒体文件的能力,通常包括该文件的 mime 类型和多媒体属性。
— bin 是一个装载元素集合的容器。管道是特殊的 bin 类型,允许执行其中的所有子元素。由于 bin 本身是元素子类( subclass ),通常可以像控制元素一样控制 bin ,从而简化应用程序。比如,可以通过改变 bin 本身的状态改变 bin 中所有元素的状态。 bin 还可以转发来自 bin 中的子元素的总线( bus )消息(例如错误消息,标签消息和 EOS 消息)。
— 管道是顶级 bin 。将它的状态设置为暂停( PAUSED )或播放( PLAYING )时,则数据流启动,媒体处理开始。启动后,管道将在一个单独的线程中运行,直到被停止或数据流结束。 数据流动是以缓冲传递来实际工作的。 Buffer 可以看成是一种容器,里边含 data 和 events 。
— 事件是一种控制数据,能够在管道中上下流动。一般来说,上游的控制命令可能是真的在控制什么,来自下游的 events 可能大多数是些状态通知之类的
元件状态
— NULL :默认状态,内部会释放单元的所有资源,其实就是初始状态。
— READY :就绪状态,分配资源,打开设备。但是流不会打开,所以此时流信息都是零。如果之前打开了流,在这状态中将会被关闭,流信息都会被重设。
— PAUSED :已经打开了流,但是暂时不处理它。这个时候可以去修改例如 seek 位置等流信息。时间轴停止
— PLAYING :时间轴运行。设置为这个状态后,整个流程就开始启动了。内部会将消息发送从管道所在的线程转移到应用程序线程
抓住gstreamer核心
Gstreamer Core,是gstreamer框架的骨干和核心。它提供的功能有:
(一)提供一些组件类型的基类的实现,以及这些组件之间的通信规则;
(二)提供给应用程序创建媒体实例的API,以及保证实例运行的各种机制API.
Gstreamer Core的本质是不在乎媒体文件是什么类型或什么格式的(media-agnostic),因为它不关心媒体编解码等具体细节。可以认为它是一个最高级的管理者和组织者,它提供了一个流媒体程序框架或者叫做蓝图,下属人员可以通过领会它的旨意去具体开展工作;你也可以理解它为一个服务供应商,提供了一切多媒体应用程序可能需要的元件,开发人员可以利用它来去实现自己的专属程序。Gstreamer在初始化时只注册了核心元件,包括bin和pipeline,用户需要以此为基础,实现自己的多样化的多媒体管道程序。多媒体应用程序的实现,需要用户自己利用好gstreamer,然后实现自己的东东。
插件如何管理
把握core/plugin的重要联系
— Core/ plugin 是不同的模块。他们的存在都是为特定的多媒体控制程序服务的。特定的 Plugin 主要由媒体控制开发者提供,而 core 是所有基于 gstreamer 程序的共同体。
— Core 里用到的每个 element 实际就是一个插件,在 gst 中得到组装成一个 pipeline ,数据从源单元流向目的单元,完成整个流程。单元间是可以链接起来的(必须得链接起来以组成 pipeline ) .
— 应用程序通过 core 使用 factory_make 和 gst_object_unref 函数来创建及释放元件。 make 需要两个参数,一个是工厂名,一个是单元名。工厂名实际就是插件名,所以需要先加载插件上来,才能创建对应的元件。作为工厂(插件),其功能还不仅限于创建元件,一个工厂有属性,它知道自己能创建怎样的元件。
Gstreamer核心类图
Gstreamer插件相关类图分析(可参考我上一篇文章)
Pipeline工作时序图
Smith先生版权所有,如需转载,请注明出处:http://blog.csdn.net/acs713/article/details/7777946
否者,保留追究其法律责任的权利















