基于OpenHarmony 3.2 Beta1版本的媒体能力

基于OpenHarmony 3.2 Beta1版本的媒体能力

一、背景

二、OpenHarmony 3.2媒体能力全景

OpenHarmony 技术架构如下图所示，完成视频文件播放功能的是多媒体子系统。

下图所示为多媒体子系统框架图

三、把大象装冰箱（H264视频播放）总共分几步？

视频播放流程图如下：

如图所示，播放一个视频大致分为 4 步：

解协议->解封装->解压缩->送显

根据视频播放的步骤，我们在 OpenHarmony 上每一个环节都能找到对应的插件来完成，同时参考 media_standard 代码仓的代码目录，相关的代码都可以找到对应的实现逻辑。

1、对于一个本地视频文件（比如/data/h264-640x480.mp4），对应的 filesrc 插件来完成文件的解析，拿到MP4文件流；

OpenHarmony 处理本地视频文件 URI 的 SetSource 逻辑代码如下：

这样就会得到一个 URI：file:///data/h264-640x480.mp4，gst 正是通过 URI 前缀来判断是否是本地视频文件，然后获取文件内容。

2、拿到 MP4 文件流后，对应的 qtdemux 插件来解封装，完成音视频分流，输出 H264 裸码流和音频流；

4、处理 H264 帧数据，就由 avdec_h264 插件来完成，一般情况会输出 NV12 的像素数据，当然这个解码器是基于 ffmpeg 的软解插件，相信不久各个芯片厂商的硬件加速解码器都会加进来；

可以使用 gst-inspect 工具查看 avdec_h264 解码插件，使用 ffmpeg 的解码能力，支持的格式非常丰富。

5、至此解码的工作已经完成，后面就要根据显示的像素格式、size 来对解码输出数据进行后处理（转换、缩放、裁剪等），会由 Converter、Scaler、Clip 插件来完成；

送显需要先申请显示 surface buffer，申请逻辑代码如下：

申请好的 buffer 会放入 buffer pool，形成一个 buffer 队列。

解码器解完一帧会将数据放入 buffer pool，sink 插件会从 buffer pool 中拿到数据送显，代码逻辑如下：

static GstFlowReturn gst_surface_mem_sink_do_app_render(GstMemSink *memsink, GstBuffer *buffer, bool is_preroll){ g_return_val_if_fail(memsink != nullptr && buffer != nullptr, GST_FLOW_ERROR); GstSurfaceMemSink *surface_sink = GST_SURFACE_MEM_SINK_CAST(memsink); g_return_val_if_fail(surface_sink != nullptr, GST_FLOW_ERROR); GstSurfaceMemSinkPrivate *priv = surface_sink->priv; GST_OBJECT_LOCK(surface_sink); if (gst_surface_mem_sink_drop_frame_check(surface_sink) == FALSE) { GST_OBJECT_UNLOCK(surface_sink); GST_DEBUG_OBJECT(surface_sink, "user set rate, drop same frame"); return GST_FLOW_OK; } if (surface_sink->firstRenderFrame) { GST_WARNING_OBJECT(surface_sink, "KPI-TRACE: first render frame"); surface_sink->firstRenderFrame = FALSE; } for (guint i = 0; i < gst_buffer_n_memory(buffer); i++) { GstMemory *memory = gst_buffer_peek_memory(buffer, i); if (!gst_is_surface_memory(memory)) { GST_WARNING_OBJECT(surface_sink, "not surface buffer !, 0x%06" PRIXPTR, FAKE_POINTER(memory)); continue; } GstSurfaceMemory *surface_mem = reinterpret_cast(memory); surface_mem->need_render = TRUE; gboolean needFlush = TRUE; if (is_preroll) { surface_sink->prerollBuffer = buffer; } else { if (surface_sink->prerollBuffer == buffer) { // if it's paused, then play, this buffer is render by preroll surface_sink->prerollBuffer = nullptr; needFlush = FALSE; } } if (needFlush) { OHOS::BufferFlushConfig flushConfig = { { 0, 0, surface_mem->buf->GetWidth(), surface_mem->buf->GetHeight() }, }; gst_surface_mem_sink_dump_buffer(surface_sink, buffer); OHOS::SurfaceError ret = priv->surface->FlushBuffer(surface_mem->buf, surface_mem->fence, flushConfig); if (ret != OHOS::SURFACE_ERROR_OK) { surface_mem->need_render = FALSE; GST_ERROR_OBJECT(surface_sink, "flush buffer to surface failed, %d", ret); } } } GST_OBJECT_UNLOCK(surface_sink); GST_DEBUG_OBJECT(surface_sink, "End gst_surface_mem_sink_do_app_render"); return GST_FLOW_OK;}

再加上 audio 的插件解码出音频数据，OpenHarmony 的 player 会完成音视频同步，至此一个视频文件就会播放显示在屏幕上。

OpenHarmony 为了实现更好的用户体验，同时也引入了一些解决性能问题的插件，比如 multiqueue 插件来实现 buffer 队列，也使用 decodebin 高级插件来完成解码 element 的选择。

通过梳理，我们最终可以得到一条播放的 pipeline：

另外，我们也可以使用 gst-launch 手动创建 pipeline 来验证：

gst-launch--gst-plugin-path=/system/lib/media/pluginsfilesrclocation=/data/media/h264.mp4!qtdemux!h264parse!avdec_h264!videoconvert!videoscale!video/x-raw,width=640,height=480!surfacememsink

附录：

OpenHarmony标准系统media组件介绍

MP4封装格式介绍

gst介绍

OpenHarmony 3.2 Beta1 版本路书

OpenHarmony媒体子系统框架介绍

OpenHarmony视频播放应用开发指导

审核编辑 ：李倩

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。