基于FPGA图像处理的视频流实时处理系统

基于FPGA图像处理的视频流实时处理系统

第一部分 设计概述

1.1 设计目的

1.2 应用领域

本设计可用于手持摄像系统（摄像机、智能手机）图像、视频流的 HDR 处 理，可用于低照度情况下固定监控系统的视频流 HDR 处理，可用于线上直播系统的视频流 HDR 处理。

1.3 主要技术特点

采用自适应白平衡及色调映射策略，在低光照情况下最大程度还原了景物的 色彩；在保证较高信噪比的情况下，提高了主要景物的亮度。

1.4 关键性能指标

图像融合处理时间、视频流处理延时；

图像信噪比、色彩还原度、细节清晰度、纹理清晰度（人眼观察）。

1.5 主要创新点

（1） 低照度高动态图像处理；

（2） 层次化的图像配准；

（3） 有权重的图像融合降噪；

（4） 自适应白平衡与色调映射策略；

（5） FPGA 硬件加速；

（6） 低时延视频流处理。

第二部分 系统组成及功能说明

2.1 整体介绍

我们调用了 PYNQ-Z2 自有的 HDMI Overlay 进行处理流程及结果的显示。此外，PYNQ-Z2 为我们提供了丰富的存储单元、外设模块与通信接口。这些存储单元被用来存储图像数据及各类处理中间结果，而各类外设模块及通信接口则 被用来进行系统调试与控制的过程监控。

均值下采样与高斯下采样处理被封装在名为 DownSample 的 IP core 中，层次化图像配准处理被封装在名为 Alignment 的 IP core 中，图像融合处理被封装在名为 Merge 的 IP core 中，去马赛克、白平衡、色调映射等处理被封装在名为 raw2rgb 的 IP core 中。这些 IP cores 挂载到 AXI 总线上，经封装为 Overlay 提供 Python API 给 PYNQ-Z2 的 Jupyter-Notebook。

2.2 各模块介绍

下采样模块（DownSample）

下采样模块为后续的层次化图像配准处理提供四层高斯图像金字塔。四层高斯金字塔的最底层为全分辨率的拜耳原始图像（我们称该层为 layer_raw），其像素点以拜耳阵列的形式排布，如下图所示。

我们首先进行系数 2 的均值下采样，直观上将一个 2*2 像素的“方格”取均值下采样为一个像素。下采样后的结果类似于一个单通道的灰度图像，但实际上绿色通道对下采样后的结果影响较大。我们称该层为 layer_0。

layer_0 随后进行两次系数 4 的高斯下采样。卷积核函数见附录。该卷积核 函数的大小为 5*5 像素，以 4 像素为步长在被采样的图像上以后，对该图像进行下采样。高斯下采样的结果将在一定程度上保留了采样前图像的低频信息，而图 像细节则被丢失。直观上图像的大致轮廓被保留，图像尺寸更小，细节模糊不清。两次高斯下采样的结果分为称之为 layer_1 与 layer_2。

经下采样模块处理后的结果可以用下图说明。

图像配准模块（Alignment）

式中的求和对一个图块内的所有像素进行，配准的目的是对参考帧中的每一个图 块，寻找其在每一个备选帧中的对应图块，使得上式的结果最小。此时两个图块 的坐标偏移量即为配准结果。

在保证图像间偏差不大的前提下，图块配准的搜索范围可以限定图块原始位 置周围的若干像素内。为了进一步提高配准的效率，我们采用层次化的配准方案：在上层低分辨率图像中进行预配准，配准结果将作为下层图像配准的预偏移 （Previous Offset）。各层图像以图块为基本单位，在预偏移的基础上进行小范围的配准。由此，上述残差计算式可以重新表达如下。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。