图像多帧融合技术及应用案例

  • 作者:

  • 来源:光虎光电科技(天津)有限公司

  • 访问量:1619

  • 发布时间:2021-10-14 09:49:29

图像融合(Image Fusion)是指将多元信道所采集到的关于同一目标的图像数据和计算机技术等,最大限度的提取各自信道中的有利信息,最后综合成高质量的图像,以提高图像信息的利用率、提升原始图像的空间分辨率和光谱分辨率,利于检测。 待融合图像已配准好且像素位宽一致,综合和提取两个或多个多源图像信息。两幅(多幅)已配准好且像素位宽一致的待融合源图像,如果配准不好且像素位宽不一致,其融合效果不好。

图像融合作为信息融合的一个分支,是信息融合研究中的一个热点。图像融合的数据形式是包含有明暗、色彩、温度、距离以及其他的景物特征的图像。这些图像可以以一幅,或者一列的形式给出。而图像融合是将2张或2张以上的图像信息融合到1张图像上,使得融合的图像含有更多的信息、能够更方便人来观察或者计算机处理。图像融合的目标是在实际应用目标下将相关信息最大合并的基础上减少输出的不确定度和冗余度。图像融合的优点很明显,它能扩大图像所含有的时间空间信息,减少不确定性,增加可靠性,改进系统的鲁棒性能。

图像融合技术的优点

高效的图像融合方法可以根据需要综合处理多源通道的信息,从而有效地提高了图像信息的利用率、系统对目标探测识别的可靠性及系统的自动化程度。以增强图像中信息透明度、可靠性以及使用率,以形成对目标的清晰、完整、准确的信息描述。

这诸多方面的优点使得图像融合在医学、遥感、机器视觉、气象预报及军事目标识别等方面的应用潜力得到充分认识、尤其在机器视觉方面。

图像融合算法的方式

一般情况下,图像融合由低到高分为三个层次:数据级融合、特征级融合、决策级融合。数据级融合也称像素级融合,是指直接对传感器采集来得数据进行处理而获得融合图像的过程,它是高层次图像融合的基础,也是目前图像融合研究的重点之一。这种融合的优点是保持尽可能多得现场原始数据,提供其它融合层次所不能提供的细微信息。

像素级融合中有空间域算法和变换域算法,空间域算法中又有多种融合规则方法,如逻辑滤波法,灰度加权平均法,对比调制法等;变换域中又有金字塔分解融合法,小波变换法。其中的小波变换是当前最重要,最常用的方法。

在特征级融合中,保证不同图像包含信息的特征,如红外光对于对象热量的表征,可见光对于对象亮度的表征等等。

决策级融合主要在于主观的要求,同样也有一些规则,如贝叶斯法,D-S证据法和表决法等。

融合算法常结合图像的平均值、熵值、标准偏差、平均梯度;平均梯度反映了图像中的微小细节反差与纹理变化特征,同时也反映了图像的清晰度。目前对图像融合存在两个问题:最佳小波基函数的选取和最佳小波分解层数的选取。

图像融合技术在机器视觉中的应用

很多产线上的产品生产出来之后,都有保护膜作为保护,防止产品上出现指纹、划痕等缺陷,但包裹保护膜之后,人工对于产品的外观检测时间就变得更长,也间接地提高了人工成本,在外观检测时,如果引入图像融合,则会大大减少时间,从而减少成本。

如图所示为普通光源直接照射带薄膜物体表面的效果:

图片

物体由于被薄膜遮挡,导致部分表面产生不可避免的反光,从而干扰整体的检测。

使用四分区时序环形光源,分别获取四个不同方向的打光效果图:

图片


图片


再进行多图像融合,得到如下效果图:

图片

不难看出,通过多方向光照得出的图像,通过图像融合后,薄膜对物体造成的干扰已经微乎其微,很容易就可以对处理后的图像进行分析,例如OCR字符识别等。

光虎光学专业生产由德国设计的工业镜头
以高精度双远心镜头为核心,涵盖高性能FA定焦镜头、变倍镜头等产品。
可实现为客户定制化研发生产。光虎光学还代理欧美日机器视觉全系列产品。
如面阵与线扫工业相机、智能相机、3D相机、红外与紫外相机、光源、图像采集卡、机器视觉软件及其他周边产品。