摘要：随着传感技术的发展迭代，传感器图像信息逐步向着高信息量、高分辨率、多信息源的方向发展，与之对应的图像融合技术应运而生。其中，红外成像技术利用目标热辐射可以在不受光照、气候等的影响下得到清晰的目标，但其生成图像背景模糊，纹理信息缺失；可见光成像技术通过反射可见光获得的图像纹理细节丰富，但其成像条件苛刻，受天气状况影响严重。红外和可见光图像融合技术通过对红外和可见光图像的匹配合并处理，可得到目标清晰且背景细节充分的图像。基于此，本文对红外和可见光图像融合的研究进展进行阐述。

关键词：图像融合；红外和可见光图像；传感器；算法

一、概述

目前，利用传感器获取图像信息的技术发展势头迅猛[1]。由于当下传感器的种类和智能化水平的提高，提取图像的传感器也由传统的物理入射光式传感器发展出更为精密、造价更低、应用场景更广泛的电荷感光耦合式传感器（Charge-coupled Device，CCD）、互补式金属氧化半导体传感器（Complementary Metal-Oxide-Semiconductor，CMOS）、红外传感器以及超声波收发传感器等。新型的传感器不论是在信息的收集上还是数据处理上都有了质的飞跃，而微电机械系统（micro-electromechanical system，MEMS）和微纳粒子呈像技术的结合更是给图像传感器的发展和进步提供了新的机遇[2]。多传感器多节点并时处理可以使呈像传感器获取全面、准确的信息。图像融合技术方法就是一种在同一场景下，获取不同传感器信息的方法，可以将图像特征信息进行处理加工，使其融合成为一张更为高质的图像。图像融合充分考虑了异源图像的不同优势，通过合理的时空融合策略，获取出信息量更加丰富的图像，使图像对场景的解释和描述变得更加的全面、还原和准确。相较于仅使用单张图像，融合后的图像在可信度和后续目标识别、检测等任务中的表现力更佳，因此对图像融合技术的研究具有重要意义。

在信息层分级维度上，图像融合可以分为像素级融合、特征级融合以及决策级融合[3]。一般情况下，需要根据自预期和需求选择合适层级的融合。在融合的图像类型维度上，图像融合包括红外和可见光图像融合[4]、遥感图像融合[5]、多聚焦图像融合[6]、医学图像融合[7]等多种图像类型的融合。其中，红外和可见光图像融合是当前研究的热门技术之一。为充分发挥红外和可见光图像特点的优势，研究者们尝试将二者结合起来。自20世纪90年代末开始，基于红外和可见光融合的实时检测增强型视频夜视镜的研究技术就已经开始进行了不断的迭代和升级[8]。如今，红外和可见光图像融合技术更是在医疗、安全追踪、交通监察、环境检测领域大放异彩，发挥作用。由于红外和可见光融合图像技术不断的发展，未来对红外和可见光融合技术的研究工作将更加注重算法的优化和融合效率的提高，以实现更快速、更准确、更智能的图像融合。同时，随着应用领域的不断扩展，红外和可见光图像融合技术将在更多的生产、军事、生活领域内发挥出重要作用。

二、相关领域的研究现状

2.1红外和可见光图像融合传感器的发展现状

红外与可见光红外传感器的使用过程中会接收到来自于目标勘测对象的红外热辐射以及可见光照下的轮廓。其中红外辐射是一种可以穿透雨雾和浓烟粒子的热能量，具有很好的全天候目标锁定性，受外界影响波动小，鲁棒性强。但红外图像也有着分辨率较低、细节信息缺失、对比度低的劣势。相对而言，可见光图像的纹理复现细节更为丰富、对比度高、分辨率强，更符合人眼呈像感知系统。综合这两种图像的特征数据，便能够在降低噪声干扰、突显图像目标的情况下提升图像的展示力。在整个红外和可见光图像融合技术革新发展的过程中，学者们主要选择从传感器系统和算法处理两个方面进行了技术上的不断提升。

（1）红外图像传感器发展现状

红外图像传感器现阶段可以分成制冷型和非制冷型两大类。制冷型传感器的精度高，对细微差别的探知灵敏的同时也可以探测收集到更远距离的图像信号。但其体积大、功耗强，主要应用于高端军事装备。非制冷传感器的体量小、功耗低，可以无需制冷装置直接快速启动待机的同时使用寿命较长。非制冷传感器的内置核心红外吸收材料将会利用红外辐射的热效应，使红外辐射能转化为热能，继而传感器的温感敏感元件的温度会升高，敏感元件的对应物理参数也会随之变化，然后通过传感器的转换机构将热信号进行转换处理，转换热信号成为电信号或成为可见光信号，以实现对检测对象的描绘。非制冷红外传感器广泛应用于热成像、火灾报警、工业检测、安防监控领域。

（2）可见光图像传感器发展现状

可见光图像传感器是一种将收集到的光能转化成电信号的一种传感器。根据元件类型主要分为CCD传感器和CMOS传感器两种。在灵敏度上，由于CMOS图像传感器的感光面积太小，导致在相同像素尺寸下的CMOS传感器的灵敏度会低于CCD传感器。在功耗方面，CMOS传感器的图像采集是无源的，不需要外加电荷，由晶体管直接放大输出。CCD传感器是有源的，需要额外的电压来被动驱动电荷移动。因此，需要驱动电压工作的CCD传感器功耗远高于CMOS传感器。CCD传感器在灵敏度、分辨率和噪声控制方向的使用价值胜于CMOS传感器，而CMOS传感器也具有成本低、功耗小的节能优点。

（3）红外和可见光图像融合的应用现状

除了将红外和可见光图像融合应用于增强目标的被辨别能力，提高对低对比度目标的识别率的军事领域融合夜视系统外，在航空领域，美国国家航空航天局（NASA）的先进空间视觉中心（ASVC）项目进行了包括红外和可见光图像的融合技术的研究，包括航天器的导航和实时地球表面状态的监测[9]。在安防和监控方面，红外红外和可见光图像融合技术已经可以成熟的实现高性能的监控系统布置。在医学影响领域，红外和可见光图像融合被用于炎症检测、血液灌注、肿瘤诊断等，可以增强信息实现更好的可视化。另外红外和可见光图像匹配技术在无人系统与机器人的行走路径和自动驾驶的路径环境感知方面均有着增强和矫正应用。

我国的红外和可见光图像融合研究工作的开始相比于欧美国家较晚，但近些年在该领域我国也接轨技术前沿，取得了较好的研究成果。2022年开始，由中国科学院大学进行的一系列有关红外和可见光图像融合的研究工作十分系统，在图像质量和图像融合速度上都得到了显著性的优化[10][11]。另外，红外和可见光图像融合算法研究也提高了智能系统的感知能力[12]。

2.2红外和可见光图像融合算法的研究发展

相比于从红外和可见光传感设备的硬件机械性能做优化，对获取到的多图像信息做算法上的处理更为具有性价比。红外和可见光图像融合算法的研究源于对空间域图像融合方法的研究，基于空间域的算法主要分为加权平均法，HIS方法 以及主成分分析法三种类型。空间域算法作为一种传统的图像融合算法，其核心就是对多图像进行空间坐标的变换和像素上的叠加，因此该种算法具有简单易行、分辨清晰、保留率高、图像配准要求低的优点。但当图像的对比度较低或者存在噪声的时候，就会在呈现图像时表现能力不佳、细节处理较差，尤其在图像的边缘也会难以区分。为了弥补空间域算法的不足，Burt和Adelson在1983年中提出了金字塔方法（Pyramid），这是由空间域到多尺度变换算法的标志性跨步。普适的金字塔算法有高斯金字塔算法和拉普拉斯金字塔算法，在此基础上的1989年，Toet提出了基于对比度金字塔（Contrast Pyramid，CP）变换的多尺度变换算法。为了解决融合图像中的噪声，Burt于1993年再次提出了拉普拉斯金字塔，与高斯金字塔不同的是，拉普拉斯金字塔在每层图像上应用一阶差分算子提取图像的高频部分，拉普拉斯金字塔可以用于图像的边缘检测和滤波。金字塔变换方法也存在着局限性，为了解决金字塔变换冗余问题，1989年，Grossman提出了小波变换（Wavelet Transform，WT）的概念。与金字塔变换算法相比，小波变换框架在分解过程中各层系数之间不存在交互作用，因此不存在重复分解的缺点。常见的WT的类型有离散小波变换、双树复小波变换、提升小波变换、平稳小波变换、四元数小波变换、脊波变换等。2016年之后，更多基于多尺度算法被提出，包括Zhou等人的GFCF算法、2019年Bavirisetti的MGFF通用融合算法。

与此同时，在2010年Yang等人提出的基于稀疏表示（SR）的融合框架算法可用于改善图像伪影并提高对匹配误差的反馈。

基于深度学习的融合算法是近几年来的融合算法新秀，CNN、AE、GAN是常用三大类红外和可见光图像融合的深度学习算法。基于CNN的代表性方法如PMGI框架算法、基于AE的声发射DenseFuse融合算法以及基于GAN的FusionGan框架算法。

三、红外和可见光图像融合的挑战和发展

随着社会和技术的不断成熟，图像处理相关的硬件匹配技术也逐渐完善，应用在图像处理上的融合算法框架亦随之增加，红外和可见光图像融合技术变得越发的多样化和精准化。然而，红外和可见光图像融合技术的研究内容广、实际场景应用要求高、平台技术实施难度大。从图像采集到信息的计算处理、从融合算法的设计到处理后图像效果的展示，这些紧密相关的过程是相互影响的，而非绝对独立的。所以，在整个红外和可见光图像融合体系的研究中还有许多专业问题有待解决。

（1）在硬件设备上。红外和可见光图像融合的前提是对目标对象实施符合融合标准的图像采集。在采集的过程中就要及时的对图像做好配准的工作，但实际的源图像之间经常会出现不同程度的偏差，尤其对于差异性较大的可见光与红外图像的配准工作更是难度高。在实际图像预处理之前的采集过程中，由于传感器拍摄的图像不会直接配准，故不能使用未处理过的图象进行融合。再者图像的颜色信息更加多元化，彩色图像的图像配准也是一个重要的研究方向。

（2）在算法框架构建上。由于高质量的图像融合算法比较耗时，所以目前的融合算法只能实际应用于对融合图像质量或运算时间要求不高的环境。因此，如何在保证融合质量的同时减少算法的运行时间是今后算法设计过程中改进的方向。

（3）在应用场景上。红外和可见光的融合图像在不同的使用场景中是可以同时涵盖检测目标的热辐射信息和光谱反射信息。未来如何将该技术应用到医学图像融合、多模态图像融合、动态视频图像实时跟踪等专业要求更高、精度标准更细的任务中，是有待新技术深入研发解决的实际应用场景问题。

四、结语

图像融合是图像处理技术中不可小觑的重要环节，而红外光和可见光图像融合的目的也十分明确：尽可能的收集信息，以获取质量更好、信息量更为丰富的图像。在当下通过学习和研究红外光和可见光图像融合的相关算法知识，做好算法和传感硬件设备之间的相互配合，就会更好做到整体的系统兼容。因此，加大对红外光和可见光图像融合的研究力度对未来我国图像处理技术有着重大意义。

参考文献：

[1] Yoo W S，Kim J G，Kang K，et al. Development of Static and Dynamic Colorimetric Analysis Techniques Using Image Sensors and Novel Image Processing Software for Chemical，Biological and Medical Applications[J]. Technologies，2023，11（1）：23.

[2] 施蕊，徐畅，徐锐，等.基于MEMS的红外动态图像生成技术[J].红外与激光工程，2016，45（2）：5.DOI：10.3788/IRLA201645.0204002.

[3] Yang B，Li S. Pixel-level image fusion with simultaneous orthogonal matching pursuit[J]. Information Fusion，2012，13（1）：10-19.

[4] MA J，ZHOU Z，WANG B，et al.Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J].Infrared Physics&Technology，2017，82：8-17.

[5] 符娇，刘荣，林凯祥.PCA结合非下采样Shearlet变换的遥感图像融合算法[J].航天返回 与遥感，2022，43（01）：108-119.

[6] 李小苗，杨艳春，党建武，王阳萍.基于双尺度分解与随机游走的多聚焦图像融合方法 [J].激光与光电子学进展，2022，59（22）：174-181.

[7] 刘海涛，龙黄枭，刘珊，姜瀚，周涛.基于潜在低秩表示的双模态医学图像融合[J].电脑 知识与技术，2021，17（35）：5-8.

[8] 郑大壮.美国陆军订购增强型双目夜视镜[J].轻兵器，2023（1）：1.

[9] Vane G，Green R O，Chrien T G，et al. The airborne visible/infrared imaging spectrometer（AVIRIS）[J]. Remote sensing of environment，1993，44（2-3）：127-143.

[10] 李庆庆. 基于多层信息提取和传递的红外与可见光图像融合研究[D].中国科学院大学（中国科学院长春光学精密机械与物理研究所），2022.

[11] 齐彪. 基于共现分析剪切波变换的红外与可见光图像融合研究[D].中国科学院大学（中国科学院长春光学精密机械与物理研究所），2022.

[12] 刘晋源. 面向智能系统感知的红外和可见光图像融合算法研究[D].大连理工大学，2022.