摘要：针对地铁隧道低照度环境下拍摄的图像亮度及对比度低的问题, 设计了一个基于Retinex 理论和深度残差网络的低照度图像增强网络。首先, 分解子网络依据 Retinex 理论分离输入图像的反射分量和照度分量作为后续输入 ; 其次 , 使用编码器解码器架构的增强网络进行特征提取 , 通过自适应空间特征融合结构提高特征尺度的不变性 ; 最后 , 设计了基于残差结构的降噪子网络对反射图去噪 , 通过残差结构的跳跃连接来弥补传统去噪方法的不足。实验结果表明 , 本文提出的方法能有效提升图像亮度以及对比度, 增强效果细节突出, 有效改善颜色失真问题。

关键词：地铁隧道；Retinex 理论；深度学习；残差网络

引言

当代，图像是视觉信息中最为直观的来源 ， 也是人类最常用的信息载体。随着计算机视觉技术的快速发展 ， 低照度图像增强成为一种备受关注的解决方法。低照度图像增强不仅能提高可视性和影像品质 ， 还能在许多领域中发挥重要作用， 如安防监控、无人驾驶、医学影像和地铁隧道病害检测等[1]。

一、研究现状

目前 ， 关于低照度图像增强的研究已经有很多成果。其中 ， 基于传统图像处理方法的增强技术 ， 以直方图均衡化 [2] 和基于 Retinex（Retina&Cortex） 理论 [3]的方法为代表。

二、本文方法

本文提出一种基于深度学习和 Retinex 理论的低照度图像增强方法。该方法框架包含分解网络、增强网络和降噪网络三部分。分解网络基于 Retinex 理论将输入图像分解为反射图和照度图 ， 然后将分解得到的照度图作为增强网络的输入 ， 得到增强后的照度图 ， 再将分解得到的反射图作为降噪网络的输入 ， 得到去噪后的反射图。最后根据Retinex 理论重建增强后的图像。

2. 1 基于 Retinex 理论的分解网络

分解网络包含 7 个含有激活层 ReLU 的大小为 3×3 的卷积层和 1 个Sigmoid 激活层 ， 该模型同时输入低照度图像 S_low 和正常照度图像 Snormal。输入的图像首先经过浅层特征提取模块来提取特征 ， 然后在卷积模块中进行特征提取和特征映射操作 ， 接下来在反射图和照度图的输出层进行输出 ， 得到 2 组反射图和光照图 R_l 、Il、 R_n 和 I_n^∘ 。分解过程中 ， 分解网络以数据驱动的方式提取不同图像中一致的反射分量。最后 ， 在输出反射图和照度图的过程中 ， 通过使用Sigmoid 函数将分解出的反射图和照度图约束在0＼～1 之内。

2.2 基于编码器解码器架构的增强网络

增强网络的结构是基于编码器 - 解码器的架构 ， 编码器 - 解码器的架构能通过增加卷积层来增加特征提取深度 ， 使得到的光照分量在保留图像细节的同时尽可能地平滑均匀。为了实现更好的照度图增强效果 ， 增强网络使用了自适应融合模块 （Adaptive Fusion）。该模块将解码器得到的特征图和经过 Gamma 校正得到的特征图按照一定的权重进行融合， 以获得更加准确的输出结果。

2.3 基于残差结构的降噪网络

大部分传统方法以及基于 Retinex 理论的学习方法都没有处理好噪声 ， 这会使得最终的增强图像受反射图像中的噪声干扰。因此本文设计了一个降噪网络模块 RD， 该网络充分使用图像的空间信息 ， 从而避免了部分降噪方法在抑制图像中的高频信号时所导致的细节丢失问题。每个 RD 之前和之后有一个64×3×3 的卷积层。

三、对比实验

3.1 实验准备

本次实验在网络训练过程中 ， 使用了 LOL 训练集作为训练数据集 ， 该数据集包含 531 对图像用于模型训练。同时 ， 为了验证本方法在不同类型的低照度图像上的增强效果 ， 在对比试验中选择 LOL 验证集和 DICM 数据集作为测试集合， 分别包含了187 张和203 张具有不同暗部的低光照图像。

3.2 实验结果

本文选取全参考评价指标峰值信噪比 （PSNR）， 均方误差 （MSE） 和结构相似度 （SSIM） 作为评价指标。PSNR 的值越大 ， 说明增强后的图像失真越小 ， 与对照图像越接近。MSE 指标值越小 ， 说明图像质量越好 ，2 幅图像越相似。相对于PSNR，SSIM 更符合人类视觉观察到的直观效果 ，SSIM 指标的值在 0＼～1 之间 ，SSIM的值越高说明2 张图像之间的相似度更高。

从表 1 中可以看出 ， 本文提出的方法在 PSNR，MSE 和 SSIM 指标上均取得了最佳分数 ，PSNR 和 SSIM 相较于次好结果分别提升了 2.1% 和 4.5% 。相比于传统方法 MSR、MSRCR 以及 Retinex， 本方法的 PSNR 以及 SSIM 均有较大提升 ，取得了更好的表现。相比于深度方法 RetinexNet， 本方法的 PSNR 提升了 5.1% ，色彩方面的增强效果更接近于对照图像得以体现。同时 ， 相比于 R2RNet 算法 ，本方法在 SSIM 上提升了 4.5% ，细节丢失的情况得到了显著改善。3 个指标上的优势充分说明了本文增强方法的图像与对照图像更相似 ， 说明了本文方法的优越性。

四、结语

本文研究中 ， 基于 Retinex 理论提出一种实现低照度图像增强的方法。该方法结合了 Retinex 理论和深度学习 ， 网络由分解网络、增强网络和降噪网络三部分组成。实验结果表明 ， 本文提出的方法在很大程度上提升了图像的暗部细节 ，在有效提升图像亮度的同时保留图像的纹理细节 ， 生成的增强图像纹理清晰且色彩自然。

参考文献：

[ 1 ] L O H Y P ， C H A N C S . G e t t i n g t o k n o w l o w - l i g h t i m a g e s w i t h t h e e x c l u s i v e l y d a r k d a t a s e t [ J ] . C o m p u t e r V i s i o n a n d I m a g e Understanding，2019，178：30-42.

[2] LEE C， LEE C， KIM C S. Contrast enhancement based on layered difference representation of 2D histograms [J]. IEEE Transactions on Image Processing，2013，22（12）：5372-5384.

[3] RAHMAN Z， JOBSON D J， WOODELL G A. Retinex processing for automatic image enhancement [J]. Journal of Electronic Imaging，2004，13（1）：100-110.