打开文本图片集

摘要：本文提出了一种利用卷积神经网络获取散斑变形图像位移场的方法，该方法将全卷积神经网络引入数字图像相关法中，提升了数字图像相关法在多层异质结构变形场计算中的效率。本文提出的模型在公开数据集上训练完成后，验证了该方法的可靠性，并在太阳能电池片热变形实验中进行应用。结果表明，所提方法在数字图像相关变形计算中速度更快，能够兼顾变形场的计算速度和精度，在电池片截面的变形场计算中也显示了该方法的有效性，能够满足无损且实时的结构变形场测量需求。

关键词：卷积神经网络；数字图像相关；变形场测量；太阳能电池片

引言

数字图像相关（DIC）方法作为光学测量的方法，能够实现全场的非接触式位移测量，目前最先进的DIC算法已经被应用于热变形测量、物体位姿测量[1]、水下变形测量[2]等领域。DIC方法主要包括整像素位移搜索和亚像素位移计算两个部分，其中整像素位移搜索算法有粗细搜索法、粒子群算法、遗传算法、傅里叶变换法和特征匹配（SIFT）法等。常用的亚像素位移计算方法有灰度梯度法、牛顿-拉夫森（N-R）法和逆合成高斯-牛顿（ICGN）法。在实际测量中，测量的实时性是重要性能，而传统的DIC方法还无法满足实时测量的要求。

随着计算机图像处理技术的发展，图像相关的计算开始和机器学习相结合，以求通过大数据的计算实现实时测量。刘小勇等[3]人尝试使用机器学习来简化DIC的流程，Min等[4]人通过深度学习的方法对DIC的测量效率进行了提高，Yang等[5]人提出了基于深度学习的Deep DIC模型，训练了两个相互独立的卷积神经网络模型来预测位移场和应变场，极大地提高了DIC的计算效率，黄举等[6]人通过改进卷积神经网络的结构实现了通道拼接，提高了模型的预测精度，Huang等[7]人提出了FlowFormer光流模型，借助有序列建模能力的Transformer模块预测了相邻两帧图像中所有像素的位移矢量，实现了全场位移计算。

太阳电池阵面临空间各种极为恶劣的力学环境，真空高低温冷热交变的影响尤为突出，空间热载荷对太阳电池阵多层结构的损伤破坏具有显著的影响，这对太阳电池阵在极端环境下的力学性能提出了严格要求。

目前我们还无法直接在太空中测量电池阵的结构变形，而数字图像相关作为光测力学中非接触式的测量方法，可以帮助我们对太空中正在工作的太阳能电池阵进行结构变形测量。另外，借助人工智能的一些方法可以使测量更加高效和便捷。所以，如果能将图像相关测量方法与机器学习结合得好，就能实现对太阳能电池阵的实时监测，甚至预测损伤和寿命。

本文提出一种基于卷积神经网络的数字图像相关方法，通过Deep DIC的公开数据集训练了模型并验证模型的可靠性，利用该方法在电池片的热变形实验中获取了电池截面的全场位移。本文所提出的方法简化了DIC的计算流程，使得获取相关图像的位移场更加便捷高效，在进一步完善改进的基础上有望实现太阳能电池片的截面位移场实时监测。

1  数字图像相关的基本原理

物体表面通常会存在其固有的斑点或者纹理特征，这些特征包含着物体表面的位置信息，通过相关运算计算两幅变形前后图像的相似度可以找到相关性最大的两个子区，从而获取物体表面的位移和应变。

在搜寻与参考子区最相似子区的过程中，相关系数的计算至关重要，该系数决定着搜索的准确性以及位移的计算精度。通常使用零均值归一化函数（Zero-normalized cross-correlation，ZNCC）来计算相关系数，该函数的表达式如式（1）所示：

其中，参考子区的大小取为（2M+1）（2M+1），表示变形前图像中参考子区的灰度分布，表示变形后图像中变形子区的灰度分布，和分别表示参考子区和变形子区的平均灰度值，两者的表达式如下：

2  基于卷积神经网络的数字图像相关法

针对传统数字图像相关方法计算应变场效率低的问题，本文提出了基于卷积神经网络的数字图像相关法。不同于传统数字图像相关法的计算需要依赖于相关函数和拟合函数的选取，本文提出的方法基于卷积神经网络的特性简化了数字图像相关法的流程，不依赖相关函数和拟合函数的适配性，减少了计算量，从而更便捷快速地获取应变场。

2.1  卷积神经网络的概述

卷积神经网络（Convolutional Neural Network， CNN）是人工神经网络模型中的一种，多用在图像处理和识别领域。CNN模型通常由卷积层、池化层（下采样层）、全连接层等依次拼接组合而成。

CNN模型是处理图像分类任务的模型，其中卷积层在不同卷积核的作用下提取输入图像的不同细节特征，卷积操作通常会减小输入图像的尺寸，增加输出的通道数；下采样层通过池化操作再次减小输入图像的尺寸，不改变输出的通道数，总体上降低输出维度；全连接层将特征图全部展开为一维数据，计算后输出属于各类别的概率。如果将CNN模型中的全连接层换为反卷积层，则输入端和输出端都将是图像数据，这被称为全卷积神经网络（Fully Convolutional Networks， FCN）模型，能够实现针对像素的端到端的预测，这一特性恰好满足数字图像相关法计算位移场的要求。

反卷积层的作用是将卷积层卷积后的特征图通过反卷积操作还原到与输入图像相同尺寸，输出期待的图像值，反卷积操作是一种特殊的正向卷积，其原理是先通过对特征图保留最大值，其余位置补零或者直接复制的方法来扩充特征图，再设置卷积核对扩充后的特征图进行卷积操作，合理设置卷积核的参数就可以通过特征图像得到想要的输出图像。

2.2  基于卷积神经网络的位移场计算

全卷积神经网络中不含全连接层，所以可以接受任意尺寸的输入图像，并且采用反卷积层对最后一个卷积层的特征图进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每一个像素都产生一个预测。但是仅仅对最后一层的特征图像进行上采样还原容易丢失输入图像的许多细节信息，所以引入跳级（skip）结构来恢复一部分输入图像的局部特征。

跳级结构通过将底层的特征图进行2倍的上采样操作，并与上一层的特征图相加，这样还原图像中的一部分细节特征，再将融合图进行2倍的上采样操作并与上一层的特征图相加，补充了原始图像的细节特征，最后将二次融合的图像进行反卷积操作，完成整个图像的还原。跳级结构的引入能够弥补输出图像精度不足的缺陷，更好地还原细节特征，使全卷积神经网络达到更好的预测效果。

本文提出的基于卷积神经网络的数字图像相关模型如图1所示，将输入图像对进行5次卷积操作，再依次与反卷积之后的特征图像相加，最后经过逐层上采样操作恢复到与输入图像相同的尺寸。

基于卷积神经网络的图像相关模型采用Deep DIC方法中公开的散斑图像数据集进行训练和验证。训练过程中，以均方误差为损失函数，以Adam算法为优化方法，学习率为0.001，训练50轮，模型的均方误差由4.83下降到0.006。

模型训练完成后，随机选取数据集中的100组数据进行误差计算，以此验证模型的可行性。计算了真值和预测值的均值、最值和均方误差值，由计算结果可知，u方向位移场的均值误差是4.0%，v方向位移场的均值误差是1.7%，u方向位移场的最大、最小值误差分别是11.9%和2.9%，v方向位移场的最大、最小值误差分别是1.6%和1.9%。

3  太阳能电池片的位移场计算

太阳能电池片的截面厚度约为1mm，包含了玻璃盖片、胶层、电池单体、聚酰亚胺薄膜和碳纤维等多层结构，在数字显微镜下观测到的截面图像如图2所示，放大100倍，比例尺为0.7。显微镜下拍摄到的图像大小为1692×1326个像素，成像区域的尺寸大小为1185×928，图像中存在具有特征信息的散斑，散斑分布均匀且对比度较高，因此可作为CNN模型的输入图像来获取电池片截面的位移场。

目前还没有直接的测量方法能够精确地测量出电池薄片的层间位移场分布，这既是因为电池截面极薄的缘故，常用的测量工具无法很好地贴合电池片进行测量，也是因为电池片由多层异质结构组成，各项材料的性能差异较大，普通测量方法无法准确地识别出材料差异而做出针对性的测量。但是本文所提的基于卷积神经网络的图像相关计算方法是非接触式测量方法，只要基于变形前后的图像即可计算出全场位移，所以非常契合在太阳能电池片截面中的位移场计算。

在图像预处理阶段，首先划分位移场的计算区域，大小为800×1400像素；然后通过ZNCC相关函数搜索并确定变形后的计算区域，这样可以消除拍摄图像时因视角移动而产生的整体平移；最后对图像进行灰度化处理。

与传统的数字图像相关方法的计算对象相同，取预处理完成之后的图像作为输入图像输入到CNN模型中进行位移场的计算，训练完成之后的模型的输出便是电池截面的位移场。以25℃时拍摄的图像为参考图像，分别以50℃、80℃、110℃时的图像为变形图像，计算相应的位移场。

从图3中的（a）-（c）图可以看出，电池组件的位移场在两个方向上均存在分层效应，这点符合电池组件作为多层异质结构的特征。而将X方向和Y方向的位移场相比较观察可以看出，电池组件的位移分层情况在垂直方向上更为明显，这是因为电池组件在Y方向上的材料差异性更大。观察Y方向上的位移场云图分布情况，可以看出电池组件位移较多的是由两层胶层的热膨胀变形引起的，即盖片胶和有机硅胶层的变形较大，这与太阳能电池片内部结构的真实情况相吻合，在长时间由高温引起的大变形条件下容易发生脱粘分层损坏。

4  结论

本文提出一种基于卷积神经网络的图像相关方法，在网络模型中引入了跳级结构以增强网络的预测能力，该模型简化了数字图像相关方法的流程，使得图像相关的位移场计算更加便捷和快速。在应用实验的计算中，CNN模型准确地预测出了电池片截面的位移场，证明了模型预测的可靠性。与传统DIC方法相比，基于CNN模型的方法能够快速识别并获取全场位移，以期实现电池片在工作环境下的变形实时监测。

参考文献

王永红， 朱奕磊， 高启学， 等. 基于数字图像相关法的空间目标位姿测量[J]. 光学学报， 2022， 42 （8）： 0812001.

潘济宇， 张水强， 苏志龙， 等. 基于数字图像相关的水下螺旋桨三维变形测量[J]. 光学学报， 2021， 41 （12）： 1212001.

刘小勇， 宫岩， 李荣丽， 等. 基于BP神经网络的数字图像相关非迭代灰度梯度算法[J]. 机床与液压， 2018， 46 （1）： 7-11.

Min H G， On H I， Kang D J， et al. Strain measurement during tensile testing using deep learning-based digital image correlation [J]. Measurement Science and Technology， 2020， 31 （1）： 015014.

Yang R， Li Y， Zeng D， et al. Deep DIC： deep learning-based digital image correlation for end-to-end displacement and strain measurement[J]. Journal of Materials Processing Technology， 2022， 302： 117474.

黄举， 孙翠茹， 林祥龙. 基于卷积神经网络的散斑图像位移场测量方法[J]. 光学学报， 2021， 41 （20）： 2012002.

Huang Z Y， Shi X Y， Zhang C， et al. FlowFormer： a transformer architecture for optical flow[M]//Avidan S， Brostow G， Cissé M， et al. Computer vision-ECCV 2022. Lecture notes in computer science. Cham： Springer， 2022， 13677： 668-685.

作者简介：沈家晨（1999-），男，汉族，江苏无锡人，南京航空航天大学航空学院2021级硕士研究生，研究方向：工程力学。