打开文本图片集

注：本论文受到湖南省大学生创新创业训练计划项目资助，项目编号：S202211535078

摘要：肺部结节的早发现对肺癌诊断和治疗非常关键。本文介绍了一种基于Transformer的端到端肺部结节识别方法。首先，为减少肺部毗邻组织和器官对肺结节检测的干扰，基于肺部灰度的分布特性，采用阈值方法提取肺部区域。然后，充分CNN的特征提取优势和Transformer自注意力机制的全局描述能力，采用深度学习的方法构建CNN编码层、DeTransformer层和解码层网络并进行训练，自动学习肺结节特征和检测肺部结节，有效避免人工选取的特征的片面性和判断上的主观性和重复劳动。本文所介绍transformer模型由于可以捕捉序列中不同位置之间的依赖关系。为了评估该方法的性能，在公开数据集Lung2016进行了实验。实验结果表明，本文方法可以较好地检测肺部结节。

关键词：Transformer；CT图像；肺部结节识别；深度学习；自注意力机制

1 引言

肺癌的病例在全球每年都在不断提高。在癌症协会统计的数据之中，每一年新发现的癌症之中将近有七分之一的癌症是属于肺部区域的癌症[1]。由于肺结节的检查和识别对于早期肺癌的筛查和诊断具有极其重要的作用，因此，肺部结节检测具有重要意义。本文介绍了一种基于Transformer的端到端肺部结节识别方法，在Ubuntu20.04、Pytorch和Python3.6开发环境实现。首先，为减少肺部毗邻组织和器官对肺结节检测的干扰，基于肺部灰度的分布特性，采用阈值方法提取肺部区域。然后，充分CNN的特征提取优势和Transformer自注意力机制的全局描述能力，采用深度学习的方法构建CNN编码层、DeTransformer层和解码层网络并进行训练，自动学习肺结节特征和检测肺部结节，有效避免人工选取的特征的片面性和判断上的主观性和重复劳动

2 方法

Transformer模型是一种基于自注意力机制的序列模型，相比传统的循环神经网络（RNN）和卷积神经网络（CNN），Transformer模型可以捕捉全局信息和长距离依赖关系，因此可以更准确地定位和分割医学图像中的目标结构[2-4]。Transformer模型可以并行处理整个输入序列内的所有位置信息是因为其自注意力机制，从而加快运算速度；可以直接对整个输入序列进行关联建模，不受时间步长限制，可更好地处理长距离依赖关系；可以可视化每个位置对其他位置的注意力分配，使得模型的决策过程更加透明和可解释。本文选择Transformer模型来对肺结节进行分割，如图1所示。

2.1 肺部分割

为减少肺部外的组织和器官对分割精度的影响，本文使用阈值算法提取肺部区域，使得肺结节的检测仅在肺部区域内进行。因此，我们首先需要选择一个合适的阈值，用来区分肺部组织和周围组织。通常情况下阈值选取的准则是使得前景和背景之间的差别尽可能大的灰度值。然后，采用形态学的以去除的图像中的噪点和空洞。2D的肺部分割结果如下图2所示。其中，红色曲线包围的区域为肺部区域。可以看出，本文算法可以有效分割肺部。

2.2 基于Transformer识别肺部结节

Transformer模型是一种基于编码器-解码器结构的神经网络模型，由谷歌在2017年提出，如图2所示，其中，左边是编码器部分采用Transformer，通过卷积对图像的特征进行提取，通过Transformer进行自注意力机制特征编码，通过自注意力机制学习全局信息并捕捉长距离依赖关系，将编码后的含有特征的图像传递给解码器进行融合和分割。模型的解码器采用的是Unet模型的解码器部分，该部分通过上采样和特征融合的方式进行图像分割，以提高分割的精度和鲁棒性。图2 中的MLP代表多层感知机，Norm为归一化运算，Multi-Head Attention 为多头注意力机制，Conv为神经网络卷积运算，Deconv为反卷积运算。

3 实验结果

本文训练数据库来源于公共数据库LIDC-IDRI，该数据库是医学图像领域中广泛使用的肺部CT扫描数据集。算法流程图分为训练和测试两个阶段，如图4-1所示。在模型训练阶段，首先从CT图像数据库中获取分割好的肺部区域，以及手工标定的肺结节。然后，采用Transformer进行训练，以获取深度学习模型的参数。在模型测试部分，基于阈值分割法将肺部区域从CT图像中分割出来，通过加载已经训练好的深度学习模型参数识别肺部区域的肺部结节。

图4给出了肺结节分割结果图，其中，第一列为肺部图像，第二列为手动分割结果，第三列为本文设计算法的肺结节检测结果。可以看出，本文方法可以有效检测，其形状和大小与手动分割结果非常接近，如图中的第一行和第二行所示。

4 结论

本文介绍了一种基于Transformer的端到端肺部结节识别方法。为建设肺部毗邻组织和器官对结节识别的干扰，首先，基于肺部灰度的分布特性，采用阈值方法提取肺部区域。然后，充分CNN的特征提取优势和Transformer自注意力机制的全局描述能力，采用深度学习的方法构建CNN编码层、DeTransformer层和解码层网络并进行训练，自动学习肺结节特征，并利用训练结果检测肺部结节。本文在公开数据集Lung2016进行了实验。实验结果表明，本文方法可以较好地检测肺部结节。

参考文献

[1] 陈万青，孙可欣，郑荣寿，等．2014 年中国分地区恶性肿瘤发病和死亡分析[J].中国肿瘤，2018，27（1）：1-14．

[2] Zheng S ， Lu J ， Zhao H ，et al.Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers[C]//Computer Vision and Pattern Recognition.IEEE， 2021.DOI：10.1109/CVPR46437.2021.00681.

[3] 王祥，萧毅，李清楚，等.基于三维卷积神经网络肺结节深度学习算法模型临床效能初步评估[J].放射学实践， 2019， 34（9）：5-10

[4] 林桢哲，王桂棠，陈建强，等.基于残差网络深度学习的肺部CT图像结节良恶性分类模型[J].仪器仪表学报， 2020（3）：9