- 收藏
- 加入书签
基于嵌套卷积神经网络的医学影像自动分割可视化系统
摘要:医学影像分割技术是医学技术发展的一大进步,极大的促进了医学相关技术的发展,如可视化和三维重建等,在医学中占据了重要位置。此外,影像分割技术还在生物医学图像的分析中也发挥了重要作用,是生物医学中不可或缺的技术之一。本文对基于嵌套卷积神经网络的医学影像自动分割可视化系统进行研究,对医学影像自动分割算法的相关优点进行阐述,并将其技术方法进行详细讲解。此外,还针对医学影像三维重建和他的可视化模型进行了分析,提出了基于M-Unet嵌套卷积神经网络的图像分割算法,并通过系统模式的搭建设计,知晓了其在临床医学的重要性。该项技术提高了图像处理的清晰度和可视化,对辅助医学进行诊断病患诊断具有重大意义。
关键词:医学影像; 自动分割; 可视化系统
引言
医学图像分割技术使图像处理更为清晰化,为临床诊断提供了可靠的依据,是医学技术发展的一大进步,不仅帮助临床医学做出关键诊断,还大的促进了医学其他技术的发展,如可视化和三维重建等。从下图来看,医学图像分割技术是医学影像和人工智能相结合的处理结果,可帮助超声成像、CT成像、MRI、X射线等医学成像更加清晰和利于辨别,不仅保留了医学影像的原始特征,还能最大化提取网络设计的相关信息,是帮助临床医学做出相关诊断的关键一环。但是,其也存在一定的缺点,如人工痕迹太明显,且分割边缘存在模糊、定位精度不高的情况。
1医学影像分割算法的优点
1.1提高医学影像目标分割精度
所谓图像分割就是对单一的图像进行细致的分割,按照类似的性质把其分割成大小若干的区域,如按照灰度、颜色、纹理、亮度和对比度等不同性质将其分割出来。图像分割技术是医学图像处理的重要组成部分,却也是最关键的部分,一切临床医学手术的进行都是在图像分割技术的完成之后进行的,而医学分割算法的应用,则之间提高了医学影像目标分割的精度,使医生的判断更为准确,促进了手术的成功率,提升了医学水平。
1.2拓展全新三维可视化人机协同系统
通过可视化分析的手段,可以对图像分割结果重建为3D Mesh模型。重建三维模型以后,通过人机交互的手段,可以清晰看清个体在体内部的解剖结构,为临床诊疗的解剖和数据量化提供有力的工具,在临床研究、教学、医患交流、虚拟手术、手术规划、生理特征提取等应用中发挥重要作用。可视分析的核心是将机器收集到的机械数据转换为便于人类接受理解的视觉表现形式,从而发挥人体在模式识别能力方面相对机器的巨大优势,从全新的角度去观察、浏览、操作和理解异构、多维、海量的数据。可视化系统能实现实时交互的体绘制和面绘制,在诊断医学,手术规划等方面有着重要作用,目前,在医学领域三维可视化系统发展迅速,使手术诊断和治疗规划更准确。
2技术方法研究
本文首先拟优化医学影像三维可视化的过程,将图像精度清晰化,然后提出新一套新算法——基于M-Unet嵌套卷积神经网络的图像分割算法,解决现图像分割中存在的边缘模糊化以及过度化的问题,最后通过开发全新的人机交互协同系统,实现三维呈现下的分割定位精确度提升。
2.1优化医学影像三维重建及其可视化模型
可视化,即利用计算机图形学和图像处理技术,将数据转换成图形或图像在屏幕上显示出来,并进行交互处理的理论、方法和技术。3D U-Net通过将U-Net原来的2D卷积、池化、上采样操作替换成对应的3D操作,并加入Batch normalization层,实现了对三维医学影像的呈现。清晰化的三维图像再由三个级联的卷积神经网络组成的结构进行处理。第一级卷积网络从患者的3D影像中提取出整个患部的边界框,基于边界框对输入图像进行裁剪后作为第二级的输入,以得到患部核心区域的边界框,进而输入到第三级中分割出患部的核心区域,利用各向异性卷积结合多视图融合的方法,以解决患部的过度分割问题。
2.2提出基于M-Unet嵌套卷积神经网络的图像分割算法
嵌套卷积神经网络结构本质上是一个深监督的编码器-解码器网络,其中编码器和解码器子网络通过一系列嵌套的、密集的跳跃路径连接。本文拟提出的基于M-Unet嵌套卷积神经网络将重新设计跳跃连接用于减少编码器子网络和解码器子网络的特征图之间的语义鸿沟,再利用反卷积增大图像分辨率,同时融合MUSIC算法原理,可以保证输入和输出的图像尺寸保持不变,同时能够在2D模型中捕获部分3D信息,将有效解决分割界限模糊化、定位不清晰的问题。
2.3全新三维可视化人机交互的协同系统
通过人机交互的手段,可以清晰看清个体在体内部的解剖结构,为临床诊疗的解剖和数据量化提供有力的工具,在临床研究、教学、医患交流、虚拟手术、手术规划、生理特征提取等应用中发挥重要作用。
语义分割线程主要是语义分割算法的实现,M-UNet是编码-解码结构,在编码阶段,模型通过卷积和下采样提取特征信息,在解码阶段则通过上采样和卷积将特征信息映射到原始特征空间,得到每一个像素的类别,U-Net中的高低像素语义信息结合的方式也有效融合了上下文信息,有利于分割定位精确度的提升。
3系统模型搭建设计
3.1三维可视化医学影像模型搭建
首先需要对原始医学影像数据进行处理,按照图像中的灰度值对图像进行相应的转换,在转换成灰度值之后,为了使图像更加真实和清晰,还需对不同体素增加他们的透明度,以帮助医生进行更好的诊断。此外,还需利用三线性插值计算出相关影像的透明度和灰质值,在对所有体数据进行重采样后,再对其相关数据进行混合采样,最后重建出具有立体感、真实度高的三维影像,结合医学图像的特点进行分析,然后设计特定的模块进行优化。
3.2 M-Unet嵌套卷积神经网络结构
M-Unet比较适合用于医学图像分割,其是以FCN为基础的一种语义分割。M-Unet网络结构与FCN网络结构相似,也是分为下采样阶段和上采样阶段,网络结构中只有卷积层和池化层,没有全连接层,网络中较浅的高分辨率层用来解决像素定位的问题,较深的层用来解决像素分类的问题,从而可以实现图像语义级别的分割。
4结论
医学影像分割技术是医学上重要的一项技术,通过对医学影像进行分割,使图像变得更加清晰化,不仅为临床医学的诊断提供了判断依据,也促进了相关技术的进步,促进了医学水平的发展,是医生进行诊断的关键手段。本文通过建立分割模式,采用的分割模型是一种基于MUSIC算法和U-Net结构改进得到的模型,与原版模型相比有更高的精确度和运行效率。基于人机交互的协同系统可以帮助用户进行CT、MRI、WSI(病理图像)自动分割,其中具体分割过程为:用户提交影像数据,服务器接收到数据后将数据输入到语义分割模型,模型计算产生分割结果,最后将分割结果返回给用户。
参考文献
[1]杨鸿杰,徐巧枝,于磊.基于深度学习的多模态医学影像分割研究综述[J/OL].计算机应用研究:1-12[2022-03-23].
[2]Zhong Zheng,Guixia Kang. Model Compression with NAS and Knowledge Distillation for Medical Image Segmentation[C]//.Proceedings of 2021 4th International Conference on Data Science and Information Technology (DSIT 2021).,2021:184-187.
基金资助:西南科技大学大学生创新基金项目精准资助专项(JZ22-013)
京公网安备 11011302003690号