打开文本图片集

摘要：针对目前阴道镜图像筛检多采用传统的人工方法，导致筛检效率低、准确性不高、受地域医疗水平影响大等问题，本研究旨在开发一种基于ESP32-CAM和PyQt的阴道镜图像筛检系统。通过结合ESP32-CAM的图像采集和传输能力以及PyQt的用户界面设计和深度学习图像处理功能，我们设计了一种全新的系统，旨在提高筛检的准确性、便捷性和效率，为医学领域提供更可靠的辅助诊断工具。研究结果表明，该系统表现出较快的效率和良好的稳定性，在完成辅助筛检任务方面表现出色。本研究创新点在于结合ESP32-CAM和PyQt的技术，提供了一种全新的阴道镜图像筛检系统，有望解决传统方法的局限性，并提高阴道镜图像筛检的准确性和效率，对医学领域具有重要意义。

关键词：阴道镜图像筛检；ESP32-CAM；机器视觉；人机交互

0 前言

随着现代医学的不断进步，对于阴道疾病的筛检和诊断提出了更高的要求。阴道镜筛检作为一种常用的检查方法，传统的方法存在着效率低、主观性强等问题，无法满足现代医学对筛检系统的要求。为了解决这一问题，我们提出了一种基于ESP32-CAM和PyQt的创新阴道镜图像筛检系统。

近年来，机器视觉技术在医学影像领域得到了广泛应用。通过使用图像采集设备和图像处理算法，机器视觉技术能够实现对图像的自动化分析和识别，为医生提供可靠的辅助诊断工具。在本研究中，我们借助ESP32-CAM的高分辨率图像采集能力和PyQt的图像处理功能，设计了一种全新的阴道镜图像筛检系统。

相较于传统阴道镜筛检方法，本系统具有诸多优势。首先，该系统采用非接触式图像采集方式，消除了传统筛检方法中的物理接触，提高了患者的舒适度和安全性。其次，基于ESP32-CAM和PyQt的系统结构，实现了图像的实时采集、预处理和分析，大大提高了筛检的效率和准确性。最重要的是，该系统通过图像处理算法，能够自动检测和识别潜在的病变和异常情况，为医生提供直观、可靠的筛检结果。

为了验证该系统的性能和效果，我们进行了一系列实验和评估。通过使用真实的阴道镜图像数据集，我们对系统的筛检准确性、灵敏度和特异性等指标进行了评估。实验结果表明，该系统在筛检任务中表现出良好的稳定性和准确性，为医生提供了可靠的辅助诊断工具。

综上所述，本研究基于ESP32-CAM和PyQt开发了一种创新的阴道镜图像筛检系统。该系统的引入将在阴道镜筛检领域带来重要的进展，提高了筛检的效率和准确性，为医生提供了更可靠的辅助诊断工具。在接下来的章节中，我们将详细介绍该系统的设计和实施步骤，并展示实验结果和讨论。

1 系统软件整体设计概述

1.1 开发工具简介

筛检系统的软件整体设计基于PyQt5跨平台可视化GUI框架进行开发。PyQt5是一个功能强大的Python库，提供了丰富的GUI组件和工具，用于创建交互式和可视化的应用程序界面[1]。其跨平台特性使得开发者能够轻松地在不同操作系统上部署和运行应用程序。通过利用PyQt5，我们能够快速构建出直观、易于使用的用户界面。PyQt5提供了丰富的预定义控件，如按钮、文本框、下拉列表等，开发者可以根据需求将这些控件布局并与功能模块进行连接。此外，PyQt5还支持自定义控件的创建和定制，使开发者能够满足特定的界面设计要求。

除此之外，还用到了Arduino Studio和Spyder的集成开发环境。其中通过Arduino Studio，我们可以编写和调试ESP32-CAM的程序代码，实现图像的采集和传输功能[2]。其次，我们通过Spyder和Qt Designer来进行PyQt程序的开发。Spyder提供了丰富的编辑和调试工具，便于开发者编写和测试PyQt程序代码。而Qt Designer是Qt框架中的可视化界面设计器，它简化了用户界面设计的过程。利用Qt Designer，开发者能够通过简单的拖拽和布局控件方式快速设计Qt界面。，而无需手动编写繁琐的界面布局代码。

1.2 系统软件平台搭建

阴道镜图像筛检系统的软件平台搭建主要涉及到软件界面的设计和开发。系统的下位机部分采用Python语言结合OpenCV视觉库实现，用于处理图像采集和图像处理的相关任务。而软件界面部分则基于Qt平台，在Jetson OS操作系统上进行实现，以完成阴道镜图像筛检系统的软件设计。系统软件平台的设计模块如下图所示：

2 基于机器视觉的阴道镜图像预处理和中心点定位算法概述

由于病人个体差异，阴道镜图像之间存在显著差异。例如，不同病人的宫颈口大小、形状和色调各不相同。甚至在某些情况下，分娩史的不同也会对宫颈口的外观产生较大影响。此外，在采集阴道镜图像过程中，会引入许多干扰信息，如不同的曝光强度、焦距以及涂抹5%醋酸后曝光的时间等。宫颈口生理组织的多样性，例如边缘不规则或模糊的病理组织，以及相同病症的不同表现，增加了阴道镜图像分析的复杂性[3]。因此，在进行筛检之前，需要人为剔除含有以下复杂背景情况的阴道镜图像：（1）大部分区域被阴道镜器械遮挡；（2）图像清晰度不足；（3）因药物涂抹或生理原因产生有大量血渍。人为剔除以上类型图像之后，通过图像预处理操作：图像增强、去噪等对阴道镜图像进行处理，以便后续聚类和中心点提取算法更易识别。阴道镜图像预处理效果如下：

经人为剔除和预处理后的图像，首先基于色彩和中心距离的聚类算法，进行阴道宫颈区域的提取与复杂背景的分割，将所有像素聚成两类，外圈为冗余信息，内圈为宫颈区域。再对提取兴趣区以后的正方形图像进行压缩，得到 256*256 或 512*512 的 RGB 三通道图像，再将图像矩阵归一化处理[4-5]。将图像由 RGB 转化成 HSV 通道，采取阈值提取的方式得到中间红色区域的掩模图。使用霍夫椭圆变换算法对该掩模图进行定位，即病灶区的中心进行定位，得到病灶区的ROI感兴趣区域。其次在Python3.9.3开发环境下，调用opencv-python库的相关预处理函数，依次对兴趣区域进行了去噪、灰度化、二值化处理等操作。综上，经过以上两步操作，可使宫颈病变区域更加清晰可见，为后续模型分类提供了更具精准的兴趣区域。

2.1 基于KMeans的宫颈交界提取算法

KMeans聚类方法是一种广泛应用于数据挖掘和机器学习领域的流行聚类技术[6]。在医学影像处理领域，KMeans算法也具有重要的特点和应用。与数据挖掘和机器学习领域类似，医学影像处理领域中的图像数据也具有一定的聚类特性。通过应用KMeans聚类方法，可以将阴道镜图像中的像素点划分为不同的聚类簇，从而实现对图像中不同结构和组织的区分和分析。其非监督学习的特点使其能够灵活地应用于不同的图像数据分析任务，而在阴道镜图像中，KMeans算法可以自动将像素点划分为不同的聚类簇，实现对图像中不同组织和结构的聚类和分类。这种自动分割的能力使得医生和研究人员能够更好地理解图像中的结构和组织情况，并提供可解释性的聚类结果。

作者团队根据色彩和中心距离的KMeans算法对阴道镜图像的复杂背景进行了提取和分类结果如图2所示：

2.2 基于霍夫椭圆变换的宫颈中心点检测算法

2.2.1 宫颈中心点检测算法原理

通过分析现有霍夫椭圆变换检测算法在医学影像处理场景下的不足，对其进行改进。假设存在一个包含所有宫颈边界像素的集合V，具体改进如下：

首先，从集合V中随机选择3个像素点，这3个像素点有可能来自于宫颈的边缘。在同一个宫颈中，选择一个包含3个像素点的集合，这个集合的存在很可能代表着真正的宫颈。通过循环迭代的方式，我们可以对圆形数据进行不断更新，从而在累加器中找到潜在的圆形。在本文的改进算法中，我们通过随机选择4个边缘像素，并定义一个判据距离来搜索可能的宫颈中心点。下面是具体的步骤：

第1步：将所有边界像素存储到集合中，并初始化一个计数器来记录失败次数。令 、、、和作为给定的 5 个初始值。其中，表示容忍的失败次数。如果集合中的像素数量少于，则停止宫颈中心点提取任务。在潜在圆上的任意两个相邻像素之间的距离应大于。和是距离临界值和比率临界值。此外，表示集合中仍存在的边缘像素数量；

第2步：如果=或者，则停止宫颈中心点提取任务；否则，从集合中随机选择4个点，并在选定的情况下，更新集合为

第3步：从这4个边缘像素中选择潜在的圆，要求任意两个中介像素间的距离大，并且这4个像素点在潜在圆边缘上的间距大于。如果满足条件，则进入第4步；否则，将 点放回集合，重置，并返回第2步。

第4步：假设是潜在的圆形，初始化计数器为0。对于集合中的每个元素，检查是否大于给定的距离临界。如果满足条件，则，并从集合中移除像素点。在检测完集合中的所有边缘像素后，假设，表示有个边缘像素满足。

第5步：如果，即满足边缘像素数量大于等于圆周上点的数量的比例阈值，进入第6步。否则，认为潜在的圆不满足条件，将这些边缘像素放回集合，重置计数器，返回第 2 步。

第6步：潜在的圆已经被检测为真正的圆，将计数器置为0，表示成功检测到一个有效的圆形。然后返回第2步，继续进行下一轮的随机像素选择和圆形检测。

3 ESP32-CAM图像采集系统设计

3.1 主控芯片模块

ESP32-CAM具有出色的功耗管理能力，可以满足各种不同的功耗需求。在医疗健康领域，ESP32-CAM具有重要的用途。它可以与其他医疗设备、传感器和监测装置进行无线通信，实现数据的采集、传输和处理。通过与Wi-Fi和蓝牙技术的结合，ESP32-CAM可以远程监控、传输和存储医疗图像、视频和传感器数据。医疗专业人员可以通过使用ESP32-CAM连接到云平台，实现实时远程诊断、监测和治疗。在本系统中，其作为主控芯片控制摄像头的图像传输等功能。

3.2 摄像头模块

OV2640传感器能够提供清晰、稳定的彩色图像，从而满足高质量图像识别和医生诊断病例的要求。采用OV2640传感器作为核心部件的摄像头模块具有多种广视角规格可选，并且接口简单，使用方便。它能够拍摄出符合图像识别和医生诊断要求的照片，并最大程度地保证患者的舒适度。无论是在医疗设备还是其他应用领域，OV2640传感器都能提供高质量、可靠性和易用性。

3.3 电源模块电路设计

通过两节可充电电池，系统获得7.4V的供电。整个电路的开关采用了7965开关，它通过PJ2端子将电源传递给电机驱动板。为了将高电压的7.4V转换为稳定的5V电压输出，使用了78M05稳压芯片。这样，稳压芯片将电压转换为所需的5V，并将其提供给传感器模块和单片机。电源模块的原理电路如下图所示：

在原理电路中，两节可充电电池通过电源正极和负极连接至电路。7965开关控制整个电路的开关状态，它负责将电源连接或断开与PJ2端子的连接，从而控制电机驱动板的供电。电源从电池经过78M05稳压芯片，该芯片将7.4V的高电压转换为稳定的5V电压输出。这样的电源输出连接到传感器模块和单片机，为它们提供所需的电源。

通过以上的设计，电源模块能够有效地提供稳定的电源供应给系统中的各个组件，确保它们能够正常运行并协同工作。

3.4 暗环境补光系统

为了应对宫腔潮湿、阴暗和狭小的环境，并满足拍摄图像的需求，照明系统在本设计中采用了6枚并联的LED0402。这些LED灯将提供照明板所需的光亮，以确保摄像头能够在宫腔中获得足够的照明条件。同时，为了最大程度地利用空间，照明板上还采用了嵌入式结构，使得摄像头能够牢固地固定在PCB板上。[7]

照明板的设计非常紧凑，最大直径长度仅为1.7cm。这样的小尺寸设计使得照明板能够轻松适应宫腔的狭小空间，并且不会造成过多的占用空间。尽管尺寸小，但照明板能够提供合适的照明环境，为摄像头的拍摄提供最佳优化条件。这样的照明环境对于后续的图像识别以及医生对病情图片的诊断提供了有利的帮助。照明板的PCB设计如下：

4 阴道镜图像筛检系统人机交互界面设计

在阴道镜图像筛检系统人机交互界面设计中，主要采用了QMainWindow类作为基础。该类是所有可视化界面类的基类，能够支持各种界面组件的创建和显示。阴道镜图像筛检系统的界面设计主要基于QMainWindow类来实现。该系统的软件具备以下主要功能：

（1）用户注册和登录功能

（2）图像采集、视频录制、暗环境补光和大窗口弹出

（3）智能算法模块：包括图像预处理和宫颈中心点检测

（4）数据导入、导出功能

界面软件操作流程如图8所示：

具体操作过程如下：

（1）诊断医生登录阴道镜图像辅助筛检系统，通过摄像头进行图像采集或从本地文件目录导入阴道镜图像。若为图像采集，去往（2）；否则，去往（3）。

（2）点击打开摄像头按钮，ESP32-CAM开始通过网络传输图像（需要摄像头和系统运行设备在一个局域网下）。此时诊断医生可通过人机交互界面的RGB调节按钮矫正画面的RGB值；亦可通过勾选暗环境补光的QCheckBox控件来控制摄像头照明的开启与否。待寻找到合适的拍摄角度，点击拍照按钮，即可记录当前阴道镜图像到相对路径Images目录下；或点击录制按钮，录制一段时间后再次点击停止录制，即可保存阴道镜视频到相对路径Videos目录下。具体界面效果如图9所示：

（3）切换到QTabWidget控件的第二页进行病理诊断和分级。需要对采集到的图像进行预处理操作：首先点击设置按钮，导入刚刚保存到本地的阴道镜图像。然后对采集到的图像进行图像预处理操作，包括图像增强，图像去噪等。随后需要对预处理后的图像进行聚类边界提取和中心点检测处理：勾选宫颈口中心点智能识别的QCheckBox控件，即可自动完成上述两项操作。

（4）诊断医生根据自动提取到的兴趣点，对该病例的病变区域进行人工标注，标注后系统将自动把标注痕迹覆盖至原图上，然后保存在相对路径Finished_Images下，至此该张图像标注结束。可退出系统，和点击下一张或下一张按钮，继续或修正标注图像。该界面操作效果如图10，最终人为病理区标注结果如图11、12：

5 结束语

阴道镜图像筛检系统利用现代化的技术手段，如大数据、人工智能、物联网等，将智慧化应用于阴道镜图像筛检的全过程。通过集成物联网、互联网、人工智能和大数据等信息技术，与阴道镜图像筛检相关的设备进行整合，构建高效节能的筛检管理系统，实现了多项功能，包括图像处理、数据分析与可视化等。

通过智慧化的阴道镜图像筛检系统，可以改善筛检过程的效率和准确性，减少人力成本和误诊率。同时，系统能够提供远程访问和远程控制的功能，方便医生在不同地点进行筛检操作，并进行实时监测和反馈。

综上所述，阴道镜图像筛检系统的智慧化应用为医生提供了更准确、高效的筛检工具，帮助提升阴道疾病的早期诊断和治疗效果，为妇女健康保驾护航。

参考文献

[1] 陶文玲，侯冬青.PyQt5与Qt设计师在GUI开发中的应用[J].湖南邮电职业技术学院学报，2020，19（01）：19-21.

[2] N. Qunoot，F. Ali. Design Health care system using Raspberry Pi and ESP32[J]. International Journal of Computer Applications，2020，177（36）.

[3] 张丹. 基于深度学习的阴道镜HSIL检测[D].浙江大学，2018.

[4] Greenspan Hayit，Gordon Shiri，Zimmerman Gali，Lotenberg Shelly，Jeronimo Jose，Antani Sameer，Long Rodney. Automatic detection of anatomical landmarks in uterine cervix images.[J]. IEEE transactions on medical imaging，2009，28（3）.

[5] G. Zimmerman， S. Gordon and H. Greenspan， "Automatic landmark detection in uterine cervix images for indexing in a content-retrieval system，" 3rd IEEE International Symposium on Biomedical Imaging： Nano to Macro， 2006.， Arlington， VA， USA， 2006， pp. 1348-1351， doi： 10.1109/ISBI.2006.1625176.

[6] 马瑜涓，韩建宁，史韶杰，曹尚斌，杨志秀.基于HMRF的改进Kmeans脑肿瘤分割算法[J].计算机与现代化，2023（03）：1-5

[7]董强，倪健，刘云等.PCB的布线设计及抗干扰技术[J].舰船科学技术，2006（02）：57-59+63.

*河北省大学在校生科技创新能力培育计划项目（编号：22E50098D）