摘要：预警机器人在机器人家族中起步较晚，具有一定的自主工作能力，能够代替人类完成一些监测工作，给人类带来便利。本文针对机器人感知技术的不足，旨在设计开发一套开放空间热成像体温预警机器人技术系统，构建了应用于服务与救援机器人的视觉感知系统。

该开放空间热成像体温预警机器人可利用多传感器融合，三维环境热场地图的构建，以及更精确的目标识别来提升检测的速度、准确度并保持系统的稳定性。该预警机器人作用不受时间、空间及环境的限制，可以实现全天候、全场地的实时预警。同时随着开放空间热成像体温预警机器人技术的开发，在灾难救援，医学影像，建筑能量估计等多个领域将发挥重大作用，促进我国科学技术的发展。

关键词：多传感器融合、三维环境热场地图构建、目标识别

0 引言

《“十四五”机器人产业发展规划》的出台显示出国家对于机器人行业的新形势新要求。越来越多的国家开始注重机器人领域的发展，我国也在《关于加快应急机器人发展的指导意见》中指出预警机器人发展的重要性，尤其是在救援预警中的重要作用，并将其关键技术作为未来重点发展的科学技术。

随着近几年各个领域的快速发展，越来越多的服务机器人开始进入大家的生活，给我们生活的各个方面提供便利。但是大部分机器人的功能比较单一，尤其在面对给老人倒水、取药等操作性目标的定位和室内火灾安全检测等安防方面尚显不足。所以人们对机器人的多功能化和智能化程度提出了更高的要求，而实现这些功能的前提是机器人具有较全面的感知和理解环境的能力。

目前服务机器人主要依靠视觉传感器获取周围环境信息，随着传感器技术的发展，机器人的视觉感知系统已将得到了快速发展，但仍然存在一些不足，例如，缺乏多源传感器的互补性，感知信息较单一；机器人理解和应用信息能力还比较弱等问题。

1 理论意义

针对机器人感知技术的不足，本文构建了应用于服务机器人的视觉感知系统，该系统具体需要完成以下工作：（1）多传感器融合：实现RGB-D相机与红成像传感器的信息融合，RGB-D相机能够获得环境丰富的色彩和纹理信息以及物体的深度信息，热成像传感器能够获得环境的温度信息，并具有较好的克服弱光线的能力，但是其图像的对比度较低，所以两个相机可以实现优势互补，使机器人更加全面地了解周围环境。（2）三维环境热场地图构建：服务机器人想要实现搜索、安全检查和目标定位等功能，就需要对获得的信息进行分析和利用，首先就要求机器人知道“我在哪”并了解周围环境的几何和温度信息。（3）目标识别：在机器人实现自我定位之后，还需要具备理解环境的能力，能够在探索环境的同时定位识别出目标物体，并获得物体的主体温度，为后续的导航和抓取物体等工作做准备。

2 碳减排的影响因素

2.1多传感器融合ＳＬＡＭ算法研究

ＲＳ－ＬＶＩ－ＳＡＭ 是由多传感器（激光雷达、单目相机、惯性传感器（ＩＭＵ）等）融合的ＳＬＡＭ算法，其包括两个线程：激光惯导线程（ＬＩＳ）和视觉惯导线程（ＶＩＳ）组成，当这两个线程中一个线程检测失效时，另一个线程仍然可以独立运行，或者当两者均检测到足够的特征时可以联合起来发挥功能。 ＶＩＳ 线程接收图像信息和ＩＭＵ预积分结果，根据激光雷达点云进行深度配准，并结合图像信息进行特征跟踪，随后结合ＬＩＳ系统图优化结果，估计机器人的位姿、速度、深度信息，将估计的深度信息返回给深度配准模块进行配准。 ＬＩＳ系统接收激光点云信息和ＩＭＵ预积分结果，对激光点云进行特征提 取进而进行特征匹配，估计机器人的位姿，在这一过程中，ＶＩＳ 里程计获取的位姿作为激光雷达扫描匹配的初值。 依据特征匹配和位姿估计结果进行回环 检测和图优化，图优化的结果可以帮助ＬＩＳ线程进 行特征提取与特征匹配，回环检测过程中，回环参考 帧分别来自于ＶＩＳ线程提供的回环帧和ＲＳ－Ｔ算法 提供的回环帧。

2.2基于三维物体识别的语义热场地图构建研究

为提高服务机器人对环境的感知能力和服务机器人与环境物体以及人的交互 能力，本文构建物体级的语义热场地图。首先采用YOLOv3深度学习网络模型， 在二维图像进行物体识别，得到物体语义的二维边界框，再利用其深度信息进行投 影，得到三维环境中的3D点云，然后滤除背景点云，采用一种基于凸包的方法求 解物体的三维边界框，得到物体的三维几何尺寸和方向。最终结合构建的热场地图， 将物体的温度信息和度量信息包含在热场地图中，实现物体级热场地图的构建。

2.3目标识别的基本原理研究

目标识别作为机器视觉领域的核心任务，其基本原理涵盖了多个关键步骤。第一，在图像采集阶段，传感器获取到的视觉信息被转化为数字图像，建立了初始的视觉数据基础。第二，在特征提取阶段，图像分割技术被广泛应用，将图像划分为不同的区域，使得后续目标识别能够更加精准地定位目标对象。第三，在目标识别的核心环节中，大模型的融合发挥着关键作用，通过学习复杂的图像特征和上下文信息，能够更全面、深入地理解图像内容。这种融合可以采用卷积神经网络（CNN）等深度学习架构， 通过层层抽象提取高层次的语义特征。此外，注意力机制的引入，它使大模型能够更加关注图像中与目标相关的区域，提升目标识别的精确性和鲁棒性。

3 结论

本文通过将RGB-D相机与热成像传感器相结合，在传感器融合、环境热场建模和目标识别等方面展开研究，使服务机器人具有一定的室内环境热场感知和目标的能力，从而提高机器人的智能化程度，为服务机器人进行服务工作提供技术支撑。本文主要完成的工作如下：

（1）基于色彩空间变换将热红外图像与RGB图像进行融合。通过将RGB色 彩空间变换到HSV色彩空间下，并将两个图像的色彩空间分量进行融合，解决了 R、G、B、T四通道信息通过图像三通道显示的问题，使融合后的图像既能够表征温度信息又能够保持RGB图像中清晰的纹理信息。

（2）利用RGB-DT SLAM实现环境热场建模并基于热红外图像实现低照度环 境下机器人位姿估计。基于ORB-SLAM2算法构建了RGB-DT SLAM框架，并利 用相机的配准和融合技术将温度信息与点云地图融合，构建稠密三维热场地图。然 后通过提取热红外图像中的SIFT特征点实现机器人的位姿估计，提高了机器人在 低照度等环境下定位的稳定性。

（3）基于语义分割技术实现了环境目标语义温度地图的构建。为实现机器人对 环境信息的深入理解，采用deeplabV3+语义分割网络对目标物体进行定位和识别，构建三维语义温度地图，提高机器人对目标物体潜在火情的判断能力。

根据已取得的研究成果，本课题还可以从以下几个方面提出改进： （1）目前基于热红外图像和深度图像的位姿估计，只限于小范围和特征比较明显的区域，对于大范围场景的定位效果还有待提高。（2）对于室内物体的语义分割的准确性和泛化能力还有待提高，分割结果除了可以和温度信息关联之外，还可以增加其他的属性关联，使机器人更加全面的了解 和利用环境。

参考文献

[1]刘雨.服务机器人室内三维环境热场建模及感知技术研究[D].哈尔滨工业大学，2019.DOI：10.27061/d.cnki.ghgdu.2019.001606.

[2]柳运昌，韩军宇，冯灵霄，等.多传感器融合的SLAM算法在林业智能化的应用与改进[J].东北林业大学学报，2025，53（01）：97-104.DOI：10.13759/j.cnki.dlxb.2025.01.015.

[3]孙静文.室内服务机器人热场地图构建与目标检测技术研究[D].哈尔滨工业大学，2020.DOI：10.27061/d.cnki.ghgdu.2020.003132.

[4]卫珊.人工智能大模型在机器人视觉感知与目标识别中的应用与优化[J].数字技术与应用，2024，42（11）：7-9.

作者简介：陈晓雪（2001--），女，山东省枣庄市，汉族，大学本科，潍坊学院物理与电子信息学院，通信工程（智能物联）。

S202411067030潍坊学院大学生创新创业训练计划项目资助