摘要：本文首先通过对两种传感器的工作原理进行介绍，在某些复杂环境的感知工作中应用单一传感器存在着局限性，为了应对这些问题，将两者所才采集的数据进行融合可以弥补各自的缺点。在视觉相机与激光雷达融合的问题上首先总结了一些两个传感器间的标定方法，然后对标定的结果进行了简要分析。最后总结了基于视觉与激光雷达融合的SLAM技术的现状，并对其在AR/VR技术中的感知增强功能进行展望。

关键词：激光雷达；视觉；SLAM；AR/VR

1前言

目前，AR/VR技术以其三维沉浸、实时更新等特性，极大地促进了数字文化馆的建立，比如在虚拟博物馆[1]、虚拟媒体场景[2]等的构建中的起到关键作用。同步定位与建图技术（SLAM）在创建三维场景的同时进行自身的位姿测量，将自身的坐标融入构建的三维场景中，实现图像信息的空间信息的深度融合[3]。SLAM技术中对于空间坐标的研究有助于对空间位置关系的表达，若将其与AR/VR技术融合，实现空间坐标的叠加，将对AR/VR技术的感知功能有很大的增强。

2视觉与激光雷达原理介绍

2.1视觉采集系统

视觉系统对于周围环境的感知工作主要是利用相机来进行的，其常用的有单目相机、双目相机、RGB-D这三种相机。相机的成像原理采用相机来进行周围环境的感知，相机采集的图像信息丰富，物体的纹理信息全面。但是相机对于周围环境的感知是缺少绝对的深度信息，尽管采用双目相机时，可以得到深度信息，但是设备的配置与标定比较复杂。

2.2激光雷达采集系统

激光雷达在周围环境的感知中可以得到精确的深度信息以及相应的角度信息。目前常用的激光雷达主要是运用的三角测距法和飞行时间法。对于激光雷达来说，其能够提供非常精确的周围环境，可以对复杂环境完成良好的感知，减少数据的处理量，但是却缺失了周围物体的纹理信息。

3视觉SLAM与激光SALM融合实现

3.1激光雷达与视觉标定

3.1.1标定原理

相机拍摄照片是一种将三维世界转换为二维图像的过程，在这个过程中虽然三维世界内的深度信息缺失，但其转换后的坐标仍是相互对应且唯一的。使用激光雷达对三维世界进行扫描，得到的数据点与三维世界坐标系下的位置也是对应且唯一的。因此对于任意的一个激光雷达数据，存在唯一的一个像素与之对应。

将两者融合的首要问题就是两者的标定，两者之间标定的方法就是通过一系列的坐标转换，进而找到在某一时刻下机关点云的数据与图像像素的对应。

3.1.2 标定方法

目前，针对相机传感器与激光雷达传感器的标定很多人都提出了相应的方法。Kaiser等将两个传感器之间的刚性位移估计问题归结为一组平面和线在三维空间中的配准问题，提出了一种实现二维激光雷达与相机的标定算法[4]。

康国华等通过对相机采集的图像以及激光点云进行处理后，提取标定板在两传感器中的点云，利用不断迭代的方法进而完成二者的联合标定[5]。

黄志清等则通过计算镂空标定板在激光雷达扫描形成的点云线段长度，然后在相机图像中提取相应特征点并定位激光雷达数据点的具体位置，进而完成两者的标定[6]。

目前，在两传感器的标定问题上，人们所采用的方法并未统一。但整体主要思路确实一样的，其所做的结果也都能有效实现相机与激光雷达数据的空间对准，具有良好的鲁棒性。

3.2激光雷达与视觉融合

由于单独使用激光雷达和相机获得的图像无法满足对周围环境的具体描述。而将两者融合后的图像包含了更加丰富的环境信息，并且能够显示障碍物的三维图像。李陆君等通过将激光和视觉信息基于贝叶斯推理融合后获得的新的地图[7]。

李凯等则针对结构复杂的环境研究了融合相机和激光雷达的扫描建图系统，将图像的色彩信息融入到激光雷达的点云数据中，并实现了地图数据的融合以及高效构建。

人们在将两者数据融合的问题上，都取得了不错的效果。并且在融合的最终效果上，都体现了两传感器各自的特点，大大改善了现实的结果。

4总结与展望

人们对于这两种的融合问题，主要的研究思想都是将各自传感器的特有优点添加进另一个传感器数据中进而改善显示结果。如今，还没有完全将二者优势融合的方法。相信在以后的二者融合中，会完全将这两种传感器的特征进行数据的融合，构建出还原度更高的环境构建。

参考文献：

[1]唐梅.基于AR-VR混合技术的虚拟博物馆设计与实现[J].信息与电脑（理论版），2021，33（05）：105-107.

[2]喻国明，曲慧.VR/AR技术对媒体场景构建的三度拓展[J].传媒观察，2021（06）：13-16.蒋林，刘奇，雷斌，左建朋，赵慧.激光与视觉融合识别并构建语义地图改善定位性能[J/OL].中国激光：1-22[2022-05-27].

[3]Chai Z， Sun Y， Xiong Z. A novel method for LiDAR camera calibration by plane fitting[C]//2018 IEEE/ASME International Conference on Advanced Intelligent Mechatronics （AIM）. IEEE， 2018： 286-291.

[4]康国华，张琪，张晗，徐伟证，张文豪.基于点云中心的激光雷达与相机联合标定方法研究[J].仪器仪表学报，2019，40（12）：118-126.DOI：10.19650/j.cnki.cjsi.J1905674.

[5]黄志清，苏毅，王庆文，张晨光.二维激光雷达与可见光相机外参标定方法研究[J].仪器仪表学报，2020，41（09）：121-129.

[6]李陆君，张智，韩蕊，李晨阳，丁亚男.基于激光雷达和深度相机融合的视觉SLAM研究[J].智能计算机与应用，2020，10（08）：87-92.

[7]欧阳毅. 基于激光雷达与视觉融合的环境感知与自主定位系统[D].哈尔滨工业大学，2019.