- 收藏
- 加入书签
一种基于多传感器融合的电力作业场景三维重建方法
摘要: 电力在生产和生活中发挥着重要的作用,其发展程度直接影响人民生活水平和 国家经济建设,但输电线路对周边环境有一定要求, 比如线路到周边树木的距离是否位于 安全范围内、线路上是否有风筝或塑料袋等异物、绝缘子是否破损等因素直接影响输电线 路安全运行。线与线间距、线杆高度以及周围是否有足够空间停放电力作业车辆等数据对 电力公司作业与维修十分重要, 因此需要输电线路、线杆等电力设施和周边场景进行勘测与 测量,获取三维场景数据。本文提出了一种将激光雷达与相机相结合的多传感器融合测量 方法,通过在线杆周边几个位置采集数据,得到线杆场景三维数据, 为电网安全运行和数字化建设提供有效的数据支撑。
关键词: 电力勘测、多传感器融合、场景重建、点云拼接
引言:
随着计算机技术、传感器技术、人工智能、通信网络技术等学科的发展,重建与现实物理世界相对应的虚拟三维模型研究日益活跃, 虚拟现实技术(英文名称: Virtual Reality,缩写为VR)也日趋成熟,其相关成果在电力行业中正逐步得到应用和推广。梁君以 VR 技术为基础对输电线路建模进行了研究【1】 ,提升了电网作业效率。董英华等人对基于三维虚拟场景建模技术进行变电站三维模型构建,实现变电站可视化,提升了培训质量和提巡检效 率【2】 。侯建勋等人研究了三维建模和虚拟现实技术在输电线路周边环境监测和巡检预警等方面发挥了重要作用【3】。
为了最大限度减少停电给生产生活带来影响, 电力维修常在带电情况下进行,这种带 电作业,严重威胁作业人员人身安全,近年来电力公司开始配备带电作业机器人,逐步取 代人工带电作业,但重建电力作业的三维场景,获取作业目标与场景三维数据,是带电作 业机器人正常工作的前提条件,相关三维数据也为电网智能化数字化建设提供数据支撑。 2023 年国家能源局发布了《关于加快推进能源数字化智能化发展的若干意见》, 提出电力 能源行业要加快数字化智能化发展。 因此,开展电力作业场景的重建与勘测相关技术研究,十分必要, 意义重大。
本文对此展开了相关研究,并取得一定成果, 实验表明本文所述方法可以方便 、高效获得线杆电力作业三维场景数据。
1 激光雷达
随着科技发展以及自动驾驶对激光雷达的巨大需求,相关技术进步巨大,使其应用在 电力勘测领域成为可能。相比传统的基于双目视觉获 取三维坐标的方法,激光雷达具有环境适应性好、抗 干扰能力强、工作可靠等优点。新型固态激光雷达体 积小、重量轻、功耗低、量程远,在电力场景勘测中 应用广泛 。一次采集即可获得一定视角范围内场景数 据 , 图 1 所示为激光雷达采集的电力线杆场景三维点云数据。
激光雷达虽能方便高效获取三维坐标数据,但仍无法直接满足电网智能化数字化的需求, 还需要对采集数据做识别和分析, 自动获取场景里诸如线杆高度等重要电力参数。
由于激光雷达点云的无序性、稀疏性、旋转性等特点, 传统机器学习方法、聚类方法 和 卷 积 深 度 学 习 方 法 很 难 直 接 对 雷 达 点 云 进 行 特 征 提 取 【4】 。 虽 然 近 年 来 出 现 了 PointNet++ 、SECOND 、 PV-RCNN 等多种基于点云的目标检测算法,但由于原始激光雷达 点云无纹理信息,无论从识别物体的种类和识别精细程度上都无法和基于 RGB 彩色图像的 识别算法相比 。 比如点云识别难以区分两个尺寸相同的木箱与纸箱,而基于图像的识别算 法则可以识别并加以区分,因此本文所提出的电力作业场景勘测设备除配备激光雷达外,还装配 RGB 彩色相机,通过激光雷达与相机融合的方式,得到场景三维数据。
2 电力目标识别
随着卷积神经网络 CNN(Convolutional Neural Network)飞速发展,在图像识别,图 像分割领域已涌现诸多网络架构与算法模型, 如 YOLO 、ResNet 等,其中 Mask R-CNN 就 是一种优秀的神经网络架构, 并在图像分割领域取得巨大成功,本文使用了该方法对电力
作业场景中的电力目标进行识别与分割。
Mask R-CNN 是何凯明博士在 2017 提出的一种实例分割模型, 是实例分割领域中极具 代表性的网络,能够高效准确的完成目标检测、目标分类和像素分割任务,该网络是 Faster R-CNN 的基础上进行像素级别分割。 Mask R-CNN 网络不仅图像分割算法性能优异,
其算法还被众多深度学习框架如 PyTorch,Tensoflow ,MxNet 所支持,给训练和使用带来方便。
通过采集多个电力作业场景如线杆数据,经过标注、训 练、部署后,实际对采集的图像数据识别,效果如图 2 所示,
3 雷达与相机融合
通过图像识别分割得到的电力目标,还需要在雷达点云上做映射, 将识别结果对应在 雷达点云上, 才能实现对作业场景测量和结构化分析 。要获得图像和点云映射关系, 需要对激光雷达与相机标定,通过标定关系和融合算法将激光雷达点云与相机图像融合。
激光雷达与相机的标定, 就是获得相机图像坐标系与雷达点云坐标系的刚性变换关系, 即两个坐标系之间的旋转与平移矩阵, 其数学本质就是找到点云三维坐标点和图像二维像素坐标点之间对应关系,标定算法一般通过识别图像和识别点云对应的点、线、面特征,进行特征匹配,从而确定这种对应关系 。具体标定方法,可分为有靶标标定方法、无靶标 标定方法和基于深度学习技术的标定方法,在勘测与测量领域,为保证勘测精度, 一般采 用有靶标标定方法, 如董文波等人提出的用基于靶标内点与边缘角点多重约束的激光雷达 与相机联合标定方法【5】 ,冯欣等人提出的一种基于边缘关联点云的激光雷达与相机外参标 定方法【6】 ,王庆等人提出的基于三维标定板的相机 -激光雷达联合标定方法【7】 。目前基于标定板靶标标定算法成熟,精度高,已被广泛使用。
本文采用基于标定板靶标标定算法,标定板如图 3 中所示带有黑边白板,宽 75 公分, 高 100 公分 。选室内较为空旷的房间做标定场地,放置一置物台,将安装激光雷达与相机 的勘测设备放置在置物台上, 勘测设备与置物台应保持稳定,在标定过程中, 不能发生晃 动或移动, 距勘测设备雷达前方约 2 米左右放置标定板,将安装有标定软件的计算机通过网线与勘测设备连接,用于采集雷达点云与相机图像。
标定开始后, 保持勘测设备静止, 调整标定板与勘测设备之间的距离和倾斜角度 ,距离范围保持在 1.8 米~2.3 米范内,前后倾角度和左右倾角度保持在正负 10 度范围内。调整一次标定板,采集一次雷达点云和相机图像数据,调整 10 次,经过标定程序计算后, 可得到标定结果。
一般来说标定水平垂直两个方向重投影误差分别小 于 1 个像素,即可满足精度要求。为了提高标定精度也可 以多标定几次,取误差最小的标定数据即可 ,最终得到 勘测设备水平方向标定误差为 0.76 个像素,垂直方向标定误差为 0.62 个像素。
4 点云拼接
由于雷达和相机视角范围有限,一次采集难以得到整个电力作业场景的三维数据, 所以需要采集多个不同视角的数据,进行点云拼接,得到完整场景数据。
在点云拼接算法中, 著名的有 ICP(ICP 是英文 Iterative Closest Point 首字母缩写)算法, 通过最近邻法来估计两个点云的对应点,再针对对应点,通过最小二乘法构建目标函数,进行迭代优化,最终得到两个点云之间高精度旋转平移矩阵。
数学上,两个激光雷达点云可用两个三维坐标点集合表示,如下 P,Q 分别表示两个三维坐标点集合,内部元素 pi,qi 则用来表示点云中的每个点,具体如下:
基础 ICP 算法已在 PCL 库(https://pointclouds.org/)里已实现, 调用相关程序, 即可运 行 ICP 算法对两个视角点云得到旋转矩阵 R 和平移矩阵 t,通过 Rt 可对这两个点云拼接,形成一个视角范围更大的点云。依次类推, 将采集的多个视角点云依次两两相拼, 最终可得到完整的场景点云。
由于 ICP 算法需要计算点云中每个点的最近临点, 且需要做多次迭代计算,因此当点 云点数变大后,计算量将十分巨大。激光雷达采集的原始数据量大,且包含有较多噪声, 所以工程实际中一般不会直接对雷达采集的点云用 ICP 算法,需要对点云识别、 裁剪、 滤 波、 降噪等预处理,不仅降低了点云大小,而且提高了点云质量。对处理后的点云用 ICP
算法,多次迭代后, 可得到较高精度的旋转平移矩阵,拼接形成完整的场景点云数据。
5 硬件装置
激光雷达选用了 Livox 研发生产的 Mid40,该型号是一款高性价比激光雷达,点云采样 率为每秒 100000 点,精度 2cm,最远探测距离可达 260 米,同时具有体积小、重量轻等优点, 是电力作业场景勘测激光雷达的理想选择。
相机选用了海康威视的工业相机, 并同时配备安装了两个相机,分别搭配不同焦段的 镜头, 用于获取全局场景和局部细节图像, 既可以得到大场景图像,也可以更准确的识别 作业目标。图 4 为勘测设备实物正视图,上部是两个相机,下部是激光雷达,二者被固定 在勘测设备结构件内,通过底部与三角架固定, 也可以搭配转台一起使用,使用转台可以 在一个位置采集更大视角的数据,拼接后的场景数据更全更完整,硬件安装完成后即可进行室外勘测作业。
6 实验与结论
线杆在输电环节发挥重要作用,获取电线杆以及周围场景三维坐标数据对电网安全运
行极为重要,用本文所述勘测设备和方法对某处电力试验场地进行了场景重建实际测试。
具体实验过程如下:
(1) 以电线杆为中心,距离 10 米左右放置勘测设备;
(2) 围绕线杆绕一圈采集数据,沿着同一方向,大致均匀采集 6~8 组位置数据,
拼接后获取完整作业场景数据,如图 5 所示, 图中上半部 6 个子图分别对应 6 个位置采 集的点云数据,下半部大图对应拼接后的整个场景点云数据,拼接没有错乱,场景数据完整。
通过实验得出,本文提出的方法, 可以较好实现电力作业场景数据的采集与分析, 将为电力公司日常作业以及电网智能化数字化的发展提供有力数据支撑。
参考文献
【1】 梁君. 基于 VR 技术的输电线路运检一体化研究[J]. 中国高新科技,2023(11):89 -91.
DOI:10.13535/j.cnki.10 -1507/n.2023.11.27.
【2】 董英华,刘溪,张洪秦,等. 虚拟现实视域下的变电站可视化巡检培训系统设计研究[J]. 自动化技术与应用,2023,42(8):170-173,178. DOI:10.20033/j.1003 -7241.(2023)08-0170-05.
【3】 侯建勋,李晓波,罗龙,等. 三维虚拟现实技术在输电线路运检中的应用[J]. 电气技术与经济,2023(5):79-81. DOI:10.3969/j.issn.1673 -8845.2023.05.023.
【4】 田碧浩. 基于深度学习的点云 3D 目标识别技术研究及应用[D]. 北京:北京交通大学,2022.
【5】 董文波,于海鹏,于龙. 基于靶标内点与边缘角点双重约束的激光雷达与相机联合标定[J]. 传感技术学报,2023,36(1):30-35. DOI:10.3969/j.issn.1004 -1699.2023.01.005.
【6】 冯欣,李杰,余崇圣,等. 基于边缘关联点云的激光雷达与相机外参标定方法[J]. 计算机应用研究,2023,40(8):2537 -2542. DOI:10.19734/j.issn.1001 -3695.2022.12.0793.
【7】 王庆,谭镕轩,冯悠扬,等. 基于三维标定板的相机 -激光雷达联合标定方法[J]. 中国惯性技术学报,2023,31(1):100 -106. DOI:10.13695/j.cnki.12 -1222/o3.2023.01.015.






京公网安备 11011302003690号