摘要：本文是根据上海市的最新要求大型车右转弯必须停车的交通行为规则，针对大型车右转不停车造成的交通事故来设计一套大型车右转必停违法抓拍系统。本文首先分析了大型车右转交通事故的大数据，根据大数据设计大型车右转弯过程中的抓拍区域、抓拍规则和抓拍算法。其次，利用OCR识别技术来实现车牌识别。本文主要是对多目标检测模块、多目标跟踪模块和车牌识别模块的设计和开发，完成大型车车牌识别和抓拍部分算法和模型设计。

关键词：大型车右转抓拍;视野盲区;内轮差;感兴趣区域;OCR识别技术

Abstract：

引言

大型车是右转弯事故频繁发生且死亡率高，根据2021年交通事故分析，大型车交通事故死亡率高达43%。大型车右转不停车是引起交通事故的主要原因之一。经分析，事故发生的原因：一是大型车右转弯时有盲区;二是大型车转弯时造成的内轮差[1] 。为减少相关事故发生，上海推出针对大型车的交通规章制度，要求大型车在右转的过程中，不管视野内是否有其他车或者人，都必须彻底停车观察后继续转弯，不得违反交通规则。

本系统设计出一套针对通过在大型车辆经常出没的区域建设大型车右转必停抓拍后端识别系统，当系统通过前端监控设备检测到大型车辆进入路口抓拍检测区域后未进行停车过程、瞭望等行为，而直接缓慢通行的，则判定大型车右转未停的违法行为成立，通过后端视频分析算法和车牌识别技术，实现大型车右转未停的违法行为过程取证和记录，并通过存储设备实现对违法数据和实时视频的存储。最后，对大型车辆右转必停的违法行为抓拍数据上传至交警非现场执法审核平台。

大型车右转交通事故数据分析

针对上海龙东大道项目，通过对路段中各个交叉口大型车右转交通事故的案例进行数据分析，本文中数据统计了该路段中某1个月的交通事故，大多数事故是非机动车直行和大型车右转碰撞事故。如图1所示。

从图2的数据统计结果可以看出，大型车右转弯交通事故中主要位置集中分布在大型车前部，其中前部右侧和右侧前部分别占在事故中的32%和65%。

通过分析，大型车右转弯事故高发原因有：

1）重型货车而言，其轮胎大，有视野盲区[2] 。

2）驾驶员在行车过程中如果只注意前方路口，忽略内轮差[4]。

3）驾驶员右转行车安全意识淡薄。

对此，根据数据统计分析结果，在系统抓拍区域和虚拟停车触发线以及抓拍程序算法上，需要考虑车辆待停区域和感兴趣区域（ROI）。

系统设计方案

3.1系统组成

根据交通信息流程和数据处理过程，该系统可以由前端子系统、传输子系统和后端子系统三大部分组成。系统设计组成图如图3所示。

其中，前端子系统主要由最小值为400万像素监控摄像机和LED显示屏组成，监控摄像机实现对大型车辆视频数据信息采集，包括违法视频流、违法车辆号牌抓拍、车辆卡口照片等;LED显示屏是在车辆违法行为获取后，通过文字识别技术获取车辆号牌信息，并实现对车辆号牌的违法行为公示。前端监控摄像机安装位置需要离大型车右转弯停车区域有规定距离，从而保证抓拍车辆违法过程数据清晰和完整性。具体安装场景示意图如图4所示。

传输子系统主要将前端子系统采集的实时视频流通过网络实时传输到后端，需要相关的光电交换机或和光纤组网实现。

后端子系统由中心客户端、视频分析服务器、违法录入平台、视频存储设备组成。服务器通过系统软件和算法完成对前端系统上传的实时视频流中分析不同车型右转未停的违法检测并对存在违法行为的数据进行分解、处理和合成，完成对目标车辆进行跟踪、识别、判断、分析;非现场执法平台对大型车辆右转必停的违法行为抓拍数据的接入、审核、检索、上传;存储设备实现对违法数据和实时视频的存储。

3.2系统功能

1）车辆信息数据采集功能

系统能实现摄像机场景内的抓拍区域，也称作感兴趣区域（ROI）内车辆的车型识别、号牌识别、种类识别、颜色识别等，并且自动记录大型车辆通过时间、地点、违法类型等信息;录像中能清晰地反映大型车辆的行驶状态。

2）车辆跟踪识别功能

系统采用动态视频车辆跟踪技术，对右转的大型车辆进行实时跟踪，当大型车辆右转未停时，自动截取车辆违法过程图片，由于大型车辆车牌容易污染，车牌识别率较低，采用OCR识别技术识别车牌号码，获取完整的车辆号牌号码。动态跟踪与OCR识别过程如图5所示。

3）车辆违法抓拍及取证功能

当车辆进入抓拍区域后，车辆目标会被跟踪，时刻观察其位置与速度。如果观察到目标右转，去检查车辆的速度历史，判断其有没有达到停车条件。如果车辆没有满足停车条件，则认为是违法车辆，触发违法取证。

4）违法车辆数据的接入与处置功能

（1）违法数据接入功能

通过视频解码设备对视频解码，服务器加载算法软件进行目标检测、跟踪和识别，并完成违法数据处理和违法图片合成。

（2）违法数据校验和审核功能

对违法车辆信息进行校验及处理，可校验的车辆信息包括车牌号码、车牌颜色、车辆类型、车身颜色、违法类型、违法行为等信息;对于未审核通过的违法信息可进行多次校验。

实现违法审核功能，获取视频流里面的违法短视频，显示违法前、中、后三张图片和违法前后10秒录像。

（3）违法信息检索功能

通过号牌号码、违法时间、处理状态、标识、地点等多种条件检索违法数据的历史记录和实时记录。能够以列表的形式展示检索结果，结果包含数据的违法照片、违法短视频、审核状态等。信息检索界面如图6所示。

（4）违法数据统计功能

系统支持将前端采集到的违法信息进行汇聚、整合、统计，并以表格、饼状图等多种形式进行展示，提供给用户，让用户可以对某个时间段内的所有违法信息或者某个时间点内的违法信息进行整体浏览和数据分析。

（5）违法数据管理功能

实现车辆信息查询，违法信息检索，车牌号码模糊查询的功能。对右转未停车违法行为进行报警，并可进行关联查看、关联视频调阅和违法行为确认、纠错。

（6）短信通知管理功能

通过手动编辑违法通知短信，将违法信息发送到违法人员的手机上，提醒违法人员出现了违法行为;支持设置违法短信的发送条件，通过手动配置违法地点、短信发送时间等条件实现不同地点、不同时间段的短信通知管理，短信通知结果以列表的形式展现，包含：姓名、短信内容、联系方式、家庭住址、违法时间等。

（7）设备运维管理功能

支持接入设备的信息管理。通过增、删、改、查等操作，用户可以管理和监测接入设备的基础信息、设备实时通讯记录和历史通讯记录、设备异常状态的报警信息等，实现对接入设备的监测和远程维护。

5）违法数据信息发布

系统将每个违法车辆的信息提交到数据库，同时每五分钟获取最新的两条右转未停车的违法信息数据发送到对应路口的信息发布LED屏，除了告知大型车辆驾驶员已经违法外，也是为了警示其他车辆不可心存侥幸，提醒驾驶员依法、安全、文明行驶。

系统关键技术

4.1 OCR识别技术

OCR技术 ，是指利用电子设备 （例如：扫描仪或数码相机 ）检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程[6]。

随着计算机技术的迅猛发展，OCR识别技术已经可以由传统意义上的电子设备识别字符发展到了通过视频结构化分析和数字图像处理来获取图片中的文字和字符的技术手段。

本方案中使用的OCR识别技术选择了paddle的 OCR引擎，是一款完全开源的识别引擎。根据OCR的应用场景而言，我们可以大致分成识别特定场景下的专用OCR以及识别多种场景下的通用OCR[6]。其中，证件识别以及车牌识别就是专用OCR识别技术。车牌识别过程的OCR识别技术路线如下图9所示。

OCR识别的关键路径在于文字检测和文本识别部分，这也是深度学习技术可以充分发挥功效的地方。PaddleHub为大家开源的预训练模型的网络结构是Differentiable Binarization（简称DB）+ CRNN，基于icdar2015数据集下进行的训练[8]。

首先，DB是一种基于分割的文本检测算法。但分割法后处理步骤中将分割结果转化为检测框的流程复杂，耗时严重。本文中车牌识别模块的OCR采用一个可微的二值化模块（Differentiable Binarization），将二值化阈值加入训练中学习，可以获得更准确的检测边界，从而简化后期处理流程。DB算法的结构图[8]如图10 所示。

图片获取过程很多人会把它想的非常复杂，其实，Python中有很多可以实现截图的库或者函数，最常见的有三种方法：1）Python调用windows API实现屏幕截图;2）使用PIL的ImageGrab模块;3）使用Selenium截图。

4.2车牌OCR识别过程

本文中的大型车抓拍的车牌识别方案中只需要鼠标框选范围截图，本系统中的OCR识别过程采用PyQt5和PIL实现截图功能。

需要实现的就是将图片中的文字进行识别，文字识别模型选择了Paddle最新推出的OCR识别模型。该模型同时支持中英文识别;支持倾斜、竖排等多种方向文字识别。识别文字算法采用CRNN （Convolutional Recurrent Neural Network）即卷积递归神经网络[9]。其是DCNN和RNN的组合，专门用于识别图像中的序列式对象。与CTC loss配合使用，进行文字识别。

这一步我们就要做的是将截取的图片传入文字识别模型即可。我们只需要把鼠标框选的起点和终点坐标传给grab方法就可以实现截图功能。最终完成通过OCR模型实现车牌文字的获取。

抓拍软件模块设计

大型车右转停车抓拍系统后端处理部分主要由5个模块组成，分别是多路视频接入模块、视频解码模块、多目标检测模块、多目标跟踪模块和车牌识别模块组成。多路视频接入模块是通过前端摄像机设备进行视频流捕获和视频存储设备获取存储视频数据完成，视频解码模块通过的是高性能视频解码器实现视频解码。本文主要是实现多目标检测模块、多目标跟踪模块和车牌识别模块的设计和开发，完成大型车车牌识别和抓拍部分。

5.1多目标检测模块设计

多目标检测模块是以YOLOv3为基础深度学习模型，在此基础上本次系统针对路面交通进行了专门的数据训练。

YOLOv3是目前流行的物体检测算法YOLO模型的最新变种。目前已经发布的YOLO模型可以识别图像和视频中80多种不同的对象，更重要的是，它的运行速度非常快，而且准确率几乎和单次多盒检测器（SSD）一样高。

我们可以将目标检测器视为是一种目标定位器和目标识别器的组合。在传统的计算机视觉方法中，我们使用滑动窗口来寻找位置和尺寸都不同的物体。这个操作计算量非常大，所以通常假设物体的纵横比是固定的。早期基于深度学习的目标检测算法（如R-CNN和Fast R-CNN）都是使用一种被称为选择性搜索的方法来缩小算法必须测试的边界框的数量。

但在另一方面，YOLO以完全不同的方式来处理目标检测问题。 它只把图像输入神经网络一次。SSD是另一种目标检测算法，它也是只让图片通过深度学习神经网络一次，但YOLOv3比SSD快得多，同时实现了可与之媲美的精度。在M40，TitanX和1080 Ti GPU上进行测试， YOLOv3的速度甚至高于实时检测。

在本次大型车抓拍识别模型的获取图像中首先先将图像划分为13×13网格的单元格。 这169个单元的大小取决于输入图像的大小。 对于我们在实验中使用的416×416的图像输入尺寸，单元尺寸为32×32。 每个单元负责预测图像中的多个框。在多目标检测模块中，采用YOLOv3的算法模型，是特定于交通参与者的目标类型，针对特定的交通智能化平台进行对应的性能优化，并可以使用大量的卡口图像数据进行训练，来完成多目标检测过程。

5.2多目标跟踪模块设计

本系统中多目标跟踪模块是采用了基于检测的单源多目标跟踪，以SORT算法为基础框架，进行系统软件算法优化，并根据实际道路大型车右转数据做出了部分的修改。

主要先通过卡拉曼滤波对跟踪车辆的目标列表做预测，在跟踪后的目标列表中找到N个目标的Bounding Box，在和已知检测出啦的目标列表定义为M个目标的Bounding Box。通过匈牙利算法做二分匹配数值。根据不同的匹配结果，可以将匹配结果放进不同的目标列表中。多目标跟踪算法流程图设计如下图11所示：

另外，针对道路交通大型车右转抓拍过程中的正常行车行为逻辑：车辆速度的方向不会突变（切向加速度小），或者正常道路行驶的车辆不会倒车等进行了几个方面的改进，来优化计算过程中的行为效果，基于以上两点对二分匹配的计算做了优化，检测目标与跟踪目标的代价从基本的IoU（Intersection over Union）改为如下的形式：

Cost = （IoU×α）^2×‖lane direction - arctan（dy，dx）‖/（speed/β+1）。

在完成匈牙利算法做二分匹配数据后，根据匹配的不同类型数据可以选择对应的数据处理流程进行。在匹配到目标集合时候可以更新在线跟踪目标，达到输出条件的跟踪对象后进行设置输出数据;若未匹配到跟踪目标，从跟踪列表中删除数据。具体匹配数据处理算法流程如下图12所示：

5.3右转停车检测模块设计

系统中对于每个点位的抓拍区域是可以根据具体路的状况以及需求进行人工配置来进行划线设定的。设计系统设定的抓拍区域有四个：

感兴趣区域（ROI）。只有在此区域的车辆才会被跟踪识别。（划定路段抓拍区域）

车辆号牌识别区域。（划定车辆号牌识别区域）

车辆在停止线之前的区域。（划定车辆前置停车线）

车辆在停止线之后的区域。（划定车辆后置停车线）

从一辆车进入感兴趣区域ROI区域（右转的车道）到离开相机视野，对其进行全程的跟踪，记录每一次采样（每次采样对应相机的一幅画面，根据计算能力会进行相应的跳帧处理）的车辆的动态参数。动态参数包括车辆在图像的坐标以及速度。

停车判定的流程设计如下：

1.通过车牌颜色和车型叠加判定一个目标是否是大型车辆，如果不是，从右转判定过程中剔除，不再进行后续处理;

2.当车辆进入感兴趣区域（ROI），车辆完整出现在画面中，截取一张图像进行判定车辆是否进行了右转，如果没有右转，剔除;

3.对车辆进行连续跟踪，从车辆轨迹列表中查找到车辆在停止线前的数据，分析这个数据之前一段时间的数据，判定其是否右转停车;

4.如果没有进行右转停车，根据右转停车判定算法，判定右转未停;

5.根据交通规则记录违法取证数据，进行证据存储。

右转停车检测模块数据流程图设计如下图13所示：

5.4停车判定算法设计

本系统设计中，对于如何进行停车判定经过多次数据和算法论证，发现可以采用收集车辆距离停止线一定距离的所有观测数据（位置，速度），然后使用滑动窗口采集数据，判定这个窗口的数据是不是达到了停车的标准。其中窗口的大小一般设置为1秒钟，即在1秒钟内完成多次位置速度的捕获。然后捕获到的数据来进行计算，当计算的终止位置到起始位置的欧几里得距离小于设定的阈值且计算的位置样本的标准差小于设定的阈值，则判定为车辆停车。进行具体的算法捕获定义设计如下图14所示。

抓拍软件模块数据测试

在完成一部分软件模块开发后，对于系统认定为违法的车辆，取到其在号牌识别区域的图像，进行车牌识别。并将这个图片进行放大处理与原始图像合并作为第一张取证照片。车辆在停止线之前的图像与车辆在停止线之后的图像合并作为第二张取证照片。同时，从车辆出现到消失这段事件的视频也将保存作为证据。

根据《道路交通安全违法行为图像取证技术规范》（GAT832-2014）要求，必须用视频记录违法全过程，视频证据要求：能够客观反映违法机动车未在停止线内停稳车辆就实施右转弯的全过程;图像证据采用“1+3”模式：1张违法机动车特写图片和3张违法行为全景，全景图片1要求：机动车正常行驶，车身未完全越过停止线;全景图片2要求：机动车前轮通过减速让行线;全景图片3要求：机动车整个车身通过减速让行线。同时，违法前后10秒录像也将保存作为证据。系统可以根据规范要求进行抓拍图片的合图。合成图片如图15所示。

结束语

由于大型车辆右转时内轮差的存在，已经右转弯是存在很大的盲区，驾驶员不停车观察道路情况造成的大型车右转交通施工极其严重。本文根据上海市最新的交通规范创新性的设计出一套大型车右转停车抓拍系统，通过电子警察抓拍右转不停车的驾驶行为并根据交通处罚条例进行行政处罚，来提高大型车驾驶员右转行车的规范，避免大型车右转过程中事故的发生。该系统主要有前端抓拍系统、网络传输系统和后端分析处理系统三部分组成，本文主要针对后端分析处理系统，设计系统软件算法和模型。具有结构简单、成本低廉的优点，并且采用成熟的软硬件技术，可靠性高，能够抓拍分析出大部分类型的大型车辆。通过原型系统的演示验证和系统测试，可有效减少大型车辆右转时由于不停车导致的事故。

参考文献

[1] 大型车右转弯安全预警系统李红 伟钟馨 董雨婷 张婷 方颖河海大学土木与交通学院

[2] 重型货车右转弯事故的原因分析与对策研究周明李平飞刘娜 《汽车实用技术》 2017年第9期

[3]公安部交通管理局 中华人民共和国道路交通事故统计年报 2020年度

[4] 右转机动车与行人交通冲突分析研究黎晓龙 《前沿》2014年12期

[5] 图像识别技术的原理和应用杨东宁曾婷朱延杰 《计算机与多媒体技术》2020年第10期

[6] 浅谈 OCR技术的发展和应用王文华 《福建电脑》 2012年第 6期

[7]大型车辆右转内轮差危险区域主动警示系统戴文瑞 宿孝帅 张晟源 何来林《物联网技术》2016年第11期

[8] Real-time Scene Text Detection with Differentiable Binarization 白翔《AAAI2020》

[9]An end-to-end trainable neural network for image-based sequence recognition and its application to scene text recognitionB Shi，B Xiang，Y Cong 《IEEE Transactions on Pattern Analysis & Machine Intelligence》2016年第12期

作者简介：姓名 ：瞿伟军

性别 ：男

出生年月：1986.5.14

籍贯（精确到市）：上海

学历：本科

职称：工程师

研究方向：大型车右转必停违法抓拍系统设计研究

单位：上海图丽信息技术有限公司

单位邮编 ：201203