动态车牌跟踪识别系统——基于OpenCV,和卷积神经网络

何智芳，李英华，李奇梼，黄欣华，任艺昊，黎运宇

（广西民族师范学院 数理与电子信息工程学院，广西崇左，532200）

随着世界经济的飞速发展，世界各国的大城市都面临着交通拥堵、交通事故、交通环境日益恶化等问题，“智慧城市”的概念应运而生，为了使城市的各种管理变得更加智能化，牌照识别技术也逐步成为人们关注的焦点。早在1990 年美国智慧运输协会提出了“智慧运输”的概念，国外学者开始零零散散的运用图像处理的方法进行车牌号码的识别，英国阿尔法科技公司 ARGUS 公司开发了一套车牌自动识别系统 RAUS，该系统的识别速度大约为0.1s，但是在这个阶段，车牌识别系统还是没有形成完整的系统体系，当采用图像处理方法解决一部分问题后，还需通过人工进行干预。识别算法的技术也开始向统计模型过渡，隐马尔科夫模型(HMM)已成为当时的主流技术。现阶段国外对于汽车牌照识别系统的研发已经相对成熟，对于汽车牌照的识别以几乎达到智能化，但对于汽车牌照识别系统的应用与市场发展场景仍十分具有潜力。

在90 年代初期，我国开始对汽车牌照识别技术的自主研发。我国的车牌格式与国外有很大差异，但在字母和数字识别方面，我们可以从国外的一些技术上学习，对于车牌含有汉字这一独特特征，将由我国科研人员攻克。近年来，随着国内对汽车牌照识别的需求量越来越大与随着科技水平的不断提高，车牌识别系统在市场中的应用推广普及下，在2015 年后呈现爆发式的增长。目前我国的汽车牌照系统正处于高速发展的时期，仅2020 年我国的车牌识别系统市场达到近乎10 亿美金，而在市场份额占比上，国产车牌识别系统占据了大约一半的市场份额，再加上国家和地方的大力扶持，智能车牌识别系统市场的年均增长率将超过20%，到2025 年，智能停车产业的产值将会接近400 亿。车牌识别系统在我国未来具有十分广阔的发展前景。目前国内的车牌识别系统主要由车牌识别摄像机，车牌显示屏，控制主板，车牌识别电源，车牌识别补光灯等组成，目前在国内应用较多的车牌识别系统产品有捷顺、启功、科拓、ETCP、百胜智能以及海康威视。车牌识别系统在小区门禁、停车场出入口、高速收费站等场所得到广泛地应用。现阶段我国应用的车牌识别系统在全天候的运行中识别成功率可以达到95%以上，并且能够存储汽车牌照的图片和识别结果。但是这些车牌识别都是在受限的场景下取得的，现阶段应用的车牌识别系统还是容易受到如光照、油漆脱落、车牌倾斜度、字符旧损等复杂的背景环境影响，这些因素对汽车牌照识别的准确率有一定影响。因此，车牌识别系统在未来仍需要继续研究。

以下将针对图像的获取、处理、跟踪定位、识别等部分功能进行阐述。

图1 车牌识别系统构成

2.1 动态车牌图像的获取

以前，人们对车牌的识别主要是识别车牌图片，车牌的位置比较近，速度也比较慢，一般都是将车辆停在附近，通过拍摄下当时场景下的车牌静态图，后期再对静态图像处理并分析，最后识别出车牌字符。而一张照片的信息量很小，图像的质量也会受到天气、光线、传播等因素的影响，最终导致图像的识别精度下降，所以以往车牌图像识别系统在实际应用时局限性很大。

本文采用的是动态车牌提取，将通过动态方式获取车牌信息，目前通过计算机视觉获取动态车牌图像有两种方法，第一种是将含有动态车牌的图像输入计算机，是通过提前保存好已录制好的动态车牌图像在计算机中，使用时可以直接调用，但是会占据较大的内存空间。第二种是通过调用摄像头来实现实时输入动态车牌图像，短时间内可以获取到动态车牌图像，实现实时工作，从而提高工作效率，相对的减少了内存空间。随着网络时代的发展，摄像头的作用愈来愈明显，目前最为广泛的就是用摄像头来实时记录当下情况，利用它来获取动态图像更加简单和方便。

2.2 动态车牌图像预处理

此部分功能主要为了能读取所需要的信息将车牌准确的跟踪与识别，在此部分通常分为：车牌图像预处理、牌照扫描、图像灰度化处理、增强对比度、车牌背景色统一以及图像校正等。由于数字图像在传输过程中会受到成像设备与外部环境噪声的干扰，在采集到的车辆牌照时，存在着光照、倾斜角度、阴影、噪声等多种干扰[1]。这极大地降低了牌照识别的准确率。为了减少噪声干扰，在图像预处理时需对动态车牌图像去噪，即可以通过滤波处理将外来干扰滤除，保持原像素拍摄下的车牌图像的主要特征。在车辆牌照准确定位后，下面对车辆牌照识别中的字符切分算法进行研究，依次研究了二值化、图像腐蚀与膨胀操作和字符归一化处理，如图2 所示。

图2

2.3 基于YOLOV5 的车牌跟踪定位

在所述牌照检测和识别系统中输入所述图像，首先需要对该图像进行跟踪定位，为下一步的牌照分割和识别打下了坚实的基础。牌照跟踪定位是指通过一种特殊的方法来对所获取的车牌进行跟踪定位，并对其进行图像处理。目前的牌照定位技术主要是基于颜色特征、边缘特征、混合特征和神经网络四种不同的车牌定位方法[2]。颜色特征不会因为图像的平移、旋转、大小、方向等变化而影响到车牌的跟踪定位，但会因为图像颜色变化不明显，而导致跟踪定位的区域过大或者错误跟踪。边缘特征比较常用的算子有Sobel 算子，Canny 算子，Laplacian 算子。但定位不是特别准确、易受噪声干扰。混合特征中比较有代表性的是分割连通域和面积特征的车牌定位方法[3]在复杂的背景环境下也能准确定位。该混合特征相比于颜色特征和边缘特征这个方法跟踪定位更加准确，但是如果出现形状面积类似车牌的图像物体时就容易出现定位错误。

通过对车牌特征的训练，计算机跟踪定位更加准确，车牌跟踪是指从车辆信息图像中找到图像中含有车牌的区域并绘制矩形轮廓来跟踪车牌，当车牌图像运动时，轮廓也会跟着车牌区域运动。车牌跟踪可以通过检测图像中的车牌矩形框，便可以找到车牌轮廓，绘制矩形框来跟踪车牌。本系统通过用OPENCV 加载YOLOV5 算法，经数据准备、模型训练、实现效果三个步骤来实现车牌跟踪定位识别。数据准备主要是准备数据集，即根据车牌的特征来完成车牌采集。图像采集时需注意图像的像素值，当图像的像素值较低时，则会影响到车牌定位的准确性。目前也有公开的车牌数据集，如CCPD 数据集。

2.3.1 数据集准备

本次采集有10 万多张照片，80000 张样本，可以很好的做到动态车牌的跟踪定位，训练模型才能使得计算机用最快的时间跟踪定位到车牌区域和识别出车牌字符，照片数量越多，训练出来的模型效果越好，训练的时间也就越长。

图3

图4

2.3.2 模型训练结果

本次模型训练多次，这是其中的6 次，每次训练都会迭代，训练的次数越多，训练结果就会越接近1。

2.3.3 车牌定位测试

我们使用30 张图片和一个手机拍的视频进行推断测试,这些数据都没有在训练集和验证集中出现过,以此来测试识别准确性，部分效果图如图5 所示。

图5

2.4 卷积神经网络车牌识别

神经网络最广为人知的定义是人脑存在的神经网络，人们以此来完成思考、处理信息和传递信息等。神经元具有传递信息、处理信息和整合信息的能力，每两个神经元的连接都代表了通过该连接信号的加权值，即记忆。从信息处理角度对人脑神经网络进行抽象和建立模型，由大量的神经元节点相互联接，按不同的连接方式组成不同的网络，具有很强的特征提取能力。然而，目前已发展成为多学科交叉的学科领域，为各领域各专业的研究提供了新的思路和方法。网络的输出则根据网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近[4]，也可能是对一种逻辑策略的表达。深度神经网络在计算机视觉、语言识别和文本处理等领域取得了重大突破，成为计算机视觉领域的研究热点，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。

利用卷积神经网络对牌照进行训练，并利用卷积神经网络对牌照进行特征提取。由于卷积神经网络的平移不变性，可以通过对候选区域的辅助，实现对候选区域的分类。该区域被正确地划分为被测对象所处的位置。神经网络主要可以分为特征提取和特征训练部分，特征提取主要是将车牌的主要特征如大小、形状、颜色等提取出来，然而特征训练则是根据车牌特征加以训练，使得计算机能辨别出车牌，并在在动态车牌图像中跟踪定位到车牌。利用神经网络技术可以将所抽取的车牌字符与已有的车牌字符相对比，从而得到牌照的字符。利用 OpenCV 的计算机视觉知识库，使系统的实现复杂性大为减少，能够快速、精确地进行车牌号的识别[5]。模型训练根据车牌的字符特征来训练，将车牌的主要特征汇总，训练计算机能从众多车牌字符特征中找出相对应的字符。实现效果是将车牌字符以车牌汉字、字母、数字依次识别出来，并完成识别工作。

我国汽车牌照一般由7 个字符组成，包含1 个汉字、1 个英文和5 个数字和英文。想要对车牌字符进行有效的识别，首先要对车牌进行字符分割。目前在我国应用较多的字符分割方法主要有：基于固定间隔的长度法、基于直方图的垂直投影法、基于轮廓线的牌照特征提取方法等。在分割车牌时，首先要对车牌进行二值化，然后再将车牌图像投影到车牌上，从而得到车牌对应的数字；
通过数值对比确定单个字符位置边界，以此方法可类推直至完成整个牌照的字符分割。

图6

通过车牌图像的预处理以及车牌定位和字符分割，最后搭建卷积神经网络对车牌进行模型训练,最终得出以下效果，如图7 所示。

图7

对于道路车牌的识别，如果车牌定位和识别达到实用程度，车牌模型训练还要再进一步的加量。该模型在数据集不大的情况下仍能取得不错的性能，即使对于复杂路况条件下的车牌识别，也能获得良好的检测结果。然而现有模型的局限性可以通过增大调整数据集和使用性能更好的计算机得到解决。

猜你喜欢车牌牌照字符字符代表几小学生学习指导(低年级)(2019年12期)2019-12-04一种USB接口字符液晶控制器设计电子制作(2019年19期)2019-11-23数字图像处理技术在车牌识别系统中的应用电子制作(2019年12期)2019-07-16HBM电子称与西门子S7-200系列PLC自由口通讯数字通信世界(2019年3期)2019-04-19消失的殖民村庄和神秘字符少儿美术(快乐历史地理)(2018年7期)2018-11-16红景天 直销牌照何日可待知识经济·中国直销(2017年12期)2018-01-03新能源汽车牌照叫停疑云能源(2017年8期)2017-10-18牌照知识经济·中国直销(2017年8期)2017-09-05第一张车牌小猕猴智力画刊(2017年5期)2017-05-25基于MATLAB 的车牌识别系统研究电子制作(2017年22期)2017-02-02

推荐访问:卷积 神经网络 车牌