无人驾驶汽车技术---环境感知技术介绍

车载单目视觉运动物体检测
车载双目立体视觉越野环境感知
优点：信息量丰富、实时性好、体积小 、能耗低。 缺点：易受光照环境影响、三维信息测量精度较低。
2. 激光传感：基于激光雷达获取车辆周边环境两维或三维 距离信息，通过距离分析识别技术对行驶环境进行感知。
12 10 8 6 4 2 0 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31
智能车辆环境感知技术
Environment Perception Technology of Intelligent Vehicle
引言 Introduction
当前，从陆地到天空，从海洋到宇宙，人们正在开发
各种各样的智能化载运工具为人类的文明发展服务。
实现地面车辆的智能化乃至无人驾驶是车辆工程领域
第二章 智能车辆环境感知技术概述 Introduction to E.P.Technology
一、环境感知目的-Purpose
通过性：基于自身行驶性能和共识规则，能实时、可靠、
准确识别并规划出可保证规范、安全、迅速到达目的地 的行驶路径；
安全性：在行驶过程中，能够实时、准确识别出行驶路
径周边对行驶安全可能存在安全隐患的物体，为自身采 取必要操作以避免发生交通安全事故；
四、智能车辆构成-Construction
1. 车辆自检监控系统
该系统通过实时获取和处理车辆状况传感器的输入信息 如电压、电流、温度、压力、油耗、转向、制动、加速、 停车、排放等，诊断车辆驾驶是否处于危险状态或具有潜 在的危险，并将诊断结果信息提供给驾驶员或车辆自动控 制系统，以便为做出正确的车辆控制决策提供依据。
灰度值：景物明暗程度经光电耦合元件产生电压模拟信
号并经过A/D 转换生成当量数字信号，通常CCD采用的 是 8 bit A/D转换，因此各像素点明暗程度分为0 - 225 共 256个等级，0 代表该像素点最暗，255 代表该像素点最 亮，因此像素点（x ,y ) 的具体数值大小也称为该像素点 的灰度值或灰度级；
信息、可实现车辆间信息共享、对环境干扰不敏 感。 缺点：可用于车辆自主导航控制的信息不够直接、实时 性不高、无法感知周边车辆外其它物体信息。
5. 融合传感：运用多种不同传感手段获取车辆周边环境多 种不同形式信息，通过多信息融合对行驶环境进行感知。
优点：能够获取丰富的周边环境信息、具有优良的环境
景物
镜头
CCD
图像卡
计算机
计算机视觉系统构成
构成计算机视觉系统的主要部件
二、成像原理-Imaging principle
镜头经过聚焦将目标景物根据小孔成像原理投射到CCD
电荷耦合靶面器件上；
x
O
A D E FGຫໍສະໝຸດ H 0yB
C
智能车辆视觉成像原理示意图
CCD电荷耦合靶面由多个阵列式光电耦合元件构成，其
性、安全性的其它各种移动或静止物体的识别；各种交 通标志的识别；
驾驶状态：包括驾驶员驾驶精神状态、车辆自身行驶状
态的识别；
驾驶环境：包括路面状况、道路交通拥堵情况、天气状
况的识别。
三、环境感知方法-Method
1. 视觉传感：基于机器视觉获取车辆周边环境两维或三维 图像信息，通过图像分析识别技术对行驶环境进行感知。
优点：能够以较高精度直接获取物体三维距离信息、对
光照环境变化不敏感、实时性好、体积较小。 缺点：无法感知无距离差异的平面内目标信息、国外成 熟产品对我国禁运而难以获得。
4. 通讯传感：基于无线、网络等近、远程通讯技术获取车 辆行驶周边环境信息。
优点：能够获取其它传感手段难以实现的宏观行驶环境
2. 车辆行驶环境信息获取系统 该系统基于车辆自身传感信息获取系统、通用技术平台 和通信信息系统，获取车辆外部周边物体状态、公路状态、 天气、车流、电子地图、停车场等信息，并将这些信息提 供给驾驶员或车辆自动控制系统。
3. 车道状态数据处理系统 该过程对所输入的各种车载及道路传感器的数据进行有 效处理，为车辆控制过程提供车辆所在车道、车辆在车道 上的位置、车辆与车道的距离偏差及方位偏差等信息。 4. 车辆辅助驾驶接口系统

基于自身和外部信息，能够确认当前位置、规划目标 路线、控制自身按规划路线行驶、安全准时到达目的 地的机动车辆。 自身具有驾驶员的部份、全部或尚不具备的驾驶行为 能力的机动车辆。
二、智能车辆功能-Function
1. 能够确认自身的当前位置，根据行驶目标及途中情况， 规划、修改行车路线。
2. 能够可靠识别行车路线，并可通过自动转向控制使自 身按规定路线准确稳定行驶。
6. 智能车辆系统构成示意图
五、智能车辆关健技术-Key technology

环境感知技术（Environment Perception）


路径规划技术（Path Plan）
导航控制技术（Navigation Control） 避障防撞技术（Obstacle Detection & Avoidance）
制其开闭程度，进而控制外界光照投射到CCD电荷耦合 镜面的强度大小，显然光圈设定的大小直接影响景物成 像的明暗程度。镜头上设置的机械式光圈可称之为物理 光圈。通常物理光圈参数在1-16 之间，该值越小，代表 光圈开度越大，通常称之为大光圈，反之亦然。因此当 景物光照很强时，应选择数值大的小光圈；当景物光照 很暗时，应选择数值小的大光圈。光圈选择应有利于增 强目标与背景的灰度对比度。
经济性：为提高车辆高效、经济地行驶提供参考依据； 平顺性：为车辆平顺行驶提供参考依据；
二、环境感知对象-Target
行驶路径：对于结构化道路而言，包括行车线、道路边
缘、道路隔离物、恶劣路况的识别。对于非结构化道路 而言，包括车辆欲行驶前方路面环境状况的识别和可行 驶路径的确认；
周边物体：包括车辆、行人、地面上可能影响车辆通过
能根据光照强弱产生不同强度的电流，然后电流被转换 为当量电压；
图像采集卡能够逐行逐列地将每个光电耦合元件产生的
电压模拟信号经过A/D 转换将其转换成数字信号并传输 给计算机；
CCD光电耦合元件及图像采集卡
计算机通过应用软件生成目标景物的数字图像，正是由
于景物图像的数字化，才使得计算机能够进行各种图像 处理、分析和识别。
目标景物的数字图像
三、主要参数-Key specification
像素点：每个光电耦合元件产生的电压信号经过A/D 转
换将其转换成数字信号形成一个像素，由于光电耦合元 件按行列依次排列，其信号的数字转换也按相同顺序依 次进行，转换结果数据被计算机按两维数组（x,y ) 形式 加以存储，数组下标值 x 代表该像素所在行位置， y 代 表该像素所在列位置 ，因此一对数组（x,y )对应一个像 素点 ；
像素点及灰度值概念示意图
分辨率：显然，CCD电荷耦合靶面光电耦合元件构成的
行列多少直接影响对景物成像的精细程度，通常将光电 耦合元件构成的行列多少称为其成像分辨率。对相应的 数字图像而言，图像分辨率体现为在两维数组（x ,y )的 大小。 例如，1024(H)×1024(V)CCD的分辨率显然要高 于512(H)×584(V) CCD的分辨率。高分辨率CCD虽然可 以获取更为精细的图像，但由于像素点的大量增加，也 会严重降低图像处理的实时性。对于智能车辆环境感知 而言，通常640(H)×480(V)的分辨率已能满足要求。
物理光圈相同、外界光照不同时电子光圈调节效果
焦距：焦距是指镜头景物聚焦点到成像平面即透镜中心
的距离 ，通常用 f 表示，单位为mm ，如8mm 、12mm、 16mm、25mm等。焦距长短与景物成像大小成正比，对 同一物体 ，焦距越长，其成像越大，焦距越短，成像越 小 。 镜头焦距与视场角成反比 ，焦距越长 ，视场角越 小，焦距越短，视场角越大。镜头通常标有焦距值 ，此 外，许多CCD 用镜头也具有通过手动微调焦距的功能。


信息通讯技术（Information Communication）
乘员安保技术（Passenger Safety） 人机交互技术（Human-machine Communication）


状态监测技术（Condition Monitoring）
调度管理技术（Accommodating & Management）
该系统提供了驾驶员可以用于启动、监视和终止车辆自 动控制操作的接口。该接口可接收驾驶员控制请求、车辆 行驶环境、车辆自检、车辆控制状态反馈等信息，对车辆 控制方式作出选择，并将选择结果提供给车辆控制过程或 需要此信息的其它过程。 5. 车辆控制系统 该系统提供各种水平的车辆控制功能。它通过接收车辆 控制方式选择、车辆自检、车辆自身及周边车辆行驶状态、 车辆行驶环境等信息，为实现车道跟踪、车距保持、换道、 巡航、定位停车等功能提供各种必要的基本操作。
适应能力、为安全快速自主导航提供可靠保障。 缺点：感知系统过于复杂、难于集成、造价昂贵、实用 性差。
第三章 视觉系统概述 Introduction to Vision System
一、系统构成-System configuration
一套完整的视觉系统通常包括CCD、镜头、图像卡、计 算机等，系统构成如下图所示。
光圈适中
光圈过大
光圈过小
电子光圈：在CCD内部，通过电路可以控制外界光照投
射到CCD电荷耦合镜面的时间长短，进而达到光照强度 大小的控制目的，通常也称其为电子快门。电子光圈参 数需经过程序设定调节。电子光圈对于变光照条件下实 现在线实时视觉环境感知具有重要应用价值。需要提及 的是，电子光圈的大小影响CCD图像获取速度。
帧频：CCD 在1s时间内连续获取数字图像的帧数，其直