车辆环境感知通信及驾驶行为实验

车辆环境感知通信及驾驶行为实验

课程名称：____车联网技术基础________

学生姓名：__________于骁____________

学生学号：______1120160811__________

学生班级：______03111604 __________

指导教师：__________高利____________

机械与车辆学院

一、实验信息

控制键

盘矩阵

解码器解码器解码器解码器光端光端

机

画面分割器

TV

摄像

头

摄像

头

摄像

头

摄像

头

装有车载取证

设备的指挥车

图2 SIMPAK系列GNSS定位系统

就是说如果磁场和重力场平行了，比如在地磁南北极。这里的磁场是向下的，即和重量场方向相同了。这个时候航线交是没法测出的，这是航姿系统的缺陷所在，在高纬度的地方航线角误差会越来越大。

（2）激光雷达系统

激光雷达是通过发射激光束来探测目标位置的雷达系统，主要用于机器人环境识别、建筑物入侵保护（安防）、自动门/行为方式识别、自动导航车辆（AGV）障碍检测、无人飞行器避障和自主导航。测距时，激光雷达首先靠旋转的反射镜向目标物体发射激光，然后通过测量发射光和从物体表面反射光之间的时间差来确定与目标物体间的实际距离，这种方法也被称为脉冲检测法，在确定了距离之后就可以根据距离和激光发射的角度来推导出物体的实际位置。

激光雷达一般有三个组成部分：第一部分是激光发射器，用来发射激光射线；第二部分是扫描与光学部件，用来收集反射点距离和水平角度；第三部分是感光部件，主要用来检测反射光的强度。因此激光雷达主要是通过收集一系列反射点的坐标和光强信息来对扫描面的景物信息做出判断。

UTM-30LX为HOKUYO公司的2D激光扫描测距产品，如图3所示。

图3 UTM-30LX型单线激光雷达

R-Fans-16 激光雷达传感器是北科天绘公司的16线激光雷达，通过16 线360°扫描实现三维探测成像，如图4所示。

图4 R-Fans-16型16线激光雷达

（3）毫米波雷达系统

毫米波雷达是一种成本较低、体积小、便于安装使用的传感器，相比于其他雷达传感器，其工作在30~300GHz 频域的波段中，波长适中，穿透能力较强，在夜间与雨天均可以较为准确获取障碍物相对于毫米波雷达的距离和速度，能较好的满足在车载条件下前方车辆识别的要求。德尔福ESR毫米波雷达见图5。

图5 德尔福ESR毫米波雷达

（4）视觉传感器及深度学习系统

由于近些年机器视觉领域的蓬勃发展，视觉传感器已经成为了目标检测领域不可或缺的重要传感器。视觉传感器具有其他传感器无法比拟的信息量，单帧图像中的信息量是雷达传感器望尘莫及的。通过机器视觉等方法，视觉传感器能够识别出目标的种类信息，因此它在目标检测、车道线检测、交通标志标线识别等方面有着无法替代的重要作用。同时，视觉传感器的成本极为低廉，且成熟的技术，因此它已经被广泛地应用于智能汽车环境感知系统中。

视觉传感器的缺点也很多，首先由于单帧信息量大，视觉检测的耗时也比较高，实时性较差。其次，视觉传感器很依赖可见光源，因此沙尘、雨雾天气会对其造成影响，而光线照射的改变则会对其造成重大影响。

为了能够尽量节约成本，同时保证相机满足系统应达到的应用条件，实验选

用海康威视DS-2CD3T25D-I3相机作为视觉目标检测的传感器，如图5所示。

相比于传统的机器学习方法，深度学习适合处理大数据，因此深度学习十分地依赖于高端的硬件设施，因为计算量很大。深度学习中涉及很多的矩阵运算，因此很多深度学习都要求有GPU参与运算，因为GPU就是专门为矩阵运算而设计的；在机器学习方法中，几乎所有的特征都需要通过行业专家在确定，然后手工就特征进行编码，然而深度学习算法试图自己从数据中学习特征；在解决问题时，传统机器学习算法通常先把问题分成几块，一个个地解决好之后，再重新组合起来。但是深度学习则是一次性、端到端的解决。本实验所用训练计算机如图6所示，

图6 海康威视DS-2CD3T25D-I3相机

相比于传统的机器学习方法，深度学习适合处理大数据，因此深度学习十分地依赖于高端的硬件设施，因为计算量很大。深度学习中涉及很多的矩阵运算，因此很多深度学习都要求有GPU参与运算，因为GPU就是专门为矩阵运算而设计的；在机器学习方法中，几乎所有的特征都需要通过行业专家在确定，然后手工就特征进行编码，然而深度学习算法试图自己从数据中学习特征；在解决问题时，传统机器学习算法通常先把问题分成几块，一个个地解决好之后，再重新组合起来。但是深度学习则是一次性、端到端的解决。本实验所用训练计算机如图7所示，

图7 深度学习训练计算机

上图为车辆环境感知实验的仪器连接框图

820(EPSON)

驾驶员血压、心电、脉搏

率等生理心理指标量及车XW8000工作站

辆制动、方向角等驾驶操

纵信号采集传感器系统

车载信息及车辆运行环境系统实验平台

图9模拟驾驶三维实景仿真系统车辆及驾驶舱

车辆及驾驶舱是以车载信息与驾驶环境实验室的江铃全顺牌轻型客车（JX6545-H）为主体建设。

（2）驾驶员驾驶参数传感器

驾驶员驾驶参数传感器主要有：车速传感器、转向盘转角传感器、车辆加速传感器、方向灯检测传感器、制动踏板传感器及加速踏板传感器等。

车速传感器主要有磁电式、光电式、霍尔式三种类型，信号形式为磁电式交流信号、霍尔数字信号或光电式数字信号，接口形式有模拟量和数字量。

转向盘转角传感器主要有绝对值转角和相对值转角传感器两种。前者采用电阻分压原理，信号为两路电压信号；后者有光电感应式转换成方波信号，电磁感应式转换成方波信号以及电阻感应式转换成方波信号或连续的模拟输出三种信号形式。

车辆加速传感器主要有三轴和双轴两种加速传感器，接口形式为数字或模拟形式，基本线性参数有量程、抗冲击、温度范围、频率和灵敏度。

方向灯检测传感器有电容式、霍尔式、磁电压和压电压几种类型，参数有输入电源、额定电源和相对温度，接口形式为开关量，信号形式为 0-1。

制动踏板传感器有制动踏板力和位移传感器两种，它是将驾驶员者踩踏板的力度和速度信息传给ECU，参数有额定载荷、精度和输出电压。

加速踏板传感器主要有霍尔式和电位器式两种传感器，它主要是检测踏板的位移和转角，将电气信号传输给发动机电控单元，是一种模拟信号，参数有额定载荷、精度和输出电压。

（3）其他设备

为了提高驾驶人的真实感受，本平台采用实车作为驾驶舱，同时为了方便驾驶者的转向操纵，在车辆的两前轮下的地沟中安装了两个可以自由转动的托盘，如图10所示。

图10 车轮转动托盘示意图

其他实验设备包括摄像机、秒表等。用摄像机摄制行车实验全过程，以便为数据分析时提供现场的交通状况及实验车在某一时刻处在道路上某一点的信息。

下面以光线在阶跃光纤中传输为例解释光通信的原理。

如图所示为阶跃型光纤，纤芯折射率为n1，包层的折射率为n2，且n1》n2，空气折射率为n0。在光纤内传输的子午光线，简称内光线，遇到纤芯与包层的分界面的入射角大于θc时，才能保证光线在纤芯内产生多次反射，使光线沿光纤传输。然而，内光线的入射角大小又取决于从空气中入射的光线进入纤芯中所产生折射角θ2，因此，空气和纤芯界面上入射光的入射角θi就限定了光能否在光纤中以全反射形式传输，与内光线入射角的临界角θc相对应，光纤入射光的入射角θi 有一个最大值θmax。

当光线以θi》θmax入射到纤芯端面上时，内光线将以小于θc 的入射角投射到纤芯和包层界面上。这样的光线在包层中折射角小于90度，该光线将射入包层，很快就会露出光纤。

当光线以θi《θmax入射到纤芯端面上时，入射光线在光纤内将以大于的θc入射角投射到纤芯和包层界面上。这样的光线在包层中折射角大于90度，该光线将在纤芯和包层界面产生多次反射，使光线沿光纤传输。

2.车辆环境感知实验

惯性系统是利用惯性敏感器、基准方向及最初的位置信息来确定运载体的方位、位置和速度的自主式航位推算导航系统。它至少应由一个惯性测量装置、一个数字计算机和一个控制显示装置及一个专用精密电源所组成。运载体的运动是在三维空间里进行的，它的运动形式，一是线运动，一是角运动。不论线运动还是角运动都是三维空间的，要建立一个三维空间坐标系，势必要建立一个三轴惯性平台。有了三轴惯性平台，才能提供测量三自由度线加速度的基准。测得己知方位的三个线加速度分量，通过计算机计算出运载体的运动速度及位置，所以

其中卷积层和池化层是深度学习的核心处理层。卷积层主要是用于负责物体特征的提取；池化层主要是负责采样。比如简单理解池化层，（就是一个数独里面取一个最大值），这就是池化层。卷积层与池化层是深度学习两个核心的层。

深度学习工作的原理，深度学习一般包括两个方面，一个是训练，一个是检测，训练一般主要是离线进行，就是把采集到的样本输入到训练的网络中。训练网络进行前向输出，然后利用标定信息进行反馈，最后训练出模型，这个模型导入到检测的网络中，检测网络就可以对输入的视频和图像进行检测和识别。通常情况下，样本的数量越多，识别的精度一般也会越高，所以这个样本的数量是影响深度学习精度重要的一个因素。

3. 驾驶行为实验

驾驶参数传感器转向盘转角电压、

加速电压、

制动电压

道路环境、

驾驶员面部表情、

车内环境

脑电、肌电、

皮肤电、血容等摄像装置生理-心理装置驾驶员车辆动力学模型C 语言程序Creator

软件Vega Prime 软件

视景仿真模型

视景驱动软件部分硬件部分

详细实验原理涉及驾驶人工作负荷概念，驾驶人工作符合测量方法，生理反馈测量仪，NASA-TLX 量表等，详见实验指导书，这里不一一列举。

四、实验过程

1.监控系统及光纤通信实验

（1）了解基于光纤通信传输的远程监控预警系统拓扑结构。结构如图1所示，已详细了解。

（2）连接并启动各实验设备系统并进行测试标定。标定展示结果如下：

（3）通过回顾课堂讲述及查阅有关文献掌握光纤通信传输原理，在实验报告中补充。已在实验原理一栏做了充分补充。

2.车辆环境感知实验

（1）了解双天线定位及惯性导航系统、激光雷达系统、毫米波雷达系统、视觉传感器及深度学习系统的原理。以上原理已在实验原理一栏作了充分补充，已做了充分了解。

（3）连接并启动各实验设备系统并进行测试标定。相关传感器标定结果如下图所示：

4）对双天线定位及惯性导航系统、激光雷达系统、毫米波雷达系统、视觉传感器及深度学习系统，记录典型场景数据及事件供实验报告分析。以下为典型环境感知与机器学习的典型场景：

显然，环境感知与机器学习系统能进行即时感知与学习。

（5）通过回顾课堂讲述及查阅有关文献掌握车辆环境感知实验设备原理，在实验报告中补充。车辆环境感知实验设备原理已在实验原理一栏做了充分说明。

3.驾驶行为实验

实验步骤：

（1）有关教师及研究生现场讲解实验设备系统和实验要求，特别强调安全要求。

（2）连接并启动各实验设备系统并进行测试标定。

（3）对较疲劳状态的受试者进行测试。

（4）对精神饱满状态的受试者进行测试。

（5）每次测试均按如下步骤进行：受试者上车，在头部单极脑电（EEG）电极放置位置用酒精棉球或磨砂膏擦拭干净，以便去除皮肤的角质层并增加导电性能，将盘状电极涂满导电膏按国际10-20系统电极放置方法安放固定牢固，用酒精棉球或磨砂膏擦拭两个耳垂并安放脑电参考电极（即耳夹）；将肌电（sEMG）传感器安放在额头肌中部。启动视景系统，启动录像和脑电肌电测试设备，待脑电与肌电数值稳定后开始训练计时并进行驾驶，驾驶到三个循环结束

3. 驾驶行为实验

（1）驾驶人工作负荷的分析

（a）生理反馈测量仪

下图为生理仪测量的脑电波数据。它可以实时采集驾驶人的心电、脑电、肌电、面部表情等生理参数，同时输出驾驶人脑电生理基线测试图，包括驾驶人脑电、肌电、心电图、心率、血容、皮电测试图，如下图所示。该仪器的使用对于正常驾驶过程没有影响。

现代科学研究表明，人脑工作时会产生自发性电生理活动，该活动可通过专用的脑电记录仪以脑电波的形式表现出，在脑电研究中，至少存在有四个重要的波段。

脑电波是一些自发的有节律的神经电活动，其频率变动范围在每秒1－30次之间的，可划分为四个波段，即δ（1－3Hz）、θ（4－7Hz）、α（8－13Hz）、β（14－30Hz）。除此之外，在觉醒并专注于某一事时，常可见一种频率较β波更高的γ波，其频率为30~80Hz，波幅范围不定；而在睡眠时还可出现另一些波形较为特殊的正常脑电波，如驼峰波、σ波、λ波、κ-复合波、μ波等。

δ波

频率为1~3Hz，幅度为20~200μV。当人在婴儿期或智力发育不成熟、成年人在极度疲劳和昏睡或麻醉状态下，可在颞叶和顶叶记录到这种波段。

θ波

频率为4~7Hz，幅度为5~20μV。在成年人意愿受挫或者抑郁以及精神病患者中这种波极为显著。但此波为少年（10－17岁）的脑电图中的主要成分。

α波

频率为8~13Hz（平均数为10Hz），幅度为20~100μV。它是正常人脑电波的基本节律，如果没有外加的刺激，其频率是相当恒定的。人在清醒、安静并闭眼时该节律最为明显，睁开眼睛（受到光刺激）或接受其它刺激时，α波即刻消失。

β波

频率为14~30Hz，幅度为100~150μV。当精神紧张和情绪激动或亢奋时出现此波，当人从噩梦中惊醒时，原来的慢波节律可立即被该节律所替代。

在人心情愉悦或静思冥想时，一直兴奋的β波、δ波或θ波此刻弱了下来，α波相对来说得到了强化。因为这种波形最接近右脑的脑电生物节律，于是人的灵感状态就出现了

图中可以明显看出,α波和β波处于节律之中，整体脑电图处于波动中，θ波也处于波动中，当θ波波动说明脑负荷有所上升，由此可得当驾驶员面临突发情况时，脑负荷明显上升，这与后面我们分析的脑负荷上升节点相吻合。

（b）NASA-TLX量表

NASA-TLX（National Aeronautics and Space Administration—Task Load IndeX）量表是美国宇航局提出的一项主观负荷评估技术，近些年来被广泛地应用在驾驶员脑力负荷的测评上，具有良好的信度和效度。NASA-TLX主观评定