针对无人驾驶车协同控制问题，设计一种机器学习的防碰撞技术使无人驾驶车辆能稳定有序地运行在车道上并且不发生碰撞。我们希望无人车能够在各种场景下执行任务时灵活快速的处理各类情况，如自动发现可能与汽车发生碰撞的车辆、行人或其他障碍物体，发出警报或同时采取制动等措施，以避免碰撞的发生；对于无人车群中无人车的驶入，驶离能够快速变化阵型，达到无人车群团队利益的最大化等。无人驾驶技术将会方便人们生活，同时推进安全生产领域改革发展，助力中国发展。

1.无人机车群所面临的环境进行计算机建模，包括无人自动驾驶本身建模，有人驾驶本身模型，常见交通状况建模。

2.使用基于 Pytorch 的卷积神经网络和 LSTM 循环神经网络的深度学习算法，以及AC 框架中的 MAPPO 强化学习算法。

3.将第2点中的深度学习以及强化学习算法应用于第1点中构建的虚拟环境模拟学习，进行在线的策略和模拟迭代。

4.将算法部署在无人小车模型或 Unity，Unreal 上构建的虚拟模型测试和调优。

随着汽车技术的飞速发展，汽车逐渐成为人们生活中必不可少的交通工具。伴随着城市人口数量的增加，城市交通问题也逐渐凸显。同时，环境污染、道路拥堵等问题也对人们的生活产生了巨大的消极影响。在此背景下，无人驾驶技术受到了越来越多的关注。而随着车载信息服务技术、车辆控制技术、通信与定位技术等相关技术的飞速发展，无人驾驶技术也逐渐由理论走向实际，由科研走向民用，从而为人们带来更加舒适、便捷的交通出行方式。从目前的情况来看，车辆在高速行驶时，驾驶员对于车辆的操控是由方向盘来完成的。在这种情况下，一旦发生意外，驾驶员很容易由于操作失误而引发事故。随着社会对交通安全问题的日益重视，在实际操作中越来越多的人认为采用车辆自动控制系统能够避免事故的发生。

除此之外，在城市中行驶的车辆是由多辆车组成的车队，而不是单个车辆。根据多车协同控制原理，当某辆车出现问题时，车辆间能够及时进行信息传递和交换，从而保证车辆始终处于安全运行状态。因此，本项目提出了一种基于车群协同控制的无人驾驶方案。该方案可以有效避免由于驾驶员操作失误所引起的交通事故问题和城市道路交通拥堵问题，从而实现智能交通系统运行状态下的交通安全。

目前，国外对于无人驾驶的研究已经有了多年的历史，并且已经取得了较为丰富的成果。国内对于无人驾驶的研究起步较晚，但是发展十分迅速，从2005年开始，国内陆续有科研机构在相关领域开展了相关研究。无人驾驶车群目前已经成为世界范围内多个国家和地区的热点研究方向。在国内，各大高校和企业在这一领域均有较多研究成果。同时，百度、华为等科技公司也在这一领域展开了深入研究。

总而言之，我国的无人驾驶车群发展时间较短，但是发展速度十分迅猛。无人驾驶技术仍然存在不足。目前，国内外主要通过车载传感器来实现无人驾驶车辆的自动控制，这种方式不仅成本高、容易出错，而且难以在恶劣环境下使用。而将无人驾驶车辆与移动信息服务系统相结合，可以在很大程度上提高无人驾驶车辆的可靠性与安全性。这也使本项目关于基于机器学习的无人驾驶车群这一主题的研究变得很有意义和社会价值。

无人驾驶技术是新一代信息技术与交通运输深度融合的产物，是交通运输行业转型升级的重要标志，在智能交通领域具有重要地位。无人驾驶车辆在出行中发挥着重要的作用，其发展将为出行效率带来根本性的变化。而机器学习是目前智能交通系统中重要的技术，并且取得了显著的进展。如果将机器学习与智能交通系统结合起来，可以更好地实现更高质量的交通运输。换句话说，机器学习正在推动无人驾驶车技术的发展。

当前，我国正处于社会转型升级和信息化发展的关键时期，无人驾驶技术是推进国家智能交通系统（ITS）战略实施、实现我国社会经济可持续发展、构建安全高效交通运输体系的重要技术支撑。智能交通系统建设和发展，对于构建安全、便捷、绿色、高效的现代化综合交通运输体系，有效提升我国交通基础设施总体水平和综合运输能力，促进经济社会发展具有重要意义。因此，加快推进无人驾驶技术创新应用具有十分重要的现实意义和深远的历史意义。

1.运用卷积神经网络(CNN)以及 LSTM 循环神经系统，实现无人车群对于路况的观测与预测。

2.运用基于 AC 框架的 MAPPO 算法进行训练，并使用合适的数据集进行训练，使其可以灵活地应对各种交通情况，如图1。

     图1 基于机器学习的无人车群协同技术

技术路线  

  深度强化学习是将深度学习与强化学习相结合。它利用了深度学习进行数据特征提取，处理高维数据。强化学习进行决策控制、自我博弈。从而达到，大规模数据的分析处理与集群系统的智能决策与控制，如图2。

                       图2 输入与最终决策效果图

 步骤一 利用深度学习提取天气，车辆数据，路况等环境信息

1.1采用CNN 卷积神经网络对图像数据进行处理，其中分为三层，如同3。

                                                                                               图3 卷积神经网络

1.1.1输入层

将原始数据或其他算法预处理后的数据输入到卷积神经网络中。对于 n*n的黑白图片，CNN 的输入为二维神经元，对于 RGB 格式的图片，CNN 的输入为3*n*n的三维神经元。

1.1.2卷积层

通过卷积核的过滤提取出图片中局部的特征。拟采用以几个小滤波器卷积层

的组合进行操作。选择尺寸为3*3的小尺寸滤波器，并采用零填充，以确保不会

改变输入数据在空间维度上的尺寸和防止图片边缘信息过快损失。

1.1.3池化层

对图片进行降维，减少训练参数的数量，降低卷积层输出的特征向量的维度；保留最有效的图片信息，减少干扰的传递。

以下为拟采用的池化方法：

最大池化：对一个4×4特征图邻域内的值，用一个2×2的过滤器，步长为2进行扫描，将75%的激活数据丢弃，选择最大值输出到下一层。

1.1.4全连接层

处于卷积神经网络的尾部，以提取特征，进行分类。

1.2 采用LSTM 循环神经网络对摄像头的视频和音频进行处理LSTM 中含有三种门，如图4。

            图4 LSTM 循环神经网络

1.2.1输入门

决定当前时刻网络的输入有多少保存到单元状态。确保没有无关内容进入记忆。当前时刻的单元状态c_t的计算：由上一次的单元状态c_t-1按元素乘以遗忘门f_t，再用当前输入的单元状态 c_t 按元素乘以输入门i_t，再将两个积加和，从而把当前的记忆 c_t和长期的记忆c_t-1组合在一起，形成了新的单元状态c_t。

1.2.2输出门

控制单元状态有多少输出到 LSTM 的当前输出值，其控制了长期记忆对当前输出的影响，可以使用 tanh 作为激活函数。

1.2.3遗忘门

决定了上一时刻的单元状态有多少保留到当前时刻。

1.2.4对于每一项门，设置其权重矩阵和偏置项。使用 sigmoid 作为激活输入门和遗忘门的函数，sigmoid 函数值越接近于1，受到重视程度就越高；反之，越接近于0，受到程度就越低。根据受到的重视程度选择数据进行记忆。

步骤二 拟采用强化学习的 MAPPO 算法，训练车群之间的完全合作

1.3 MAPPO 算法

1.3.1 设置一个公用的奖惩机制，如表 1 所示；

 
       表1 基于机器学习的无人驾驶车群的协调控制的奖惩机制

1.3.2 每个无人车都有其单独的 actor-critic 网络，当无人车对环境做出一个动作时，环境会给出相应的反馈给 actor 网络与 critic 网络，通过不断优化critic 网络，较好的拟合出动作价值函数，根据动作价值得到较优的车辆协同策略，来指导actor网络执行行为决策，actor网络依据环境给出的反馈和critic的打分情况进行下一步的操作；

1.3.3 选择混合式算法框架。训练初步阶段，无人车会将自身的状态观测数据传递给中心控制器，中心控制器得到全局状态后对模型进行训练，得到最优分散控制策略后传给智能体。训练结束后，智能体不再与中心控制器通信，可以基于自己的局部观测状态通过自己的动作策略函数来产生最优动作。

为了更加清晰的表示步骤一与步骤二的内容，计划书中将以图展示过程。以下为基于机器学习的无人车群协调技术的系统图与基于机器学习的无人车群协调技术的流程图，分别由图5和图6表示。

          图5 基于机器学习的无人车群协调技术的系统图

             图6 基于机器学习的无人车群协调技术的流程图

拟解决问题

拟解决主要通过车载传感器来实现无人驾驶车辆的自动控制成本高、容易出错，而且难以在恶劣环境下使用的问题。

预期成果

形成研究报告或发表省级论文1篇或软件著作权1项或申请专利1项。

2023年4月-2023年6月：完成系统设计方案。

2023年7月-2023年9月：学习无人车群协调控制技术等相关知识及编程语言。

2023年10月-2023年12月：搭建模型测试并改进，申请专利或投稿论文。

2024年1月-2024年3月：结题，形成报告。