自动驾驶研发模拟仿真系统的工作介绍

序言：不谈公司（无论大公司如Google Waymo, Uber, Nvidia，Siemens Tass和百度，还是创业公司如Cogna，Righthook，Parallel Domain, Metamoto，国内51VR，PanoSim和RealDrive），不谈商用产品（preScan, Carmaker, Carsim, dSpace， Unity SimViz），不打广告，只谈学术论文，仅供参考。

自动驾驶模拟仿真系统的目的是为了减少上车测试的开销和风险，众所周知谷歌开发的仿真系统CarCraft已经跑了25亿英里，而实际车载测试才1000万英里。 其中将实际上车测试的问题在模拟仿真系统中进行复现并添加各种变化被成为“fuzing”，当时开发的可视化平台Xview就是模拟仿真系统的一部分，相当于显示界面。

这样的模拟仿真系统构成一般包括多个算法模块，比如：

1. 传感器模型：摄像头（游戏引擎类似的功能），激光雷达，雷达，声纳...

2. 高清地图和虚拟环境（类似VR），一些高清地图的制造商也可以直接从真实环境中生成，比如三番，纽约，伦敦城市等等；

3. 车辆模型（OEM数据，动力学模型，控制模型），行人，摩托和自行车等等，以前做motion capture的公司有很好的数据，商用的汽车模拟软件在这些方面很成熟；

4. 道路系统（路径网络）和道路特性（地质，坡度，风险，利用率等等）；

5. 环境模型（季节，气候，天气，时间如白天/晚上，等等），跟传感器模拟关系大；

6. 交通模型（交通规则，限速，停车，十字/丁字/环路，红绿灯，让路，分岔，汇入等等）；

7. 驾驶模型 (驾驶行为，导航规则，避撞，个人特色，文化，地域等等）；

8. 应用相关的，比如运动规划，模拟训练。

下面论文分析中会针对这些问题讨论解决方案。

先介绍一下当年DARPA自动驾驶比赛的几个高校开发的模拟仿真系统：

Boss （CMU）

TROCS (Tartan Racing Operator Contol Station)

Talos （MIT）

RNDF

SimCreator

Odin （Virginia Tech.）

Junior (Stanford U.)

感觉这些高校做的仿真和可视化工具还比较low......

Simulation in development and testing of autonomous vehicles （Daimler）

下表是测试平台和仿真的重要性比较：

下图展示仿真模拟中的人机操作和交互性：

下图列出了仿真模拟环境的主要模块：道路模型，交通模型，传感器模型，车辆模型，自动驾驶控制软件的集成。

Simulation Framework for Executing Component and Connector Models of Self-Driving Vehicles

如图所示：包括一些车模型，MontiCAR C&C模型对控制系统的建模，MontiCAR Simulation visualization模块提供可视化，Simulation Model提供仿真模型，还有环境，传感器和执行器模型等等。

Testing and Validating High Level Components for Automated Driving: Simulation Framework for Traff ic Scenarios

如图所示：高级AD模块是被模拟激发，一个合适的车体接口被召唤，而且一个没有任何机械元素的avatar就可以动。

下图展示的是一个车体模型：Ackermann四轮模型。

下图：采用ray-casting算法模拟物体分类。

如图：虚拟交通参与者可以从开源交通流模拟器SUMO加入（黄色车），而真实场景下的车辆也可以被模仿（黑色车）。

SOFTWARE ARCHITECTURE FOR AN AUTONOMOUS CAR SIMULATION USING ROS, MORSE & A QT BASED SOFTWARE FOR COOL AND MONITORING

下图是一个自动驾驶车的结构图：

MORSE (Modular OpenRobots Simulation Engine) 是学术机器人模拟器。这是简化的模拟器架构：

下图是模块通信方案：

An Integrated Architecture for Autonomous Vehicles Simulation

如图是系统框图：USARSim是robotics simulator，SUMO （Simulation of Urban MObility）是开源的microscopic traffic simulator。

下图是SUMO的实现概图：

AutonoVi-Sim: Autonomous Vehicle Simulation (U. North Carolina, Chapel Hill)

该仿真环境分成8个模块：环境, 道路网, 道路, 司机, 基础平台, 车身, 非车体交通（行人，自行车）和分析（数据）模块。

下面是模块介绍：左边是传感器，中间是导航算法，右边是数据分析。

仿真场景和条件变化见下图：

rFpro & SUMO: The Road To A Complete Real-Time Simulation Of Urban Environments for DIL, ADAS and Autonomous Testing

一家英国仿真软件公司，下图为模拟系统总览图：

这是模拟运行的硬件平台：

这个图显示的是 rFpro, SUMO 和用户的车辆模型之间的数据流：

最后看看一个模拟的真实场景：上海一个十字路口。

这个论文比较特别，是在现实场景直接添加虚拟车辆：

Augmented Reality Meets Computer Vision : Efficient Data Generation for Urban Driving Scenes

AR自然是虚实结合，下图是真实场景里面放了虚拟的车辆：

整个AR系统示意图如下：车辆模型+环境图。

百度Apollo的工作 “AADS: Augmented Autonomous Driving Simulation using Data-driven Algorithms“

最后，不得不提一下两个开源软件。

AirSim: High-Fidelity Visual and Physical Simulation for Autonomous Vehicles

微软出的开源，本来是无人机方面，后来搞无人车。

CARLA: An Open Urban Driving Simulator

Intel和其他几家一起出的软件平台，感觉人力还是不足。

再加一个，韩国LG公司的，不过是和两个开源自动驾驶软件捆绑的，即Autoware和Baidu Apollo。

LGSVL Simulator: An Autonomous Vehicle Simulator

大多数VR和模拟仿真系统用Unreal Engine，这里介绍一下Unity最近开发的SimViz工具。

传感器模型包括：

• RGB-D Camera

• LiDAR

• Radar*

• IMU

• GPS

参考场景包括:

• 城市街道
• 高速公路
• 住宅区

系统框图：

看看生成的自动驾驶场景：INDAGO公司用了这个工具。