自动驾驶发展面临的恶劣天气问题

来源 |  计算机视觉深度学习和自动驾驶

一、引言

自动驾驶系统（ADS）为汽车工业开辟了一个新的领域，并为未来的交通提供了新的可能性，具有更高的效率和舒适的体验。然而，恶劣天气条件下的自动驾驶一直是阻碍自动驾驶车辆（AVs）进入L4级或更高自动化级别的问题。

天气现象对交通运输有各种负面影响。平均而言，全球降雨发生率为11.0%。已经证明，在降雨条件下发生事故的风险比正常情况高70%。世界上77%的国家都有雪。以美国国家统计数据为例，每年有超过3万起车辆碰撞事故发生在多雪或结冰的道路上，或在降雪或雨夹雪期间，因此雪的威胁是真实存在的。雾、雾霾、沙尘暴和强光等现象严重降低了可视性，给驾驶带来的困难显而易见。由天气直接或间接引起的次要问题，如冷热、污染或车辆硬件损坏，也会对载人和自动驾驶汽车产生不可预测或不良影响。

尽管在恶劣的天气条件下进行了大量的自动驾驶研究和测试，但当挡风玻璃雨刮器在雨雪中连续运行时，车辆就会停止运行。比如：在爱沙尼亚的冬季，由于气温较低，自动控制的小型公共汽车无法在夜间正常充电，并且由于额外的取暖而耗电，不得不减少每天的运行时间。另一方面，芬兰自动驾驶公共汽车并没有因为下雪而停滞不前，而且已经开始在下雪天气进行公开试驾。

目前知道的，L2级自动驾驶在雨雪条件下的性能几乎不能满足预期，比如车道保持功能在公路雪地打滑时汽车会转向过度。特斯拉的Autopilot可以在正常的雨雪中导航，路标清晰可见，但在某些棘手的情况下，如暴雨或车道线出现遮盖时候仍然难以驾驶。另一个典型的2级自动驾驶供应商，GM的super cruise，官方禁止在湿滑或其他不利条件下（包括雨、雨夹雪、雾、冰或雪）使用自动驾驶功能。显然，恶劣的天气条件限制了人类驾驶方向盘，AVs仍然不能完全相信它能独自工作。因此，为了让ADS继续向前推进到下一个时代，自动驾驶汽车需要更多的时间来适应各种天气。

作为车辆传感器的信息源，环境状态直接受到天气条件的影响。这些变化增加了ADS用受损数据完成目标检测、跟踪和定位任务的难度，因此规划和控制也将不同于正常情况。天气也可能影响自车本身，并产生附加影响，如风和路面状况。自车或周围车辆状态的变化所带来的间接影响，反过来会导致环境状态的变化，并形成一个循环。如图所示是恶劣天气下自动驾驶系统的信息流图：

二、天气对传感器的影响

一段时间以来，天气挑战一直是ADS的瓶颈，为了解决这个问题，人们做了很多努力。事实上，气象学会一直在研究恶劣天气及其与道路安全的关系。当自动驾驶汽车还没有引起市场的广泛关注时，已经有人总结了湿滑路面和冰滑路面带来的危害，还有高速公路上能见度下降对驾驶员决策过程的影响。

有一些关键因素，如测量范围、测量精度和点密度，可能会受到天气条件的干扰，从而影响AVs的正常运行。自该概念出现以来，无论是在人工环境（如雾室）、还是在现实世界（如雪地）、甚至是在模拟环境中，人们都在恶劣天气条件下对激光雷达或整个AV设备进行测试和验证。

1 激光雷达

雨

对小孔径（aperture）激光雷达传感器而言，最常见的天气如降雨，不是特别极端时，对激光雷达和AV本身的影响并不大。由于激光束和雨滴之间的直接相互作用产生的散射造成的功率衰减几乎可以忽略不计：在信号量保持在原始功率的90%以上，降雨造成的功率衰减百分比为两个小数点，即使对于更严格的标准（99.5%），超过10%的信号功率损失也不太可能。发射器窗口淋湿的影响因水滴大小而异，水滴相对较小的最大衰减约为50%，水滴约为孔径大小一半时最小衰减约为25%。雨水的直接影响似乎不会真正动摇激光雷达，但值得注意的是，当大气温度略低于出现露水的情况时，发射器上的凝结水滴使功率损失超过50%，这时候信号很难被视为可靠。此外，降雨对激光雷达的影响可能不仅仅取决于信号功率大小，还可能影响点云的准确性和完整性，这很难从数学模型或模拟中分辨出来。

当雨变得很大或无节制时，就会发生更严重的危害。降水率高且不均匀的降雨极有可能形成团状雾，并让激光雷达看成虚假障碍物。因此，在测量其影响时，可以将大雨视为浓雾或浓烟。

雪

与雨不同的是，雪由固体物和雪花组成，很容易形成更大的固体物，并成为障碍物，从而导致激光雷达的错误探测或阻挡有效检测的视线。考虑到雪地（如雾室）不太容易接近，在雪地中行驶也明显危险，很少进行雪效应试验。

可以肯定地说，大气中的雪或从地面卷起来的雪可能会导致激光雷达的点云出现异常，并缩短视距。更重要的是，这项工作用的像Velodyne VLP-16这样的激光雷达，其设计最低工作温度为−10◦C、 在北半球并不罕见会出现的更冷环境，可能连生存机会都没有。当温度变化幅度较大时，如极冷(−20◦C） 至极热（+60◦C） 环境，激光雷达测量的时间延迟将增加约6.8ns，使激光雷达测距值扩大1米多，降低了近场精度，更不用说光电探测器和测距的灵敏度这些问题。

波长

目前，大部分市场上部署的是905nm波长激光雷达。然而，激光雷达升级一直是研究界关注的焦点之一。2018年提出的1550 nm激光雷达，可以克服雾条件，能发射更高的光功率。在确定其可行性之前，有必要提出激光雷达选择所要考虑的两个关键设计因素：眼睛安全和周围抑制（ambient suppression）。根据国际激光产品安全标准（IEC 60825-1:2014）1级所言，大多数民用或商用激光雷达用于人眼暴露的环境中，红外激光不得超过规定的MPE（maximum permissible exposure）或造成对视网膜的任何损伤。因此，激光波长的选择几乎窄小为两种选择：800nm-1000nm和1300 nm-1600nm。这就是为什么目前为AVs制造的激光雷达选择850nm、905nm和1550nm波长，并且都会落入低的太阳辐照（solar irradiance）窗内，这有助于抑制信噪较低的信号接收器中环境光。1550nm波长具有相对较大的去水系数（water extinction coefficient），并且可以在晶状体或眼睛玻璃体中大量吸收，允许比905nm更多的能量，这对天气中功率衰减困境来说是好事。

如图是相对波长的激光雷达去水系数谱（Water extinction coefficient spectrum）：

其实实验表明，在25毫米/小时的降雨率下，性能恶化方面，905纳米达到1550纳米的两倍。1550nm的光传播可能比较短波长的衰减小，有人说该规则仅适用于薄雾（能见度>2km），而在大雾（能见度<500m）中，衰减与波长无关，905nm的测距值仍比1550nm长60%。此外，与905nm相比，1550nm波在雪天的反射率大约差97%。较少的积雪干扰并不能弥补原有目标检测工作的不足。

FMCW激光雷达制造商在固态下使用1550 nm波长。尽管1550nm波长在过滤强光和抗干扰方面具有明显优势，但在处理水方面的无效性已经被证明。一些宣传文章可能认为FMCW激光雷达能够很好地处理发射器的水滴（water droplets），并且能够根据其速度探测能力轻松过滤掉雨滴（raindrops）或雪花（snowflakes），但是这里省略了波长本身带来的大信号衰减，在恶劣天气条件下几乎找不到FMCW激光雷达的任何现场测试。尽管1550nm在固态激光雷达的进一步发展和CMOS（Complementary Metal Oxide Semiconductor）技术兼容性方面具有一定的潜力，但其不令人满意的性能仍然无法赢得主流的青睐。就硬件性能而言，激光雷达的升级在短期内并不像预期的那样有希望，但也没有让激光雷达束手无策。

类似地，超连续体（super-continuum）激光雷达的用户之一Outsight也没有解释波长不是905nm和1550nm时的眼睛安全难题。考虑到超连续体激光器通常工作在728-810 nm，其功率水平是否对眼睛有任何风险以及其现场试验性能等具体信息并不完全清楚。与大多数FMCW激光雷达一样，目前市场上用于AVs的能与传统旋转激光雷达竞争的固态激光雷达很少，其主要用于机器人，因为恶劣天气条件下的性能很少测试过。尽管如此，新激光雷达的新技术，例如光谱扫描（spectrum-scan）技术，仍在期待中。

其他

还有更多的天气现象会给交通带来问题，比如沙尘暴和烟雾。尽管看起来很罕见，但对于一些地区如中东或沙漠地区，它们可能比雨雪更严重。然而，对连人都不能驾驶的情况大家关注度不高，其发展缓慢，这样天气下测试和研究的工作很难找到。激光雷达在沙尘暴或霾雾天气中所涉及的工作超出了公路这个区域，比如航空或太空。CALIPSO高光谱分辨率激光雷达用于卫星监测地球大气，可以透过烟雾和沙尘暴进行观测。单光子激光雷达也经常用于机载激光雷达的三维地形测绘。尽管这种技术通常用于气象学和海洋学，但已经有单光子雪崩二极管（single- photon avalanche diode ，SPAD）激光雷达用于汽车，其具有远距探测能力（公里）、出色的深度图分辨率（厘米）和低功耗（眼睛安全）激光源的优势。

未来航空激光雷达和无人机将面临更多的天气挑战，因为天空情况与地面情况不太一样。大气湍流（Atmosphere turbulence）可产生风扰且时变的折射梯度（refractive gradients），导致闪烁（scintillation）、束展开（beam spreading）和偏移（wander）。由于航空激光雷达和无人机尚未投入实际使用，还没有系统地研究这些特别对抗条件对自主驾驶区域的影响，但可以肯定的是，只有克服这个问题，才能在未来的模糊和动荡条件下为智能交通系统提供服务。

2 雷达

雷达在天气条件下似乎更有弹性。如图是不同降雨率下的电磁功率衰减（Electromagnetic power attenuation）：可以观察到，在25 mm/hr的大雨中，77 GHz的雷达衰减为10 dB/km，而在0.5 km以下的能见度条件下，905nm激光雷达的衰减约为35 dB/km。

根据对较低大气波动的非相干光雷达（non-coherent photonics radar）模拟，可以得出，线性调频77GHz和1550nm连续波激光，在大雾中的探测范围可达260米，在小雾中达460米，在信噪比阈值为20dB的大雨中达600米以上。

另外，更高的降雪率会产生更大的衰减，而雨雪（wet snow）由于更高的吸水率和更大的雪花显示出更大的衰减。考虑到10 mm/hr的降雪已经具有相当低的能见度（<0.1 km），说明77GHz雷达在10 mm/hr降雪中的具体衰减约为6 dB/km，这个对雨天数据而言似乎是可以接受的。

有研究对雨衰减和后向散射在毫米波雷达和接收机噪声的影响，进行数学分析。模拟4种不同场景，在不同的降雨率水平下用雷达探测汽车或行人。结果表明，在暴雨条件下，当雷达横截面小得像行人一样时，后向散射效应会导致信干噪比下降。然而，在100毫米/小时的降雨率，恶化是个位数水平，这样的模拟将测试变量扩展到400毫米/小时降雨率，在现实世界中基本上是不现实的，因为即使出现如此高的降雨率，驾驶条件也会非常困难。

毫无疑问，雷达在客观上更好地适应潮湿天气，但与激光雷达相比，雷达经常因空间分辨率低而在行人检测和目标形状和大小信息分类方面能力不足而受到批评。FMCW扫描雷达，其测量范围可达100-200米，仅在黑夜、浓雾和大雪条件下可处理SLAM。因此，可以说雷达的用途具有更大的潜力。

3 摄像头

雨

雨中摄像头，无论分辨率有多高，都很容易被镜头上的一滴水滴破坏，如图所示是雨天的摄像头和激光雷达对比，图像中的障碍和失真会立即使ADS失去数据的意义，无法正确处理。

雾

至于雾，根据密度，会在一定程度上造成近乎均匀的障碍，这是摄像头信息的直接缺乏。有一种摄像头在环（Camera-in-the-Loop）方法，用于评估不同天气条件下目标检测算法的性能：环境模型数据由一组摄像机采集，并通过目标分类算法进行处理，然后将结果反馈给决策者，决策者重新调用仿真环境，完成闭环。在夜间或雾中，误检率高达40%的结果非常符合人们普遍对摄像头的估计，一定程度上说明单靠摄像头很难战胜天气的困难。

雪

冬天天气，如雪天，可能会以雨水类似的方式影响摄像头，就像当雪花接触镜头的视窗（optical window），立即融化成冰浆（ice-slurry）。更糟糕的是，这些冰水混合物可能在低温下很快再次冻结，并在摄像头的视线上形成不透明的障碍物。

大雪或冰雹会使图像灰度波动，模糊图像或视频中某个目标的模式边缘，导致检测失败。除了动态影响外，雪还可以扩展为静态天气现象。大多数情况下，雪对交通造成的问题并非速成，因为雪会积聚在地面，遮挡路标或车道线，甚至可能在道路上形成冰。这使人和AVs都在不确定性下行驶。特别当摄像头数据源的采集受到影响时，整个自动驾驶过程一开始就被中断。

光照条件

一种特殊的天气现象，直接来自太阳的强光或人造光源，如摩天大楼的光污染，也可能给摄像机带来严重的麻烦。即使是激光雷达在极端条件下也会受到强光的影响。过高的照明会使照相机的可见度降低到几乎为零，并且各种光泽表面反射的眩光（glares）会使摄像头曝光（exposure）选择成为可能艰巨的任务。HDR（高动态范围）摄像机专门用在恶劣的光线条件，将这种技术应用于AVs，对光线条件的突然变化（如隧道的入口和出口）导致的能见度下降问题，在很大程度上得到缓解；得益于更好的颜色保护，对直射阳光下驾驶，其AV导航性能也可以得到改善。

光引起的另一个相关问题是反射表面的反射。如果反射恰巧是理想的，它可能会使摄像头变得糊涂而相信，从而传送错误的信号。缺乏立体视觉意识是普通摄像头的致命弱点。人类驾驶员经常会遇到挡风玻璃的反光问题，无论是白天或夜间，还有驾驶室内有照明，挡风玻璃上的反光会混淆视野，这正是为什么夜间巡航时不建议驾驶室打开照明的原因。同样的问题也适用于安装在挡风玻璃后面的摄像机。有时由于路面温度较高，反光效果是弱的幻觉，如同汽车内部的镜像。这种虚假信息很难在2D意义上被识别，而且光线条件对摄像机来说从来都不是100%友好的。如果没有其他3-D深度传感器的帮助，摄像头就无法独自承担责任。从另一个角度看，这里摄像机的无效性意味着天气条件下ADS的冗余在很大程度上受到损害，因此需要比仅仅克服恶劣天气做得更好，以确保总体安全。

当谈到摄像头图像失真时，脑海中浮现出一个熟悉场景，照片像热浪一样在火焰上燃烧。至于这种失真是否会影响ADS，有实验表明，把500mm处棋盘格作为目标，测量的热变形与理论热变形之间的平均绝对误差为11.85με。将相同的错误率应用到一个场景中，当ADS摄像机测量距离稍远约1.5m高度目标时，得出绝对尺寸变化不会超过0.2 mm的水平，这个差别几乎可以忽略，并且很难影响ADS对此类目标的识别和分类能力。基于此，正常环境温度升高引起的图像失真不应成为摄像头感知的问题。

4 其他

除了熟悉并可以预料的正常天气之外，总会有一些意想不到的天气或由天气引起的现象让人措手不及，这也是AV需要做好准备的事情。就像飞石撞击汽车挡风玻璃一样，像激光雷达发射器窗口外壳也可能受到飞行物、强风吹起的石头或沙子、强对流天气（convective weather）下的大块冰雹（hailstones）以及普通碎片（debris）的直接撞击。玻璃裂缝可能会影响信号的正常数据接收或破坏原始图像，也可能会造成空气或水分渗入的机会，阻碍电子设备，最坏的情况会导致断裂。

风，作为一种著名的不可预测的现象，会带来更多的麻烦。周围环境中未知物质的污染，如被吹起的树叶和垃圾，可能会突然阻挡ADS传感器的视线。附着在发射器窗口外表面的道路灰尘颗粒可能会恶化激光雷达信号衰减现象。对近乎均匀分布在激光雷达扫描器表面的灰尘颗粒进行测试表明，激光雷达的最大测距减少了75%。虽然这些场景的一部分可以被视为罕见事件，但最好做好准备，因为ADS安全不接受任何的容忍。

超声波是评估天气影响时很少考虑的传感器之一，但它确实显示出一些特殊的特性。声音在空气中传播的速度受气压、湿度和温度的影响。由此引起的精度波动是自动驾驶的一个问题，除非借助算法根据周围环境调整，这个产生额外成本。尽管如此，考虑到超声波的基本功能几乎不受恶劣天气的影响，为了在ADS中保持开放的心态，超声波确实有其优势。不会因为目标颜色较深或反射率较低，超声波的返回信号就降低。摄像机可能会在低能见度环境中工作，如立交桥下的高眩光或阴影区域，而超声波在低能见度环境中更可靠。

此外，超声波的近距离特性可用于分类路面状况。沥青、草地、砾石或土路可以从其后向散射超声波信号中区分出来，因此不难想象道路上的雪、冰或泥浆可以被识别，也有助于AV天气的分类。这里的底线是，当激光雷达和摄像头等其他传感器在某些恶劣环境中受损时，超声波传感器提供了另一层冗余，至少在保持其原有功能的同时它可以防止AV发生碰撞。

来自卫星导航系统（如GPS、伽利略和其他）的信号在穿过大气和其他水体时会经历一些衰减和反射。水是一种电介质和导体，由于水分子根据电场旋转，电磁波将经历衰减，从而导致能量损耗。此外，水体中移动的电荷将反射和折射波，这发生在空气-水界面和水-空气界面。

分析雨和风对GNSS反射谱（GNSS-R）的影响，可以对通路衰减、修正表面粗糙度和倒灌风（downdraft）等方面进行建模。结果表明，雨滴对L波段的衰减很小，对于降雨量在30毫米/小时以下的小雨，透射率约为96%；虽然L波段能够穿透大雨，但风的影响往往会增加衰减。

GPS信号在通过1毫米水层时，显著损失超过9.4分贝，但在通过4厘米厚雪层时仅为0.9分贝，在14厘米厚雪层时仅为1.7分贝。这项实验表明，潮湿道路和水凹将进一步影响GNSS的信噪比。

三、融合

1 模块

单凭传统的激光雷达或摄像头结构无法在恶劣天气条件下安全导航。但是两种力量结合在一起将是一个不同的故事，具有附加的强度。因此，世界各地的团队通过添加雷达、红外摄像机、门控摄像机（gated camera）、立体视觉摄像机、气象站和其他天气相关的传感器，提出了各自的排列和组合。当然，融合模式需要标定，以确保所有参与传感器的同步，从而获得最佳性能。

梅赛德斯-奔驰公司提出了一种在未知恶劣天气下的大型深度多模态传感器融合。测试车辆配备了以下设备：一对面向前方的立体视觉RGB摄像机；近红外（NIR）门控摄像机，其闪光激光脉冲（flash laser pulse）的可调延迟捕获减少了不利天气下粒子的后向散射；一种具有1◦ 分辨率的77G Hz雷达；两个Velodyne激光雷达，即HDL64 S3D和VLP32C；远红外（FIR）热照相机；能够感应温度、风速和风向、湿度、气压和露点（dew point）的气象站；以及专用的道路摩擦传感器，其用途未指定，可能用于分类。这些都是在惯性测量单元（IMU）的帮助下进行时间同步和自运动校正。自称融合是熵-引导，即捕获的低熵区域可以被衰减，而在特征提取中高熵区域被放大。外部感知传感器收集的所有数据被连在一起用于熵估计过程，并且训练仅用晴朗天气数据进行，这表明了其很强的适应性。其结果表明，在雾天条件下，融合检测性能明显优于激光雷达或图像。这种方式的缺陷在于传感器数量超过了ADS系统的普通预期。更多的传感器需要更多的电源和连接通道，这对车辆本身来说是一个负担，专有的天气传感器并不完全符合成本效益。尽管这样的算法仍然是实时处理的，但考虑到来自多个传感器的大量数据，响应和反应（response & reaction）时间成为值得担忧的问题。

2 机械式解决

防护和清洗

机械地解决问题，就像拧紧螺丝钉一样，始终是人的第一本能，自动驾驶也是如此。天气给AV带来的所有问题无疑引起了各大汽车企业的关注，并努力地通过简单、低成本的机械解决方案解决这些问题。例如，在斯堪的纳维亚地区沃尔沃首先注意到，由领先汽车引起的雪漩涡，阻挡传感器的视线，使其完全被覆盖。将传感器移动到汽车上的几个位置做比较，沃尔沃最终决定将雷达和摄像机安置在挡风玻璃后面，使其永久免受积雪的困扰。然而，这与其说是一个真正的解决方案，不如说是一个折衷方案，因为在驾驶室内安装这些传感器并不真正符合当前市场的要求，因为人类司机仍然拥有驾驶座，一些传感器如长波红外（LWIR）热成像设备，不能安装在窗户后面，因为它们的波长不能穿过玻璃。

在经历挡风玻璃的重要性之后，大家自然会考虑为ADS传感器安装相同的机制，就像指定挡风玻璃一样。Waymo和Uber是将ADS传感器（主要是激光雷达和摄像头）装在外壳内，并在外壳上安装一个小雨刷。与挡风玻璃和雨刮器类似，现在传感器可以享受与驾驶室内几乎相同的好处。我们谈论的不仅仅是雨和霜，还有像鸟粪（bird droppings）和虫子飞溅（bug splatters）这样的污染，都是常见的，对人的感知是有害的。此外，外壳至少可以保护脆弱的传感器免受来自飞石、冰雹、酸雨或融雪剂等腐蚀性物质的钝器损伤（blunt traumas）。唯一的问题是挡风玻璃后面的传感器或AV上的外壳需要自动雨刷来清除雨滴和污染物。现代的汽车自动挡风玻璃雨刷系统中，光学或电子的雨水传感器能够完成这一任务，但污染检测技术仍在发展中。

但当然，更多的机械部件意味着更多的运动组件和潜在的功能障碍或损坏风险。有些人可能更喜欢一个静态的机制，比如作为雨刮器的替代品，加热器。在冬季或寒冷的雨中驾驶时，倾向于打开后窗和后视镜上的加热器，以消除雾气或霜冻，保持清晰的视野。因此，加热器当然也有助于保持传感器发射器或镜头的清洁。除了嵌入式耐热（heat-resistance）导线外，最先进技术也已开发出来。Canatu公司创造了碳纳米机器人（carbon nanobots），在不到6秒的时间内可以生成10◦，将其放置在传感器和前照灯的塑料盖上。这种机制不仅提供了不结冰传感器表面，而且对电动汽车（EV）至关重要的，几乎不消耗任何能量。

在珠宝和眼镜等行业中有一种广泛使用的工艺，即超声波清洗。这项技术利用压电元件（piezo electronics，PZT）产生35 kHz的超声波，并振动发射器表面，将污垢转移到水或清洗液的薄膜中。然后液体从表面雾化，带走污垢。这种机制是一个强大的工具库，可防止飞溅物、污垢和道路碎片等，最重要的是，雾凝结的影响。

被动设备

除了主动机制之外，还有一些被动解决方案可以帮助缓解不利影响。疏水膜（Hydrophobic membrane）应用于汽车挡风玻璃已有几十年的历史，并被证明能够提高视距并将最小视角降低近34%。研究还表明，这种改进大大有利于目标检测和路标读取，这对于ADS至关重要。因此，没有理由拒绝AVs传感器盖上的疏水涂层（hydrophobic coatings），PPG（Pittsburgh Plate Glass）公司已经在汽车玻璃上开发了相关的防水产品。

除了先进技术，有时机械解决方案可以简单到把一块布放在仪表板上。一家KoPro日本公司开发了极低反射涂料（reflection paint），称为Musou Black，并生产了一种植绒纸（flock sheet），由人造丝织物（rayon-base fabric）制成，在可见光和近红外下的反射率小于0.5%。只需将植绒纸放在汽车仪表板上，而挡风玻璃上几乎看不到汽车内部的反光；即使是晴天，驾驶室人眼的整体感知，也明显增强，如图所示：

这种摄像头感知改善只需花费30美元左右，这可能是目前机械解决方案中最好的性价比。

集成和重标定

尽管有额外的机械部件，外壳不可避免的问题仍然是一样的：作为外部世界和传感器之间的最后一层保护层，外壳本身和挡风玻璃一样需要一个警报系统。由于某些传感器（如行车记录仪）仍安装在挡风玻璃后面，即使前排座椅没有人，防护眼镜的结构完整性仍然需要确保。尽管现在的挡风玻璃是用嵌有聚乙烯醇缩丁醛（polyvinyl butyral ）的防碎玻璃制成的，但不是牢不可破的。苹果汽车已经申请了一项专利，在早期阶段使用红外检测挡风玻璃上的碎片和裂缝，以防止裂纹扩大和成为碎片，这可以被视为苹果为AV安全铺平道路的一部分。

机械部件结构完整性预警是硬 币的一面，而硬 币另一面是重标定。AV传感器受到寿命效应的显著影响，并导致退化。目前流行的ADS传 感器设置是：车顶支架上的激光雷达；车身周围或挡风玻璃后面的摄像头；雷达和超声波部件隐藏在金属网罩或前/后保险杠内。由于每个传感器工作状态的容忍度公差很小，因此任何机械部件发生的任何冲击或状态变化都可能使传感器很容易偏离对齐。外壳弧线或普通位置的微小变化可能会导致摄像机失去聚焦；激光雷达或雷达支撑结构中肉眼看不到的变形可能会使其视野偏离设定的间隔；即使是重量或胎压变化引起的汽车重心高度变化也可能导致传感器的感知结果与以前不同。博世公司，用绿色激光发射可见的直线来帮助进行标定。

美国三大汽车公司，福特、通用、斯泰兰蒂斯（以前的FCA），都要求对其巡航和车道保持系统进行动态重新标定，其中包括运行设计域（Operational Design Domain，ODD）的测试驾驶和速度要求。本田和梅赛德斯的一些车型需要在典型维修的基础上进行静态和动态重新标定，这可能很容易花费大笔资金。这些讨论可能并不完全属于天气范畴，但不利条件肯定会对传感器的寿命产生影响。因此，为了弥补AV重新标定成本的上升，AVs的机械部件需要更高的耐用性和鲁棒性。

四、感知增强

1 雨

知道下雨是无法避免的，自然希望AV首先意识到下雨的存在。在气象学中，雨是通过气象雷达和固定的雨量计来观察和测量的。汽车上安装气象站对于商业推广来说并不实用，早期阶段有基于车辆的二元（湿/干）下雨（precipitation）观测，当时目的还不是为了自动驾驶。尽管这些方法成功地实现了实时现场下雨感知，但这些数据来源于模拟，并且仅根据气象雷达而不是真实数据进行验证。

从前面的上下文中，我们知道细雨（drizzling）和小雨几乎不会影响主要ADS传感器的性能，如激光雷达，但当降雨率上升时，确实要担心。有研究在路边放置一个固定的激光雷达，比较了距离检测变化、信号强度变化以及几个检测区域（包括道路标志、建筑外墙和沥青路面）的检测点数量变化。问题在于，不仅测试场景是固定的，而且沥青路面与雨水垂直，建筑立面与雨水平行这一事实也影响了量化标准的公正性。尽管如此，这是一个通过直接量化降雨引起的激光雷达性能变化来量化降雨的想法。按照这一思路，只要基准能够精确且具有包容性，当需要采取某些措施来应对降雨影响时，可以设置降雨影响的阈值。比如两个参数：降雨率（由降雨发散系数表示）和清晰条件下激光雷达传感器包括90%反射目标的最大距离，成功生成降雨率和传感器性能之间的定量方程。这里设计和验证是在降雨率易于控制的模拟环境下进行的。即使没有进行现场验证，结合适当的降水感知模式，现在完全有可能知道，根据降雨率激光雷达性能何时下降到临界水平。这一点，通过设置可量化的基准有助于大大简化决策过程。

在除了1550nm波长的新激光雷达技术出现之前，摄像头仍然是雨中感知增强的主要焦点，主要是在去雨技术方面，计算机视觉领域对此进行了深入研究。雨滴的检测和清除，可分为下降雨滴和摄像机保护罩的附着雨滴。为了去雨，已经使用了几种训练和学习方法，包括Quasi-Sparsity-based training和持续学习等。

虽然已经使用各种训练和学习方法对去雨进行了广泛的研究，但大多数算法都遇到了附着雨滴的挑战，并且在降雨率或场景动态性较高时表现不佳。考虑到假定的光学条件得到满足，附着雨滴的检测似乎很容易实现，但实时去除附着雨滴，不管性能如何，不可避免地会带来处理延迟的权衡。PSNR和SSIM方法虽然得到了广泛的应用和微弱的改进，但与深度学习和CNN相比，在雨滴检测和去除方面似乎差多了。

2 雾

雾在恶劣天气条件下的感知增强起着重要作用，主要原因有两个。首先，雾室测试环境的快速发展，其次，各种天气（包括潮湿天气、薄雾和灰尘）的雾格式通用性，换句话说，都是相对均匀的方式降低能见度。

一种在雾和浓烟条件下对测距进行在线波形处理的想法如下：与传统的TOF激光雷达不同，采用RIEGL VZ-1000激光器通过反射特性（反射率和方向性）、尺寸、形状和相对于激光束的方向等特征来识别目标；这意味着，该回波数字化的激光雷达系统能够记录目标波形，从而通过其波形来识别被检测目标性质，即雾和浓烟；此外，由于雾引起的振幅衰减速率与雾的密度有关，因此对能见度距离分类，过滤掉不属于该范围的假目标。

尽管该实验被限制在一个非常近的范围内（30米），但为恢复隐藏在雾和烟雾中的目标铺平了道路，只要信号功率保持在指定的水平以上，不管衰减和散射效应如何。能见度太低的话，比如低于10米，几乎完全不能检测。最重要的是，波形识别的概念将多回波技术引入商业激光雷达的市场。

SICK AG公司开发了一种HDDM+（High Definition Distance Measurement Plus）技术，该技术以极高的重复率接收多个回波；其MRS1000 3D激光雷达能够识别雾、雨、尘、雪、树叶和栅栏的波唯一性，并且在很大程度上保证了目标检测和测量的准确性。其还能够设置感兴趣区域（ROI），其边界基于最大-最小信号以及最大-最小检测距离建立。这种技术为解决暴雨和其他极低能见度条件下的成块雾问题提供了非常有希望的解决方案。

无论如何，波形识别和多回波处理是目前激光雷达感知增强的主要指导思想，如果半导体技术能够跟上市场需求的步伐，它应该能够表现出更大的潜力。

毫无疑问，激光雷达和雷达的结合也可以解决雾的情况。比如一种以激光雷达和雷达为特征的Multimodal Vehicle Detection Network（MVDNet）：它首先从两个传感器提取特征并生成提议，然后多模式融合处理区域特征，改进检测；基于Oxford Radar Robotcar创建了训练数据集，评估结果显示，在雾天条件下，其性能比单独使用激光雷达要好得多。

还有一种思路是，在检测后从3D点云中消除雾：使用强度和几何分布分离cluster，并定向和移除。其中的限制是，实验环境是室内实验室，算法设计用于建造工作条件能见度太低的搜索/救援机器人，无法适应在远区存在光束发散和反射的室外驾驶场景。但这也提醒人们去噪方法，即在雾天条件下的去雾技术。

由于图像采集传感器对外部环境的敏感性，特别是在有雾的天气下，户外图像将经历严重退化，如模糊、低对比度和颜色失真。这一点对特征提取没有帮助，对后续分析有负面影响。因此，图像去雾（de-hazing）技术受到了广泛的关注。

图像去雾的目的是消除恶劣天气的影响，增强图像的对比度和饱和度，恢复有用的特征。总之，从雾的输入估计干净的图像。目前，现有的方法可分为两类：一种是基于图像处理的非模型增强方法（直方图均衡、负相关、同态滤波器、Retinex等），另一种是基于大气散射模型的图像恢复方法（对比度恢复、人机交互、在线地理模型、偏振滤波等）。前者虽然可以提高对比度，突出纹理细节，但没有考虑雾图像的内在机制。因此，场景深度信息得不到有效利用，会导致严重的颜色失真。后者根据大气散射的物理模型，从输入中推断出相应的无雾图像。一般来说，模型本身是一个不适定问题，这意味着其求解涉及许多未知参数（如场景深度、大气光等）。因此，许多去雾方法将首先尝试在某些物理约束下计算未知参数中的一两个，然后将其组合到恢复模型中，以获得无雾图像，如图所示：

最近基于物理先验的单一图像去雾算法仍然是焦点。通常先对模型参数的约束、先验或假设进行预先定义，然后在大气散射模型的框架下恢复干净图像，如对比度先验和光线假设。然而，推断这些物理先验知识需要专业知识，并且在应用于不同场景时并不总是有效。随着深度学习理论的发展，越来越多的研究者将这种数据驱动的方法引入该领域。

尽管该领域已经接近成熟，主流方法仍然使用合成数据来训练模型。因为收集一对有雾和无雾的真实图像需要捕获具有相同场景亮度的两幅图像，这在真实道路场景中几乎是不可能的。不可避免地，现有的去雾质量标准仅限于非参考图像质量标准（NRIQA）。最近的工作开始使用专业的haze/fog generator收集雾数据集，该发生器模拟雾场景的真实条件，或多个天气叠加结构，该结构通过添加、交换和组合组件生成具有不同天气条件的图像。希望这一新趋势能带来更有效的指标，并推动现有算法在ADS上的部署。

3 雪

雪天感知分为两个分支：一是降雪造成的信号或图像清晰度下降，就像雨滴一样，降雪速度较慢，但体积较大；另一个是由于积雪导致的寻路问题，这在早期阶段就已经引起了自主机器人的注意。

由于雪的白色与路面相比非常明显，因此简单的思路可以通过不同的RGB元素值来区分可驾驶和不可驾驶路径，然后应用基于对雨天或雪天捕获的图像灰度值建模的滤波算法来实现去除。虽然在路边积雪的情况下相当简单，但这也为在雪天条件下处理同样的问题打下了良好的基础。

降雪应对方法再次回归到去噪技术，即使对激光雷达点云也是如此。

摄像头的除雪技术与除雾技术类似，比如一种用于除雪的deep dense multi-scale network（DDMSNet）：雪首先由一个粗清除网络进行处理，该网络包括三个模块：预处理模块、核心模块和后处理模块，每个模块包含dense block和convolution block的不同组合；输出是一个粗略的结果，其中降雪的负面影响被初步消除，并被馈送到另一个网络以获取语义和地理测量标签；DDMSNet通过自注意从语义和几何先验中学习，生成无雪的干净图像。有趣的是，Photoshop可以从城市景观和KITTI数据集中创建大规模的雪景图像来进行评估。

要生成雪，可分三步来做：首先，OpenGL用深度信息重建3D真实场景；然后根据物理和气象原理将雪花分布到场景中，包括来自风、重力或车辆位移速度的运动模糊；最后，OpenGL在真实图像中渲染雪花。深度信息对于重建场景至关重要，因此图像要么从立体视觉摄像机或现实世界的其他传感器（如上述两个数据集）采集，要么从深度信息完全可量化的模拟器（如Vires VTD或CARLA）采集。雪花有两种形式：2-D的扁平晶体（flat crystal）和3-D的三对垂直四边形（perpendicular quads）构成的厚聚合雪花，这确保了合成的雪看起来尽可能接近真实。毫无疑问，利用合成的雪和雾图像去噪可以帮助机器学习，并在恶劣天气条件下大大增强摄像头的感知能力。

4 光有关的因素

尽管强光和眩光对AV有严重影响，但专门针对光有关问题的解决方案非常有限。通常的想法是依靠某些融合模式的冗余和鲁棒性，配备了与强光无关的传感器，这使眩光检测或强光感知成为这样的工作。

在自主驾驶中一个阳光眩光数据集，称为Woodscape，包括天空的直射阳光或干燥道路的阳光眩光、潮湿道路被阳光眩光抹去的路标、反射表面的阳光眩光；眩光是通过图像处理算法检测，有几个处理模块，包括颜色转换、自适应阈值、几何滤波器和斑点检测，并用CNN网络进行训练。

眩光和强光可能不容易去除，但在计算机视觉领域，借助吸收效应（absorption effect）、无反射闪光线索和照片曝光校正技术，类似条件下的反射相对还是可去除的。该原理遵循反射对齐和传输恢复，可以很好地消除图像的多义性，特别是ADS中常用的全景图像中。它仅限于可识别的反射，在极强光线下会失效，因为无法获得图像内容知识。同样的原理也适用于阴影条件，其中原始图像元素完好无损，某些区域的亮度稍低。这种图像处理使用与前类似的计算机视觉技术，也可以先生成阴影，然后去除阴影。Retinex算法也可用于弱光条件下的图像增强。

至于高温道路上的幻景效应，它有一个弱点：道路上的高温区域是固定的，并且符合地平线的特征。由于激光雷达和雷达的存在，反射和阴影条件不会威胁到成熟的ADS。

5 污染

污染严重影响ADS传感器的感知，就像侵入传感器视线一样。例如，备用摄像机的污染效应如图所示：

因此，污染让系统的鲁棒性和适应性面临着严峻的考验。Valeo公司有团队创建了一个名为SoilingNet的数据集，该数据集同时具有不透明和透明污渍，并开发了一种基于GAN的数据增强技术，用于自动驾驶的摄像头镜头污渍检测。与雨或雪不同，一般土壤通常被认为是不透明或半透明的，因此互补传感方法可能无法在足够的精度下执行。Valeo团队再次从人工污渍图像生成开始，因为在实际驾驶条件下无法同时获取污渍图像和相同的干净图像。CycleGAN网络将生成具有随机污渍的图像，该图像提供从语义分割网络获得的模糊掩码，该语义分割网络对生成的污渍图像应用高斯平滑滤波器，最后，污染图像的合成版本由原始图像和通过掩码估计的污染图案组成。唯一的问题是，CycleGAN不受污染图像设计区域的限制，而是对整个图像进行变换，因此他们仅对掩码区域施加限制，并将网络修改为新的模型DirtyGAN。此外，该DirtyGAN根据数据集Woodscape生成了一个Dirty数据集，并且基于城市景观数据集的退化评估进行验证。可以说，一旦ADS能够检测到污染，就可以启动雨刷或喷雾器等机械设备去除了。

SICK 传感器公司的microScan 3安全激光扫描器可以抵抗严重污染。此近距离安全监视器用845nm激光器扫描275◦ 角度，在室外天气条件下可用前面提到的HDDM+进行工作。该传感器的亮点在于，即使锯末（sawdust）等污染附在发射器遮盖窗口情况下，仍然可以检测到附近存在的目标，而不会出现假警报，这得益于其难以置信的宽扫描角度和以0.1◦ 角分辨率发射多个脉冲的能力。当污染在极端恶劣的条件下打败了几乎所有传感器时，这种传感器有潜力成为为AV和障碍物之间的最终屏障。

五、分类和评估

1 天气分类

天气分类是指在单个图像上区分清晰与否等几类天气分类。进一步的机器学习技术，如核学习，实现了晴天、雨、雾和静态雪等多类天气分类。这一阶段分类任务是通过设置具有各种天气独特特征的分类器来实现的。阳光特征来自图片的晴空区域，形成高多维特征向量；当天空元素未包含在图片中时，具有可靠边界的强阴影区域成为晴朗条件的指示器。雨天痕迹在图像中很难被捕获，因此从图像中提取特征作为雨特征向量。降雪被视为噪声，具有特定灰度的像素被定义为雪花。雾由暗通道确定，其中一些像素在至少一个颜色通道（即暗通道）中具有非常低的强度。随着人工智能技术的发展，机器学习神经网络（如深度CNN）被采用，增强特征提取和学习性能。

注：配备V2X或V2I设施的传感器，完成天气分类的工作方式相同，但需要额外的数据传输步骤。

2 能见度分类

能见度定义最初是作为人类观察者的主观估计。为了测量meteorological quantity，或者说大气透明度，它客观地定义meteorological optical range （MOR）。在自动驾驶的情况下，当能见度被量化为特定数字时，通常意味着MOR。例如，Foggy Cityscapes数据集中的雾场景，其每个不同版本都有一个恒定的MOR。由于天气条件往往会导致不同程度能见度下降，因此有助于提高ADS能见度下降的意识，检测错误和提前避免碰撞。目前，能见度分类很大程度依赖于基于摄像机的神经网络方法，并按几十米间隔的距离分类，而不是精确值。考虑到摄像机在ADS的低成本和不可替代的地位，这个问题也得到了很好的研究。

事实上，在气候学天气和能见度之间存在着相关性，几十年前就有人对驾驶员能看到的距离与降水率之间的对应关系进行了研究。这种类型的一对一对应关系图在相当长的范围内工作，因为大多数预处理不会将道路能见度降低到1km以下，远离当前AV的视觉关心点。能见度危机主要来自雨天的水幕和薄雾，有时这不仅仅取决于降雨量。似乎只有能见度通常低于几百米的浓雾/污染烟雾或沙尘暴，才以这种直接方式考虑。

3 风险评估

无论人工驾驶还是AV，有一个重要的定义，称为Stopping Sight Distance（SSD）。根据美国国家公路运输协会（AASHTO）定义，SSD是反应距离（假设人的反应时间为2.5 s）和制动距离（减速率为3.4 m/s2）的总和。作为参考，设计SSD在60 km/h的速度下通常为85 m。考虑到机器的响应速度应比人类快，有假设AV的反应时间为0.5 s（至少15个图像帧，或5个激光雷达帧，或20个雷达帧），这意味着AV的SSD要短得多，安全挑战也要大得多。Mobileye提出了AV安全的RSS模型，其最重要的规则是“不要撞到前面汽车”的纵向距离控制。

当恶劣天气来袭时，有两种可能会对这些基本安全规则构成威胁：（1）受损的传感器，如脏摄像头，会失去部分能见度或失去视线上的周围部分环境，（2）恶劣天气条件，如细水雾（mist）或浓雾，会将能见度降低到低于SSD的临界水平。

这种情景大大增加了输入变量的不确定性，破坏了预设的安全标准和阈值。与复杂的道路场景类似，当AV很难检测或预测行人或自行车时，在可疑位置提供如激光雷达点云足够密集的信息，以便根据能见度提前调查风险水平，这是有意义的。风险评估或可靠性分析模块应纳入与能见度相关的所有决策和控制过程，以确保在任何可能和不可预测的条件下AV的最大安全性。

六、制图和定位

1 SLAM

SLAM方法广泛应用于机器人和室内环境，在室外不会经常面临潮湿天气的挑战。然而，不同季节特征描述子的变化在一定程度上影响了SLAM的准确性。除了季节变化外，气候引起的影响，包括树木落叶和生长以及地面被雪覆盖也是部分原因。

为了解决SLAM的鲁棒性问题，SeqSLAM可以识别连贯导航序列而不是匹配单个图像，这算是SLAM在光线、天气和季节变化条件下的早期改进。SeqSLAM在不同运行中假设良好对齐，这是一个弱点，可能导致未cropped图像或不同帧率序列的性能较差。更进一步的改进，首先用深度卷积神经网络（DCNN）从两个给定序列中提取全局图像特征描述子，然后利用一个相似矩阵的序列信息，最后计算序列之间的匹配假设，实现不同季节数据集的闭环检测。

尽管视觉SLAM可能已经变得非常强大，但地图在必要信息方面的不足（与表观变化无关）仍然是SLAM的主要问题之一。随着时间推移，定位漂移以及地图在各种驾驶条件下的耐用性不足也阻碍了SLAM进行长距离导航，与自主驾驶中基于预建地图的定位相比，显得缺乏竞争力。

2 先验地图

用于比较和匹配、用于定位目的的在线读取的、参考预建地图称为先验地图，这是目前ADS定位的主要力量。保证基于先验地图点云匹配精度的一个关键方法是地标搜索。现在AV驾驶最直接的方法是让AV像人类一样思考和行为。人如何处理低确定性定位的一个典型例子，是日本北海道的雪柱“Yabane”（雪柱上的向下箭头），如图所示：箭头指向道路边缘，并且在夜间闪烁或反光，因此驾驶员可以大致了解其在道路上的相对位置，并防止其偏离和离开路边。

在自动驾驶的早期阶段，radio frequency identification（RFID）技术被用于机器人在受控环境中和ODD的定位。当机器人到达一米或两米范围内时，天线可以读取路线检查点嵌入RFID标签的地理信息。工厂或仓库中的AGV（Automatic Guided Vehicles）仍在使用此类方法。有了V2I通信，AVs可以享受相同的定位特权。鉴于标记的存在被认为是固定的，AV定位的标记搜索基本思想应运而生。

像福特这样的企业与主要从事详细3D先验地图的公司密切合作，他们的自动Fusion轿车将用摄像头或激光雷达在路边寻找停车标志或其他标志杆等标记，并通过计算其与先验地图中这些标记的相对距离来感知其自位置。虽然听起来很简单，但这仍然使福特能够在不增加硬件成本的情况下，以厘米为单位准确定位AV。然而，潜在的成本和困难在于不断更新和维护先验地图，这也是地图公司正在努力的方向，以实现更智能、更高效的系统。

3 传感器解决方案

ADS中所有参与的传感器，激光雷达、雷达和摄像头，都有机会在恶劣条件下进行定位，而多传感器位置识别被证明更为稳健。Oxford Robotcar数据集的雷达扩展部分仅使用Navtech雷达在雨雪中完成地图构建和定位，这要归功于雷达在恶劣天气下的特殊性。出现一种用多分辨率高斯混合图的鲁棒激光雷达定位方法：其将点云离散为二维网格，并在z轴上扩展高斯混合分布；这有助于将点云压缩为具有参数化表示的压缩2.5D图；该方法，在各种道路纹理条件下（包括建筑）以及在恶劣天气（如下雪）下，具备导航的能力；测试表明，与传统的基于反射率的定位（不算是一个问题）相比，正常市区条件下的均方根（RSM）误差略有增加，这样下雪条件下横向和纵向的RSM误差率降低了80%左右。

4 横向定位

除了沿道路行驶方向外，车辆在垂直于行驶运动的横向定位也同样重要，因为巡航时保持在车道内是一项重要的交通规则，也是安全驾驶的保证之一。在恶劣天气条件下，横向定位面临的挑战是，用于正常定位的许多元素，如车道线、路缘、路障和其他地标，以及感知传感器，目前可能不可用或受到影响。在一些寒冷的地方，即使在晴天，道路也可能被积雪覆盖；雨雪天气下，激光雷达或摄像机接收到的噪音或干扰，可能会阻塞重要的参考车道标记；因此，在这种情况下，AV很难在正确的车道上转弯或通过十字路口。

路边的积雪为激光雷达创造了具有不规则分布的尖锐灰度峰值，而雪雨天气产生的湿元素在道路上留下了低反射率的线条。老路的磨损和树枝伸入道路空间的植被有时也会造成反常现象。这些会使激光雷达对车道线的实际位置和道路区域的边界产生混淆，从而导致错误的横向移动。

七、规划和控制

1 规划

天气对全球路线规划的影响可能还没有进入人们的视野，因为需要长距离的实地测试，不可预测天气达到的条件难以满足。但是，想象一下，飓风或洪水等极端天气造成的气象灾害或地质灾害，道路损坏或对户外活动构成威胁，全球路径规划模块必须调整其原始路线并在受影响区域周围让AV导航。与智能手机上的导航功能类似，地图应用程序可以在途中提醒客户发生事故或道路作业，并在预计时间因情况而延长时自动去优化路线。CERI（The Civil Engineering Research Institute of Cold Region）冰雪研究团队在日本北部地区开发一项广域信息提供服务，该地区积雪普遍存在，可以向司机的手机发送有关当前降雪、能见度和预测信息的警报或电子邮件，并提供暴风雪周围的绕道选择。对AVs，这种功能依赖于互联网连接设备和海量数据挖掘，因此，在天气条件下，像这样的任务，需要物联网或至少车-车（V2V）联网，就像洪水警报系统一样。

值得一提的是，冬季驾驶模式和道路磨损预防，是当地路线规划中的一个关注问题，因为自主驾驶是一个不断完善的过程：如果穿梭服务AV反复驾驶同一条路线，且其驾驶路线没有任何变化，随着时间的推移，其行驶路线的精度将接近厘米，道路将面临磨损的凹槽，或在冬季面临危险的滑道。

2 控制

毫无疑问，恶劣天气条件下的车辆控制或决策模式不会为了适应而保持不变。一个典型的例子是：AV在道路上遭遇雷雨，能见度骤降（plummeting）；AV必须进行调整以应对不利条件，包括减速、针对低能见度和潮湿路面激活应对策略等。众所周知，当路面潮湿或结冰时，制动距离会更长，追尾碰撞的风险会大大增加。根据对车速为80 km/h时车辆制动距离的研究，雨、雪和结冰路面条件下的道路摩擦系数分别为0.4、0.28和0.18，而平均干燥路面摩擦系数约为0.7。考虑到公共汽车或卡车自身的高惯性，雨天条件下的制动距离变化不大，但轿车的制动距离增加了10米；在下雪条件下，制动距离增加28%，在结冰条件下，制动距离大幅增加71%，普通轿车可达180米，卡车和公共汽车可达300米。这一惊人的数据在提醒大家，在恶劣条件下，尤其是路面潮湿或结冰时，AV的行为需要进行某些调整。大量延长的制动距离需要更长的跟车距离，必要时可能需要更低的巡航速度。

当路况发生变化时，可能还需要为某些类型的车辆切换牵引模式。因此，对AVs造成的天气影响直接产生了行为调整需求。

在大风（gale）天气或在大面积水域的桥梁上行驶时，车辆承受与车辆行驶方向垂直的巨大作用力。这称为侧滑（side-slip），通常由侧风（crosswind）引起。侧风稳定（Crosswind stabilization），通常是ESC（electronic stability control ）系统的任务，它稳定车辆的横向运动，以防止打滑。然而，当车辆开始打滑时，作为冗余，ESC系统被延迟启动，使用制动器纠正对yaw reference model的偏差。对于ADS，最好采用比人工驾驶更具判断力的主动式转向控制模式。

除了算法模型，业界更关注AV控制的实际性能。风险评估是运动规划和控制的主要基础，而天气条件会几何增加风险指数和控制难度。上述打滑和牵引力损失导致的轮速计与实际车辆运动不匹配不仅对自车的定位构成威胁，而且对AV控制的成功执行也构成威胁。自主驾驶技术提供商Sensible4公司采用多个传感器监控车轮的控制堆栈。实际加速度、车轮转速和车轮角度信息，对于控制模块进行正确修改和保持精确控制，至关重要。至少可以说，这是L4级或更高级车辆的遥控器，没有安全驾驶员。工作人员将坐在远程控制中心监控AV的运动和数据，并在必要时接管。

最后，有一点并非最不重要，当乘客舒适度在很大程度上取决于AV的控制算法时，ADS不应忽视这一点。应避免不必要的加速和突然制动，以获得乘客的最佳驾驶体验，但这还不是全部。如果有任何不利的驾驶条件，对AV行为的不信任和缺乏信心，扰乱了人们的神经。因此，为了确保消费者的安全，安装信息显示系统，如HUD（heads-up displays），特别是在低能见度条件下，提示AV即将出现的运动，这仍然可以被视为技术公司和制造商的良好选择。

八、辅助方法

1 路面检测

最初，路面检测旨在对沥青、草、砾石、砂等道路类型进行分类，以更好地提供牵引能力。另一方面，路面状况的变化是天气状况，特别是潮湿天气的直接结果，因此，将路面检测视为天气分类的辅助手段是很自然的。虽然由于高温，幻觉效应也会发生在道路表面，但它更多的是与光有关的情况，而不是道路的物理变化。

湿滑路面对交通安全构成实际威胁。道路状况的信息可能与汽车的天气状况一样重要。除了道路摩擦或环境传感器外，还可以通过多种方式确定干燥或潮湿条件。一个基于视觉的DNN可以估计道路摩擦系数，因为使摩擦减小的干燥、光滑、泥泞和结冰表面，基本上可以被识别为晴朗、雨雪和冰冻天气。

路面检测也可以以我们意想不到的方式执行：音频。在不同路况或不同湿度条件下，车速、轮胎表面相互作用和噪音的声音可能是独特的，因此有理由训练一个深度学习网络。存在一个问题，即车辆类型或轮胎类型可能会影响这种方法的通用性，以及在AVs上安装声音收集装置的不确定性难度。

2 航空视图

早在引入自动驾驶之前，激光雷达技术就被广泛应用于地理测绘和气象监测。地质、水文、林业和植被覆盖率可以通过安装在飞机甚至卫星的激光雷达进行测量。航视优点是视野覆盖范围非常大，障碍物比从地面看的要少。随着UAV（Unmanned Aerial Vehicles ）等无人机技术的快速发展，俯视图交通感知变得越来越现实，俯视图可以看到地面上看不到的东西。例如，在交叉口，AV只能根据其领车而不是超出可见范围的东西进行操作，然而，UAV可以看到领车的领车，并预见远离AV的风险，提前避免事故。航空激光雷达使AV自感知进入宏观视角。

目前阻碍航空激光雷达部署到ADS中的最大问题是传输和通信。如果没有先进的无线信道，很难从一定距离将无人机的数据或决策实时传输到AV，更不用说，鸟瞰图不足以覆盖隧道和高架道路常见的现代城市环境。因此，尽管航空图像分割和目标检测的研究正在进行，但目前的主要用途是静态任务，如结构检查。

3 路边装置 （RSU）

路边激光雷达与汽车顶部不同的角度，已经开始参与自动驾驶。与鸟瞰装置类似，安装在杆上的路边装置（RSU）激光雷达也具有广视角，并且在下雨天不会受到水幕的影响，也不会受到周围车辆在下雪天气造成的卷雪影响。稍微向下的角度也可以避开一些直接的阳光。如果有可用的连接系统，AV可以利用路边激光雷达捕获的数据，并进行更好的规划。有时，当天气条件太恶劣，任何传感器都无法在浓雾等状态下可靠工作，路边激光雷达提供的数据可以作为冗余，配合ADS在AV上做出的决策，减少重要位置的事故。

通过连接车辆系统或V2X系统，路边激光雷达至少可以从其自身位置向附近车辆提供天气分类信息和感知数据，这已经比单独工作的AV要好。世界上的几个城市，如密歇根州的安娜堡、西班牙巴塞罗那、中国广州，已经启动了他们的智能城市项目，数千个路边激光雷达和传感器将安装在城市基础设施上，并形成一个巨大的本地连接系统。可以想象，如果路边有先进的天气感知传感器，那么恶劣的天气难题将更容易解决。

4 V2X

V2X系统是智能交通系统（ITS）和ADS发展中不可忽视的一部分。无论经验丰富的驾驶员熟练程度如何，由于驾驶员之间道路信息不对称和反应时间短，事故仍然会发生。V2X系统将信息收集范围从一辆车的感知扩展到道路上几乎所有元素感知。这里的“一切”或X可以指其他车辆、路边基础设施、甚至行人。要将行人纳入V2X或进一步的物联网（IoT）系统，需要先进的可穿戴设备或通用智能手机技术支持。一般V2X，主要是车对车（V2V）和车对基础设施（V2I）的恶劣天气解决方案。

V2V的核心是连接车辆（CV）之间的信息共享，这从根本上消除了信息不对称问题。在正常情况下，由于地形或交叉口的原因，车辆前方的卡车或视线以外的车辆等视觉障碍，是发生事故的高风险。通过V2V技术，自车能够从另一辆车上获取感知数据和位置信息，而另一辆车的视野目前无法到达，因此驾驶员或自车可以通过附加信息做出正确决策和调整行为来避免事故。在恶劣天气方面，首次体验或感知到天气状况或路面状况变化的车辆可以在其他车辆到达该位置之前进行天气评估，然后将感知数据或评估结果转发给其他车辆，以提醒他们注意危险。

如果不利条件导致交通堵塞或事故，后面的车辆可以根据实时收集的信息规划新路线，以提高交叉口和建筑工作区的效率和安全性。有了V2V技术，卡车在公路或码头区域的车队安排（platooning）将成为ADS的第一个成熟应用。近90%的驾驶员发现，前方碰撞警告和改道功能非常有用，因为其改进了路况信息。因此，可以肯定地说，V2V可以给ADS带来的改进是毋庸置疑的，不过其关键技术在于同步、定位和协同。

另一方面，V2I不如V2V流畅，但在智能传输方面仍有很大潜力。如图所示即V2I布置。

除了天气信息服务或具有自己的天气感知能力时在特定路段提供警报外，V2I还提供了基于多图像的去风化（de-weathering）的可能性。通过在晴朗天气下拍摄特定场景的图像并将其预先存储在基础设施中，可以轻松重建不受天气（雨、雾、雪等）干扰的3-D模型，并将其提供给附近的车辆，帮助在低能见度和不完整的道路信息下安全导航。当然，这样的功能需要在基础设施和车辆之间进行实时视频（快速图像）共享。这就需要对大容量激光雷达点云数据进行压缩以进行V2X传输，也是电信界致力于V2X通信方法实现更高带宽和更低延迟的原因，如第五代无线技术，即5G从服务器访问此类视觉数据并在车辆之间传输。

与感知方法一样，V2X的架构也在不断改进，以更好地应对天气条件。有一个有趣的平台叫OpenXC，是一个API，结合了开源软件和硬件，用定制的应用程序和模块扩展车辆。大多数应用程序都基于Android，可以读取和翻译汽车指标，最重要的是，它们已准备好连接服务集成。举两个与恶劣条件相关的例子：Night Vision项目，Nighttime Forward Collision Warning，使用标准USB网络摄像头捕捉目标的边缘进行目标检测，并帮助避免动物或障碍物碰撞。Brake Distance Tracking项目装有SICK DMT-2激光雷达传感器测量车辆之间的距离，并在驾驶员接近其他动量过大的车辆时发出警告。这些设置看起来很简单，但它们都运行在Android平台上，比如可以访问传感器数据和实时车辆数据的平板电脑。这意味着，只需再多走一步，就能形成一个连接这些安卓设备和中央连接的CV网络。凭借其开放的兼容性和集成灵活性，OpenXC是简化的方式探索V2X的一个很好候选。目前，物联网作为智能领域的全球平台，正在一次一个地为ADS中的安全问题服务，因此毫无疑问，凭借丰富的天气和道路数据，物联网系统的可靠性和多功能性将使自动驾驶成为现实。

5 其他

恶劣的天气条件给人类驾驶员带来了挑战和影响。因此，一些设计用于增强人类驾驶员的解决方案仍然可以用于AV。下雨或下雪时能见度会下降，尤其是在晚上的时候。当数字图像中的雨雪条纹在计算机视觉中成为一种趋势时，有人研究一种智能汽车前照灯，通过禁用与雨滴或雪花颗粒相交的光线来穿透雨雪。在光吞吐量损失很少的情况下，跟踪并避免在雨滴上的照明，成功地实现了明显的能见度改善。鉴于车载摄像头现在看到的与当时人类驾驶者看到的没有太大区别，这种智能头灯也应该能够提高ADS的能见度。

随着近年来人工智能技术的快速发展，在ADS应用中不可能绕过机器学习的新方法，包括恶劣天气解决方案。例如，NVIDIA DRIVE对DNN的主动学习。主动学习从标记数据上经过训练的DNN开始，然后对未标记的数据进行排序，并选择它无法识别的帧，然后将帧发送给人工标注，并添加到训练池中完成学习循环。在夜间场景中，雨滴模糊了镜头，很难检测到带雨伞和骑自行车的行人。事实证明，主动学习的准确度要高出3倍以上，并且能够避免误报检测。其他新兴的机器学习方法，如迁移学习和联邦学习，在强健的人工智能基础设施上也非常有效。

九、工具

1 数据集

自主驾驶研究离不开数据集。目标检测任务中使用的许多特征需要从数据集中提取，几乎所有算法都需要在数据集中进行测试和验证。为了更好地应对自动驾驶中的不利天气条件，必须在数据集中有足够的多样条件覆盖各种天气。不幸的是，大多数常用于训练的数据集并不包含太多与晴朗天气不同的条件。在热带地区收集的一些著名数据集，如nuScenes包含新加坡的一些降雨条件，A*3D包含夜间降雨条件，ApolloScape包含一些强光和阴影条件。

研究人员收集了他们生活领域中常见的天气数据，或者使用模拟仿真建立自己的天气数据集。密歇根大学在早期阶段使用Segway机器人收集了四季的激光雷达数据。第一个专门关注雪况的AV数据集，是CADC（Canadian adverse driving conditions）数据集。加拿大滑铁卢大学的8台摄像机、激光雷达和GNSS+INS收集了冬季的变化。他们的激光雷达也通过去噪方法进行了修正。大量的雪存在使研究人员能够在各种雪况下测试目标检测、定位和地图，这在人工环境中很难实现。Oxford RobotCar是早期的数据集之一，该数据集对不利条件（包括大雨、大雪、阳光直射和夜间，甚至道路和建筑工程）进行了加权。有团队对Cityscape 数据集应用雾合成，生成了具有20000多幅清晰天气图像的Foggy Cityscapes，广泛用于除雾任务。同一团队后来引入了ACDC，这是一个不利条件数据集，具有相应的密度，用于训练和测试不利视觉条件下的语义分割方法。它涵盖了视觉领域，包含高质量的精细像素级语义注释雾、夜间、雨和雪图像。

2 仿真器和实验设备

自动驾驶的快速发展，特别是在恶劣天气条件下，得益于模拟平台和实验设施（如雾室或测试道路）的可用性。如图所示，著名的Carla模拟器等虚拟平台使研究人员能够构建定制设计的复杂道路环境和具有无限场景的非自车参与者，而这些场景在实际现场实验中极其困难且成本高昂。

此外，对于天气条件，各种天气的出现，特别是与季节相关或极端气候相关的天气，并非随时能出现。例如，热带地区不可能有机会进行降雪测试；而自然降雨的时间可能不足以收集实验数据。最重要的是，不利条件通常对驾驶是危险的，受试者在正常现场测试中总是面临安全威胁，而绝对零风险是模拟器可以保证的。模拟器为恶劣天气条件下自主驾驶的研究提供了一个很好的平台。近年来，各种模拟平台，包括开源和不开源软件，已经开发出可调节的天气条件和“time of day”插件。因此，ADS可以在路上实车测试之前，在模拟器中先进行，以对抗雨、雪、不同降水率的雾和强光。

另一方面，实验室环境也可以用控制场代替实际现场做测试。考虑到试验场地的限制和对周围人员或设施的安全危害，带有雨（雪）制造的内室或者封闭式人工轨道，可提供几乎相同的环境条件，具有可控降雨和低风险的优势。至少可以说，即使有足够的资源和适合研究人员需要的完美天气条件，现行立法机构也很难支持在不利条件和恶劣天气下做等于或大于4级的自动驾驶测试。

十、总结

随着先进的测试仪器和激光雷达体系结构中的新技术的发展，在普通潮湿天气下自动驾驶的性能已经取得了很大的进步。近年来，随着计算机视觉的发展，雨雾天气的呃呃处理似乎越来越好，但激光雷达仍有一些改进空间。另一方面，雪，仍处于数据集扩展阶段，针对❄雪的感知增强还有一些工作要做。

影响的两个主要来源，强光和污染，在研究和解决方案方面仍然不丰富。无论如何，在对抗恶劣天气条件方面，具有独特优势的各种传感器如热像仪和雷达，正积极部署在各种传感器融合模式中，为导航任务提供强大的强化工具。希望通过大家的共同努力，可以提高ADS的稳健性和可靠性，将自主驾驶研究提升到下一个自动化水平。

参考文献

1. “Autonomous Driving in Adverse Weather Conditions: A Survey“， arXiv 2112.08936，December，2021
2. “Is it Safe to Drive? An Overview of Factors, Metrics, and Datasets for Driveability Assessment in Autonomous Driving”. IEEE T-ITS，2020.
3. “The impact of adverse weather conditions on autonomous vehicles: how rain, snow, fog, and hail affect the performance of a self-driving car”. IEEE VT magazine，2019.
4. “The perception system of intelligent ground vehicles in all weather conditions: A systematic literature review”. Sensors，2020.
5. “Automated driving recognition technologies for adverse weather conditions”. IATSS research，2019.