这年头自动驾驶还安全吗？
想必大家懂得都懂……
那难道目前业界就没有一个很好的安全防范措施吗？
或许是有的，比如目前 L4 自动驾驶里用的最广泛的用来提高系统鲁棒性（健壮性）的多传感器融合感知（Multi-Sensor Fusion based Perception）技术，即融合不同的感知源，比如激光雷达（LiDAR）和摄像头（camera），从而实现准确并且鲁棒的感知。
然而最近来自加州大学尔湾分校（UC Irvine）的一个专攻自动驾驶和智能交通的安全研究团队，在实验研究了「工业级 L4 自动驾驶系统里的感知模块的安全」之后，发现，多传感器融合感知技术存在一个安全漏洞，使得攻击者可以 3D 打印出一个恶意的 3D 障碍物。
▲ 3D 打印出来的恶意障碍物
只需把 3D 障碍物放在道路中间，就能让自动驾驶车辆的 Camera 和 LiDAR 机器学习检测模型都识别不到，从而从根本上绕过多传感器融合感知模块让其识别不到这个障碍物并且撞上去，造成严重交通危害。
这项研究工作在今年已经正式发表在 IEEE S&P 2021（计算机安全四大顶会之一）。
论文链接：https://arxiv.org/abs/2106.09249
研究工作概览和亮点
在自动驾驶系统里，实时「感知」周围物体，是所有重要驾驶决策的最基本前提。感知模块负责实时检测路上的障碍物，比如：周围车辆，行人，交通锥 （雪糕筒）等等，从而避免发生一些交通事故。
因为感知模块对无人车安全的重要性，商业高级别（L4）无人车系统普遍采用多传感器融合的设计，即融合不同的感知源，比如 激光雷达（LiDAR）和摄像头（camera），从而实现准确并且鲁棒的感知。
在这样的设计中，根据「并非所有感知源都同时被攻击（或可以被攻击）」这一假设，总是存在一种可能的多传感器融合算法，可以依靠未被攻击的源来检测或防止单感知源攻击。这个基本的安全设计假设在一般情况下是成立的，因此多传感器融合通常被认为是针对现有无人车感知攻击（单感知源攻击）的有效防御策略。
然而研究者发现，在识别现实世界中，这种多传感器融合的障碍物感知存在漏洞。通过这个漏洞，研究者可以同时攻击不同的感知源，或者攻击单个感知源（只有 LiDAR 或者 camera 的检测），使得无人车无法成功检测前面的障碍物并直接撞上去。
在这项工作中，研究者首次对当今无人车系统中基于多传感器融合的感知进行了安全分析。研究者直接挑战了上述基本的安全设计假设，证明了「同时攻击自动驾驶多传感器融合感知中所有感知源」的可能性。
这使研究者第一次具体了解到使用多传感器融合作为无人车感知的一般防御策略能提供多少安全保障！
具体来说，研究者发现恶意 3D 障碍物可以被用作针对基于多传感器融合的无人车感知的攻击载体，同时具有隐蔽和物理上可实现的特点。研究者的关键发现是，3D 障碍物的不同形状可以同时导致 LiDAR 点云中的点位置变化和 camera 图像中的像素值变化。
因此，攻击者可以利用形状操作，同时向 camera 和 LiDAR 引入输入扰动。
这样的攻击载体还有另外两个优点：
-
它很容易在物理世界中实现和部署。例如，攻击者可以利用 3D 建模构建这类障碍物，并进行 3D 打印。目前市面上有很多在线 3D 打印服务，攻击者甚至不需要拥有 3D 打印设备。
-
它可以通过模仿能合法出现在道路上的正常交通障碍物，如交通锥或障碍物（如石头），并伪装为比较常见的磨损或破损的外观，实现高度隐蔽性。
▲ 生活中比较常见的磨损或形状破损的交通物体和看起来比较奇怪的石头
为了使其既容易部署又能造成严重的碰撞，攻击者可以选择较小的障碍物，如岩石或交通锥，但用花岗岩甚至金属填充，使其更硬更重。例如，一块 0.5 立方米的石头或一个 1 米高的交通锥，里面填充一些铝，很容易超过 100 公斤，如果汽车在高速行驶时撞到，有底盘损坏、撞碎挡风玻璃甚至失去控制的风险。
另外，攻击者还可以利用某些道路障碍物的功能（如交通锥作为标识的功能）。例如，攻击者可以设计一种仅针对无人车的攻击，将钉子或玻璃碎片放在生成的恶意交通锥障碍物后面，这样，人类驾驶员能够正常识别交通锥并绕行，而无人车则会忽视交通锥然后爆胎。在这里，安全损害并不是需要由碰撞交通锥体本身造成的，因此在这种情况下，恶意的交通锥体可以像普通交通锥体一样小而轻，以使其更容易 3D 打印、携带和部署。
MSF-ADV 攻击
为了评估这一漏洞的严重性，研究者设计了 MSF-ADV 攻击，它可以在给定的基于多传感器融合的无人车感知算法中自动生成上述的恶意的 3D 障碍，研究者提出创新性的设计提升攻击的有效性、鲁棒性、隐蔽性和现实生活中的可实现性。
研究者选择了 3 种障碍物类型（交通锥、玩具车和长椅）进行测试，并在真实世界的驾驶数据上进行评估。研究者的结果显示，在不同的障碍物类型和多传感器融合算法中，研究者的攻击实现了 >=91% 的成功率。
研究者还发现，研究者的攻击是：
-
基于用户研究，从驾驶者的角度看是隐蔽的；
-
对不同的被攻击车的位置和角度具有鲁棒性，平均成功率 > 95%；
-
制作出来的恶意的 3D 障碍物可以有效转移并用于攻击其他 MSF 算法，平均转移攻击成功率约 75%。
基于优化的恶意的 3D 物体生成概述
如下图所示，给到一个初始化的良性的 3D 障碍物（如交通锥），首先要对其做一些鲁棒的变换，然后和目标道路的照片和点云一起输入到渲染模块。在这个模块里，可以利用可导的渲染技术，将 3D 障碍物渲染到照片和点云里。
该模块的目的是为了实现模拟现实环境中摆放 3D 障碍物，并获取传感器数据。然后这些数据会输入到特征提取模块来提取相应的特征，再把这些特征输入到相对应的神经网络。
根据神经网络的输出设计目标函数，即降低 3D 障碍物在网络中的置信度，从而达到让物体消失的目的。同时本文还有一些隐蔽性和物理可实现性的设计，最终我们可以根据梯度来更新这个 3D 障碍物从而生成恶意的 3D 障碍物。
▲ 基于优化的恶意的 3D 物体生成概述
实验评估与攻击演示
为了了解攻击在物理世界中的可实现性和严重性，研究者 3D 打印了生成的恶意障碍物（下图 3 所示），并在使用了多传感器融合感知得真车上进行评估。
▲ 3D 打印出来的恶意障碍物
下图 4 是研究者使用的装配了 LiDAR 和 camera 的测试车辆。研究者发现恶意的障碍物可以在总共 108 个传感器帧中的 107 帧中（99.1%）成功躲过多传感器融合的检测。
▲ 安装 LiDAR 和 camera 的真车设置和检测结果
在一个微缩模型的实验环境中（下图 5 所示），研究者发现研究者的恶意的障碍物在不同的随机抽样位置有 85-90% 的成功率逃避多传感器融合感知的检测，而且这种有效性可以转移。
▲ 微缩模型的实验环境和检测结果
为了了解端到端的安全影响，研究者使用产品级的无人车模拟器 LGSVL 进一步评估 MSF-ADV（图 6）。
在 100 次运行中，研究者的恶意的交通锥对 Apollo 的无人车造成 100% 的车辆碰撞率，相比之下，正常交通锥体的碰撞率为 0%。
▲ Apollo 和 LGSVL 在端到端攻击评估的截图
多传感器融合不是自动驾驶安全的万全之策
本文研究的一个比较大的贡献是让大家意识到多传感器融合感知同样存在安全问题。很多前人工作事实上把多传感器融合当做对于单个传感器攻击的有效防御手段，但是之前却并没有文章去系统性的探究这一点。
研究者的工作填补了这一个关键的知识空白，证明其实并不完全是这么一回事。研究者生成的 3D 恶意的障碍物可以让多传感器融合感知系统失效，从而导致无人车撞到这种物体上并造成交通事故。
研究者认为比较切实可行的防御手段是去融合更多的感知源，比如说更多的不同位置的 camera 和 LiDAR，或者考虑加入 RADAR。但是这不能从根本上防御 MSF-ADV，只能是说让 MSF-ADV 生成过程更加困难。
研究者已经就这个漏洞联系了 31 家自动驾驶公司，同时建议它们应用这些缓解手段。研究者觉得不论是研究者还是自动驾驶公司都需要投多更多精力去系统性地探究自动驾驶里的的安全问题。