ADAS车辆在行人安全方面得分很低
ADAS vehicles score poorly on pedestrian safety
对于热衷于自动驾驶汽车（AV）的狂热者来说，一个现在病毒性的视频片段（如下所示），最初在CES期间在Flir展台放映，应该是一个警醒。
AV开发人员在自动驾驶系统方面取得的进步让驾驶员感到鼓舞，这是一个很好的理由，但是任何对当前自主技术的现状过于着迷的人都应该冷静一下，AVs在保证车外人员安全方面存在的重大问题。
为什么ADAS车辆，假设配备了行人检测自动紧急刹车（AEB）的车辆，在一个封闭的过程中，一个接一个地撞倒碰撞试验假人？
Flir是汽车行业热成像摄像机的供应商，利用AAA提供的视频片段制作了这个聪明的剪辑。去年秋天，美国汽车协会（AAA）对带有行人检测系统（AEB-P）的AEB进行了测试。
ADAS的目的是帮助驾驶员改善道路安全。但如果汽车制造商真的这么想，应该把更多的钱放在需要的地方。安全第一，自主性如何？正如Yole Dédevelopement首席分析师皮埃尔·坎布（Pierre Cambou）在LinkedIn的帖子中指出的，“同意Flir的观点，行人安全应该是ADAS的首要关注点。”
What did AAA find?
去年，美国汽车协会对ADAS车辆进行了测试，特别侧重于行人检测。这次测试导致美国汽车协会公布了毁灭性的结果。
通过剥去洋葱皮几层，可以了解为什么今天的ADAS车辆中的AEB-P功能如此严重无效。
美国汽车协会去年秋天对四辆2019车型年的汽车进行了AEB-P测试：一辆雪佛兰Malibu配备了前行人制动系统，一辆本田雅阁配备了本田感应碰撞制动系统，一辆特斯拉model 3配备了自动紧急制动系统，一辆丰田凯美瑞配备了丰田安全感知设备。
以下是主要发现：
如果一个成年人在白天被一辆时速为20英里的测试车横穿马路，那么这辆车在40%的时间里避免了撞到行人。更糟糕的是，如果测试车辆以每小时20英里的速度行驶，遇到一个孩子从两辆车之间冲进车流中，那孩子89%的时间都会被钉死。在30英里/小时的速度下，没有一辆试验车辆避免了碰撞。
成年人晚上过马路怎么办？算了吧。行人检测系统被证明无效。
研究结果导致美国汽车协会发布了一些建议，其中包括：“永远不要依赖行人检测系统来避免碰撞。这些系统是一种备用系统，而不是避免碰撞的主要手段。”
Collision warning vs. collision mitigation
碰撞警告与碰撞缓解
注意碰撞警告和碰撞缓解系统之间的区别是很重要的。警告系统将提醒驾驶员即将发生碰撞，但不会采取任何规避措施，如踩下制动器。缓解系统将警告驾驶员，如果不采取任何措施，系统将踩下制动器，以避免或减轻碰撞的严重程度。
“缓解”是美国汽车协会在其“行人检测”测试中专门评估的。
对任何外行人来说，看到一辆ADAS汽车不停下来让行人感到震惊。虽然美国汽车协会的测试结果得到了大量的媒体报道，但Flir的视频片段引发了人对许多未回答问题的新思考。
美国汽车协会测试的四辆车都使用“摄像头+雷达组件”。鉴于这种组合，是什么因素导致AEB-P功能如此不一致？
问题是否来自成像传感器和/或雷达的分辨率不足？
还是和传感器融合算法有关？
像Flir这样的公司提出这样的想法：使用像这样的热成像传感器可以帮助车辆在夜间看到行人。对此毫无疑问。但是，那么，这是一个问题，可以很容易地解决简单地增加另一个传感器（不同的形式）在传感器已经安装在这些ADAS汽车？
What makes AEB-P so difficult to pull off?
是什么让AEB-P如此难以实现？
VSI实验室的创始人和负责人Phil Magney告诉《EE时报》，“AEB是ADAS的基础，如果没有，甚至无法考虑进行自动驾驶。此外，是所有ADAS功能中最重要的，也是最有可能拯救大多数生命的应用程序。”然而，马格尼在AEB和AEB-P之间做了一个重要的区分。强调，AEB适应行人是“比AEB难一个数量级”
那么，是什么让AEB这么难做？
专家经常提到雷达容易出现误报，以及图像传感器提供的视野有限。即使将雷达和摄像机结合在一起，融合后的数据仍然只能提供对车辆周围环境的有限了解。也许最重要的是成本问题。汽车制造商倾向于使用成本较低的ADAS车辆传感器。鉴于ADAS功能预计将应用于大众市场车辆，汽车原始设备制造商不太可能为专业传感器（无论是激光雷达还是热成像）投入更多资金，以降低AEB-P故障的可能性。
False positives
马格尼指出，AEB很难，因为“AEB背景下的假阳性本身就可能导致致命的危险。”
马格尼解释说，雷达是AEB系统中的关键部件，因为能够测量碰撞时间。但雷达也会被误报，例如，把停着的汽车误认为危险物体。“所以，为了限制误报，不得不过滤掉很多数据。“雷达也有很多噪音，这也会导致误报，”说，“这就是为什么如果车有碰撞警告功能，会不时收到不寻常的碰撞警告。”
在AEB的一般背景下，Magney解释说：“AEB-P提高了性能要求，因为现在必须识别和跟踪路径上的人类。”承认雷达正在变得越来越好，“但在与人类打交道时仍然缺乏信心，所以通常会将其与摄像头结合起来。”
但事情是这样的。“虽然将摄像机与AEB-P的雷达耦合良好，但可能不够好。”
在马格尼看来，“有太多的环境条件限制了相机的性能，这导致了目前AEB-P系统性能不佳。”
Narrow field of view
视野狭窄
Yole Dédevelopment分析师Cambou告诉EE Times，基于摄像头或雷达或摄像头+雷达或摄像头+激光测距仪的AEB系统在安全方面的成功是有目共睹的。指出，全世界的追尾事故和死亡人数减少了大约50%，总体上减少了10%到15%。
In March 2016, most US-based OEMs pledged to install AEB in all vehicles by 2022. In April 2019, the EU parliament also voted for mandatory equipment by 2022.
但是，当同样的AEB技术应用于行人检测时，统计数据——车祸/死亡人数减少10%至15%——就不那么令人欣慰了。
当被问及为什么AEB-P难以实现时，坎布说，问题在于第一代AEB系统中车辆前方的“视野相对狭窄”。
这些第一代系统使用的是视觉处理器，如英特尔MobileEYQ3（通用、福特、大众）或东芝Visconti2（丰田）。在谈到这些车辆相对狭窄的视野时，坎布说：“这是AEB系统不能理解比车辆前方发生的事情多得多的主要原因。”
坎布估计，第一代AEB系统已经部署在大约6%的公路车辆和30%的新车上。坎布说，第一代AEB的有效性在10%到15%左右，这就是为什么到2022年在北美和欧洲配备AEB的汽车仍远未达到人常说的“零愿景”目标
但随着时间的推移，情况有望好转。
坎布指出：“新一代的AEB系统基于Intel MobileEyeQ4或Visconti 4，将改进这个FOV参数，通常通过放置更多视野更广的摄像头。”。
“今天，还不知道三重摄像头相对于单摄像头的安全优势，但应该更好。”
接下来是第三代AEB系统。坎布指出，这些将使用全方位车身摄像头。“这就是特斯拉将用全自动驾驶（FSD）电脑来做的。Zenity也在向原始设备制造商提供这种方法，”补充道。“通过了解整个环境，AEB应该随着时间的推移而改进。但问题是多快？”
AEB要保护行人不被ADAS汽车撞到，必须发生什么？坎布怀疑，汽车制造商将需要来自监管机构的压力或来自公众的强烈抗议。
What do we need for effective AEB-P?
那么，需要什么来让AEB持续地用于行人检测呢？
很明显，Flir正在为AEB-P推销其热成像技术。该公司描述了一种能够为RGB相机和雷达提供补充数据的热相机。Flir负责汽车的电子工程总监克里斯•波什（Chris Posch）说，热相机“看”热，“可以通过阳光和头灯的眩光和雾气，在包括夜间在内的恶劣条件下探测行人。”Flir声称，在黑暗中，可以看到比普通前照灯照明更远四倍的距离。
与此同时，在CES上，一家总部位于巴黎的创业公司Prophesee展示了一段由德国一家不知名汽车制造商制作的视频短片。比较了一个AEB系统使用一个常规的基于帧的视觉摄像头和另一个部署Prophesee的事件驱动摄像头。视频显示，PropheseSee的摄像头在发现行人时得分一直较高。
尤尔的坎布认为有三种方法可以接近AEB-P栏。
首先，“汽车制造商可以使用更多相同的数据，更多相同的计算，”指出。这是一种与Mobileye推出EyeQ4、EyeQ5和东芝推出Visconti 4、Visconti 5同步的方法。“美元含量基本保持不变，”坎布说，“在150美元左右，等待摩尔定律的改善。”
第二，汽车制造商可以寻求“更好的数据，或多或少使用相同的计算方法。”坎布说，这种方法“受到Flir、Prophesee和固态激光雷达公司的支持。”说，“缺点是一开始可能会花更多的钱。”但从营销的角度来看，“这些公司必须以目前的市场价格提供更好的系统。”
坎布指出，第三种方法是“更好的数据和更好的计算”。称之为“一种新的范式”，解释说这是将新的传感器与新的计算方法相结合。“认为这是神经形态感知和计算的希望。一些公司已经在传感器和计算机方面进行了创新……正在考虑Outsight，将为市场带来一种创新的高光谱激光雷达+感知算法。
Flir呢？
在目前可用的解决方案中，热敏相机前景看好。与普通的RGB相机相比，VSI实验室的Magney说，“热成像技术在探测和分类行人方面要高得多，因为分类是基于物体的热特征而不是可见光。”
但最常被问到的关于热相机的问题是成本。如果汽车制造商在ADAS车辆上增加一个热摄像头来实现有效的AEB-P，成本是多少？Flir的Posch告诉EE时报，“将在数百美元的范围内，而不是数千美元——激光雷达就是这样。”
虽然Flir的热摄像头已经被宝马、奥迪和其公司设计成一些型号，但既不是为AEB-P设计的，也不是为AEB-P而设计的，而是在夜间进行动物检测。对于AEB-P应用，Flir开发了一种带有VGA的新型热敏摄像头，其分辨率是现有热敏汽车摄像头的四倍。
去年秋天，一级汽车供应商威纳（veoner）选择了Flir的热感应技术，该公司与一家全球顶级汽车制造商签订了计划于2021年签订的四级自主汽车生产合同。
能证明吗？
与Flir签约的VSI实验室一直致力于概念验证，以证明热感应对自动紧急制动的好处。VSI实验室于2019年12月在底特律附近的美国移动中心进行了初步测试。
VSI Labs, contracted by Flir, conducted initial tests for AEB pedestrian detection, in the American Center for Mobility near Detroit.
据马格尼称，VSI实验室用于AEB-P测试的模型使用了一个与Flir相机耦合的Delphi ESR雷达。“在这次测试中禁用了RGB。但是，必须融合来自CAN总线的其传感器输入，如惯性、车轮转速、转向角、踏板位置等。这是编程AEB功能所必需的。”
除了声称作为一个被动传感器，没有什么比热摄像头更能检测到行人，马格尼还提到了人工智能对热摄像头的影响。
声称，“在VSI，已经证明了将人工智能应用于热图像采集的能力优于传统的RGB相机。”VSI实验室使用Flir ADK（汽车开发工具包）数据集训练其神经网络。指出，该数据集包括大约40000多幅带注释的热图像。解释说，VSI还开发了AEB算法，然后在ACM进行了大量测试。
马格尼总结说，总的来说，热相机在昏暗和杂乱的环境中更善于发现和分类行人。补充说：“热力系统还可以让部分闭塞的行人上车。”。
除此之外，说：“喜欢Flir的是汽车开发工具包，因为这让开发人员有能力制作自己的检测算法。更重要的是，Flir的ADK有许可证。