热成像仪的原理
热成像技术通过将每个解析点成像到相机传感器中,来测量场景中的温度差异。这些传感器通常采用硅CMOS技术制造,被称为微测辐射热计(micro-bolometers)。
它对7.5-14微米波长范围内的热辐射敏感,这部分光谱是人眼和可见光相机(依靠入射光或光子)所看不到的。
动物和人类的体温通常与单一场景中其他自然或人工物体的体温不同。通过测量这些温度差异,可以在各种照明和模糊条件下提供无与伦比的感知能力,这在汽车应用中非常重要,因为远距离检测行人和动物对安全和自主性至关重要。
热成像仪在自动驾驶领域的应用
在21世纪初,几家汽车公司(通用汽车、宝马、本田等)率先部署了无源热像仪,主要用于在照明不足或大雾地区,防止动物碰撞或行人受伤。由于提高了夜间驾驶的安全性,这些都是严格意义上的辅助驾驶。
随着美国国防部高级研究计划局(DARPA)挑战赛启动了更高水平的自动驾驶,各种传感技术得到了重视,其中激光雷达(光探测和测距)吸引了大量关注和资金投入。
与雷达和可视摄像头一起,这套传感器被广泛宣传为是最理想的感知堆栈,可实现更高级别的自动驾驶——L3或有条件的自动驾驶,即人类驾驶员可以随时接管并在10秒警报后完全控制,以及在特定运行设计域(ODD)下的完全自动驾驶。
事实证明,实现L4自动驾驶比最初预期的要难,因为各种弯道案例都涉及到特定路况。一些公司正在将热像仪加入其中,因为它是一种传感器仪器,可以弥补LiDAR、雷达和视觉摄像头的差距,包括在环境不佳时(雾、烟、蒸汽)探测动物和人类。
Waymo和Plus尝试在传感器中添加热成像仪,帮助卡车在高速上实现自动驾驶。Nuro、Cruise和Zoox也在专用车辆上搭载了热成像仪,用于在人口稠密的城市提供最后一英里的食品、杂货配送和叫车服务。
美国国家公路交通安全管理局(NHTSA)是交通部(DOT)的下辖机构,在这一领域也很活跃,它最近为新车评估计划(NCAP)发布了征求意见稿(RFC)。
作为RFC的一部分,NHTSA提议增加四种新的高级驾驶员辅助系统(ADAS)技术。这些技术包括盲点检测、盲点干预、车道保持和行人自动紧急制动(PAEB)。特别是对于PAEB,RFC将热成像技术列为一种潜在的传感技术。
通用汽车公司对该RFC作出了回应,表示将远红外摄像头列为一种可以防止动物和行人碰撞事故的传感技术。有趣的是,提倡仅使用「可见光摄像头」实现自动驾驶的特斯拉,也建议在夜间条件下评估红外摄像机的PAEB。
Zoox也是支持使用热成像技术的其中一家公司,它在双向专用乘用车上使用了四个热像仪堆栈作为传感器套件的一部分。Jesse Levinson(Zoox首席技术官)对增加这一功能作了如下说明:
推进L4自动驾驶解决极端情况,重点是为机器学习堆栈提供安全驾驶的最佳信息。
热像仪通过感知热量,可以在光线和遮蔽条件下识别人类和动物。
这种传感方式可避免其他传感器(如LiDAR、雷达和可见光摄像头)无法应对极端情况,例如弱光、烟雾、雾和蒸汽。热像仪的使用有助于堆叠感知,以减少误报。
高速公路并不要求有热成像仪。对城市驾驶来说使用较宽的视野(FoV)和较低的成像范围即可。
传感器堆栈的成本始终是一个问题。但Zoox从事的是服务业务,而不是汽车销售业务。较高的传感器堆栈成本会随着时间推移和收入增加而摊销。
热像仪的供应商
热像仪的供应链在美国、欧洲、韩国、日本和中国都很发达。美国智能传感技术公司Teledyne-FLIR是一家领先的传感器供应商。该公司前身是20世纪中期位于加州圣巴巴拉的FLIR公司,它在2004年收购了红外成像产品开发商Indigo。于是,FLIR早期开始提供一些传感器,用于宝马等OEM厂商的辅助驾驶系统。之后,Teledyne于2021年收购了FLIR。
如今,Teledyne-FLIR是领先的低纬度红外热像仪供应商,产品应用范围广泛,从消防安全到无人机和汽车。John Eggert是Teledyne-FLIR公司的汽车业务开发主管。Boson系列红外热像仪现已进入第四代,有640×512像素的VGA(视频图形阵列)格式或320×256像素的QVGA格式,两种格式的像素间距均为12微米。
Teledyne-FLIR提供了重雾中行人探测性能的详细比较,包括可见光(0.4-0.7微米)、SWIR(短波红外,0.9-1.6微米)、MWIR(中波红外,2-3.5微米)和LWIR(8-12微米)的成像仪,以及LiDAR数据(0.9微米)。在这些选项中,LWIR对于不同范围和密度的雾气表现最好。
热成像仪的光学器件
光学器件是热成像的一个基本考虑因素。鉴于8-12微米的波长范围,锗是军用LWIR成像仪的传统选择。这种元素材料在这些波长上具有很好的光学特性。
然而,对于大批量的汽车应用,应该探索其他选择。原因之一是,全球90%以上的锗储量来自中国和俄罗斯,供应链可能存在问题。
总部设在比利时的优美科(Umicore)是一家领先的锗光学和半导体供应商,用于透镜、太阳能电池和红外VCSEL(垂直腔表面发射激光器)。据业务发展总监Bendix De Moulmeister称,鉴于当今行人死亡率升高,且因驾驶员分心而加剧,PAEB是一个重要的问题。
因此,世界各地的监管和安全评级机构都要求载人乘用车具备夜间和恶劣天气下的行人检测和AEB功能,热像仪在这方面至关重要。高水平自动驾驶(L3和L4)也将要求高速和城市驾驶配备这种功能。
De Moulmeister表示,与安装在L3和L4车辆上的热像仪相比,普通乘用汽车所需的热像仪将对成本更为敏感(<100美元/台)。普通乘用汽车需要低范围和更宽的FoV性能,并可能使用单个QVGA成像仪。
对于L3和L4的自动驾驶,VGA格式的成像仪将使用更昂贵的光学器件,以支持更远的范围和更窄的FoV,并在每辆车上部署多个摄像头,用于高速公路驾驶。
然而,所有的汽车应用都需要有锗光学器件的替代品。在材料制造和镜头制造方面,优美科生产的硫系玻璃具有以下优势:
体积可扩展性:玻璃透镜可以大批量成型,而不像锗透镜那样必须经过加工处理。批量生产促进了批量可扩展性、高生产率和低资金投入和劳动力成本。
操作温度范围:广泛用于汽车应用的温度通常为-40°C至+85°C。由于锗的特性,如传输损耗在这样的温度范围内变化很大,必须使用其他材料来加热制造,确保均匀的光学性能。硫系玻璃的特性可实现成本效益高的热化,在广泛的温度范围内获得稳定的性能。
尺寸和重量:锗的密度比玻璃大,因此更重。需要加热的设计也增加了尺寸和重量。
成本:上述因素导致玻璃透镜相对于锗的成本更低。由于摄像头的成本随着体积的减少而减少,光学器件成为材料清单(BOM)中的一个重要成本项。成本效益变得很重要,特别是如果要进行大规模的汽车部署。
锗的供应链问题:如前所述,90%以上的锗都来自中国和俄罗斯。
其他公司,如美国的LightPath Technologies以及德国和中国的一些供应商都在积极开发和生产用于热成像的硫系玻璃光学器件。美国国防部门在情报、监视和侦察(ISR)中使用LWIR摄像头,其某些应用也正从锗过渡到这种材料。
要想实现自动驾驶异常困难,特别是在公共交通领域,而安全是第一要务。如果目标是取代人类驾驶员,那么增加传感器以应对极端情况很重要。否则,正放缓步伐的自动驾驶将永远无法向前推进。
虽然人类是好司机,但有时受到天气和环境的影响,所以,提供性价比高的辅助驾驶也无比重要。热像仪就是对传感器系统的不错补充,那么,是否还需要更多的传感器模式呢?
原文链接:
https://infoworldnews.in/thermal-cameras-acquire-acceptance-for-adas-and-autonomous-vehicles/