汽车导航ir,汽车导航怎么实现人机对话

AR技术在智能汽车上的应用正在进入关键时刻，同时成为继传统显示、语音交互、视觉交互之后的另一个舱内交互的增量引擎。

上周，一家名为Basemark的公司宣布，该公司为宝马新iX纯电动车型开发了新的增强现实功能，通过融合传感器数据和计算机视觉提供AR增强导航显示。

在此之前，包括上汽荣威（斑马系统）、奇瑞星途、梅赛德斯·奔驰（MBUX系统）等多款车型都搭载了类似技术量产上市。在AR HUD大规模上车之前，汽车制造商已经开始提前行动。

“唯一增加的硬件就是摄像头（未来还将与ADAS摄像头进行复用），剩下就是软件，结合GPS和地图数据。”行业人士表示，增强现实方案的一个目标是减少分心，通过让导航信息更容易理解，减少驾驶员需要看屏幕的时间。

“AR改变了司机未来使用导航的方式，”哈曼互联汽车部门负责人表示，奔驰MBUX信息娱乐系统正是由该公司提供的解决方案，基于前视摄像头提供的视频图像，对导航信息进行增强。

高工智能汽车研究院监测数据显示，2021年中国市场新车（不含进出口）前装标配搭载AR导航（非HUD）的上险量为16.69万辆，同比增长228.54%。此外，AR-HUD搭载量也在快速增长。

就在近日，三星子公司哈曼宣布已经收购专门从事汽车增强现实（AR）和混合现实（MR）技术研发的德国软件公司Apostera，目的是扩大汽车产品线，并引领AR/MR体验的前装赛道。

此前，Apostera的混合现实解决方案是将增强现实、机器学习、计算机视觉和传感器融合在一个与硬件无关的软件平台上。未来，结合哈曼的数字座舱产品组合，这些新的软件解决方案将实现前装的快速大规模落地。

“我们知道增强现实将定义未来的用户界面，”英伟达CEO黄仁勋表示，“未来如果新车没有搭载增强现实能力，就无法吸引更多消费者的兴趣。”尤其是智能摄像头和更快的渲染速度，有助于驱动计算机视觉、ADAS和数据融合。

为此，英伟达还开发了一套名为Drive AR的软件堆栈，可以显示POI兴趣点、ADAS预警、驾驶统计数据和导航提示。奔驰的MBUX系统就是案例之一。

而对于哈曼来说，“这是一次非常重要的收购，因为我们觉得整个行业正在发生巨大的变化，而不仅仅是电动化，这只是一个起点。从我们的角度来看，真正发生的是消费体验的变革。”

与HUD的结合，也是AR引擎未来的关键赛道，并且也是中短期内的增量市场。

此前，Apostera已经在奥迪Q4 e-tron配套的AR HUD上提供技术支持，驾驶员能够“感知”大约30英尺外的漂浮符号，这些符号可以发出车道偏离警告，或在自适应巡航控制模式下突出显示周边正在行驶的车辆。

Basemark也正在基于车载传感器为系统提供更多有关周围环境的信息。在今年初的CES展上，这家公司展示了带有物体检测原型的AR技术，通过直接接收原始摄像头和雷达数据，并进行传感器融合，在能见度较低时帮助驾驶员快速识别障碍物。

高工智能汽车研究院监测数据显示，2021年中国市场（乘用车自主/合资/独资）新车前装标配搭载HUD（W/AR）上险量为109.45万辆，同比增长57.96%。前装标配搭载率为4.74%，同比增加0.7个百分点。

其中，AR HUD前装搭载量超过5万辆。2021年，随着长城摩卡、吉利星越L等自主品牌新车搭载AR HUD上市，中国市场也迎来了AR HUD的元年。这是汽车增强现实技术新时代的开端，并从根本上改变导航、娱乐和自动辅助驾驶的体验。

而对于AR HUD来说，未来将形成一个完整的闭环产业链，不仅仅是光学设计以及相关硬件的成熟，配套软硬件技术也是关键。

比如，AR引擎需要提供了一个可以开发平台独立功能的环境，允许在不同的操作系统（Linux、Android）上开发，为了方便与车辆的传感器和功能集成，核心引擎需要传感器接口、API和基于代码的引擎软件和工具。

此外，基于AR引擎可以开发各种类型的显示应用，包括CID和HUD。开发人员可以根据车辆传感器获取的数据，使用AR核心引擎的功能，无论通过何种显示平台。

AR引擎通过使用计算机生成的视觉图形增强真实世界，显示情景关键信息，如ADAS警报、导航提示、兴趣点（POI）或行人检测。它还支持完全可定制的AR用户界面建模，而无需复杂的编码来增强用户体验（UX）。

业内人士表示，AR HUD体验的优化，必须建立在传感器融合框架之上，能实时合并车内传感器观察到的信息，并预测汽车周围所有感兴趣物体的未来状态。

信号处理框架确保AR内容针对车辆动态运动的稳定性，并减少AR内容与现实世界之间由系统延迟引起的时间延迟。同时，AR引擎在计算复杂度方面需要更好的优化，从而在低性能SoC环境中也可以获得理想的帧数。

比如，LG通过与Candera公司合作，借助后者的渲染引擎增强HUD显示效果，以最小化延迟，并提高指示信息的清晰度。此外，还有随时可用的控件和自动化的工作流程支持汽车制造商根据个性化需求定制显示方案。

不过，在过去两年多时间，从终端用户的评价来看，目前已经上车的AR导航炫但不实用是主要的吐槽点。比如，实景与箭头指示经常会出现不一致的偏差（部分原因和GPS有关），系统会无故退出（凯迪拉克上出现比较多）以及在特殊场景下，路标指示可见度较低。

当然，相比于传统导航，AR导航真正解决的用户痛点就是在于复杂的路口，传统导航无法直观的指引用户，导致走错路口。而AR导航会将导航指引信息实时渲染在前方实景道路上，大大降低了用户对地图的理解难度，帮助用户更轻松的通过复杂路况。

对于高速公路场景，AR导航功能融合ADAS，可以提供车道偏离提醒播报、前车碰撞预警播报，为用户在高速公路行驶时提供更加安全的提醒。

按照博泰公司相关负责人的介绍，目前，AR导航主要有两种实现技术路径，一种是基于ADAS引擎+DVR方案；一种是基于独立的AR引擎+DVR方案。

主要涉及到的视觉感知引擎功能是前车识别、道路识别和交通标识识别。在此基础上，与导航引擎在上层的数据融合层进行交互。

其中，前者的优势在于成熟的方案，准确度较高；同时不占用现有的座舱仪表的主机算力资源，但问题是受限于ADAS方案提供商的硬件配置。

而独立的AR引擎+DVR方案，则强调视觉算法识别能力以及对车机的CPU、GPU资源占用较高；但功能实现更加丰富、自由、开放。

此外，要让AR技术在新车上产生更多应用可能，还需要得到更多硬件、开发工具、内容服务生态的支持。从4G到5G，网络的数据传输速度更快，延迟更低，这有利于提升用户的体验流畅度。智能摄像头和更快的3D渲染速度，有助于驱动计算机视觉、ADAS和数据融合。

同时，一些汽车制造商正准备增加对移动物体、行人和车道偏离的警告。这个过程中，深度跟踪和同步定位、映射(SLAM)技术被用来确定到目标的更精准距离。

最后，还包括一些开源AR SDK、平台工具和应用软件开发框架，来支持汽车制造商和Tier1可以缩短方案的开发时间。比如，博泰的AR导航，既可以提供基于博泰地图产品，结合AR模块完成功能实现；也可以根据博泰AR SDK外部接口，传入固定数据实现。

同时，博泰已同部分AR-HUD厂商对接，将导航TBT多种信息，通过HUD投射至挡风玻璃，根据视角、折射等原理，人眼视觉能够看到真实世界外，还能看到在此之上叠加的信息，用户无需离开前方视线。

事实上，“通过将智能定位数据和AR导航集成到汽车中，汽车制造商可以提供更加个性化和完全可定制的移动导航体验。”而任何新生事物都会经历一个体验从一般到不断完善的过程。

按照Apostera公司的说法，随着ADAS功能越来越多元化，人机交互的要求也越来越高。“对于普通司机来说，经常无法理解系统为什么会被激活，以及如何运行，”解决这个问题的最佳方式就是系统可视化，而传统的ADAS可视化大部分是纯虚拟图像。

显然，通过AR方式引入真实路面场景（包括车辆周边的其他车辆、行人以及障碍物的真实图像叠加显示），有助于增加驾驶员对系统的信任，尤其是在真正自动驾驶成为常态之前。

在高工智能汽车研究院看来，考虑AR引擎与硬件可以实现完全分离，这也将成为未来软件付费模式的最佳案例之一。比如，从纯虚拟ADAS可视化升级为AR导航辅助驾驶。

而未来AR引擎交互的载体，也不再仅仅是液晶仪表、中控大屏、HUD，还有电子后视镜、车窗、天窗、后座显示屏等多种介质，甚至是未来的车载游戏娱乐。

AR技术在智能汽车上的应用正在进入关键时刻，同时成为继传统显示、语音交互、视觉交互之后的另一个舱内交互的增量引擎。

上周，一家名为Basemark的公司宣布，该公司为宝马新iX纯电动车型开发了新的增强现实功能，通过融合传感器数据和计算机视觉提供AR增强导航显示。

在此之前，包括上汽荣威（斑马系统）、奇瑞星途、梅赛德斯·奔驰（MBUX系统）等多款车型都搭载了类似技术量产上市。在AR HUD大规模上车之前，汽车制造商已经开始提前行动。

“唯一增加的硬件就是摄像头（未来还将与ADAS摄像头进行复用），剩下就是软件，结合GPS和地图数据。”行业人士表示，增强现实方案的一个目标是减少分心，通过让导航信息更容易理解，减少驾驶员需要看屏幕的时间。

“AR改变了司机未来使用导航的方式，”哈曼互联汽车部门负责人表示，奔驰MBUX信息娱乐系统正是由该公司提供的解决方案，基于前视摄像头提供的视频图像，对导航信息进行增强。

高工智能汽车研究院监测数据显示，2021年中国市场新车（不含进出口）前装标配搭载AR导航（非HUD）的上险量为16.69万辆，同比增长228.54%。此外，AR-HUD搭载量也在快速增长。

就在近日，三星子公司哈曼宣布已经收购专门从事汽车增强现实（AR）和混合现实（MR）技术研发的德国软件公司Apostera，目的是扩大汽车产品线，并引领AR/MR体验的前装赛道。

此前，Apostera的混合现实解决方案是将增强现实、机器学习、计算机视觉和传感器融合在一个与硬件无关的软件平台上。未来，结合哈曼的数字座舱产品组合，这些新的软件解决方案将实现前装的快速大规模落地。

“我们知道增强现实将定义未来的用户界面，”英伟达CEO黄仁勋表示，“未来如果新车没有搭载增强现实能力，就无法吸引更多消费者的兴趣。”尤其是智能摄像头和更快的渲染速度，有助于驱动计算机视觉、ADAS和数据融合。

为此，英伟达还开发了一套名为Drive AR的软件堆栈，可以显示POI兴趣点、ADAS预警、驾驶统计数据和导航提示。奔驰的MBUX系统就是案例之一。

而对于哈曼来说，“这是一次非常重要的收购，因为我们觉得整个行业正在发生巨大的变化，而不仅仅是电动化，这只是一个起点。从我们的角度来看，真正发生的是消费体验的变革。”

与HUD的结合，也是AR引擎未来的关键赛道，并且也是中短期内的增量市场。

此前，Apostera已经在奥迪Q4 e-tron配套的AR HUD上提供技术支持，驾驶员能够“感知”大约30英尺外的漂浮符号，这些符号可以发出车道偏离警告，或在自适应巡航控制模式下突出显示周边正在行驶的车辆。

Basemark也正在基于车载传感器为系统提供更多有关周围环境的信息。在今年初的CES展上，这家公司展示了带有物体检测原型的AR技术，通过直接接收原始摄像头和雷达数据，并进行传感器融合，在能见度较低时帮助驾驶员快速识别障碍物。

高工智能汽车研究院监测数据显示，2021年中国市场（乘用车自主/合资/独资）新车前装标配搭载HUD（W/AR）上险量为109.45万辆，同比增长57.96%。前装标配搭载率为4.74%，同比增加0.7个百分点。

其中，AR HUD前装搭载量超过5万辆。2021年，随着长城摩卡、吉利星越L等自主品牌新车搭载AR HUD上市，中国市场也迎来了AR HUD的元年。这是汽车增强现实技术新时代的开端，并从根本上改变导航、娱乐和自动辅助驾驶的体验。

而对于AR HUD来说，未来将形成一个完整的闭环产业链，不仅仅是光学设计以及相关硬件的成熟，配套软硬件技术也是关键。

比如，AR引擎需要提供了一个可以开发平台独立功能的环境，允许在不同的操作系统（Linux、Android）上开发，为了方便与车辆的传感器和功能集成，核心引擎需要传感器接口、API和基于代码的引擎软件和工具。

此外，基于AR引擎可以开发各种类型的显示应用，包括CID和HUD。开发人员可以根据车辆传感器获取的数据，使用AR核心引擎的功能，无论通过何种显示平台。

AR引擎通过使用计算机生成的视觉图形增强真实世界，显示情景关键信息，如ADAS警报、导航提示、兴趣点（POI）或行人检测。它还支持完全可定制的AR用户界面建模，而无需复杂的编码来增强用户体验（UX）。

业内人士表示，AR HUD体验的优化，必须建立在传感器融合框架之上，能实时合并车内传感器观察到的信息，并预测汽车周围所有感兴趣物体的未来状态。

信号处理框架确保AR内容针对车辆动态运动的稳定性，并减少AR内容与现实世界之间由系统延迟引起的时间延迟。同时，AR引擎在计算复杂度方面需要更好的优化，从而在低性能SoC环境中也可以获得理想的帧数。

比如，LG通过与Candera公司合作，借助后者的渲染引擎增强HUD显示效果，以最小化延迟，并提高指示信息的清晰度。此外，还有随时可用的控件和自动化的工作流程支持汽车制造商根据个性化需求定制显示方案。

不过，在过去两年多时间，从终端用户的评价来看，目前已经上车的AR导航炫但不实用是主要的吐槽点。比如，实景与箭头指示经常会出现不一致的偏差（部分原因和GPS有关），系统会无故退出（凯迪拉克上出现比较多）以及在特殊场景下，路标指示可见度较低。

当然，相比于传统导航，AR导航真正解决的用户痛点就是在于复杂的路口，传统导航无法直观的指引用户，导致走错路口。而AR导航会将导航指引信息实时渲染在前方实景道路上，大大降低了用户对地图的理解难度，帮助用户更轻松的通过复杂路况。

对于高速公路场景，AR导航功能融合ADAS，可以提供车道偏离提醒播报、前车碰撞预警播报，为用户在高速公路行驶时提供更加安全的提醒。

按照博泰公司相关负责人的介绍，目前，AR导航主要有两种实现技术路径，一种是基于ADAS引擎+DVR方案；一种是基于独立的AR引擎+DVR方案。

主要涉及到的视觉感知引擎功能是前车识别、道路识别和交通标识识别。在此基础上，与导航引擎在上层的数据融合层进行交互。

其中，前者的优势在于成熟的方案，准确度较高；同时不占用现有的座舱仪表的主机算力资源，但问题是受限于ADAS方案提供商的硬件配置。

而独立的AR引擎+DVR方案，则强调视觉算法识别能力以及对车机的CPU、GPU资源占用较高；但功能实现更加丰富、自由、开放。

此外，要让AR技术在新车上产生更多应用可能，还需要得到更多硬件、开发工具、内容服务生态的支持。从4G到5G，网络的数据传输速度更快，延迟更低，这有利于提升用户的体验流畅度。智能摄像头和更快的3D渲染速度，有助于驱动计算机视觉、ADAS和数据融合。

同时，一些汽车制造商正准备增加对移动物体、行人和车道偏离的警告。这个过程中，深度跟踪和同步定位、映射(SLAM)技术被用来确定到目标的更精准距离。

最后，还包括一些开源AR SDK、平台工具和应用软件开发框架，来支持汽车制造商和Tier1可以缩短方案的开发时间。比如，博泰的AR导航，既可以提供基于博泰地图产品，结合AR模块完成功能实现；也可以根据博泰AR SDK外部接口，传入固定数据实现。

同时，博泰已同部分AR-HUD厂商对接，将导航TBT多种信息，通过HUD投射至挡风玻璃，根据视角、折射等原理，人眼视觉能够看到真实世界外，还能看到在此之上叠加的信息，用户无需离开前方视线。

事实上，“通过将智能定位数据和AR导航集成到汽车中，汽车制造商可以提供更加个性化和完全可定制的移动导航体验。”而任何新生事物都会经历一个体验从一般到不断完善的过程。

按照Apostera公司的说法，随着ADAS功能越来越多元化，人机交互的要求也越来越高。“对于普通司机来说，经常无法理解系统为什么会被激活，以及如何运行，”解决这个问题的最佳方式就是系统可视化，而传统的ADAS可视化大部分是纯虚拟图像。

显然，通过AR方式引入真实路面场景（包括车辆周边的其他车辆、行人以及障碍物的真实图像叠加显示），有助于增加驾驶员对系统的信任，尤其是在真正自动驾驶成为常态之前。

在高工智能汽车研究院看来，考虑AR引擎与硬件可以实现完全分离，这也将成为未来软件付费模式的最佳案例之一。比如，从纯虚拟ADAS可视化升级为AR导航辅助驾驶。

而未来AR引擎交互的载体，也不再仅仅是液晶仪表、中控大屏、HUD，还有电子后视镜、车窗、天窗、后座显示屏等多种介质，甚至是未来的车载游戏娱乐。