智驾网 | 2025-01-09 14:20 作者:王欣 0

行业首个原生流式多模态座舱产品量产上车,商汤绝影「家庭新成员」迈出成长第一步

商汤绝影
商汤绝影CEO、商汤科技联合创始人、首席科学家王晓刚就表示,基于商汤「日日新5o」打造的原生流式多模态大模型让世间万物都可被感知、被理解、被交互。原生流式多模态大模型是让文字、语音、视频等模态一同输入,模型统一处理后输出相应模态的信息。

近日,商汤绝影与国内知名车企合作伙伴联手打造的行业首个原生流式多模态座舱产品已经量产上车,并向用户进行OTA推送。


在两个月前的2024「绝影实力AI DAY」上,商汤绝影首发了AI汽车创新产品「A New Member For U」(你的家庭新成员),它能够察言观色,无时不在,心有灵犀,将会让智能汽车拥有「有趣的灵魂」。原生流式多模态大模型是打造「家庭新成员」的关键之一,也是它能察言观色的核心所在。


如今,随着商汤绝影的多模态舱外识别功能量产上车,它已经开始认识并且理解世界,能够实现「前车识别」、「交通标志识别」和「沿途风光识别」等功能,识别准确率、识别范围等性能全面领先行业,还能和车内驾乘人员进行深入交流与互动,这位未来的「家庭新成员」迈出了成长的第一步。


 

随着小米、小鹏、比亚迪等企业纷纷上车多模态识别功能,多模态大模型上车已成为行业趋势。近日,商汤绝影的行业首个原生流式多模态座舱产品已经量产上车,舱外识别功能已向用户进行OTA推送。

商汤绝影量产上车的多模态舱外识别功能包括三大能力,即前车识别、交通标志识别、沿途风光识别。


“懂车博士”——前车识别功能


相当于把马路变成了流动4S店,也是大型的车型展览场,路上看到了喜欢的车型,或者不认识但又想了解的车型,随时随地就可以让车机这个“懂车博士”为你答疑解惑,从车型、价格、上市日期,到背后的发展历史,几乎无所不知。


image.png 


相较于已量产的同类功能,商汤绝影的前车识别功能认得更准、更多、更深、更新。


认得更准,就是商汤绝影前车识别准确率超过90%,领跑行业;在极端环境下,如晚上环境光线弱的时候,识别率依然很高。


同时,原生流式多模态大模型的强大指代能力,前面如果有三辆车,左中右分别为红黄蓝,如果问“蓝色车辆是什么车”,传统模型可能依旧会识别中间黄车,商汤绝影的原生流式大模型能精准识别右前方的蓝色车辆。


认得更多,是绝影的多模态能够识别的种类和范围非常广,尤其是豪车和小众品牌。甚至是伪装车、无车标等特殊外观,通过尾灯、外形、构造等品牌特点也可以识别。


认得更深,举例来看,现在很多车型已经不再生产,一部分经典车型仍然在道路上奔驰,它们背后有值得挖掘的历史,通过对话、图文等形式,绝影的前车识别功能可以把丰富且完整的信息展示给舱内用户,帮助他们全方位深入了解感兴趣的车型产品。


认得更新,是因为绝影的原生流式多模态大模型一直在持续训练和迭代,即使是上市不久的新车也能够快速识别。


“随车教练”——交通标志识别


商汤绝影的舱外识别功能不仅能识别前车,还能够识别交通标志,这也是行业首发的产品能力,其他上车的多模态大模型都没有做到交通标志的准确识别。


面对路面上越来越多的交通标志,即使是老司机有时候也会不知所措,反应不及。有了商汤绝影的「交通标志识别」功能,就相当于有了靠谱的驾校教练坐镇车内,交通标志的识别和解读信息不仅准确完善,车机系统还可以根据用户询问,给出驾驶建议,让司机驾驶起来更加安稳放心。

image.png

 

准确识别“车道数即将减少”的交通标志


“地陪达人”——沿途风光识别


商汤绝影的原生流式多模态座舱产品还能够对沿途风光进行识别,成为最强的地陪达人。大家免不了要接待来游玩的亲朋好友,也不一定能够对当地景点进行充分的介绍,「沿途风光识别」能够进行车辆行驶途中的建筑物和景点的识别,准确率高,达90%以上。在此基础上,它还可以提供图文介绍,详细讲解景点和建筑,相关的历史典故、趣闻轶事等都能信手拈来,娓娓道出。


如果对这个沿途风光感兴趣,用户可以询问车机,进一步了解信息,比如,朋友问你某个路过小区的房价,它也能轻松准确应对。


image.png


不止如此,商汤绝影的沿途风光功能还能结合不同用户的需求,制定特色旅游路线并推荐给用户,如网红打卡路线、亲子欢乐之旅、高校游览路线、美食路线等,带来全新的智慧出行体验。


智驾注:本文转载来源为智驾网,由AutoR智驾转载。
收藏 0 分享:
相关文章
关于智驾 关于投稿 商务合作