打造公路“头等舱”,智能座舱与交互革命进行时 | TF85活动回顾
12月8日,CCF TF第85期活动“打造公路头等舱——智能座舱与交互革命进行时”吸引了近百名行业内、外听众参与并互动,来自知名企业的技术专家从车载芯片IP、车载硬件平台、AI应用三个层面介绍了打造智能化座舱的技术挑战和实践经验,并与听众共同探讨座舱未来的新创新机会。
新能源汽车销量这几年在政策、资本的支持下快速增长,2022年仅前8月就超过去年全年,其“新四化”(电动化,网联化,智能化,共享化)发展进入新阶段。用户对汽车的理解从传统的出行工具升级为公司、家庭之外的第三空间,对座舱期望更高的安全性、舒适性同时,对智能化的体验也有了更深认识,而这些都依赖软件、硬件能力的换代提升。新能源汽车电子电气架构由分布式向域集中式发展,软硬件协同为趋势,借助OTA实现软件功能的迭代更新。传统座舱各组件通过独立ECU控制,而智能化座舱出现“一芯多屏”趋势,通过一颗芯片或域控制器支持多个操作系统,实现座舱内部件的集中控制。在强大算力芯片以及高度集成的硬件平台支撑下,语音识别、自然语言处理、图像识别、动作感知等人工智能算法逐步成熟,结合在一起能够为座舱打造出按键、语音、手势、生物识别协同的多模态智能化交互模式。
本次会议邀请到来自英特尔中国研究院资深硬件架构师王卓、安谋科技解决方案总监马飞、百度集团智能座舱研发负责人周华三位从事车辆智能化研究和开发的技术专家,从车载芯片IP、车载硬件平台、智能座舱AI应用三个层面给大家分享软件定义汽车、软硬协同的思考与最佳实践。
CCF TF智能设备与交互SIG主席、英特尔中国研究院院长宋继强博士作活动介绍。他首先回顾了往期TF组织的分享活动,并介绍本次议程重点关注的是正在发生巨变的新交互场景——汽车座舱,接着邀请CCF TF智能设备与交互SIG主席、联想集团副总裁王茜莺博士作开场致辞。
王茜莺认为与传统座舱相比,智能座舱能够为用户提供更加丰富,更加智能的体验,交互方式也更加多模态,不仅限于屏幕,更会拓展出三维空间的交互,可以说智能座舱就是车轮上的元宇宙,Meta on Wheels。汽车座舱可能也是除了公司、家庭之外,人们花费时间最多的第三空间。传统驾驶场景中车主需要关注行驶路况,但随着自动驾驶能力的不断提升,这部分被占用的注意力会被逐渐地释放出来,围绕这部分注意力空间的有效利用必定会催生出一系列全新场景、应用生态、商业模式,同时座舱也是个天然的、沉浸式的空间,随着汽车网联化进程的加速,元宇宙技术的不断创新也有机会给驾乘者带来更加丰富的车内体验。
《智能驾舱和智能驾驶的计算平台演变》
英特尔研究院资深硬件架构师王卓认为计算集中化,至少有三个选择,一是可扩展的开放计算平台,二是利用联合封装技术集成异构的计算芯粒,三是深度融合的共享处理单元,当然第三个选项也可以返回第一个选项,作为其中的一个运算模块,也可在此基础上扩充。这三个选项从易到难,生产难度和架构复杂度越来越高,但好处也是明显的,尺寸功耗会越来越低,但性能会越来越好。第一个选项可以基于现有的计算芯片扩展,算力是可以扩充的,冗余设计保障了系统的可用性。第二种,联合封装,建议先选择2D封装,国内的生产是可能的,如果提供异构缓存一致性,可编程能力会大大提高。第三种,计算单元融合共享,通过处理单元的可配置,来提高芯片支持的车规安全等级。
《服务车辆ECU、IVI、ADAS等多领域的IP组合及AI开发工具链》
安谋科技汽车业务线系统架构师马飞分享了Arm及Arm China针对汽车上不同应用领域产品的IP组合和系统解决方案,重点介绍了智能座舱的应用和技术发展趋势。随着汽车电子电器架构从分布式到域控及中央计算架构的演进,汽车芯片的需求也在变化。Arm在汽车上的MCU、域控制器、座舱SoC、以及ADAS SoC上都提供了相应的解决方案。以座舱应用为例,座舱集成了数字仪表盘、抬头显示、中央娱乐导航、环视泊车、驾驶员及乘客行为监控、驾驶辅助显示及警报、智能语音、电子后视镜等等,数字座舱带来了多屏显示、多系统支持、更复杂的功能安全和信息安全需求等变化。
马飞介绍到,针对这些技术的变化和应用需求,Arm推出了系统的汽车解决方案,包括汽车功能安全增强的IP组合,主要有Cortex-A78AE CPU、Mali-G78AE GPU、Mali-C78AE ISP,同时还提供相应的功能安全包以及软件工具来帮助合作伙伴进行汽车产品的设计和安全评估。Arm China在中国本土的开发团队也陆续推出了适合汽车mcu的CPU产品、汽车信息安全IP、通用的NPU处理器、以及多媒体处理器产品。这些产品都在合作伙伴的芯片上得到应用。
此外,马飞也提到针对目前NPU领域推理端软硬件生态碎片化、算法移植困难的状况,Arm China正在把周易NPU的软件进行开源,与合作伙伴来共建生态。
《座舱智能语音交互及前瞻技术研究》
CCF TF智能设备与交互SIG执行主席,百度智能座舱研发负责人、主任架构师周华从AI应用层面介绍了当前百度在智能座舱领域的技术沉淀以及产品创新。座舱中最典型的交互方式,也是最智能化体现就是语音交互,短短一句话的理解分成三个阶段:聆听、理解、满足,其中每个阶段都需要AI能力的支撑,例如聆听阶段将乘客的语音信号通过ASR转换为文本,涉及到的降噪算法、去回响模型、唤醒模型、定向增强算法、ASR识别大模型等;理解阶段则是从文本中提取各种意图信息,涉及到意图分类、实体词识别、槽位提取、指代消解等;最后的满足阶段也涉及到基于召回、排序的推荐,文本到语音TTS等技术。
车联网行业知识增强的文心大模型,但并不止步于此,百度通过剪枝、蒸馏、联合建模等多种方法优化后将这两个大模型移植至智能座舱的SoC运行,如高通晓龙8295,真正做到了端侧聆听、端侧理解、端侧满足,并达到了秒级响应。配合注意力追踪等视觉感知算法,可以实现无需唤醒、更自然的人机交互。通过视频,周华展示了国内智能座舱技术及产品创新,例如基于智能识屏技术的所见即可说功能,通过图像算法解析当前屏幕上可阅读的文字以及可控制UI组件,再配合文本的模糊匹配算法,乘客可直接通过说话方式操作屏幕上所有内容;虚拟数字人VPA的AI渲染加速;通过照片中的人物信息实现数字人脸高精度3D模型重构的PTA技术等。最后周华也展望了以多模交互、多音区协同交互等新的下一代智能座舱交互创新。
在线上互动环节,CCF TF主席、亮亮视野科技CEO吴斐代表参会的业内嘉宾,对座舱当前实践情况提出了不少细节问题,例如安谋科技的周易IP主要用于哪种类型的AI加速?最近火爆的ChatGPT和百度文心对比优缺点?Transformer大模型是否可以跑在车机芯片上?语音交互过程中有没有考虑到不同地区的方言出现识别错误而导致驾驶安全问题出现?
马飞代表安谋科技回复周易IP的定位是通用的NPU加速,可以支持视觉、语音类的AI应用,通过配置支持从小于1 TFlops至数百TFlops的算力。
对来自行业内嘉宾关注的问题,周华也逐个进行了仔细回复,如百度的文心主要用于自然语言理解,而ChatGPT目标是自然语言生成,与百度与其类似的能力是Plato;Transformer作为语音、视觉大统一模型趋势,百度已经成功地将ASR、NLU两个Transformer预训练大模型运行在高通8295的NPU芯片中,并且取得了不错的效果,10T Flops的算力已能实现较好的端侧聆听及理解;语音作为一种人机交互方式,具体动作的执行还有一层安全策略保障,并不会由于语音识别错误导致的安全失效。
还有些嘉宾对未来智能座舱的发展提出了更深入的思考,例如智能座舱计算平台的设计和性能如何适应应用的快速变化和发展?智能座舱现在有哪些新的趋势和技术点?
王卓指出常规对应用场景的架构设计只需将目标进行拆解、细分,即可得到较好的硬件系统,但应对未来变化的硬件平台设计是对架构师能力的挑战,既要留出弹性空间给不确定的功能,又要考虑新增的算力、接口对整车成本的影响,需要尽量预测到未来的变化。
马飞认为可扩展的架构、更灵活的IP组合才能够满足智能汽车未来在不同域下需求,例如算力在CPU、GPU、DPU、NPU等不同IP上的分布,安谋科技在每个方向上都提供了可配置的能力。
本期会议聚焦新能源蓬勃发展下的座舱智能化专业领域,知识跨度范围广,短短2个小时的分享包含了非常多的技术干货,从工程实践到创新升级,从硬件平台到AI应用,探讨积极并圆满结束。本期精彩报告和回顾视频可在CCF数字图书馆观看,欢迎持续关注TF更多精彩活动!
下期预告:
CCF TF89
20世纪90年代在《数字化生存》和《未来之路》中的预言在21世纪成为了现实,数字化转型已经成为各行各业的必修课,新的产业革命正在发生。
在实践中逐步认识到,数字化转型非常之难。不同行业不同规模不同数字化水平的企业需要根据实际问题和可行性寻求方案,没有通用解法。数字化转型不是简单的技术问题,不是即插即用,是组织整体战略,需要复合型人才和组织文化,人是最大的阻力,也是最大的动力。数据是基础,技术是工具,系统是手段,以业务为导向,持续迭代,稳扎稳打,保证工程质量。转型是创新,数字化转型不是唯一的创新路径,而创新有基因窘境,创造第二曲线需要跨越鸿沟。产业升级进化没有终点,商业没有绝对标准。
产业智能化SIG联合更多行业专家,分享探讨经典案例,从实践中总结经验教训,互通有无取长补短,沉淀数字化转型的方法论,凝聚共识,推动各行业数字化转型行稳致远。1月10日,欢迎报名!
识别或扫码报名
报名链接:https://conf.ccf.org.cn/TF89
关于CCF TF
CCF TF技术前线(Tech Frontier)创立于2017年6月,旨在为工程师提供顶级交流平台,更好地服务企业界计算机专业人士,帮助企业界专业技术人士职业发展,通过搭建平台实现常态化合作和发展,促进企业间、学术界与企业间技术交流。目前已组建架构、安全、智能前端、知识图谱、数据科学、工程师文化、算法与AI、智能制造、智能设备与交互、产业智能化、研发效能等十一个SIG(Special Interest Group),提供丰富的技术前线内容分享。2022年4月至2023年3月,CCF TF将在线开展47场活动,会员免费参加。
加入CCF
加入CCF会员享受更多超值活动,为自己的技术成长做一次好投资。
点击链接了解更多会员权益:CCF个人会员权益 CCF公司会员权益
识别或扫码入会
2023年1月-3月TF活动安排
TF89 | 2023/1/10 | 数智转型,势在必行 |
TF90 | 2023/1/12 | 研发效能度量 |
TF91 | 2023/2/2 | 前端新技术 |
TF92 | 2023/2/7 | 工业机器人柔性控制 |
TF93 | 2023/2/16 | 云原生年度回顾与展望 |
TF94 | 2023/2/23 | NLP技术(具体话题待定)产业化之路 |
TF95 | 2023/3/9 | 元宇宙系列(三):行业智能化,产业元宇宙来助力 |
TF96 | 2023/3/16 | 知识图谱赋能时空AI |
TF97 | 2023/3/23 | 语音处理前沿及产业化 |
欢迎关注CCFTF及CCF业务总部公众号,精彩陆续开启!
关注CCFTF获取TF活动资讯
关注CCF业务总部优惠预定会议场地
合作媒体
CCF推荐
【精品文章】