商汤绝影行业首发原生多模态大模型车端部署:80 亿参数、每秒 40 Tokens

商汤科技联合创始人、首席科学家王晓刚 17 日宣布,商汤绝影在行业内率先实现了原生多模态大模型的车端部署。车载端侧 8B 模型首包延迟在 300 毫秒以内,推理速度 40 Tokens / 秒,覆盖主流算力平台。商汤绝影为多模态大模型打造计算引擎“HyperPPL”,目前扩展并支持主流车载计算硬件,兼容多种主流操作系统,适配多个车载芯片的部署平台。商汤绝影称 HyperPPL 针对车载多人场景进行优化,使得车内多人并发情况下,车端多模态大模型的模型推理效率相比单人没有明显降低。据AI在线此前报道,商汤绝影此前表示,

商汤科技联合创始人、首席科学家王晓刚 17 日宣布,商汤绝影在行业内率先实现了原生多模态大模型的车端部署。车载端侧 8B 模型首包延迟在 300 毫秒以内推理速度 40 Tokens / 秒,覆盖主流算力平台。

商汤绝影行业首发原生多模态大模型车端部署:80 亿参数、每秒 40 Tokens

商汤绝影为多模态大模型打造计算引擎“HyperPPL”,目前扩展并支持主流车载计算硬件,兼容多种主流操作系统,适配多个车载芯片的部署平台。

商汤绝影称 HyperPPL 针对车载多人场景进行优化,使得车内多人并发情况下,车端多模态大模型的模型推理效率相比单人没有明显降低。

据AI在线此前报道,商汤绝影此前表示,深圳首条自动驾驶公交线路采用其车辆与技术,所有驾驶操作都无需人员介入。

明年上千 TOPS 算力的车载芯片(英伟达 Thor)就会问世。基于更高算力的计算平台,商汤预计绝影多模态大模型车端部署方案的首包延迟将大幅降低,推理速度进一步提高。

相关资讯

商汤绝影全舱人脸感知技术,助力乐道L60上市,为每位用户打造专属关怀

在乐道L60的发布会上,「小乐识人」的场景演示视频获得了现场与线上观众的一致好评,主动为二大爷播放他喜欢的京剧、给爷爷按腰去除疲劳,都是专属于每位用户的贴心关怀。这背后离不开商汤绝影提供的OMS功能,尤其是全舱人脸感知技术,它助力了乐道L60识别并记住车内每位乘客,最多可记忆20个账号,三世同堂的家庭、七大姑八大姨都能记住,小乐通通叫上姓名。基于这个能力,乐道汽车可以同步每个乘客的个性化数据,如:座椅位置、音乐账号等,实现个性化体验,让用户感觉更加亲切、自然,有温度。结合商汤绝影多模感知、乐道账号的综合能力,乐道汽

大疆车载能否成为Tier1中的「小米」?

4月19日,在上汽通用五菱与大疆联合发布的「奇遇·大疆」概念车前,当上汽通用五菱总经理沈阳高调提出要打造「人民的智能驾驶」时,正是对应了大疆车载那句看起来似乎很虚的口号——「为所有人,提供安全、轻松的出行体验」。可实际上,通过大疆在无人机领域所达成的成果,大疆车载的这句口号其实正是其重要的差异化定位:以低成本,达成高性能。在车展现场,大疆车载通过透明车身模型对大疆智能驾驶系统解决方案的零部件部署进行展示,通过车辆模型前部镶嵌的前向激光雷达,可以实时通过屏幕观看到车辆前方的点云信息。展台大屏幕同步展示了大疆车载智能驾

商汤大语言模型应用 SenseChat 向香港用户免费开放,支持广东话聊天

商汤科技今日宣布,旗下 Sensechat 手机 App 及网页版向香港用户免费开放。该服务此前已在中国大陆推出。Sensechat 基于商汤今年 5 月推出的“商量多模态大模型粤语版”,依托商汤“日日新”语言和多模态能力,以及对粤语及本地文化、热点的理解,用户可以直接用最熟悉的广东话跟它聊天,直接文字或语音输入,问问题、搜东西、生成图片、写文案等。AI在线附示例如下:香港的苹果 iPhone 用户可通过 App Store 下载「Sensechat」iOS 手机 App,使用香港手机号或电子邮件注册,即可免费体验