商汤绝影行业首发原生多模态大模型车端部署:80 亿参数、每秒 40 Tokens

商汤科技联合创始人、首席科学家王晓刚 17 日宣布,商汤绝影在行业内率先实现了原生多模态大模型的车端部署。车载端侧 8B 模型首包延迟在 300 毫秒以内,推理速度 40 Tokens / 秒,覆盖主流算力平台。商汤绝影为多模态大模型打造计算引擎“HyperPPL”,目前扩展并支持主流车载计算硬件,兼容多种主流操作系统,适配多个车载芯片的部署平台。商汤绝影称 HyperPPL 针对车载多人场景进行优化,使得车内多人并发情况下,车端多模态大模型的模型推理效率相比单人没有明显降低。据AI在线此前报道,商汤绝影此前表示,

商汤科技联合创始人、首席科学家王晓刚 17 日宣布,商汤绝影在行业内率先实现了原生多模态大模型的车端部署。车载端侧 8B 模型首包延迟在 300 毫秒以内推理速度 40 Tokens / 秒,覆盖主流算力平台。

商汤绝影行业首发原生多模态大模型车端部署:80 亿参数、每秒 40 Tokens

商汤绝影为多模态大模型打造计算引擎“HyperPPL”,目前扩展并支持主流车载计算硬件,兼容多种主流操作系统,适配多个车载芯片的部署平台。

商汤绝影称 HyperPPL 针对车载多人场景进行优化,使得车内多人并发情况下,车端多模态大模型的模型推理效率相比单人没有明显降低。

据AI在线此前报道,商汤绝影此前表示,深圳首条自动驾驶公交线路采用其车辆与技术,所有驾驶操作都无需人员介入。

明年上千 TOPS 算力的车载芯片(英伟达 Thor)就会问世。基于更高算力的计算平台,商汤预计绝影多模态大模型车端部署方案的首包延迟将大幅降低,推理速度进一步提高。

给TA打赏
共{{data.count}}人
人已打赏
应用

各大高校特邀讲师!优设专访AI人气创作者焦渝轩

2024-7-19 8:53:13

应用

断网也能用!贾扬清团队推出端侧模型 Chrome 插件,arXiv/B站 / 吃瓜一件搞定

2024-7-19 13:42:26

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索