手机流畅运行 470 亿大模型:上交大发布 LLM 手机推理框架 PowerInfer-2,提速 29 倍
苹果一出手,在手机等移动设备上部署大模型不可避免地成为行业关注焦点。然而,目前在移动设备上运行的模型相对较小(苹果的是 3B,谷歌的是 2B),并且消耗大量内存,这在很大程度上限制了其应用场景。即使是苹果,目前也需要与 OpenAI 合作,通过将云端 GPT-4o 大模型嵌入到操作系统中来提供能力更强的服务。这样一来,苹果的混合方案引起了非常多关于数据隐私的讨论和争议,甚至马斯克都下场讨论。如果苹…- 7
- 0
茂密化 芯力量|墨芯参展首日S4计较卡本能表现亮眼
2022年7月15日,墨芯人工智能参展厦门半导体峰会,首席科学家严恩勖发表讲演,展示墨芯如何用茂密化推动AI计较前沿和最新的产业进展。16日墨芯获评“最具投资价值奖”。集微峰会被誉为“半导体业风向标”,设特色“芯力量”展区和EDA展区。墨芯位于“芯力量”展区核心位置——76号展台。 墨芯作为茂密化计较引领者,致力于提供云端和终端AI计较平台和服务,打造软硬共同的新一代智能计较平台。团队携首颗芯…- 10
- 0
茂密
❯
个人中心
今日签到
搜索
扫码打开当前页
返回顶部
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
- ¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!