鄂维南院士领衔新作:大模型不止有RAG、参数存储,还有第3种记忆
2.4B 的 Memory3比更大的 LLM 和 RAG 模型获得了更好的性能。近年来,大型语言模型 (LLM) 因其非凡的性能而获得了前所未有的关注。然而, LLM 的训练和推理成本高昂,人们一直在尝试通过各种优化方法来降低成本。本文来自上海算法创新研究院、北京大学等机构的研究者受人类大脑记忆层次结构的启发,他们通过为 LLM 配备显式记忆(一种比模型参数和 RAG 更便宜的记忆格式)来降低这一…- 23
- 0
院士领衔推出大模型的第 3 种记忆:比参数存储和 RAG 都便宜,2.4B 模型越级打 13B
给大模型加上第三种记忆格式,把宝贵的参数从死记硬背知识中解放出来!中科院院士鄂维南领衔,上海算法创新研究院等团队推出 Memory3,比在参数中存储知识以及 RAG 成本都更低,同时保持比 RAG 更高的解码速度。在实验中,仅有 2.4B 参数的 Memory3 模型不仅打败了许多 7B-13B 的模型,在专业领域任务如医学上的表现也超过了传统的 RAG 方法,同时推理速度更快,“幻觉”问题也更少…- 22
- 0
Memory3
❯
个人中心
今日签到
搜索
扫码打开当前页
返回顶部
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
- ¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!