GaLore

田渊栋等人新作：突破内存瓶颈，让一块4090预训练7B大模型

只用 24G 显存，消费级 GPU 就能搞定大模型了。上个月，Meta FAIR 田渊栋参与的一项研究广受好评，他们在论文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases》中开始卷 10 亿以下参数小模型，主打在移动设备上运行 LLM。3 月 6 日，田渊栋又一项研究出炉，这次，他们主攻 LLM 内存效率。除了田渊栋本人，还有来自加州理工学院、德克萨斯大学奥斯汀分校以及 CMU 的研究者。他们合

3/8/2024 2:56:00 PM

机器之心

资讯热榜

这样在本地搭建DeepSeek可以直接封神：本地部署+避坑指南（升级版）基于 Spring AI + MCP + DeepSeek-R1-7B 构建企业级智能 Agent 工具调用系统 OpenAI 发布“智能体构建实战指南”实用性文档（附文档资源） OpenAI发布34页智能体实践指南：从网络搜索到代码编写 Manus开源平替！Kortix-AI正式发布开源通用AI智能体平台Suna 纳米AI发布MCP万能工具箱，简化AI工具集成与调用 Trae v1.3.0重磅更新，新增MCP与.rules支持引领AI开发新体验 Figma 推 AI 革命：开发智能应用制作器与网站创建工具

标签云

人工智能 OpenAI AIGC AI ChatGPT AI绘画 DeepSeek 数据机器人模型谷歌大模型 Midjourney 智能用户开源学习 GPT 微软 Meta AI创作图像技术论文 Stable Diffusion 马斯克 Gemini 算法蛋白质生成式芯片代码英伟达腾讯神经网络计算研究 Sora 3D Anthropic AI for Science AI设计机器学习 GPU 开发者 AI视频场景华为预测人形机器人伟达百度苹果 Transformer 深度学习模态 xAI 字节跳动 Claude 搜索驾驶大语言模型文本神器推荐具身智能 Copilot LLaMA 算力视频生成安全干货合集视觉应用大型语言模型科技亚马逊特斯拉训练 2024 AGI