AI在线 AI在线

模型

新注意力让大模型上下文内存占用砍半!精度不减还能加速2倍

大模型同样的上下文窗口,只需一半内存就能实现,而且精度无损? 前苹果ASIC架构师Nils Graef,和一名UC伯克利在读本科生一起提出了新的注意力机制Slim Attention。 它以标准多头注意力(MHA)为基准,对其中的value缓存处理过程进行了调整,实现了更少的内存占用。
3/18/2025 9:23:22 AM
量子位

8张GPU训出近SOTA模型,超低成本图像生成预训练方案开源

超低成本图像生成预训练方案来了——仅需8张GPU训练,就能实现近SOTA的高质量图像生成效果。 划重点:开源。 模型名为LightGen,由港科大Harry Yang团队联合Everlyn AI等机构打造,借助知识蒸馏(KD)和直接偏好优化(DPO)策略,有效压缩了大规模图像生成模型的训练流程。
3/18/2025 9:21:31 AM
量子位

Groundlight 开源框架,搞定复杂的视觉推理

一直专注于让AI看懂世界的 Groundlight 研究团队,近日放大招,宣布开源了一套全新的 AI 框架!这套框架旨在攻克视觉领域的一大难题——复杂的视觉推理,让AI不仅能“看图识物”,更能像福尔摩斯一样,从图像中推理出更深层次的信息。  我们都知道,现在的AI在识别猫猫狗狗方面已经炉火纯青,但要让它们理解图片背后的逻辑关系,进行更复杂的推理,就常常“卡壳”。 Groundlight 的研究人员指出,当前的视觉语言模型 (VLM) 在理解图像本身尚且不足的情况下,更难以完成需要深度解读的任务。
3/17/2025 3:00:00 PM
AI在线

https://mp.weixin.qq.com/s/-lOj5naC2Yb3BD32YuUyOw

机构: 北京大学人工智能研究院 北京通用人工智能研究院作者: 毛彦升 徐宇飞 李佳琪 孟繁续 杨昊桐 郑子隆 王希元 张牧涵长文本任务是当下大模型研究的重点之一。 在实际场景和应用中,普遍存在大量长序列(文本、语音、视频等),有些甚至长达百万级 tokens。 扩充模型的长文本能力不仅意味着可以在上下文窗口中装入更长的文本,更是能够更好地建模文本段落间信息的长程依赖关系,增强对长文的阅读理解和推理。
3/17/2025 12:55:18 PM
机器之心

迁移DeepSeek-R1同款算法,小米让7B模型登顶音频理解推断MMAU榜单

7B小模型 3.8万条训练数据,就能让音频理解和推断评测基准MMAU榜单王座易主? 受到DeepSeek-R1中强化学习算法的启发,小米大模型团队对阿里的Qwen2-Audio-7B模型进行了微调。 结果模型在MMAU上的准确率从49.2%提升到了64.5%(涨幅31%),比以前霸榜的GPT-4o还高出近10个百分点。
3/17/2025 12:13:26 PM
量子位

AI要取代程序员?吴恩达:别信!现在学编程比以往任何时候都香

AI的爆发式发展,让很多学习编程的人或者在职的软件工程师都很迷茫焦虑,更有甚者,像Anthropic CEO Dario Amodei 前两天说:“未来 3 到 6 个月内,90% 的代码将由人工智能编写;12 个月内,几乎所有代码都可能由人工智能生成”,那么究竟将来还需不要学习编程,吴恩达老师给出了他的看法:学习编程依然非常重要以下是原文中文翻译,分享给大家吴恩达@AndrewYNg如今有些人正在劝退他人学习编程,理由是人工智能将使编程自动化。 这种建议将来会被视为史上最糟糕的职业建议之一。 我不同意那位图灵奖和诺贝尔奖得主所写的“编程这个职业很可能走向消亡 [...] 而不是变得无所不能。
3/17/2025 9:43:42 AM
AI寒武纪

无需训练,100%完美检索!LLM练出「火眼金睛」,InfiniRetri超长文本一针见血

全新检索模式:在无限长token下,大语言模型自身或能检索信息! 受大语言模型(LLM)上下文窗口大小的限制,处理输入token数超过上限的各种任务颇具挑战性,无论是简单的直接检索任务,还是复杂的多跳推理任务。 尽管新提出的各种方法用来增强大语言模型的长上下文处理能力,但这些方法痛点突出:要么会产生高昂的训练后成本,要么需要额外的工具模块(如检索增强生成RAG),要么在实际任务中显示出改进,并不明显。
3/17/2025 9:40:00 AM
新智元

想纠正LMM犯错?没用!NUS华人团队:最强o1反馈修正率不到50%

大规模多模态模型(Large Multimodal Models,LMM)在人类反馈下的表现如何? 这一问题对于利用LMM开发通用AI助手至关重要,现有的基准测试并未针对LMM与人类的交互智能进行测试。 来自新加坡国立大学的华人团队提出了InterFeedback,一个可应用任何LMM和数据集的交互式框架。
3/17/2025 9:35:00 AM
新智元

纽约时报作家被AGI「洗脑」!AI横扫奥数金牌、编写95%代码,人类却毫无准备

一觉醒来,离AGI又近了一步。 纽约时报专栏作家Kevin Roose,发帖表示自己被AGI「洗脑」了,现在对AGI深有感触。 强人工智能即将到来,但人类尚未做好准备。
3/17/2025 9:32:32 AM
新智元

0行代码打造3D游戏,氛围编码席卷全网!开发30分爆赚28万

用「vide coding」制作3D游戏正在成为一股新风潮。 从大V到普通网友,越来越多人加入到了这场狂欢之中。 资深软件工程师Grégory D'Angelo上传了一段他vide coding出来的游戏视频。
3/17/2025 9:27:45 AM
新智元

谷歌重磅推出全新Scaling Law,抢救Transformer!3万亿美元AI面临岔路

测试时计算之后,谷歌三大团队集众人之力,发现了全新的Scaling Law! 刚刚,谷歌研究员Zachary Charles宣布:「在越来越大的模型上,分布式训练取得重大突破」。 这个核心算法,便是——DiLoCo的Scaling Law。
3/17/2025 9:25:00 AM
新智元

CVPR 2025:无需物理引擎,一个模型搞定图像渲染与分解

无需物理引擎,单个模型也能实现“渲染 逆渲染”了! 在计算机图形和视觉领域,渲染是指将3D模型变成逼真的2D图片,逆渲染则是从2D图片分析出3D模型的各种属性(如材质、光照等)。 现在,从材质分解(逆渲染)——材质编辑——物体渲染的整个流程,都被统一到了一个框架中,且在性能方面达到了新SOTA。
3/17/2025 9:20:00 AM
量子位

ICLR 2025 Spotlight | 慕尼黑工业大学&北京大学:迈向无冲突训练的ConFIG方法

本文由慕尼黑工业大学与北京大学联合团队撰写。 第一作者刘强为慕尼黑工业大学博士生。 第二作者楚梦渝为北京大学助理教授,专注于物理增强的深度学习算法,以提升数值模拟的灵活性及模型的准确性和泛化性。
3/17/2025 9:15:00 AM
机器之心

Manus带火的MCP,让Claude一句话自动化3D建模,网友:真·AI+应用

一句话提示,Claude自动化打开Blender将2D图片转为3D建模。 整个过程行云流水。 而且还能只用一次提示词,再基于这个场景搭建可以互动的网页。
3/17/2025 8:55:00 AM
量子位

Nature:你的大脑衰老速度受这64个基因影响

你的大脑衰老速度,原来受这64个基因影响! 事情是这样的。 根据Nature最新报道,科学家们通过利用AI模型分析大量脑部扫描和遗传数据,确定了64个影响大脑衰老速度的基因,并指出了13种潜在的抗衰老药物。
3/17/2025 8:37:00 AM
量子位

谷歌Gemini突袭ChatGPT,全新升级让AI更懂你!Deep Research人人免费用

Gemini最新功能免费「no cost」! 谷歌全新升级Gemini,人人都能免费体验全新功能。 谷歌正在为Gemini用户带来新的和升级的功能,包括基于2.0 Flash Thinking的深度研究、Gems功能、应用程序和个性化设置。
3/17/2025 8:30:00 AM
新智元

驯服AI,更懂物理!何恺明团队提出全新DHN「去噪哈密顿网络」

近日,何恺明团队提出了去噪哈密顿网络(Denoising Hamiltonian Network,DHN),就像给物理知识开了挂。 传统的机器学习方法虽然能处理一些简单的物理关系,但面对复杂的物理系统时,却显得力不从心。 来自MIT、斯坦福、西北大学等的研究者将哈密顿力学算子推广到神经网络中,不仅能捕捉非局部时间关系,还能通过去噪机制减轻数值积分误差。
3/17/2025 8:20:00 AM
新智元

哥大博士经费被砍当场崩溃!全美高校遭史上最大规模裁员,科研圈遭灭顶之灾

早上7点,哥大生物医学工程系的博士研究生Daniella Fodera接到实验室主任的电话,得知自己的项目基金被终止,当场崩溃痛哭。 而她的遭遇,只是众多受特朗普政府决策打击的科学家的缩影。 美国政府发起的削减拨款,如今已经在全美高校引起了大地震。
3/17/2025 8:10:00 AM
新智元