AI在线 AI在线

Google DeepMind

谷歌研究科学家意外离世，两月前留下绝笔：从事大模型研究让我深陷抑郁症

谷歌研究科学家意外离世，两月前留下绝笔：从事大模型研究让我深陷抑郁症
「再见，菲利克斯！ 」本周四，人工智能社区都在以自己的方式，对一位科学家进行告别。 菲利克斯・希尔（Felix Hill），是 Google DeepMind 的一名研究科学家，在 2024 年 12 月 5 日去世。
1/3/2025 12:00:00 PM
机器之心
谷歌世界模型爆发：单张图生成可玩3D世界，还要和马斯克一起做AI游戏

谷歌世界模型爆发：单张图生成可玩3D世界，还要和马斯克一起做AI游戏
昨晚，世界模型向前迈出了一大步！ Google DeepMind 震撼宣布了他们的新一代世界模型 Genie 2，其可根据一张图生成可供人类或 AI 智能体游玩的无限 3D 世界。 消息发布后，好评与震惊如潮水般涌现。
12/5/2024 12:01:00 PM
机器之心
谷歌内部项目：大模型AI智能体发现了代码漏洞

谷歌内部项目：大模型AI智能体发现了代码漏洞
开源数据库引擎 SQLite 有 bug，还是智能体检测出来的！ 通常，软件开发团队会在软件发布之前发现软件中的漏洞，让攻击者没有破坏的余地。 模糊测试 （Fuzzing）是一种常见的软件测试方法，其核心思想是将自动或半自动生成的随机数据输入到一个程序中，并监视程序异常。
11/2/2024 2:56:00 PM
机器之心
哈萨比斯：谷歌想创造第二个Transformer，还想把AlphaGo和Gemini强强联合

哈萨比斯：谷歌想创造第二个Transformer，还想把AlphaGo和Gemini强强联合
「当一家人工智能公司的首席执行官更像是计算机科学家而不是推销员时，我感觉更舒服」。对于 DeepMind 来说，2023 是充满变化的一年。这年的 4 月份，谷歌宣布将 Google Brain 和 DeepMind 进行合并，成立名为 Google DeepMind 的新部门。新部门将在保持道德标准的同时，引领突破性的 AI 产品研究和进步。Google Brain 和 DeepMind——一个创造了 Transformer，一个创造了 AlphaGo、AlphaFold…… 两个部门强强联合，在 2023 年底
8/20/2024 2:34:00 PM
机器之心
单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE

单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE
释放进一步扩展 Transformer 的潜力，同时还可以保持计算效率。标准 Transformer 架构中的前馈（FFW）层会随着隐藏层宽度的增加而导致计算成本和激活内存的线性增加。在大语言模型（LLM）体量不断增大的现在，稀疏混合专家（MoE）架构已成为解决此问题的可行方法，它将模型大小与计算成本分离开来。很多新兴的 MoE 模型都可以实现相同体量之上，更好的性能与更强大的表现。最近发现的细粒度 MoE 扩展定律表明，更高的粒度可带来更好的性能。然而由于计算和优化方面的挑战，现有的 MoE 模型仅限于低数量专家
7/10/2024 2:44:00 PM
机器之心
多模态大模型不够灵活，谷歌DeepMind创新架构Zipper：分开训练再「压缩」

多模态大模型不够灵活，谷歌DeepMind创新架构Zipper：分开训练再「压缩」
最近的一系列研究表明，纯解码器生成模型可以通过训练利用下一个 token 预测生成有用的表征，从而成功地生成多种模态（如音频、图像或状态 - 动作序列）的新序列，从文本、蛋白质、音频到图像，甚至是状态序列。能够同时生成多种模态输出的多模态模型一般是通过某种形式的词汇扩展（将多模态表征转换为离散 token 并添加到模型的基本词汇表中）来实现的，即在预训练阶段或在后期微调阶段进行跨模态对齐。多模态预训练方法具有很强的性能优势（例如，一个模型可以原生理解多种模态），但也有缺点。例如，无法解决如何在预训练后添加新模态的问
6/3/2024 3:27:00 PM
机器之心
在对齐 AI 时，为什么在线方法总是优于离线方法？

在对齐 AI 时，为什么在线方法总是优于离线方法？
在线和离线对齐算法的性能差距根源何在？DeepMind实证剖析出炉在 AI 对齐问题上，在线方法似乎总是优于离线方法，但为什么会这样呢？近日，Google DeepMind 一篇论文试图通过基于假设验证的实证研究给出解答。论文标题：Understanding the performance gap between online and offline alignment algorithms论文地址：（RLHF）随着大型语言模型（LLM）发展而日渐成为一种用于 AI 对齐的常用框架。不过近段时间，直接偏好优化（DP
5/20/2024 2:43:00 PM
机器之心
DeepMind升级Transformer，前向通过FLOPs最多可降一半

DeepMind升级Transformer，前向通过FLOPs最多可降一半
引入混合深度，DeepMind 新设计可大幅提升 Transformer 效率。Transformer 的重要性无需多言，目前也有很多研究团队致力于改进这种变革性技术，其中一个重要的改进方向是提升 Transformer 的效率，比如让其具备自适应计算能力，从而可以节省下不必要的计算。正如不久前 Transformer 架构的提出之一、NEAR Protocol 联合创始人 Illiya Polosukhin 在与黄仁勋的对话中说到的那样：「自适应计算是接下来必须出现的。我们要关注，在特定问题上具体要花费多少计算资
4/16/2024 2:31:00 PM
机器之心
十年内出现AGI？下一代Gemini能感知环境？DeepMind CEO哈萨比斯畅谈AI

十年内出现AGI？下一代Gemini能感知环境？DeepMind CEO哈萨比斯畅谈AI
智能本质、对齐、Gemini、超人类AI和多模态、AGI……在这场干货满满的访谈中，Demis Hassabis可谓「知无不言、言无不尽」。「如果我们在未来十年内拥有类似 AGI 的系统，我不会感到惊讶。」Google DeepMind 联合创始人和 CEO Demis Hassabis 近日在人工智能播客节目 Dwarkesh Podcast 上如是说。在长达一个小时的节目中，Hassabis 分享了自己对智能本质、强化学习、规模扩展和对齐、AGI、多模态等主题的看法。机器之心选择性地整理了其中的主要内容并进行了
3/4/2024 12:08:00 PM
机器之心
奥数能力金牌级：DeepMind几何推理模型登上Nature，代码开源，菲尔兹奖得主点赞

奥数能力金牌级：DeepMind几何推理模型登上Nature，代码开源，菲尔兹奖得主点赞
这项工作代表了 AI 在数学推理上的能力突破，是开发通用 AI 系统方面的重要里程碑。这一次，人工智能算法在数学奥林匹克竞赛（IMO）上取得了重大成绩突破。在今天发表的国际权威期刊《自然》杂志最新一期上，论文《Solving olympiad geometry without human demonstrations》向世人介绍了 AlphaGeometry，专家表示，这是人工智能朝着具有人类推理能力方向迈进的重要一步。论文链接： 也在论文发表的第一时间将代码和模型开源，GitHub：，来自 Google Deep
1/18/2024 11:56:00 AM
机器之心
ChatGPT狂吐训练数据，还带个人信息：DeepMind发现大bug引争议

ChatGPT狂吐训练数据，还带个人信息：DeepMind发现大bug引争议
风险有点大。如果我不停地让 ChatGPT 干一件事，直到把它「逼疯」会发生什么？它会直接口吐训练数据出来，有时候还带点个人信息，职位手机号什么的：本周三，Google DeepMind 发布的一篇论文，介绍了一项让人颇感意外的研究成果：使用大约 200 美元的成本就能从 ChatGPT 泄露出几 MB 的训练数据。而使用的方法也很简单，只需让 ChatGPT 重复同一个词即可。一时间，社交网络上一片哗然。人们纷纷试图进行复现，这并不困难，只需要当复读机不停写「诗」这个单词就可以：ChatGPT 不断输出训练数据，
11/30/2023 3:15:00 PM
机器之心
规模小、效率高：DeepMind推出多模态解决方案Mirasol 3B

规模小、效率高：DeepMind推出多模态解决方案Mirasol 3B
性能优于规模更大的模型。多模态学习面临的主要挑战之一是需要融合文本、音频、视频等异构的模态，多模态模型需要组合不同来源的信号。然而，这些模态具有不同的特征，很难通过单一模型来组合。例如，视频和文本具有不同的采样率。最近，来自 Google DeepMind 的研究团队将多模态模型解耦成多个独立的、专门的自回归模型，根据各种模态的特征来处理输入。具体来说，该研究提出了多模态模型 Mirasol3B。Mirasol3B 由时间同步模态（音频和视频）自回归组件，以及用于上下文模态的自回归组件组成。这些模态不一定在时间上对
11/28/2023 2:43:00 PM
机器之心
  • 1