Titans
胜过Transformer?谷歌推出新型AI模型架构Titans
自2017年推出以来,Transformer模型架构一直是人工智能的基础要素,推动了自然语言处理、机器翻译等领域的进步。 不过,该模型在可扩展性、计算效率以及应对日益复杂任务等方面,仍面临着诸多挑战。 而Titans模型架构的诞生,旨在通过整合受人类认知过程启发的机制来克服这些障碍,如记忆优先级和适应性注意力。
1/26/2025 1:20:49 PM
Yu
谷歌公布 Titans 系列 AI 模型架构:融合长短期记忆与注意力机制、突破 200 万上下文 Token
谷歌研究院发文,公布了“Titans”系列模型架构,相应模型架构最大的特点是采用“仿生设计”,结合了短期记忆、长期记忆和注意力机制,支持超过 200 万个 Token 的上下文长度,谷歌计划将 Titans 相关技术开源。
1/20/2025 8:00:42 PM
漾仔
近8年后,谷歌Transformer继任者「Titans」来了,上下文记忆瓶颈被打破
正如论文一作所说,「新架构 Titans 既比 Transformer 和现代线性 RNN 更有效,也比 GPT-4 等超大型模型性能更强。 」终于,在 2017 年推出影响 AI 行业长达 8 年的 Transformer 架构之后,谷歌带来了全新的架构 Titans。 这次,谷歌的重点是将推理领域非常重要的测试时(test-time)计算用在了记忆(memory)层面。
1/15/2025 5:23:00 PM
机器之心
- 1
资讯热榜
这样在本地搭建DeepSeek可以直接封神:本地部署+避坑指南(升级版)
基于 Spring AI + MCP + DeepSeek-R1-7B 构建企业级智能 Agent 工具调用系统
Manus开源平替!Kortix-AI正式发布开源通用AI智能体平台Suna
Trae v1.3.0重磅更新,新增MCP与.rules支持引领AI开发新体验
纳米AI发布MCP万能工具箱,简化AI工具集成与调用
Figma 推 AI 革命:开发智能应用制作器与网站创建工具
即梦3.0海外版发布,电影级视觉与精准英文排版引领AI创作新高度
Persona Engine开源发布,AI虚拟助手与Live2D融合打造交互新体验
标签云
人工智能
OpenAI
AIGC
AI
ChatGPT
AI绘画
DeepSeek
数据
机器人
模型
谷歌
大模型
Midjourney
智能
用户
开源
学习
GPT
微软
Meta
AI创作
图像
技术
论文
Stable Diffusion
马斯克
Gemini
算法
蛋白质
生成式
芯片
代码
英伟达
腾讯
神经网络
计算
研究
Sora
3D
Anthropic
AI for Science
AI设计
机器学习
GPU
AI视频
开发者
场景
华为
预测
百度
人形机器人
伟达
苹果
Transformer
深度学习
模态
xAI
字节跳动
Claude
大语言模型
搜索
驾驶
文本
具身智能
神器推荐
Copilot
LLaMA
算力
视频生成
安全
干货合集
视觉
应用
大型语言模型
科技
亚马逊
特斯拉
AGI
训练
2024