MoEUT

Jurgen、曼宁等大佬新作：MoE重塑6年前的Universal Transformer，高效升级

7 年前，谷歌在论文《Attention is All You Need》中提出了 Transformer。就在 Transformer 提出的第二年，谷歌又发布了 Universal Transformer（UT）。它的核心特征是通过跨层共享参数来实现深度循环，从而重新引入了 RNN 具有的循环表达能力。

资讯热榜

DeepSeek开源多模态模型Janus-Pro的ComfyUI使用教程，文中附模型和工作流下载 DeepSeek + IDEA！辅助编程太强了！ DeepSeek日活用户数突破2000万，增长势头远超ChatGPT 不到140块！李飞飞团队超低成本复刻DeepSeek R1推理！16张H100只训练了26分钟，与R1训练方法不同！冲击DeepSeek R1，谷歌发布新一代Gemini全型号刷榜，编程、物理模拟能力炸裂训练1000样本就能超越o1，李飞飞等人画出AI扩展新曲线爆肝48小时！学会这8招，让DeepSeek变得超好用！谷歌 Gemini 2.0 Flash 系列 AI 模型登场，编程和推理性能迈上新台阶

标签云