MIT CSAIL

从未见过现实世界数据,MIT在虚拟环境中训练出机器狗,照样能跑酷

如今,机器人学习最大的瓶颈是缺乏数据。 与图片和文字相比,机器人的学习数据非常稀少。 目前机器人学科的主流方向是通过扩大真实世界中的数据收集来尝试实现通用具身智能,但是和其他的基础模型,比如初版的 StableDiffusion 相比,即使是 pi 的数据都会少七八个数量级。

无限生成视频,还能规划决策,扩散强制整合下一token预测与全序列扩散

当前,采用下一 token 预测范式的自回归大型语言模型已经风靡全球,同时互联网上的大量合成图像和视频也早已让我们见识到了扩散模型的强大之处。近日,MIT CSAIL 的一个研究团队(一作为 MIT 在读博士陈博远)成功地将全序列扩散模型与下一 token 模型的强大能力统合到了一起,提出了一种训练和采样范式:Diffusion Forcing(DF)。论文标题:Diffusion Forcing:Next-token Prediction Meets Full-Sequence Diffusion论文地址:::,
  • 1