NeurIPS 2023 - AI在线

剑桥团队开源：赋能多模态大模型RAG应用，首个预训练通用多模态后期交互知识检索器

PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。论文链接：链接：：：PreFLMR: Scaling Up Fine-Grained Late-Interaction Multi-modal Retrievers背景尽管多模态大模型（例如 GPT4-Vision、Gemi

word2vec作者爆料：seq2seq是我的想法、GloVe抄袭技巧，反击来了

Tomas Mikolov 这篇爆料满满的文章，里面涉及的研究人员已经开始回击了。随着 NeurIPS 2023 获奖论文的公布，十年前的词嵌入技术 word2vec 可谓是实至名归的获得了时间检验奖。这篇论文「Distributed Representations of Words and Phrases and their Compositionality」由当时都还在谷歌的 Tomas Mikolov、Ilya Sutskever、Kai Chen、Greg Corrado、Jeffrey Dean 撰写。不

NeurIPS 2023｜有效提高视频编辑一致性，美图&国科大提出基于文生图模型新方法EI²

美图影像研究院（MT Lab）与中国科学院大学突破性地提出了基于文生图模型的视频生成新方法 EI2，用于提高视频编辑过程中的语义和内容两方面的一致性。该论文从理论角度分析和论证视频编辑过程中出现的不一致的问题，主要由引入的时序信息学习模块使特征空间出现协变量偏移造成，并针对性地设计了新的网络模块进行解决以生成高质量的编辑结果。目前，该论文已被机器学习顶会之一 NeurIPS 2023 接收。背景作为当前炙手可热的前沿技术之一，生成式 AI 被广泛应用于各类视觉合成任务，尤其是在图像生成和编辑领域获得了令人赞叹的生成

论文遭首届ICLR拒稿、代码被过度优化，word2vec作者Tomas Mikolov分享背后的故事

除了表达自己获得 NeurIPS 2023 时间检验奖的感想之外，Tomas Mikolo 还对 NLP 和 ChatGPT 的现状给出了自己的一些思考。几天前，NeurIPS 2023 公布了获奖论文，其中时间检验奖颁给了十年前的 NeurIPS 论文「Distributed Representations of Words and Phrases and their Compositionality」。这项工作引入了开创性的词嵌入技术 word2vec，展示了从大量非结构化文本中学习的能力，推动了自然语言处理新

NeurIPS 2023｜真实、可控、可拓展，自动驾驶光照仿真平台LightSim上新了

最近，来自 Waabi AI、多伦多大学、滑铁卢大学和麻省理工的研究者们在 NeurIPS 2023 上提出了一种全新的自动驾驶光照仿真平台 LightSim。研究者们提出了从真实数据中生成配对的光照训练数据的方法，解决了数据缺失和模型迁移损失的问题。LightSim 利用神经辐射场（NeRF）和基于物理的深度网络渲染车辆驾驶视频，首次在大规模真实数据上实现了动态场景的光照仿真。项目网站：：？相机仿真在机器人技术中，尤其对于自动驾驶车辆感知室外的场景非常重要。然而，现有的相机的感知系统一旦遇到训练时未学习过的室外照

10年前，word2vec经典论文就预定了今天的NeurIPS时间检验奖

在 ChatGPT 引爆 AI 热潮的 2023，一项推动NLP新时代到来的研究拿到了 NeurIPS 时间检验奖。NeurIPS 是当前全球最负盛名的 AI 学术会议之一，全称是 Neural Information Processing Systems，神经信息处理系统大会，通常在每年 12 月由 NeurIPS 基金会主办。大会讨论的内容包含深度学习、计算机视觉、大规模机器学习、学习理论、优化、稀疏理论等众多细分领域。12 月 10 日，NeurIPS 2023 在美国路易斯安那州新奥尔良市拉开帷幕。根据官网

NeurIPS 2023 | 模仿人类举一反三，数据集扩增新范式GIF框架来了

在这篇 NeurIPS 2023 论文中，来自新加坡国立大学和字节跳动的学者们受人类联想学习的启发，提出了数据集扩增的新范式，有效地提升了深度模型在小数据场景下的性能和泛化能力，极大地降低了人工收集和标注数据的时间和成本。代码已开源。论文链接：：，深度神经网络的性能很大程度上依赖于训练数据的数量和质量，这使得深度学习难以广泛地应用在小数据任务上。例如，在医疗等领域的小数据应用场景中，人力收集和标注大规模的数据集往往费时费力。为了解决这一数据稀缺问题并最小化数据收集成本，该论文探索了一个数据集扩增新范式，旨在自动生成

NeurIPS 2023｜北京大学提出类别级6D物体位姿估计新范式，取得新SOTA

类别级 6D 物体位姿估计是一个基础且重要的问题，在机器人、虚拟现实和增强现实等领域应用广泛。本文中，来自北京大学的研究者提出了一种类别级 6D 物体位姿估计新范式，取得了新的 SOTA 结果，论文已被机器学习领域顶会 NeurIPS 2023 接收。6D 物体位姿估计作为计算机视觉领域的一个重要任务，在机器人、虚拟现实和增强现实等领域有众多应用。尽管实例级别的物体位姿估计已经取得了显著进展，但它需要事先了解物体的特性，因此无法轻松适用于新的物体，这限制了其实际应用。为了解决这一问题，近年来，越来越多的研究工作集中