ICLR 2024
从数据增强的隐藏作用出发，揭示视觉强化学习可塑性损失的独特机制
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected] 等研究人员近期在《Nature》上发表的研究《Loss of Plasticity in Deep Continual Learning》揭示了一个重要发现：在持续学习环境中
不影响输出质量还能追踪溯源，「大模型无偏水印」入选ICLR 2024 Spotlight
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本文通讯作者为马里兰大学计算机系的博士生胡正冕，其导师为 Heng Huang。他的主要研究方向是采样与机器学习理论，曾在ICML、NeurIPS、ICLR等顶级会议上发表多篇论文。邮箱:
OpenAI、微软、智谱AI等全球16家公司共同签署前沿人工智能安全承诺
人工智能（AI）的安全问题，正以前所未有的关注度在全球范围内被讨论。日前，OpenAI 联合创始人、首席科学家 Ilya Sutskever 与 OpenAI 超级对齐团队共同领导人 Jan Leike 相继离开 OpenAI，Leike 甚至在 X 发布了一系列帖子，称 OpenAI 及其领导层忽视安全而偏爱光鲜亮丽的产品。这在业界引起了广泛关注，在一定程度上凸显了当前 AI 安全问题的严峻性。5 月 21 日，图灵奖得主 Yoshua Bengio、Geoffrey Hinton 和姚期智联合国内外数十位业内专
百万tokens低至1元！大模型越来越卷了
入门价格越来越便宜了。在刚刚举行的 ICLR 2024 大会上，智谱AI的大模型技术团队公布了面向激动人心的AGI通用人工智能前景的三大技术趋势，同时预告了GLM的后续升级版本。今天，智谱大模型开放平台（bigmodel.cn）上线了新的价格体系。入门级产品 GLM-3 Turbo 模型调用价格下调80%！从5元/百万tokens降至1元/百万tokens。1元可以购买100万tokens。调整后，使用GLM-3 Turbo创作一万条小红书文案（以350字计）将仅需约1元钱，足以让更多企业和个人都能用上这款入门级产
在ICLR 2024这场演讲中，智谱AI首次公开神秘项目「GLM-zero」
在机器学习社区中，ICLR （国际学习表征会议）是较为「年轻」的学术会议，它由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 在 2013 年牵头举办。但 ICLR 很快就获得了研究者的广泛认可，并且在 AI 圈拥有了深度学习会议「无冕之王」的称号。目前，ICLR 与 ICML、NeurIPS 并称为机器学习领域难度最大，水平最高的会议。从影响力上看，ICLR 长期处于 Google Scholar 全球所有学科中期刊、顶会的前十名。今年，ICLR 已经来到了第十二届。5 月 7
获ICLR 2024杰出论文奖，97.47%体外成功率，蛋白质设计新算法
编辑 | 紫罗在今年的 ICLR 会议上，共评选出 5 篇杰出论文奖以及 11 篇荣誉提名。纽约大学和基因泰克（Genentech）合作发表的一篇关于蛋白质设计的研究论文获得杰出论文奖。这篇论文解决了基于序列的抗体设计问题，这是蛋白质序列生成模型的一个及时而重要的应用。为此，研究人员引入了一种创新而有效的新建模方法——离散「步行-跳跃」采样（Discrete Walk-Jump Sampling，dWJS）算法，用来专门针对处理离散蛋白质序列数据的问题。除了在计算机上验证该方法之外，还进行了广泛的湿实验室实验，来测
10年前VAE经典论文获奖，ICLR 2024首个时间检验奖公布
ICLR 2024 评选出的时间检验奖，在各自领域可谓是开山之作。由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 在 2013 年牵头举办的 ICLR 会议，在走过第一个十年后，终于迎来了首届时间检验奖。为了评选出获奖论文，项目主席审查了 2013 年和 2014 年 ICLR 论文，并寻找具有长期影响力的论文。今年，由 Diederik P. Kingma、Max Welling 合作撰写的论文获得了该奖项，获奖论文为《 Auto-Encoding Variational Ba
7262篇提交，ICLR 2024爆火，两篇国内论文获杰出论文提名
今年共评选出 5 篇杰出论文奖以及 11 篇荣誉提名。ICLR 全称为国际学习表征会议（International Conference on Learning Representations），今年举办的是第十二届，于 5 月 7 日至 11 日在奥地利维也纳展览会议中心举办。在机器学习社区中，ICLR 是较为「年轻」的顶级学术会议，它由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 牵头举办，2013 年才刚刚举办第一届。不过 ICLR 很快就获得了学术研究者们的广泛认可，被认
让机器准确「看懂」手物交互动作，清华大学等提出GeneOH Diffusion方法
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]在机器学习和计算机视觉中，让机器准确地识别和理解手和物体之间的交互动作，那是相当费劲。要么拿个杯子半天抓不到杯把：要么打开一个盒子手部跟触电了似的：抑或是各种稀奇古怪的手部「畸变」：这都是
ICLR 2024 | 跨领域准确进行零样本异常检测，浙大等提出AnomalyCLIP
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]。零样本异常检测（ZSAD）允许检测模型仅利用辅助数据进行训练，从而在没有任何目标数据集训练样本的情况下检测异常。这在因各种原因（如数据隐私问题）无法获取训练数据时非常关键。然而，这项任务
谁说大象不能起舞! 重编程大语言模型实现跨模态交互的时序预测 | ICLR 2024
最近，来自澳大利亚蒙纳士大学、蚂蚁集团、IBM 研究院等机构的研究人员探索了模型重编程 (model reprogramming) 在大语言模型 (LLMs) 上应用，并提出了一个全新的视角：高效重编程大语言模型进行通用时序预测 –- 其提出的 Time-LLM 框架无需修改语言模型即可实现高精度时序预测，在多个数据集和预测任务中超越了传统的时序模型，让 LLMs 在处理跨模态的时间序列数据时展现出色，就像大象起舞一般！近期，受到大语言模型在通用智能领域的启发，「大模型 时序 / 时空数据」这个新方向迸发出了许
ICLR 2024 | 联邦学习后门攻击的模型关键层
联邦学习使多个参与方可以在数据隐私得到保护的情况下训练机器学习模型。但是由于服务器无法监控参与者在本地进行的训练过程，参与者可以篡改本地训练模型，从而对联邦学习的全局模型构成安全序隐患，如后门攻击。本文重点关注如何在有防御保护的训练框架下，对联邦学习发起后门攻击。本文发现后门攻击的植入与部分神经网络层的相关性更高，并将这些层称为后门攻击关键层。基于后门关键层的发现，本文提出通过攻击后门关键层绕过防御算法检测，从而可以控制少量的参与者进行高效的后门攻击。论文题目：Backdoor Federated Learning
ICLR 2024 | 鸡生蛋蛋生鸡？再论生成数据能否帮助模型训练
随着生成模型（如 ChatGPT、扩散模型）飞速发展，一方面，生成数据质量越来越高，到了以假乱真的程度；另一方面，随着模型越来越大，也使得人类世界的真实数据即将枯竭。面对这一处境，一个近期的研究热度是，能否利用生成模型生成的假数据来辅助学习？学界对此也产生了许多争论：到底是可以左脚踩右脚（bootsrap）地实现 weak-to-strong 的不断提升，还是像鸡生蛋、蛋生鸡一样，只不过是徒劳无功？在近期 ICLR 2024 工作中，北大王奕森团队针对这一「数据扩充」（Data Inflation）问题展开了深入研
ICLR 2024 | 连续学习不怕丢西瓜捡芝麻，神经形态方法保护旧知识
以脉冲神经网络（SNN）为代表的脑启发神经形态计算（neuromorphic computing）由于计算上的节能性质在最近几年受到了越来越多的关注 [1]。受启发于人脑中的生物神经元，神经形态计算通过模拟并行的存内计算、基于脉冲信号的事件驱动计算等生物特性，能够在不同于冯诺依曼架构的神经形态芯片上以低功耗实现神经网络计算。然而，神经网络模型在持续学习新任务时通常存在对旧任务的灾难性遗忘的问题，这和人脑通过终生的连续学习（continual learning）来不断积累知识非常不同。如何能够通过神经形态的计算形式解
ICLR 2024 | 无需训练，Fast-DetectGPT让文本检测速度提升340倍
Fast-DetectGPT 同时做到了高准确率、高速度、低成本、通用，扫清了实际应用的障碍！大语言模型如 ChatGPT 和 GPT-4 在各个领域对人们的生产和生活带来便利，但其误用也引发了关于虚假新闻、恶意产品评论和剽窃等问题的担忧。本文提出了一种新的文本检测方法 ——Fast-DetectGPT，无需训练，直接使用开源小语言模型检测各种大语言模型生成的文本内容。Fast-DetectGPT 将检测速度提高了 340 倍，将检测准确率相对提升了 75%，成为新的 SOTA。在广泛使用的 ChatGPT 和 G
ICLR 2024 Spotlight | 大语言模型权重、激活的全方位低bit可微量化，已集成进商用APP
模型量化是模型压缩与加速中的一项关键技术，其将模型权重与激活值量化至低 bit，以允许模型占用更少的内存开销并加快推理速度。对于具有海量参数的大语言模型而言，模型量化显得更加重要。例如，GPT-3 模型的 175B 参数当使用 FP16 格式加载时，需消耗 350GB 的内存，需要至少 5 张 80GB 的 A100 GPU。但若是可以将 GPT-3 模型的权重压缩至 3bit，则可以实现单张 A100-80GB 完成所有模型权重的加载。现有的大语言模型后训练量化算法依赖于手工制定量化参数，优于缺乏相应的优化过程，
ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天
在 2024 世界经济论坛的一次会谈中，图灵奖得主 Yann LeCun 提出用来处理视频的模型应该学会在抽象的表征空间中进行预测，而不是具体的像素空间 [1]。借助文本信息的多模态视频表征学习可抽取利于视频理解或内容生成的特征，正是促进该过程的关键技术。然而，当下视频与文本描述间广泛存在的噪声关联现象严重阻碍了视频表征学习。因此本文中，研究者基于最优传输理论，提出鲁棒的长视频学习方案以应对该挑战。该论文被机器学习顶会 ICLR 2024 接收为了 Oral。论文题目：Multi-granularity Corre
8/8/6/3的Mamba论文，最终还是被ICLR 2024拒了，网友：悬着的心终于死了
几天前，ICLR 2024 的最终接收结果出来了。大家应该还记得，Mamba 被 ICLR 2024 大会 Decision Pending（待定）的消息在 1 月份引发过一波社区热议。当时，多位领域内的研究者分析，Decision Pending 的意思是延迟决定，虽然也可能会被拒，但这篇论文得到了 8/8/6/3 的打分，按理说不至于真被拒。论文审稿页面：，Decision 已出，Mamba 彻底被拒，悬着的心终于死了。「Mamba」发布之初即被视为「Transformer 的强劲竞争者」，它是一种选择性状态空