ICLR 2024

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected] 等研究人员近期在《Nature》上发表的研究《Loss…

AIxiv专栏是机器之心发布学术、技术实质的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇实质，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本文通讯作者为马里兰大学计算机系的博士生胡正冕，其导师为 Heng …

人工智能（AI）的宁静课题，正以前所未有的关注度在全世界范围内被讨论。日前，OpenAI 联合创始人、首席科学家 Ilya Sutskever 与 OpenAI 超等对齐团队共同领导人 Jan Leike 相继离开 OpenAI，Leike 甚至在 X 发布了一系列帖子，称 OpenAI 及其领导层忽视宁静而偏爱光鲜亮丽的产品。这在业界引起了广泛关注，在一定程度上凸显了当前 AI 宁静课题的严峻性…

入门价钱越来越便宜了。在刚刚举行的 ICLR 2024 大会上，智谱AI的大模型技能团队公布了面向激动人心的AGI通用人工智能前景的三大技能趋势，同时预告了GLM的后续升级版本。今天，智谱大模型开放平台（bigmodel.cn）上线了新的价钱体系。入门级产物 GLM-3 Turbo 模型挪用价钱下调80%！从5元/百万tokens降至1元/百万tokens。1元可以购买100万tokens。调整后…

在机器进修社区中，ICLR （国际进修表征会议）是较为「年轻」的学术会议，它由深度进修巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 在 2013 年牵头举办。但 ICLR 很快就获得了研究者的广泛认可，并且在 AI 圈拥有了深度进修会议「无冕之王」的称号。目前，ICLR 与 ICML、NeurIPS  并称为机器进修领域难度最大，水平最高的会议。从影响力上看，ICLR …

编辑 | 紫罗在今年的 ICLR 会议上，共评选出 5 篇杰出论文奖以及 11 篇荣誉提名。纽约大学和基因泰克（Genentech）合作发表的一篇关于蛋白质计划的钻研论文获得杰出论文奖。这篇论文解决了鉴于序列的抗体计划成绩，这是蛋白质序列生成模型的一个及时而重要的应用。为此，钻研职员引入了一种创新而有效的新建模法子——失散「步行-跳跃」采样（Discrete Walk-Jump Sampling，…

ICLR 2024 评选出的时间查验奖，在各自领域可谓是开山之作。由深度进修巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 在 2013 年牵头举办的 ICLR 会议，在走过第一个十年后，终于迎来了首届时间查验奖。为了评选出获奖论文，项目主席审查了 2013 年和 2014 年 ICLR 论文，并寻找具有长期影响力的论文。今年，由 Diederik P. Kingma、M…

今年共评选出 5 篇良好论文奖以及 11 篇声誉提名。ICLR 全称为国际进修表征会议（International Conference on Learning Representations），今年举行的是第十二届，于 5 月 7 日至 11 日在奥地利维也纳展览会议中心举行。在机器进修社区中，ICLR 是较为「年轻」的顶级学术会议，它由深度进修巨头、图灵奖获得者 Yoshua Bengio 和…

AIxiv专栏是呆板之心发布学术、技术内容的栏目。过去数年，呆板之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，无效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]在呆板学习和计算机视觉中，让呆板准确地识别和理解手和物体之间的交互作…

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]。零样本非常十分检测（ZSAD）允许检测模型仅利用辅助数据进行训练，…

最近，来自澳大利亚蒙纳士大学、蚂蚁集团、IBM 研究院等机构的研究人员探索了模型重编程 (model reprogramming) 在大谈话模型 (LLMs) 上应用，并提出了一个全新的视角：高效重编程大谈话模型进行通用时序展望 –- 其提出的 Time-LLM 框架无需修改谈话模型即可实现高精度时序展望，在多个数据集和展望恣意中超越了传统的时序模型，让 LLMs 在处置惩罚跨模态的空儿序列数据时…

联邦进修使多个参与方可以在数据隐私失去庇护的情况下训练机器进修模型。但是由于服务器无法监控参与者在本地举行的训练过程，参与者可以篡改本地训练模型，从而对联邦进修的全局模型构成安全序隐患，如后门进击。本文重点关注如何在有进攻庇护的训练框架下，对联邦进修发起后门进击。本文发现后门进击的植入与部分神经网络层的相关性更高，并将这些层称为后门进击环节层。鉴于后门环节层的发现，本文提出通过进击后门环节层绕过进…

随着生成模型（如 ChatGPT、扩散模型）飞速发展，一方面，生成数据品质越来越高，到了以假乱真的程度；另一方面，随着模型越来越大，也使得人类世界的实在数据即将枯竭。面对这一处境，一个近期的研究热度是，能否利用生成模型生成的假数据来辅助进修？学界对此也产生了许多争论：到底是可以左脚踩右脚（bootsrap）地实现 weak-to-strong 的不断晋升，还是像鸡生蛋、蛋生鸡一样，只不过是徒劳无功…

以脉冲神经网络（SNN）为代表的脑启发神经形状计较（neuromorphic computing）由于计较上的节能性质在最近几年受到了越来越多的关注 [1]。受启发于人脑中的生物神经元，神经形状计较通过模拟并行的存内计较、鉴于脉冲信号的事件驱动计较等生物特性，能够在不同于冯诺依曼架构的神经形状芯片上以低功耗实行神经网络计较。然而，神经网络模型在持续进修新任意时通常存在对旧任意的灾难性忘记的问题，这…

Fast-DetectGPT 同时做到了高准确率、高速度、低成本、通用，扫清了实际应用的障碍！大言语模型如 ChatGPT 和 GPT-4 在各个领域对人们的生产和生活带来便利，但其误用也引发了关于虚假新闻、恶意产品评论和剽窃等问题的担忧。本文提出了一种新的文本检测步骤 ——Fast-DetectGPT，无需训练，直接使用开源小言语模型检测各种大言语模型生成的文本内容。Fast-DetectGPT…

模型量化是模型压缩与加速中的一项关键技术，其将模型权重与激活值量化至低 bit，以允许模型占用更少的内存开支并加快推理速度。对于具有海量参数的大言语模型而言，模型量化显得更加重要。例如，GPT-3 模型的 175B 参数当使用 FP16 格式加载时，需消耗 350GB 的内存，需要至少 5 张 80GB 的 A100 GPU。但若是可以将 GPT-3 模型的权重压缩至 3bit，则可以实现单张 A…

在 2024 世界经济论坛的一次会谈中，图灵奖得主 Yann LeCun 提出用来处理视频的模型应该学会在抽象的表征空间中从事预测，而不是具体的像素空间 [1]。借助文本信息的多模态视频表征进修可抽取利于视频理解或实质生成的特征，正是促进该过程的关键技术。然而，当下视频与文本描述间广泛存在的噪声关涉现象严重阻碍了视频表征进修。因此本文中，研究者基于最优传输理论，提出鲁棒的长视频进修方案以应对该挑战…

几天前，ICLR 2024 的终究领受结果出来了。大家应该还记得，Mamba 被 ICLR 2024 大会 Decision Pending（待定）的消息在 1 月份引发过一波社区热议。当时，多位领域内的研究者分析，Decision Pending 的意思是延迟决定，虽然也可能会被拒，但这篇论文得到了 8/8/6/3 的打分，按理说不至于真被拒。论文审稿页面：，Decision 已出，Mamba …

2 月 16 日，OpenAI Sora 的发布无疑标志着视频生成范畴的一次重大突破。Sora 鉴于 Diffusion Transformer 架构，和市面上大部分主流方法（由 2D Stable Diffusion 扩展）并不相同。为什么 Sora 坚持利用 Diffusion Transformer，其中的原因从同时期发表在 ICLR 2024（VDT: General-purpose Vi…

近期虚拟人方面的应用如同雨后春笋一般涌现出来。你是否在很多 App 中，看到了 AIGC 让单张照片开口措辞的能力？尽管已经能够拥有清晰的画质和准确的口型，但现有的单图启动虚拟人似乎还差了一点：呈现的结果中措辞人往往采用和原图中措辞人接近的头部姿势，无法像真人一样在画面中自由地疏通。这是因为目前采用的技巧无法对图片中措辞人在 3D 世界中从事建模，因此在大姿势启动的情况下会出现效果急剧下降的问题。…

本文是一篇关于提高零阶优化的扩展性的研究，代码已开源，论文已被 ICLR 2024 接收。今天介绍一篇密歇根州立大学 (Michigan State University) 和劳伦斯・利弗莫尔国家实验室（Lawrence Livermore National Laboratory）的一篇关于零阶优化深度进修框架的文章 “DeepZero: Scaling up Zeroth-Order Optim…

简略权重矩阵的一些行和列，让 LLAMA-2 70B 的参数量减少 25%，模型还能保持 99% 的零样本任务机能，同时算计效率大大提升。这就是微软 SliceGPT 的威力。大型语言模型（LLM）通常拥有数十亿的参数，用了数万亿 token 的数据从事训练，这样的模型训练、部署成本都非常高。因此，人们经常用各种模型压缩技术来减少它们的算计需求。一般来讲，这些模型压缩技术可以分为四类：蒸馏、张量分…

动静视觉分词同一图文默示，快手与北大合作提出基座模型 LaVIT 刷榜多模态明白与生成任务。当前的大型说话模型如 GPT、LLaMA 等在自然说话处理领域取得了显著进展，不妨明白和生成复杂的文本实质。但你是否想过，如果不妨将大说话模型这强大的明白和生成才能迁移到多模态数据上，就可以轻松明白海量的图象与视频，并辅助创作图文并茂的实质。近期，来自快手和北大合作的最新多模态大模型 LaVIT, 正在让这…

你被拒了吗？ICLR 2024 国际进修表征会议已经来到了第十二届，将于今年 5 月 7 日 - 11 日在奥地利维也纳会展中心举行。在机械进修社区中，ICLR 是较为「年轻」的学术顶会，它由深度进修巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 牵头举行，2013 年才举行了第一届。不过 ICLR 很快获得学术研究者们的广泛认可，被认为是深度进修顶会。在 Google …