工程

这是为数不多深入比较使用消费级 GPU（RTX 3090、4090）和服务器显卡（A800）进行大模型预训练、微调和推理的论文。大型语言模型 (LLM) 在学界和业界都取得了巨大的进展。但训练和部署 LLM 非常昂贵，需要大量的算计资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的开源框架和方法。然而，不同硬件和软件堆栈的运行时机能可能存在很大差异，这使得选择最佳配置变得困难…

MIT、微软联合钻研：不需要额外训练，也能增强大语言模型的工作机能并降低其大小。在大模型时代，Transformer 凭一己之力撑起了整个科研领域。自发布以来，基于 Transformer 的 LLM 在各种工作上表现出卓越的机能，其底层的 Transformer 架构已成为自然语言建模和推理的最先进技术，并在计算机视觉和强化学习等领域显示出强有力的前景。然而，当前 Transformer 架构非…

面对当前微调大模型主要依赖人类生成数据的普遍做法，谷歌 DeepMind 探索出了一种减少这种依赖的更高效法子。如你我所见，大谈话模型（LLM）正在改变深度学习的格局，在生成人类质量的文本和解决各种谈话义务方面展现出了卓越的能力。虽然业界通过对人类收集的数据举行监督微调进一步提升了在具体义务上的功能，但获取高质量人类数据却面临着重大瓶颈。这对于要解决复杂问题的义务来说尤为明显，需要大量资源和专业知…

对 SSM 感兴趣的研究者不妨读一下这篇博士论文。在大模型领域，Transformer 凭一己之力撑起了整个江山。但随着模型规模的扩展和需要处置惩罚的序列不断变长，Transformer 的局限性也逐渐凸显，比如其自注意力机制的算计量会随着上下文长度的增加呈平方级增长。为了克服这些缺陷，研究者们开发出了很多注意力机制的高效变体，但收效甚微。最近，一项名为「Mamba」的研究似乎打破了这一局面，它在…

来自清华大学的研究者提出了一种新的注意力范式——署理注意力 (Agent Attention)。近年来，视觉 Transformer 模型得到了极大的发展，相关工作在分类、联系、检测等视觉任务上都取得了很好的效果。然而，将 Transformer 模型运用于视觉领域并不是一件简单的事情。与自然语言不同，视觉图片中的特性数量更多。由于 Softmax 注意力是平方复杂度，直接进行全部自注意力的算计往…

在这篇 NeurIPS23 论文中，来自鲁汶大学、新加坡国立大学和中科院自动化所的研究者提出了一种视觉 「读脑术」，能够从人类的大脑流动中以高分辨率剖析出人眼观看到的图象。人类的感知不仅由客观刺激塑造，而且深受过往经验的影响，这些共同促成了大脑中的复杂流动。在认知神经科学领域，解码大脑流动中的视觉信息成为了一项关键任务。功能性磁共振成像（fMRI）作为一种高效的非侵入性技术，在恢复和分析视觉信息，…

苹果这项新工作将为未来 iPhone 加入大模型的能力带来无限想象力。近年来，GPT-3、OPT 和 PaLM 等大型语言模型（LLM）在广泛的 NLP 任务中表现出了强大的性能。不过，这些能力伴随着大量计算和内存推理需求，毕竟大型语言模型可能包含数千亿甚至万亿参数，使得高效加载和运行变得有挑战性，尤其是在资源有限的设备上。当前标准的应对方案是将整个模型加载到 DRAM 中进行推理，然而这种做法严…

Meta的视频合成新框架又给了我们一点小小的震撼。就今天的人工智能发展水平来说，文生图、图生视频、图象/视频风格迁移都已经不算什么难事。生成式 AI 天赋异禀，能够毫不费力地创建或修改内容。尤其是图象编写，在以十亿规模数据集为基础预训练的文本到图象集中模型的推动下，经历了重大发展。这股浪潮催生了大量图象编写和内容创建应用。鉴于图象的生成模型所取得的成就基础上，下一个挑战的领域必然是为其增加「光阴维…

很快就将扩展到一切论文。今年 10 月，著名预印版论文平台 arXiv 颁布发表获得 1000 万元捐钱，现在版本大升级来了。本周四，arXiv 颁布发表了一项革新，正式加入论文 HTML 版本。消息一出，立刻引来了学界的欢呼，有人发现 arXiv 也已经准备好了暗黑模式：arXiv 是计算机科学、物理学、数学、生物学等学术领域常用论文预印本网站，创立于 1991 年。一直以来，arXiv 上论文…

尝试时规模顺应（Test-Time Adaptation）的目的是使源域模型顺应推理阶段的尝试数据，在顺应未知的图像损坏规模取得了出色的效果。然而，当前许多要领都缺乏对真实世界场景中尝试数据流的考虑，例如：尝试数据流应当是时变散布（而非传统规模顺应中的固定散布）尝试数据流可能存在全部类型相关性（而非完全独立同散布采样）尝试数据流在较长时间里仍表现全部类型不均衡近日，华南理工、A*STAR 和港中大…

PowerInfer 使得在消费级硬件上运转 AI 更加高效。上海交大团队最新推出了超强 CPU/GPU LLM 高速推理引擎 PowerInfer。                                   PowerInfer 和 llama.cpp 都在相同的硬件上运转，并充分利用了 RTX 4090 上的 VRAM。 这个推理引擎速度有多快？在单个 NVIDIA RTX 4090…

从此以后，Google Scholar 数据该出问题了。备受期待的google Gemini 技能报告完整版，今天终于出炉了。两周前，人们兴奋于google提出的「原生多模态大模型」Gemini，其宣称超越 GPT-4 的富强本能，以及对于图象、视频等领域的明白才能让人们似乎看到了未来。不过由于google演示的 demo 涉嫌夸大效果，Gemini 又很快陷入了争议。但作为生成式 AI 领域最近…

12月20日，数据库国际顶会VLDB2024公布新一批论文，阿里云新技巧PilotScope成功入围，该平台技巧可实行AI算法在数据库的“一键布署”，极大降低数据库中AI算法的使用门槛，为数据库智能化开辟了崭新空间。同日阿里云宣布将PilotScope全部技巧收费开源。图说：数据库顶会VLDB2024数据库是事关国计民生的基础软件技巧，数据库技巧的更新影响着数字时代的千行百业，其中一个前沿领域即是…

近日，腾讯 AI Lab 的游玩 AI 团队宣布了其计划智能 AI "绝悟" 在《星际争霸 2》中的最新钻研进展，提出一种创新的训练办法显著晋升了 AI 的局内计谋应变能力，使其在考虑了 APM 公平的对战环境中，与 3 位国内顶尖的神族职业选手各进行多达 20 局神族 vs 神族的对战，稳定地保持 50% 及以上的胜率。该成果已获 NeurIPS 2023 Spotlight…

在封闭、高动向和演化情况中的进修能力是生物智能的核心要素之一，也是人类以及大多数动物在「适者生存」的自然选择过程中形成的重要优势。目前传统机械进修范式是在静态和封闭的数据集上进修到一个模型，并假设其应用情况和之前训练数据的属性相同，因而无法符合动向封闭情况的挑战。针对该问题，中断进修模拟生物智能的进修过程和进修能力，发展新型的机械进修理论和步骤，通过中断进修的过程，以期提升智能体对封闭、高动向情况…

美图影象研究院（MT Lab）与中国科学院大学突破性地提出了鉴于文生图模型的视频生成新方法 EI2，用于提高视频编写过程中的语义和内容两方面的同等性。该论文从理论角度分析和论证视频编写过程中闪现的不同等的题目，主要由引入的时序信息进修模块使特征空间闪现协变量偏移造成，并针对性地计划了新的网络模块举行办理以生成高质量的编写结果。目前，该论文已被机器进修顶会之一 NeurIPS 2023 接收。背景作…

最近，有人在社交媒体上发布了一张有关 GPT4.5 更新的截图。图中内容显示，和 GPT 系列之前推出的模型相比，GPT4.5 最大的惊喜可能就是处理 3D 和视频的本领。至于 3D 本领到底是指看得懂 3D 图象，还是能输出 3D 模型，目前只能靠猜。OpenAI CEO Sam Altman 随后否认了该截图的真实性，GPT4.5 的具体本领依然是一个谜。不过，在众多研究中，确实已经有大模型实…

软件开发人员对代码生成 AI 已经不陌生，它们已经成为提高生产力的利器。本文中，伊利诺伊大学香槟分校（UIUC）张令明老师团队带来了代码生成 AI 领域的又一力作 ——Magicoder，在短短一周之内狂揽 1200 多颗 GitHub Star，登上 GitHub Trending 日榜，并获推特大佬 AK（@_akhaliq）发推力荐。Hugging Face 技术负责人 Philipp Sc…

现在，数学辅助注明东西都用上了大模型。「我预计，如果利用得当，到 2026 年，AI 将成为数学钻研和许多其他领域值得信赖的合著者。」数学家陶哲轩在之前的一篇博客中说道。陶哲轩这样说了，也这样做了。他最近一直在用 GPT-4、Copilot、Lean 等东西从事数学钻研，并且还在 AI 的帮助下发现了自己论文中的一处隐藏 bug。不仅如此，前几天，陶哲轩表示：对多项式 Freiman-Ruzsa …

人类没法监视超等人工智能，但人工智能可以。过去一年，以「预测下一个 Token」为本质的大模型已经横扫人类世界的多项任意，展现了人工智能的巨大潜力。在近日的一次访谈中，OpenAI 首席科学家 Ilya Sutskever 大胆预言，如果模型能够很好地预测下一个词，那么意味着它能够理解导致这个词产生的深刻现实。这意味着，如果 AI 按照现有路径发展下去，也许在不久的将来，一个超越人类的人工智能系统…

除了模仿人类说话、写作、写代码，大模型还能用来发觉新知识。作为今年 AI 圈的顶流，大型语言模型（LLM）擅长的是拉拢概念，并且可以通过阅读、理解、写作和编码来帮助人们办理成绩。但它们能发觉全新的知识吗？由于 LLM 已被证明存在「幻觉」成绩，即生成与事实不符的信息，因此利用 LLM 来做可验证的正确发觉是一项寻衅。现在，来自 Google DeepMind 的研讨团队提出了一种为数学和计算机迷信…

大语言模型（LLM）被越来越多应用于各种领域。然而，它们的文本生成流程既昂贵又缓慢。这种低效率归因于自返回解码的运算规则：每个词（token）的生成都需要从事一次前向传播，需要访问数十亿至数千亿参数的 LLM。这导致传统自返回解码的速度较慢。近日，滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布 EAGLE，旨在提升大语言模型的推理速度，同时保证模型输入文本的散布一致。这种格式外推 LLM 的…

在视频生成场景中，用 Transformer 做集中模型的去噪骨干已经被李飞飞等研究者证明行得通。这可算得上是 Transformer 在视频生成领域取得的一项重大成功。近日，一项视频生成研究收获了大量赞誉，甚至被一位 X 网友评价为「好莱坞的终结」。真的有这么好吗？我们先看下效果：很明显，这些视频不仅几乎看不到伪影，而且还非常连贯、细节满满，甚至似乎就算真的在电影大片中加上几帧，也不会明显违和。…

来自清华大学交叉信息研究院的研究者提出了「ViLa」（全称 Robotic Vision-Language Planning）算法，其能在非常复杂的情况中控制机器人，为机器人提供工作方案。【关注机器之心视频号，第一时间看到有趣的AI内容】GPT-4V 已经能帮我们设计网站代码，控制浏览器，这些应用集中在虚拟数字全国中。假如我们把 GPT-4V 带入现实全国，让它作为控制机器人的大脑，会有什么有趣的…