工程

近日，来自清华大学的研讨人员联合面壁智能、中国人民大学、MIT、CMU 等机构共同发布了新一代进程自动化范式 “智能体进程自动化” Agentic Process Automation（APA），结合大模型智能体帮助人类进行事务流建立，并让智能体自主处理事务流中涉及简单决议与动态处理的环节，进一步提升自动化的程度，提高效率，将人类从繁重的劳动中解放出来。项目地址：：，自动化是人类技术发展的主要动力…

让大模型同时理解图象和文字可能比想象中要难。在被称为「AI 春晚」的 OpenAI 首届开发者大会拉开帷幕后，很多人的朋友圈都被这家公司发布的新产品刷了屏，比如不需要写代码就能定制应用的 GPTs、能解说球赛甚至「英雄联盟」游戏的 GPT-4 视觉 API 等等。不过，在大家纷纷夸赞这些产品有多好用的时候，也有人发明了弱点，指出像 GPT-4V 这样强大的多模态模型其实还生存很大的幻觉，在基本的视…

本文介绍了一项类似注意力机制新研究，耶鲁大学、谷歌研究院等机构提出了 HyperAttention，使 ChatGLM2 在 32k 上下文长度上的推理时候快了 50%。Transformer 已经成功应用于自然语言处理、盘算机视觉和时候序列预测等领域的各种学习使命。虽然取得了成功，但这些模型仍面临着严重的可扩展性限制，原因是对其注意力层的精确盘算导致了二次（在序列长度上）运转时和内存复杂性。这对…

我们知道，ChatGPT 的成功离不开 RLHF 这个「秘密武器」。不过 RLHF 并不是完美无缺的，存在难以处理的优化困难。本文中，斯坦福大学等研究机构的团队探索用「比照偏好进修」替换掉「加强进修」，在速度和本能上都有不俗的浮现。在模型与人类意图对齐方面，根据人类反馈的加强进修（RLHF）已经成为一大流行范式。通常来说，RLHF 算法的工作过程分为两个阶段：一、利用人类偏好进修一个嘉奖函数；二、…

在最新的人工智能领域动态中，人工生成的提醒（prompt）品质对大谈话模型（LLM）的响应精度有着决定性影响。OpenAI 提出的建议指出，精确、详细且具体的题目对于这些大谈话模型的表现至关重要。然而，普通用户是否可能确保他们的题目对于 LLM 来说足够明晰明了？值得注意的是，人类在某些情境下的自然明白能力与机器的解读存在明显差异。例如，“偶数月” 这一概念，在人类看来很明显指的是二月，四月等月份…

平常检测恣意旨在鉴别明显偏离失常数据分布的平常值，在产业检验、医学诊断、视频监控和欺诈检测等多个规模都发挥了重要作用。传统的平常检测方法主要依赖于描述失常数据分布以进行正平常样本的区分。然而，对于实际的运用而言，平常检测也必要了解数据的高层语义，从而深入了解 “什么是平常”。要实现更准确且智能的平常检测，我们必要关注以下关键步骤：1. 了解多样数据类型和类别不同规模的数据集包含各种数据类型和类别，…

能动脑的，绝不用动手的。未来也许只需动动念头，就能让机器人帮你做好家务。斯坦福大学的吴佳俊和李飞飞团队近日提出的 NOIR 零碎能让用户通过非侵入式脑电图装置控制机器人完成日常任意。NOIR 能将你的脑电图旗号解码为机器人技艺库。它现在已能完成例如烹饪寿喜烧、熨衣服、磨奶酪、玩井字游戏，甚至抚摸机器狗等任意。这个模块化的零碎具备强大的进修能力，可以应对日常生活中复杂多变的任意。大脑与机器人接口（B…

电子游戏已经成为如今现实世界的模拟舞台，展现出无限可能。以游戏《侠盗猎车手》（GTA）为例，在 GTA 的世界里，玩家可以以第一人称视角，在洛圣都（游戏虚拟城市）之中经历丰富多彩的生活。然而，既然人类玩家可以在洛圣都里尽情遨游完毕若干任意，我们是否也能有一个 AI 视觉模型，操控 GTA 中的角色，成为施行任意的 “玩家” 呢？GTA 的 AI 玩家又是否可以扮演一个五星好市民，遵守交通规则，帮助…

Copilot 辅助开发者完毕更大、更复杂的使命。是什么让 Andrej Karpathy 感慨，人类在软件开发过程中直接编纂代码的贡献将越来越小，直接输入和监督作用将更加抽象化。最终，人类的角色将仅仅是进行基本的审核和确认，而不再是主要的编程和开发者。原来是 GitHub 新发布的 Copilot Workspace，它重新构想了开发者的内部过程。如果 AI 开发工具是开发者的第二双手，那么 C…

北京大学与腾讯等机构的研究者们提出了多模态对齐框架 ——LanguageBind。该框架在视频、音频、文本、深度图和热图象等五种分歧模态的下游任意中取得了卓越的机能，刷榜多项评估榜单，这标志着多模态进修规模向着「大一统」理念迈进了重要一步。 在现代社会，信息传递和交流不再局限于单一模态。我们生活在一个多模态的世界里，声音、视频、文字和深度图等模态信息相互交织，共同构成了我们丰富的感知体验。这类多模…

想象一下，如果机器人能够听懂你的需要，并努力满意，是不是很美好呢？如果想让机器人帮助你，你通常需要下达一个较为精准的指令，但指令在实际中的实现效果不一定理想。如果考虑真实环境，当要求机器人找某个特定的东西时，这个东西不一定真的存在当前的环境内，机器人无论如何也找不到；但是环境当中是不是可能存在一个其他东西，它和用户要求的东西有类似的功能，也能满意用户的需要呢？这就是用 “需要” 作为义务指令的好处…

1. 背景大语言模型在各类NLP下游任务上取得了显著进展。然而在DevOps规模，由于缺乏专门用于大型语言模型的评测基准，在有效评估和比较该规模大语言模型的能力方面存在严重不足。为弥补这一不足，蚂蚁集团联合北京大学发布了首个面向DevOps规模的大模型评测基准DevOps-Eval，以帮助开发者跟踪DevOps规模大模型的进展，并了解各个DevOps规模大模型的优势与不足。DevOps-Eval根…

网友：xAI 团队的开发速度简直是疯了！距离马斯克的 xAI 公布 Grok 才过去一天，刚刚，xAI 又公布了另一款 AI 产品，一个可用于 prompt 工程和可解释性研究的集成开发环境：PromptIDE。接连不断的新品发布，也让网友纷纷感叹：「xAI 团队的开发速度简直是疯了！」xAI 在官方博客中这样介绍：PromptIDE 是一个用于 prompt 工程和可解释性研究的集成开发环境。它…

大言语模型因其强大而通用的言语生成、理解才智，展现出了成为通用智能体的潜力。与此同时，在绽放式的情况中探究、进修则是通用智能体的重要才智之一。因此，大言语模型如何适配绽放全国是一个重要的研究问题。北京大学和北京智源人工智能研究院的团队针对这个问题提出了 LLaMA-Rider，该格式赋予了大模型在绽放全国中探究使命、搜集数据、进修策略的才智，助力智能体在《我的全国》（Minecraft）中自决探究…

由美国计算机学会 ACM 主办的 CIKM 2023 学术会议在英国伯明翰举行，大会吸引了 8000 学术从业者参加，并从 235 篇应用研究方向（applied research track）的投稿论文中，评选出了本届最佳应用论文奖，来自蚂蚁集团的用户举动表征模型研究论文获得了该奖项。用户举动表征建模和现在大家熟知的语言模型有很多相似之处，都是从海量的数据中，通过神经网络模型对序列数据进行表征，…

上海交大&上海AI Lab发布178页GPT-4V调理案例测评，首次全面揭秘GPT-4V调理领域视觉性能。在大型基础模型的推动下，人工智能的发展近来取得了巨大进步，尤其是 OpenAI 的 GPT-4，其在问答、知识方面展现出的强大才能点亮了 AI 领域的尤里卡时刻，引起了公众的普遍关注。GPT-4V (ision) 是 OpenAI 最新的多模态基础模型。相较于 GPT-4，它增加了图象…

模型小了，幻觉还减轻了。前段时间，「霉霉大秀中文」的视频在各个社交媒体走红，随后又出现了「郭德纲大秀英语」等类似视频。这些视频很多都出自一个名叫「HeyGen」的 AI 应用之手。不过，从 HeyGen 现在的火爆程度来看，想用它制作类似视频可能要排很久。好在，这并不是唯一的制作方法。懂技术的小伙伴也可以寻找其他替代方案，比如语音转笔墨模型 Whisper、笔墨翻译 GPT、声音克隆 生成音频 s…

《Now and Then》跨越了年龄与生死。熟悉音乐的朋友们，肯定不会对披头士乐队（The Beatles）感到陌生，他们被广泛认为是史上最伟大、最有影响力的摇滚乐队，也是现代摇滚乐的开端。披头士成立于 1960 年，四位成员分别是约翰・列侬、林戈・斯塔尔、保罗・麦卡特尼和乔治・哈里森。1963 年，乐队发行首张音乐专辑《Please Please Me》，1969 年的《Abbey Road》…

低精度训练是大模型训练中扩展模型大小，节约训练成本的最关键技术之一。相比于当前的 16 位和 32 位浮点融合精度训练，应用 FP8 8 位浮点融合精度训练能带来 2 倍的速度提升，节俭 50% - 75% 的显存和 50% - 75% 的通讯成本，而且英伟达最新一代卡皇 H100 自带良好的 FP8 硬件支持。但目前业界大模型训练框架对 FP8 训练的支持还非常有限。最近，微软提出了一种用于训练…

从 2D 到 3D 图象生成，Stability AI 的文生图 Stable Diffusion 平台迎来了进化。说到文生图大模型，Stability AI 在 2022 年推出的 Stable Diffusion 可谓是其中的翘楚，不断地为富有创意的故事讲述者提供他们所需要的 AI 东西。不过，该模型主要用于 2D 图象生成。今天，Stability AI 向我们展示了更多图象增强功能，生成了…

编辑 | ScienceAI自 2020 年发布以来，AlphaFold 彻底改变了人们对蛋白质及其相互作用的了解方式。Google DeepMind 和 Isomorphic Labs 一直在共同努力，为更强大的 AI 模型奠定基础，将覆盖范围从蛋白质扩张到全方位的生物相关份子。2023 年 10 月 31 日，该钻研团队分享了下一代 AlphaFold 的最新进展。其最新的模型现在可以对蛋白质…

这个「愤恨的南瓜」游玩玩起来简单，创设起来却需要一些诀窍。自 GPT 系列对话大模型以及 DALL・E、Midjourney 等文生图大模型兴起以来，基于它们的硬核、有趣二创应用花样频出，让普通人切身地体验到了大模型的魅力。今天又一个这样的游玩项目引起了我们的注意。推特用户 @javilopen 运用 GPT-4、DALL・E 3 和 Midjourney 编写了小游玩「愤恨的南瓜」（PS：如有雷…

在大模型时代，图机器进修面临什么样的机遇和挑战？是否存在，并该如何发展图的大模型？针对这一问题，清华大学朱文武教授团队首次提出图大模型（Large Graph Model）概念，系统总结并梳理了图大模型相关的概念、挑战和利用；进一步围绕动态性和可解释性，在动态图大模型和解耦图大模型方面取得了研究进展。论文地址：、相关概念（一）图大模型图大模型是指具有大量参数的图机器进修模型，具有比小模型更强大的进…

本文探索了 Monarch Mixer (M2) ，这是一种在序列长度和模型维度上都是次二次的新架构，并且在现代加速器上具有很高的硬件效率。从 BERT、GPT 和 Flan-T5 等言语模型到 SAM 和 Stable Diffusion 等图象模型，Transformer 正以锐不可当之势席卷这个世界，但人们也不禁会问：Transformer 是唯一选择吗？斯坦福大学和纽约州立大学布法罗分校的…