理论

说到大模型应用的理想态，我相信很多人都可以想到《钢铁侠》里面的贾维斯，可以根据环境、天气、对手火力等情况，给钢铁侠提供决策指导或者自主决策。 大模型Agent就是人们希望借助大模型实现的类似于贾维斯一样智能助手能力，它具备环境感知能力、自主理解、决策制定以及行动执行的能力。 在实现Agent架构过程中，有很多思维方式和传统软件工程思维是相似的。

本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&出发点本文提出了一个人机协作中的规划与推理任务基准（PARTNR），旨在研究家庭活动中的人机协调。 PARTNR任务展现了日常任务的特点，如空间、时间和异构agent能力约束。

写在前面 & 笔者的个人理解本文介绍了EMMA，一种用于自动驾驶的端到端多模态模型。 EMMA建立在多模态大型语言模型的基础上，将原始摄像头传感器数据直接映射到各种特定于驾驶的输出中，包括规划者轨迹、感知目标和道路图元素。 EMMA通过将所有非传感器输入（如导航指令和自车状态）和输出（如轨迹和3D位置）表示为自然语言文本，最大限度地利用了预训练的大型语言模型中的世界知识。

虽然供应商表示，他们目前基于代理的人工智能产品很容易实现，但分析师表示，事实远非如此。 软件供应商的宣传也在不断发展，在他们的营销信息中，人工智能开始取代生成式人工智能。 他们说，人工智能不仅仅是为人类审查生成代码或内容，它将遵循指令，做出决定，并采取行动，就像人类工作者一样，无需人类干预。

2017年，谷歌发布《Attention Is All You Need》论文，首次提出Transformer架构，掀开了人工智能自然语言处理（NLP）领域发展的全新篇章。 Transformer架构作为神经网络学习中最重要的架构，成为后来席卷全球的一系列通用大模型如ChatGPT、Gemini的底层技术支撑。 而提升Transformer的运行效率也成为人工智能领域的研究热点，2024年4月，谷…

译者 | 朱先忠审校 | 重楼本文将全面探索战略性人工智能的概念、发展及相关博弈论理论，并对战略人工智能的未来发展方向提出建议。 开场白1997年5月11日，纽约市。 这是纽约市一个美丽的春日，天空晴朗，气温攀升至20摄氏度。

译者 | 李睿审校 | 重楼如今，人工智能服务的迅速崛起创造了对计算资源的巨大需求，而如何有效管理这些资源成为一项关键挑战。 虽然使用Kubernetes运行人工智能工作负载已经取得了长足的进步，但基于动态需求优化调度仍然是一个亟待改进的领域。 在全球范围内，许多组织面临与GPU集群的成本和可用性相关的限制，并且通常依赖于这些计算集群来进行推理工作负载和持续的模型训练和微调。

人工智能的世界正在以惊人的速度发展。 多模态人工智能处在这场革命的前沿，这项技术将重新定义我们人类与机器的交互方式。 多模态人工智能不仅仅是另一个热词，多模态人工智能是一个正在改变各个行业并有望重塑数字格局的范式转变。

Seq2Seq（Sequence-to-Sequence）模型是一种用于处理序列数据的神经网络架构，广泛应用于自然语言处理（NLP）任务，如机器翻译、文本生成、对话系统等。 它通过编码器-解码器架构将输入序列（如一个句子）映射到输出序列（另一个句子或序列）。 图片模型结构Seq2Seq 模型由两个主要部分组成。

30多年的数学猜想，被AI发现了一个反例？ 就在刚刚，Meta、威斯康星大学麦迪逊分校、伍斯特理工学院、悉尼大学的几位学者提出PatternBoost，这种全新的方法可以在一些数学问题中寻找有趣的结构。 图片论文地址：「局部搜索」和「全局搜索」。

11月12日，以“应用来了"为主题的百度世界2024在上海召开。 会上，百度集团执行副总裁、百度智能云事业群总裁沈抖分享了百度智能云在大模型产业落地方面的最新进展，并在企业级AI原生应用开发、大模型开发调优等方面发布一系列全新功能。 目前，百度智能云拥有中国最大的大模型产业落地规模。

据凯捷的一项调查显示，随着AI在职场中可能取代初级职位，中层管理人员将占据劳动力的更大比例，并承担更多专业化职能。 凯捷的一项新调查显示，随着GenAI在企业中的应用，谁做什么工作以及组织的结构将不可避免地发生变化，特别是在领导和管理层面，该调查有来自15个国家500家组织的1500名管理人员参与。 大多数(51%)受访者认为，由于GenAI的使用，决策职位将变得更加专业化，这意味着领导者也需要成…

继稚晖君之后，国内又一家头部机器人公司玩起了开源！ 宇树科技，开源Unitree G1机器人操作数据集，包括数据采集、学习算法、数据集和模型，并表示将持续更新。 更令网友意外的是，宇树基于抱抱脸LeRobot开源框架训练并测试。

这一两年，越来越多的朋友开始意识到有点跟不上AI技术的发展了！ 以ChatGPT、文心一言为代表的一系列aigc工具的流行，让人们在面对AI时，自愧不如，惊讶于AI模型的无所不能，既有渊博的知识，又具备高效的办公效率。 ai变得越来越像人，很多工作都有被替代的危机，这种生产力的变革，正在让数百万级的知识类工作者面临失业压力。

几十万人关注，一发表即被行业大佬评为“这是很长时间以来最重要的论文”。 哈佛、斯坦福、MIT等团队的一项研究表明：训练的token越多，需要的精度就越高。 例如，Llama-3在不同数据量下（圆形8B、三角形70B、星星405B），随着数据集大小的增加，计算最优的精度也会增加。

在大语言模型(LLM)快速发展的背景下，研究者们越来越关注如何通过多代理系统来增强模型性能。 传统的多代理方法虽然避免了大规模再训练的需求，但仍面临着计算效率和思维多样性的挑战。 本文提出的稀疏代理混合(Sparse Mixture-of-Agents, SMoA)框架，通过借鉴稀疏专家混合(Sparse Mixture-of-Experts, SMoE)的设计理念，有效解决了这些问题。

数字技术的快速发展导致了电子设备和系统的激增，同时也导致电子垃圾（e-waste）的惊人增加。 特别是近两年来爆火的生成式人工智能（GenAI），需要大量的计算资源进行模型训练和推理，但人们对其可能产生的电子垃圾影响还没有完全了解。 美国训练研究所（UNITAR）最新的《全球电子废物监测》显示，世界电子垃圾的产生速度是记录在案的电子垃圾回收速度的五倍。

OpenAI联创&总裁Greg Brockman，回来了！ 刚刚，他在推特上宣布，自己人生中最长的假期结束了，现在要回来继续建设OpenAI。 据爆料，Brockman周二在内部发布了回归的公告。

出品 | 51CTO技术栈（微信号：blog51cto）太酷了，12日消息，麻省理工大学研究团队发表了一篇新的研究结果。 研究发现：通过大模型的加持，科学和艺术竟然存在某种隐藏联系，进而可以生成新的生物材料。 图片基于图形的人工智能模型（中）建议创建一种新的基于菌丝体的生物材料（右），其灵感来自于瓦西里·康定斯基的画作《第七幅作品》（左）马库斯·布勒（Markus Buehler）在其新人工智能系…

OpenAI被曝出下代旗舰模型Orion进展缓慢，内部成立团队大改方向，一时间在全网掀起巨大的风暴。 大模型Scaling Law撞墙了、失效了....各种论调甚嚣尘上，OpenAI大牛不得不下场亲自挽救这场被怀疑论淹没的局面。 他们笃定的是，推理/测试时计算（test-time compute），是Scaling大模型另一个「齿轮」。

本文经自动驾驶之心公众号授权转载，转载请联系出处。 转眼2024，距离上次知乎写作就快过去一年，上一次的计划主题还是“开源大模型”（参见《ChatGPT的朋友们：大语言模型经典论文一次读到吐》），无奈这个方向变化太快，而且也不乏优质总结文章，也就一直没有动笔。 正好最近做图文多模态大模型相关的工作，在查阅资料的过程中没遇到比较完整的脉络梳理文章，往往需要综合参考；反观这个方向的综述型论文又过于追求…

本文按照数据湖存储加速方案的不同发展阶段铺开，比较了各类方案之间的异同，并深度剖析了这类方案的技术本质。 我们期望本文能够帮助读者对大数据和 AI 场景下的「数据湖存储加速」这个主题建立一个整体把握，为选出适合自己业务的方案提供参考。 图片24 年初，我们和客户 H 进行了交流。

译者 | 布加迪审校 | 重楼使用Hugging Face Transformers对T5模型进行微调以处理问题回答任务很简单：只需为模型提供问题和上下文，它就能学会生成正确的答案。 T5是一个功能强大的模型，旨在帮助计算机理解和生成人类语言。 T5的全称是“文本到文本转换器”。

在今年第八届VivaTech中，李彦宏作为大会唯一受邀发言的中国AI领袖，在会上表示“很多人都在关注GPT-5的发布时间，但我更感兴趣的是，哪些应用可以充分利用大语言模型的所有能力。 ”11月12日，百度年度最重要的的战略、技术、产品发布会——百度世界大会2024在上海世博中心如约而至。 不论是名为“AI应用小镇”的展区，还是长达一小时的「应用来了」主题演讲，李彦宏都用行动证明，他的确对应用更感兴…