架构

大模型Scaling Law终结，前段时间曾被吵得沸沸扬扬。 面对诸多的质疑，硅谷巨头们用行动给出了截然不同的答案。 谷歌祭出最强下一代新模型Gemini 2.0 Flash，并带着多个智能体一同亮相；OpenAI「满血版」o1和o1 pro mode向所有人证明了模型的能力还远没有触及到天花板。

Hello folks，我是 Luga，今天我们来聊一下人工智能应用场景 - 构建高效、灵活的计算架构的 GPU 资源动态调度。 众所周知，随着人工智能、深度学习以及高性能计算(HPC)的快速发展，GPU (Graphics Processing . Unit)已经成为现代计算体系中的核心计算资源之一。

量化到1 bit的LLM还能再突破？ 这次，他们对激活值下手了！ 近日，BitNet系列的原班人马推出了新一代架构：BitNet a4.8，为1 bit大模型启用了4位激活值：图片论文地址：，激活值量化通常是比较难办的。

近年来，大语言模型(LLM)在各个领域取得了显著成效。 但现有的Transformer架构存在计算复杂度高、内存消耗大等问题。 而状态空间模型(SSM)如Mamba虽然具有常数复杂度和优化的硬件性能，但在记忆回溯任务上表现较弱。

就在昨天，Kimi宣布要把自家底层的大模型推理架构Mooncake开源出来！ 有媒体称该架构正是承载了月之暗面Kimi线上80%以上流量的正在用的底层架构。 小编立马求证了一番，的确Github上有提到：Mooncake 正在服务Kimi平台。

编辑 ｜言征小模型王座一夜易主了！ 冷不防，英伟达就丢出了一个新混合架构，以后不再只是Transformer的天下了。 日前，NVIDIA刚刚发布了Hymba-1.5B-Base，这是一个将Transformer注意力机制与状态空间模型（SSM）集成的小型语言模型。

之前老喜欢死记硬背transformer的网络架构，虽然内容并不复杂，但是发现这个transformer模块中的positional encoding在死记硬背的情况之下很容易被忽略。 为了更好地理解为什么transformer一定需要有一个positional encoding，简单推了一下公式先说结论：没有Positional Encoding的transformer架构具有置换等变性。 证明…

TL;DR：我们试验了将 AI 应用到基于 Protobuf 的微服务架构中，基于 ArchGuard 治理平台、Shire AI 助手、Team AI 三个工具中，构建了一套完整的 AI4SE 原型，在需求、设计、开发、测试和运维等阶段，这里是我们的思考和实践。 过去几个月里，我们在各大技术大会上频繁看到生成式 AI 的应用，很多研发组织都在尝试将其引入开发的各个环节。 然而，随着 AI 技术的…

科技媒体 dataconomy 昨日（10 月 21 日）发布博文，报道称英伟达在训练 AI 模型方面取得重大突破，发布了最新的 Normalized Transformer（nGPT）新架构，保持模型的稳定性和准确性的前提下，可以将训练 AI 时间缩短至 1/4 或者 1/20。nGPT 架构提升效率的秘诀在于“超球面学习”（Hyperspherical learning）这个概念。传统的变换器…

科技媒体 marktechpost 昨日（10 月 8 日）发布博文，报道称谷歌公司推出了选择性注意力（Selective Attention）方法，可以提高 Transformer 架构模型的性能。Transformer 架构简介Transformer 是一种革命性的神经网络架构，由谷歌在 2017 年提出，主要用于处理序列数据，特别是在自然语言处理（NLP）领域。Transformer 的核心…

感谢首个国产纯自研视频大模型 Vidu 上线，目前向用户开放了文生视频、图生视频两大核心功能，提供 4 秒和 8 秒两种时长选择，分辨率最高为 1080P。用户无需申请，使用邮箱注册即可体验。 AI在线附 Vidu 官网：www.vidu.studioVidu 模型于今年 4 月在 2024 中关村论坛首次亮相，由清华大学与生数科技联合发布，其核心技术 U-ViT 架构由团队在 2022 年 9 …

感谢2024 世界人工智能大会今日在上海世博中心开幕，华为常务董事、华为云 CEO 张安然表示，中国的 AI 发展离不开算力基础设施的立异，并且要敢于盛开行业场景，让 AI 在行业应用上当先。张安然提出，中国的 AI 发展道路，追求的应该是在行业领域修建大模型的全球当先地位。如果各行各业都积极拥抱 AI，积极地盛开行业的业务场景，中国很有机会在 2B 领域修建起全球的当先优势。以钢铁行业为例，目前…

在智能化、网联化技能变革的席卷下，车辆已不再是简单的交通工具，而是变成独立可移动的服务空间。在这一过程中，华夏新能源汽车无疑跑在了世界前列，一个最明显的标志就是华夏汽车工业曾经的学习对象——大众汽车，已经开始反向学习“取经”。今年4月，小鹏汽车与大众汽车集团签订EEA电子电气架构技能战略分工框架协议，单方将鉴于小鹏汽车最新一代电子电气架构，联合开发并将其集成到大众汽车在华夏的CMP平台上。单方联合…

感谢生数科技今天出席中关村论坛未来人工智能先锋论坛，携手清华大学正式发布中国首个长时长、高一致性、高动态性视频大模型 ——Vidu，被媒体和业内人士认为是国内首个 Sora 级别的视频大模型。 根据民间描述，Vidu 模型交融 Diffusion 与 Transformer，开创性创建了 U-ViT，支持一键生成长达 16 秒、分辨率高达 1080P 的高清视频内容。民间宣传资料中演示了“画室中的…

今日，2024（第十八届）北京国际汽车展览会（简称：北京车展）盛大开幕，正值成立三周年的极氪智能科技携旗下全系车型亮相北京车展，并正式发布浩大-M架构。同时，基于该架构打造的首款家庭出行产品极氪 MIX迎来环球首秀，重新构建将来出行空间新体会。极氪发布浩大-M架构 极氪MIX环球首秀在极氪展台的发布会上，极氪智能科技副总裁杨大成回顾了浩大架构的进化历程，作为环球最大带宽的纯电架构，四年前正式发布的…

近日，北京生数科技有限公司（以下简称“生数科技”）宣布完成新一轮数亿元融资，由启明创投领投，达泰资本、鸿福厚德、智谱AI、老股东BV百度风投和卓源亚洲继续跟投。本轮融资将主要用于多模态基础大模型的迭代研发、应用产品革新及市场拓展。本轮由华兴资本担任独家财务顾问。生数科技成立于2023年3月，是环球领先的多模态大模型公司，致力于图象、3D、视频等原生多模态大模型的研发。生数科技核心团队来自清华大学人…

1月24日，上海岩芯数智人工智能科技有限公司对外推出了一个非Attention机制的通用自然语言大模型——Yan模型。岩芯数智发布会上称，Yan模型使用了崭新自研的“Yan架构”代替Transformer架构，相较于Transformer，Yan架构的影象能力提高3倍、速度提高7倍的同时，实现推理吞吐量的5倍提高。岩芯数智CEO刘凡平认为，以大规模著称的Transformer，在实际应用中的高算力…

5月10日，后摩智能正式发布首款存算一体智驾芯片——鸿途™H30，最高物理算力 256TOPS，典型功耗 35W，成为国内率先落地存算一体大算力 AI 芯片的公司。 在人工智能技能飞速发展的今天，高效的 AI 估计能力成为智能驾驭普及运用的重要基石。后摩智能以下层技能革新为驱动力，采用存算一体架构突破芯片算力和功耗的瓶颈，实行了芯片能效比的阶跃，为快速发展的智能汽车产业带来了全新的解决方案。本次产…

全世界化技巧根植于全世界化交易，经过五个阶段的演进，逐渐发展成为阿里巴巴集团内相对独立的技巧系统。本文会首先重点讲解全世界化基础设施层的挑拨和技巧实践。

这是一本正在写作的旧书，目前前四章已经放出了初稿。

来自华为诺亚方舟实验室、北京大学、悉尼大学的研究者提出了一种受量子力学启发的视觉 MLP 新架构。

在上一篇文章中，前苹果工程师、普林斯顿大学博士 Adi Fuchs 解释了为什么现在是 AI 加速器的黄金时代。在这篇文章中，我们将聚焦 AI 加速器的秘密基石——指令集架构 ISA、可重构处置惩罚器等。

2021 年英特尔架构日上，英特尔发布一系列重大技术架构的改变和创新：两款崭新的 x86 内核架构（能效核与本能核）、代号为 Alder Lake 的首个本能混合架构、英特尔硬件线程调动器、专为数据中心设计的下一代英特尔至强可扩张处理器 Sapphire Rapids 以及基础设施处理器（IPU）等内容。

作者 | 阿里云估计平台研究员关涛、阿里巴巴项目管理专家王璀任何一种技巧都会经历从阳春白雪到下里巴人的过程，就像我们对估计机的理解从“戴着鞋套才能进的机房”变成了随处可见的智能手机。在前面20年中，大数据技巧也经历了这样的过程，从曾经高高在上的 “火箭科技（rocket science）”，成为了人人普惠的技巧。回首来看，大数据倒退初期涌现了非常多开源和自研体系，并在同一个规模展开了相当长的一段“…