GPU

跨国科技公司 Yandex 最近推出了 YaFSDP，这是一种用于训练大型语言模型 (LLM) 的开源方法。YaFSDP 是目前最有效的公开可用对象，用于增强 GPU 通讯并减少 LLM 训练中的内存运用量，与 FSDP 相比，其训练速率晋升最高可达 26%，具体取决于架构和参数数量。通过运用 YaFSDP 减少 LLM 的训练时间可以浪费高达 20% 的 GPU 资本。Yandex 承诺为寰球人…

马斯克北京时间今天凌晨在回复一则投票时泄漏，xAI 的下一项重大举措可能是在明年夏天采办约 30 万块配备 CX8 网络的 B200 芯片。xAI 已在近期获得了 60 亿美元（IT之家备注：现在约 435.6 亿元人民币）融资，公司估值达到约 180 亿美元（现在约 1306.8 亿元人民币）。目前，xAI 计划通过加大对 GPU 集群的投资，大幅扩展其 AI 相关的产品组合。今年 4 月，X …

英伟达首席执行官黄仁勋日前在 2024 台北电脑展前夕提出了一个有趣的观念 ——“CEO 数学”。“买得越多，省得越多，” 黄仁勋在演讲中表示，“这就是 CEO 数学，它并不完全准确，但却很有效。”乍一听让人困惑？黄仁勋随后解释了这个观念的含义。他建议企业同时投资图形处理器 (GPU) 和中央处理器 (CPU)。这两种处理器可以协同工作，将任务完成时间从“100 个单位缩短到 1 个单位”。因此，…

感谢IT之家网友 佳宜 的线索投递！【新智元导读】刚刚，老黄又高调向全全国秀了一把：已经量产的 Blackwell，8 年内将把 1.8 万亿参数 GPT-4 的训练能耗狂砍到 1/350；英伟达惊人的产品迭代，直接原地冲破摩尔定律；Blackwell 的后三代路线图，也一口气被放出。就在刚刚，老黄手持 Blackwell 向全全国展示的那一刻，全场的观众沸腾了。它，是迄今为止全国最大的芯片！▲ …

感谢埃隆・马斯克（Elon Musk）旗下人工智能初创公司 xAI 今日在博客文章中宣布，该公司已在 B 轮融资中筹集了 60 亿美元（IT之家备注：当前约 435.6 亿元人民币），投资方包括 Andreessen Horowitz 和红杉资本等。xAI 意味，这笔资金将用于把 xAI 的首批产品推向市场、建设先进的基础设施并加速将来技术的研发。“将来几周将会有更多消息公布，xAI 的投前估值为…

世界最大的开源 AI 社区 Hugging Face（IT之家注：通称“抱抱脸”）日前宣布，将提供 1000 万美元的免费同享 GPU 接济开发者发现新的 AI 技术。具体来看，Hugging Face 这次做出此举的目的是接济小型开发者、研究人员和首创公司对抗大型 AI 公司，避免 AI 进步陷入“集中化”。Hugging Face 首席执行官 Clem Delangue 在接受 The Ver…

Meto CEO 马克・扎克伯格（Mark Zuckerberg）近日在接受油管 Dwarkesh Patel 频道采访时意味，AI 数据中心的 GPU 紧缺已在减缓过程中，未来的瓶颈将是电力供应。扎克伯格首先提到，此前一段时间，IT 企业即使资金充足也难以买到全部所需数量的 AI GPU，但这一情况暂时已开始减缓。暂时新建的单一数据中心在整体功耗方面可达到 50~100MW 乃至 150MW；但…

大谈话模型的微调一直是说起来容易做起来难的事儿。近日 Hugging Face 技术主管 Philipp Schmid 发表了一篇博客，详细讲解了如何利用 Hugging Face 上的库和 fsdp 以及 Q-Lora 对大模型从事微调。我们知道，Meta 推出的 Llama 3、Mistral AI 推出的 Mistral 和 Mixtral 模型以及 AI21 实验室推出的 Jamba 等开…

英特尔在上月末举行的一季度电话财报会议上明确，Falcon Shores GPU 将于 2025 年晚些时候推出。另据外媒 HPCwire 报导，该处理器正从新计划，以适应 AI 工业需求。英特尔 CEO 帕特・基辛格称，Falcon Shores 将结合完全可编程的架构和 Gaudi 3 加速器优异的系统性能，用户可在两代硬件间实现顺利且无缝的升级转换。英特尔表示，AI 业界正转向 Python…

【新智元导读】过去一年的时间，英伟达市值突破 2 万亿美元，一举成为 21 世纪的 AI 巨头。在老黄的最新采访中，向我们展示了即将到来的工业革命是怎样的。全球进入 2 万亿美元俱乐部的公司，仅有 4 家 —— 微软、苹果、谷歌，以及英伟达。在过去一年中，位于加利福尼亚的计算机芯片制造商英伟达，市值从 1 万亿，飙升到 2 万亿美元。这得益于大模型掀起的 AI 狂潮，急剧放大了全世界对算力的需求。…

曾几何时，英伟达用于人工智能计算的 H100 GPU 供不应求。然而据 Digitimes 报道，台积电的台湾地区总经理 Terence Liao 表示，过去几个月英伟达 H100 的交货守候时间已经大幅收缩，从最后的 3-4 个月降至暂时的 2-3 个月（8-12 周）。服务器代工厂商也透露，相比 2023 年几乎无法买到英伟达 H100 的情况，暂时提供瓶颈在逐步减缓。尽管交货守候时间有所收缩…

埃隆・马斯克麾下的特斯拉和其神秘的以人工智能为核心的公司 xAI，储藏了大量的英伟达 H100 系列芯片。特斯拉意欲借此攻克主动驾驭的最终难题 ——L5 级主动驾驭，而 xAI 则肩负着实现马斯克的“最终真相人工智能”愿景。X 平台用户“The Technology Brother”最近发布消息称，Meta 公司已经囤积了全球最多的 H100 GPU，数量达到惊人的 35 万块。然而，马斯克对该排…

【新智元导读】老黄新 GPU 深夜炸场，超高规格的背后也付出了不小的代价，小编带大家深入了解一下新架构的硬件细节和利润，新显卡的售价究竟高不高？英伟达也不能不开始卷了老黄的新 GPU 又在深夜炸场，震动了所有的观众。除了硬件参数上的震动之外，大家伙最想知道的还是新 GPU 的售价会不会同样震动。下面就让我们从规格参数、工艺节点、封装设计等方面来深入分析一下新一代 Blackwell GPU 的系统…

感谢据日本经济新闻今日报道，英伟达的尖端图像处理半导体（GPU）H200 现已开始供货。H200 为面向 AI 领域的半导体，机能超过当前主打的 H100。根据英伟达方面公布的机能评测结果，以 Meta 公司旗下大说话模型 Llama 2 处理速率为例，H200 相比于 H100，生成式 AI 导出答案的处理速率最高提高了 45％。市场调研机构 Omdia 曾表示，2022 年英伟达在 AI 半导…

【新智元导读】还有什么领域没有被 AI 渗透？继音乐之后，首个 AI 游玩引擎曾经完整凭几个字，就能创办游玩资产和动画了。老黄预测，现在 5-10 年我们将看到完整由 AI 生成的游玩。「现在 5-10 年，我们可以看到完整由 AI 生成的游玩」。这是近日 GTC 2024 大会之后，黄仁勋接受媒体时采访时发表的最新看法。其实，现在的游玩创办，早已到了只说一句话的地步了！近日，一家专注研发无代码游…

感谢Meta 发言人于美东时间 19 日告诉路透社，公司预计往年晚些时候收到英伟达最新旗舰 AI 芯片 ——B200，且为英伟达的首批出货。英伟达的首席财务官 Colette Kress 则告诉金融分析师，“我们认为（产品）将在往年晚些时候上市”，但他也表示，新 GPU 的出货量要到 2025 年才会增加。据悉，社媒巨头 Meta 是英伟达最大的客户之一，该公司曾购买了数十万块上一代加速卡（H10…

据外媒 SiliconANGLE 报道，英伟达有意采购 AI 基础设施虚拟化初创企业 Run:ai，交易金额最高可达 10 亿美元（IT之家备注：当前约 72 亿元人民币）。Run:ai 的同名事情负载管理平台近日率先获得英伟达 DGX SuperPOD 认证。其 AI 编排技术可帮助用户轻松运行 AI 和机器进修项目，满足对生成式 AI 和大模型不断增长的要求。Run:ai 由其 CEO 奥姆里…

今天凌晨，英伟达在 GTC 大会上推出了最新一代 GPU 架构 Blackwell 及整套零碎。在 Keynote 上，黄仁勋表示，已有多家科技公司和传统企业正在引入新一代产品。在发布活动后，亚马逊云科技宣布将供给基于英伟达 Grace Blackwell GPU 的 Amazon EC2 实例和 英伟达 DGX Cloud，以提高在数万亿参数 LLM 上建立和运行推理的功能。亚马逊云科技表示，英…

感谢英伟达将在嫡举行 GTC 2024 主题演讲，黄仁勋预计将宣布名为 Blackwell 的下一代 GPU 架构。据 XpeaGPU 爆料称，明天推出的 B100 GPU 将采用两个基于台积电 CoWoS-L 封装技术的芯片。CoWoS（晶圆基片芯片）是一项先进的 2.5D 封装技术，涉及将芯片重叠在一起，提高处理能力，同时节省空间并降低功耗。XpeaGPU 走漏，B100 GPU 的两个计算芯…

感谢Meta 公司当地时间 12 日通过民间新闻稿公布了两座新的数据中心集群，该公司正希望通过英伟达的 GPU，在以 AI 为重点的开发中脱颖而出。据悉，这两座数据中心的唯一目的，是在消费者特定应用领域（IT之家注：包罗声音或图像识别）中进行 AI 研究和大说话模型的开发，每个集群都包罗了 24576 块英伟达 H100 AI GPU，将用于自家大说话模型 Llama 3 的训练。两座新建的数据中…

Karpathy：中肯的，一针见血的。如何在不到一年的时光里创办一家公司、筹集资金、购买芯片，并搭建出追赶 Gemini pro/GPT 3.5 的 LLM？很多人都对构建基础架构和训练大语言模型和多模态模型感到好奇，但真正走完「从零开始」这一流程的人很少。我们普遍认为，储备技术人才是前提，掌握核心算法是关键，但实际上，工程实践中冒出来的挑战，也实在令人头疼。一年前，乘着大模型的热潮，Yi Tay…

这是一篇关于 LPU 的简单科普。在如今的人工智能领域，「GPU is All You Need」已经逐渐成为共识。没有充足的 GPU，连 OpenAI 都不能轻易升级 ChatGPT。不过最近，GPU 的地位也在经受挑衅：一家名为 Groq 的初创公司开发出了一种新的 AI 解决器 ——LPU（Language Processing Unit），其推理速率相较于英伟达 GPU 提高了 10 倍，…

深度强化进修（Deep Reinforcement Learning，DRL）是一种公认的解决连续决策问题的有效技术。为了应对 DRL 的数据低效（data inefficiency）问题，受到分布式机器进修技术的启发，分布式深度强化进修 (distributed deep reinforcement learning，DDRL) 已提出并成功应用于算计机视觉和自然语言处理领域。有观点认为，分布式…

引领 AI PC 的革新体验。