GPU
仅用250美元，Hugging Face技术主管手把手教你微调Llama 3
大语言模型的微调一直是说起来容易做起来难的事儿。近日 Hugging Face 技术主管 Philipp Schmid 发表了一篇博客，详细讲解了如何利用 Hugging Face 上的库和 fsdp 以及 Q-Lora 对大模型进行微调。我们知道，Meta 推出的 Llama 3、Mistral AI 推出的 Mistral 和 Mixtral 模型以及 AI21 实验室推出的 Jamba 等开源大语言模型已经成为 OpenAI 的竞争对手。不过，大多数情况下，使用者需要根据自己的数据对这些开源模型进行微调，才能
英特尔 Falcon Shores GPU 明年晚些时候推出，已为 AI 负载重构
英特尔在上月末举行的一季度电话财报会议上明确，Falcon Shores GPU 将于 2025 年晚些时候推出。另据外媒 HPCwire 报道，该处理器正重新设计，以适应 AI 产业需求。英特尔 CEO 帕特・基辛格称，Falcon Shores 将结合完全可编程的架构和 Gaudi 3 加速器优异的系统性能，用户可在两代硬件间实现顺利且无缝的升级转换。英特尔表示，AI 业界正转向 Python 或 Triton 等更高级别的软件抽象，采用开放式软件平台以减少依赖。而英特尔的软件堆栈正日趋成熟，可消除从 Gaud
老黄最新采访出炉！自述 61 年坚持成就了英伟达，AI 革命点燃全世界
【新智元导读】过去一年的时间，英伟达市值突破 2 万亿美元，一举成为 21 世纪的 AI 巨头。在老黄的最新采访中，向我们展示了即将到来的工业革命是怎样的。全球进入 2 万亿美元俱乐部的公司，仅有 4 家 —— 微软、苹果、谷歌，以及英伟达。在过去一年中，位于加利福尼亚的计算机芯片制造商英伟达，市值从 1 万亿，飙升到 2 万亿美元。这得益于大模型掀起的 AI 狂潮，急剧放大了全世界对算力的需求。从 Grace 架构，到全新的 Blackwell，英伟达的创新为生成式 AI 和加速计算，带来了突破性的进步。那么，这
英伟达 H100 AI GPU 短缺缓解，交货时间从 3-4 个月降至 2-3 个月
曾几何时，英伟达用于人工智能计算的 H100 GPU 供不应求。然而据 Digitimes 报道，台积电的台湾地区总经理 Terence Liao 表示，过去几个月英伟达 H100 的交货等待时间已经大幅缩短，从最初的 3-4 个月降至目前的 2-3 个月（8-12 周）。服务器代工厂商也透露，相比 2023 年几乎无法买到英伟达 H100 的情况，目前供应瓶颈正在逐步缓解。尽管交货等待时间有所缩短，Terence Liao 表示，对于人工智能硬件的需求仍然非常旺盛。即使价格昂贵，用于人工智能的服务器采购也正在取代
仅次于 Meta，马斯克透露特斯拉囤积的英伟达 H100 芯片数量
埃隆・马斯克麾下的特斯拉和其神秘的以人工智能为核心的公司 xAI，储备了大量的英伟达 H100 系列芯片。特斯拉意欲借此攻克自动驾驶的终极难题 ——L5 级自动驾驶，而 xAI 则肩负着实现马斯克的“终极真相人工智能”愿景。X 平台用户“The Technology Brother”最近发布消息称，Meta 公司已经囤积了全球最多的 H100 GPU，数量达到惊人的 35 万块。然而，马斯克对该排行榜将特斯拉和 xAI 的排名边缘化表示不满（1 万颗），并指出“如果计算正确，特斯拉应该是第二名，xAI 将是第三名”
英伟达开卷价格！最新 Blackwell GPU 架构 / 成本揭秘，彰显老黄的「仁慈」
【新智元导读】老黄新 GPU 深夜炸场，超高规格的背后也付出了不小的代价，小编带大家深入了解一下新架构的硬件细节和成本，新显卡的售价究竟高不高？英伟达也不得不开始卷了老黄的新 GPU 又在深夜炸场，震撼了所有的观众。除了硬件参数上的震撼之外，大家伙最想知道的还是新 GPU 的售价会不会同样震撼。下面就让我们从规格参数、工艺节点、封装设计等方面来深入分析一下新一代 Blackwell GPU 的系统、定价、利润，以及 Jensen's Benevolence（老黄的仁慈）在这个大模型的时代，英伟达正处于世界之巅，拥有
英伟达 AI 芯片 H200 开始供货，性能相比 H100 提升 60%-90%
感谢据日本经济新闻今日报道，英伟达的尖端图像处理半导体（GPU）H200 现已开始供货。H200 为面向 AI 领域的半导体，性能超过当前主打的 H100。根据英伟达方面公布的性能评测结果，以 Meta 公司旗下大语言模型 Llama 2 处理速度为例，H200 相比于 H100，生成式 AI 导出答案的处理速度最高提高了 45％。市场调研机构 Omdia 曾表示，2022 年英伟达在 AI 半导体市场约占 8 成的份额，与此同时 AMD 等竞争对手也在开发对抗英伟达的产品，竞争愈演愈烈。英伟达当地时间 3 月 1
首个 AI 游戏引擎或颠覆任天堂 / 暴雪？0 代码即可创建，黄仁勋预测 5-10 年游戏完全由 AI 生成
【新智元导读】还有什么领域没有被 AI 渗透？继音乐之后，首个 AI 游戏引擎已经完全凭几个字，就能创建游戏资产和动画了。老黄预测，未来 5-10 年我们将看到完全由 AI 生成的游戏。「未来 5-10 年，我们可以看到完全由 AI 生成的游戏」。这是近日 GTC 2024 大会之后，黄仁勋接受媒体时采访时发表的最新看法。其实，现在的游戏创建，早已到了只说一句话的地步了！近日，一家专注研发无代码游戏引擎的初创公司 BuildBox AI，发布了新一代 AI 游戏引擎 ——Buildbox 4 Alpha。它可以做到
Meta 发言人确认将率先使用英伟达旗舰 AI 芯片 B200，预估今年晚些时候收到
感谢Meta 发言人于美东时间 19 日告诉路透社，公司预计今年晚些时候收到英伟达最新旗舰 AI 芯片 ——B200，且为英伟达的首批出货。英伟达的首席财务官 Colette Kress 则告诉金融分析师，“我们认为（产品）将在今年晚些时候上市”，但他也表示，新 GPU 的出货量要到 2025 年才会增加。据悉，社媒巨头 Meta 是英伟达最大的客户之一，该公司曾购买了数十万块上一代加速卡（H100）。Meta 的 CEO 扎克伯格曾在今年 1 月宣布，公司计划在今年年底前储备大约 35 万块 H100。他补充说，
消息称英伟达有意收购 AI 基础设施虚拟化创企 Run:ai，交易金额最高十亿美元
据外媒 SiliconANGLE 报道，英伟达有意收购 AI 基础设施虚拟化初创企业 Run:ai，交易金额最高可达 10 亿美元（IT之家备注：当前约 72 亿元人民币）。Run:ai 的同名工作负载管理平台近日率先获得英伟达 DGX SuperPOD 认证。其 AI 编排技术可帮助用户轻松运行 AI 和机器学习项目，满足对生成式 AI 和大模型不断增长的要求。Run:ai 由其 CEO 奥姆里・盖勒（Omri Geller）和 CTO 罗宁・达尔（Ronen Dar）于 2018 年创立。两人是在特拉维夫大学电
英伟达最新AI超级算力Blackwell GPU平台即将登陆亚马逊云科技
今天凌晨，英伟达在 GTC 大会上推出了最新一代 GPU 架构 Blackwell 及整套系统。在 Keynote 上，黄仁勋表示，已有多家科技公司和传统企业正在引入新一代产品。在发布活动后，亚马逊云科技宣布将提供基于英伟达 Grace Blackwell GPU 的 Amazon EC2 实例和 英伟达 DGX Cloud，以提高在数万亿参数 LLM 上构建和运行推理的性能。亚马逊云科技表示，英伟达的超强算力芯片系统与亚马逊云科技强大的 Elastic Fabric Adapte (EFA) 网络连接能力、高级虚
消息称英伟达 Blackwell“B100”GPU 将配 192GB HBM3e 显存，B200 配 288GB 显存
感谢英伟达将在明日举行 GTC 2024 主题演讲，黄仁勋预计将宣布名为 Blackwell 的下一代 GPU 架构。据 XpeaGPU 爆料称，明天推出的 B100 GPU 将采用两个基于台积电 CoWoS-L 封装技术的芯片。CoWoS（晶圆基片芯片）是一项先进的 2.5D 封装技术，涉及将芯片堆叠在一起，提高处理能力，同时节省空间并降低功耗。XpeaGPU 透露，B100 GPU 的两个计算芯片将连接到 8 个 8-Hi HBM3e 显存堆栈，总容量为 192GB。值得注意的是，AMD 已经提供了 192GB
Meta 新建两座数据中心集群：内含超 4.9 万块英伟达 H100 GPU，专门训练 Llama3
感谢Meta 公司当地时间 12 日通过官方新闻稿公布了两座新的数据中心集群，该公司正希望通过英伟达的 GPU，在以 AI 为重点的开发中脱颖而出。据悉，这两座数据中心的唯一目的，是在消费者特定应用领域（IT之家注：包含声音或图像识别）中进行 AI 研究和大语言模型的开发，每个集群都包含了 24576 块英伟达 H100 AI GPU，将用于自家大语言模型 Llama 3 的训练。两座新建的数据中心集群都具有 400Gbps 互联功能，其中一个集群采用了 Meta 基于 Arista 7800 自主开发的 Fabr
「还是谷歌好」，离职创业一年，我才发现训练大模型有这么多坑
Karpathy：中肯的，一针见血的。如何在不到一年的时间里创办一家公司、筹集资金、购买芯片，并搭建出追赶 Gemini pro/GPT 3.5 的 LLM？很多人都对构建基础架构和训练大语言模型和多模态模型感到好奇，但真正走完「从零开始」这一流程的人很少。我们普遍认为，储备技术人才是前提，掌握核心算法是关键，但实际上，工程实践中冒出来的挑战，也实在令人头疼。一年前，乘着大模型的热潮，Yi Tay 离开了工作 3 年多的谷歌，参与创办了一家名为 Reka 的公司并担任首席科学家，主攻大型语言模型。在谷歌时，Yi T
向英伟达发起挑战的Groq是什么来头？简单科普新型AI芯片LPU
这是一篇关于 LPU 的简单科普。在如今的人工智能领域，「GPU is All You Need」已经逐渐成为共识。没有充足的 GPU，连 OpenAI 都不能轻易升级 ChatGPT。不过最近，GPU 的地位也在经受挑战：一家名为 Groq 的初创公司开发出了一种新的 AI 处理器 ——LPU（Language Processing Unit），其推理速度相较于英伟达 GPU 提高了 10 倍，成本却降低到十分之一。在一项展示中，LPU 以每秒超过 100 个词组的惊人速度执行了开源的大型语言模型 —— 拥有 7
性能提升、成本降低，这是分布式强化学习算法最新研究进展
深度强化学习（Deep Reinforcement Learning，DRL）是一种公认的解决连续决策问题的有效技术。为了应对 DRL 的数据低效（data inefficiency）问题，受到分布式机器学习技术的启发，分布式深度强化学习 (distributed deep reinforcement learning，DDRL) 已提出并成功应用于计算机视觉和自然语言处理领域。有观点认为，分布式强化学习是深度强化学习走向大规模应用、解决复杂决策空间和长期规划问题的必经之路。分布式强化学习是一个综合的研究子领域，需
英伟达展示生成式AI驱动NPC，40SUPER系列显卡上线
引领 AI PC 的革新体验。
Llama2推理RTX3090胜过4090，延迟吞吐量占优，但被A800远远甩开
这是为数不多深入比较使用消费级 GPU（RTX 3090、4090）和服务器显卡（A800）进行大模型预训练、微调和推理的论文。大型语言模型 (LLM) 在学界和业界都取得了巨大的进展。但训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的开源框架和方法。然而，不同硬件和软件堆栈的运行时性能可能存在很大差异，这使得选择最佳配置变得困难。最近，一篇题为《Dissecting the Runtime Performance of the Training,