老黄最新采访出炉!自述 61 年坚持成就了英伟达,AI 革命点燃全世界
【新智元导读】过去一年的时间,英伟达市值突破 2 万亿美元,一举成为 21 世纪的 AI 巨头。在老黄的最新采访中,向我们展示了即将到来的工业革命是怎样的。全球进入 2 万亿美元俱乐部的公司,仅有 4 家 —— 微软、苹果、谷歌,以及英伟达。在过去一年中,位于加利福尼亚的计算机芯片制造商英伟达,市值从 1 万亿,飙升到 2 万亿美元。这得益于大模型掀起的 AI 狂潮,急剧放大了全世界对算力的需求。…- 3
- 0
英伟达 H100 AI GPU 短缺减缓,交货时间从 3-4 个月降至 2-3 个月
曾几何时,英伟达用于人工智能计算的 H100 GPU 供不应求。然而据 Digitimes 报道,台积电的台湾地区总经理 Terence Liao 表示,过去几个月英伟达 H100 的交货守候时间已经大幅收缩,从最后的 3-4 个月降至暂时的 2-3 个月(8-12 周)。服务器代工厂商也透露,相比 2023 年几乎无法买到英伟达 H100 的情况,暂时提供瓶颈在逐步减缓。尽管交货守候时间有所收缩…- 3
- 0
仅次于 Meta,马斯克透露特斯拉囤积的英伟达 H100 芯片数量
埃隆・马斯克麾下的特斯拉和其神秘的以人工智能为核心的公司 xAI,储藏了大量的英伟达 H100 系列芯片。特斯拉意欲借此攻克主动驾驭的最终难题 ——L5 级主动驾驭,而 xAI 则肩负着实现马斯克的“最终真相人工智能”愿景。X 平台用户“The Technology Brother”最近发布消息称,Meta 公司已经囤积了全球最多的 H100 GPU,数量达到惊人的 35 万块。然而,马斯克对该排…- 2
- 0
英伟达开卷价格!最新 Blackwell GPU 架构 / 利润揭秘,彰显老黄的「善良」
【新智元导读】老黄新 GPU 深夜炸场,超高规格的背后也付出了不小的代价,小编带大家深入了解一下新架构的硬件细节和利润,新显卡的售价究竟高不高?英伟达也不能不开始卷了老黄的新 GPU 又在深夜炸场,震动了所有的观众。除了硬件参数上的震动之外,大家伙最想知道的还是新 GPU 的售价会不会同样震动。下面就让我们从规格参数、工艺节点、封装设计等方面来深入分析一下新一代 Blackwell GPU 的系统…- 3
- 0
英伟达 AI 芯片 H200 开始供货,机能相比 H100 提升 60%-90%
感谢据日本经济新闻今日报道,英伟达的尖端图像处理半导体(GPU)H200 现已开始供货。H200 为面向 AI 领域的半导体,机能超过当前主打的 H100。根据英伟达方面公布的机能评测结果,以 Meta 公司旗下大说话模型 Llama 2 处理速率为例,H200 相比于 H100,生成式 AI 导出答案的处理速率最高提高了 45%。市场调研机构 Omdia 曾表示,2022 年英伟达在 AI 半导…- 3
- 0
首个 AI 游玩引擎或颠覆任天堂 / 暴雪?0 代码即可创办,黄仁勋预测 5-10 年游玩完整由 AI 生成
【新智元导读】还有什么领域没有被 AI 渗透?继音乐之后,首个 AI 游玩引擎曾经完整凭几个字,就能创办游玩资产和动画了。老黄预测,现在 5-10 年我们将看到完整由 AI 生成的游玩。「现在 5-10 年,我们可以看到完整由 AI 生成的游玩」。这是近日 GTC 2024 大会之后,黄仁勋接受媒体时采访时发表的最新看法。其实,现在的游玩创办,早已到了只说一句话的地步了!近日,一家专注研发无代码游…- 3
- 0
Meta 发言人确认将率先使用英伟达旗舰 AI 芯片 B200,预估往年晚些时候收到
感谢Meta 发言人于美东时间 19 日告诉路透社,公司预计往年晚些时候收到英伟达最新旗舰 AI 芯片 ——B200,且为英伟达的首批出货。英伟达的首席财务官 Colette Kress 则告诉金融分析师,“我们认为(产品)将在往年晚些时候上市”,但他也表示,新 GPU 的出货量要到 2025 年才会增加。据悉,社媒巨头 Meta 是英伟达最大的客户之一,该公司曾购买了数十万块上一代加速卡(H10…- 2
- 0
消息称英伟达有意采购 AI 基础设施虚拟化创企 Run:ai,交易金额最高十亿美元
据外媒 SiliconANGLE 报道,英伟达有意采购 AI 基础设施虚拟化初创企业 Run:ai,交易金额最高可达 10 亿美元(IT之家备注:当前约 72 亿元人民币)。Run:ai 的同名事情负载管理平台近日率先获得英伟达 DGX SuperPOD 认证。其 AI 编排技术可帮助用户轻松运行 AI 和机器进修项目,满足对生成式 AI 和大模型不断增长的要求。Run:ai 由其 CEO 奥姆里…- 5
- 0
英伟达最新AI超级算力Blackwell GPU平台即将登陆亚马逊云科技
今天凌晨,英伟达在 GTC 大会上推出了最新一代 GPU 架构 Blackwell 及整套零碎。在 Keynote 上,黄仁勋表示,已有多家科技公司和传统企业正在引入新一代产品。在发布活动后,亚马逊云科技宣布将供给基于英伟达 Grace Blackwell GPU 的 Amazon EC2 实例和 英伟达 DGX Cloud,以提高在数万亿参数 LLM 上建立和运行推理的功能。亚马逊云科技表示,英…- 4
- 0
消息称英伟达 Blackwell“B100”GPU 将配 192GB HBM3e 显存,B200 配 288GB 显存
感谢英伟达将在嫡举行 GTC 2024 主题演讲,黄仁勋预计将宣布名为 Blackwell 的下一代 GPU 架构。据 XpeaGPU 爆料称,明天推出的 B100 GPU 将采用两个基于台积电 CoWoS-L 封装技术的芯片。CoWoS(晶圆基片芯片)是一项先进的 2.5D 封装技术,涉及将芯片重叠在一起,提高处理能力,同时节省空间并降低功耗。XpeaGPU 走漏,B100 GPU 的两个计算芯…- 6
- 0
Meta 新建两座数据中心集群:内含超 4.9 万块英伟达 H100 GPU,专门训练 Llama3
感谢Meta 公司当地时间 12 日通过民间新闻稿公布了两座新的数据中心集群,该公司正希望通过英伟达的 GPU,在以 AI 为重点的开发中脱颖而出。据悉,这两座数据中心的唯一目的,是在消费者特定应用领域(IT之家注:包罗声音或图像识别)中进行 AI 研究和大说话模型的开发,每个集群都包罗了 24576 块英伟达 H100 AI GPU,将用于自家大说话模型 Llama 3 的训练。两座新建的数据中…- 3
- 0
「还是google好」,离职创业一年,我才发现训练大模型有这么多坑
Karpathy:中肯的,一针见血的。如何在不到一年的时光里创办一家公司、筹集资金、购买芯片,并搭建出追赶 Gemini pro/GPT 3.5 的 LLM?很多人都对构建基础架构和训练大语言模型和多模态模型感到好奇,但真正走完「从零开始」这一流程的人很少。我们普遍认为,储备技术人才是前提,掌握核心算法是关键,但实际上,工程实践中冒出来的挑战,也实在令人头疼。一年前,乘着大模型的热潮,Yi Tay…- 4
- 0
向英伟达发起挑衅的Groq是什么来头?简单科普新型AI芯片LPU
这是一篇关于 LPU 的简单科普。在如今的人工智能领域,「GPU is All You Need」已经逐渐成为共识。没有充足的 GPU,连 OpenAI 都不能轻易升级 ChatGPT。不过最近,GPU 的地位也在经受挑衅:一家名为 Groq 的初创公司开发出了一种新的 AI 解决器 ——LPU(Language Processing Unit),其推理速率相较于英伟达 GPU 提高了 10 倍,…- 6
- 0
性能提升、成本降低,这是分布式强化进修算法最新研究进展
深度强化进修(Deep Reinforcement Learning,DRL)是一种公认的解决连续决策问题的有效技术。为了应对 DRL 的数据低效(data inefficiency)问题,受到分布式机器进修技术的启发,分布式深度强化进修 (distributed deep reinforcement learning,DDRL) 已提出并成功应用于算计机视觉和自然语言处理领域。有观点认为,分布式…- 2
- 0
Llama2推理RTX3090胜过4090,延迟吞吐量占优,但被A800远远甩开
这是为数不多深入比较使用消费级 GPU(RTX 3090、4090)和服务器显卡(A800)进行大模型预训练、微调和推理的论文。大型语言模型 (LLM) 在学界和业界都取得了巨大的进展。但训练和部署 LLM 非常昂贵,需要大量的算计资源和内存,因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的开源框架和方法。然而,不同硬件和软件堆栈的运行时机能可能存在很大差异,这使得选择最佳配置变得困难…- 5
- 0
4090成A100平替?上交大推出推理引擎PowerInfer,token生成速率只比A100低18%
呆板之心报道呆板之心编辑部PowerInfer 使得在消费级硬件上运转 AI 更加高效。上海交大团队,刚刚推出超强 CPU/GPU LLM 高速推理引擎 PowerInfer。项目地址::?在运转 Falcon (ReLU)-40B-FP16 的单个 RTX 4090 (24G) 上,PowerInfer 对比 llama.cpp 实现了 11 倍加速!PowerInfer 和 llama.cpp…- 19
- 0
你的GPU能跑Llama 2等大模型吗?用这个开源项目上手测一测
你的 GPU 内存够用吗?这有一个项目,可以提前帮你审查。在算力为王的时代,你的 GPU 可以顺畅的运行大模型(LLM)吗?对于这一问题,很多人都难以给出确切的回答,不知该如何计算 GPU 内存。因为审查 GPU 可以解决哪些 LLM 并不像审查模型大小那么容易,在推理期间(KV 缓存)模型会占用大量内存,例如,llama-2-7b 的序列长度为 1000,需要 1GB 的额外内存。不仅如此,模型…- 4
- 0
比标准Attention提速5-9倍,大模型都在用的FlashAttention v2来了
一年时间,斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进,对大模型的适用性也更强了。- 26
- 0
参会抽RTX 4090,GTC23 China AI Day定档3月22日,嘉宾阵容公布
面向全球 AI 开发者的 GTC 2023 将于3月20 – 23日在线上举办,这场被 NVIDIA 创始人兼首席执行官黄仁勋描述为 「迄今为止最重要的一次 GTC」,将带来650多场讲演、专家座谈会和特别活动,几乎涵盖了算计领域的所有热门内容,预计将有超过25万人报名参加。本届 GTC 设有专门为中国 AI 从业者举办的特别活动 — China AI Day。活动将于3月22日下午1点开始,邀您…- 6
- 0
GPU
❯
个人中心
今日签到
搜索
扫码打开当前页
返回顶部
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
- ¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!