内存

Proton 当地时间昨日推出了 AI 电子邮件写作助手 Proton Scribe。该辅助软件内置于 Proton Mail 邮箱之中，可节省邮件编写时间，提升企业团队生产力。▲ 校对与缩短功能界面展示Proton Scribe 支持根据用户需求从零生成邮件初稿，也可用于校对、缩短或正式化现有文本草稿。▲ 初稿生成功能展示Proton 表示 Proton Scribe 助手专为保护数据隐私而设计…

感谢AMD 今日公布直至 2026 年的 Instinct GPU AI 加速器路线图。AMD 宣布其 Instinct 产品线更新节奏调整与英伟达相同的一年一更，以满足不断扩张的 AI 应用需求。AMD Instinct MI325X 加速器将在今年四季度率先上市 ，其可视为 MI300 更换 HBM3E 内存的刷新版本。该加速器内存容量将从 MI300X 的 192GB 提高至 288GB，同…

今日获悉，腾讯云数据库2篇论文当选国内数据库顶级集会ICDE。其分布式事件和谈——Lion和内存-磁盘跨越索引设想框架，解决了数据库领域的普遍困难，技巧创新获得国内权威认可。（腾讯云数据库团队在ICDE会场进行技巧分享）据悉，ICDE（IEEE International Conference on Data Engineering）是数据库研究领域历史悠久的国内集会，与SIGMOD、VLDB并称…

感谢据韩国科技媒体 KED Global 报道，三星电子为了拿下英伟达下一代人工智能图形处理器 (AI GPU) 的高端内存 (HBM) 订单，组建了一支由约 100 名顶尖工程师组成的“精英团队”，他们一直致力于提高制造产量和品质，首要目标是通过英伟达的尝试。据业内人士透露，英伟达首席执行官黄仁勋对三星目前供应的 8 层和 12 层 HBM3E 内存的良品率和品质并不满意，要求三星进行改进。HB…

大谈话模型的微调一直是说起来容易做起来难的事儿。近日 Hugging Face 技术主管 Philipp Schmid 发表了一篇博客，详细讲解了如何利用 Hugging Face 上的库和 fsdp 以及 Q-Lora 对大模型从事微调。我们知道，Meta 推出的 Llama 3、Mistral AI 推出的 Mistral 和 Mixtral 模型以及 AI21 实验室推出的 Jamba 等开…

Meta Platforms 当地时间 10 日宣布了其训练与推理加速器项目（MTIA）的最新版本，MTIA 是 Meta 专门为 AI 工作负载设计的定制芯片系列。据介绍，此次宣布的新一代 MTIA 与第一代 MTIA 相比，明显改进了功能，并有助于强化内容排名和推荐广告模型。其架构从根本上侧重于供应算计、内存带宽和内存容量的适合均衡。该芯片还可帮助提高训练效率，使推理（即实际推理任务）变得更容…

google在 3 月初发布了一个奇怪的声明，称旗下两款新手机 Pixel 8 和 Pixel 8 Pro 中，只有 Pixel 8 Pro 能够运转其最新的人工智能模型“Google Gemini”。尽管两款手机的配置非常相似，但google却以神秘的“硬件节制”为由拒绝在 Pixel 8 上运转该模型。这番言论让人费解，因为google一直宣称 Pixel 8 是以人工智能为核心的手机，并且还…

在美光近日举行的季度财报电话会议上，美光 CEO 桑杰・梅赫罗特拉（Sanjay Mehrotra）表示 AI 时代旗舰手机的 DRAM 内存用量将大幅提升。他表示：“我们预计 AI 手机的 DRAM 含量将比当今的非 AI 旗舰手机高出 50% 到 100%”目前，大部分安卓旗舰手机均可选 12 或 16GB 的内存，同时 24GB 内存配置也不在少数；苹果阵营和少部分安卓旗舰款式则维持了 8G…

据证券时报报道，英特尔中国区技术部总经理高宇在 2024 中国闪存市场峰会上表示，未来 AI PC 入门级标配必然是 32GB 内存，而当前 16GB 内存必然会被淘汰，明年 64GB PC 将开始出货。同时，AI PC 对 SSD 机能和容量提出非常高的央求。随着人工智能技术的快速发展，AI PC（人工智能个人电脑）成为个人电脑新的发展方向，使用户能够在本地进行复杂的人工智能计算，而无需依赖云端…

三星电子 DS（设备解决方案）部门负责人庆桂显（Kye Hyun Kyung）在今日的三星电子股东大会上宣布，三星电子计划今年底明年初推出采用 LPDDR 内存的 AI 芯片 Mach-1。庆桂显表示，Mach-1 芯片已完成鉴于 FPGA 的技术验证，正处于 SoC 设计阶段。该 AI 芯片将于今年底完成制造过程，明年初推出鉴于其的 AI 系统。韩媒 Sedaily 报导指，Mach-1 芯片鉴…

这是为数不多深入比较使用消费级 GPU（RTX 3090、4090）和服务器显卡（A800）进行大模型预训练、微调和推理的论文。大型语言模型 (LLM) 在学界和业界都取得了巨大的进展。但训练和部署 LLM 非常昂贵，需要大量的算计资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的开源框架和方法。然而，不同硬件和软件堆栈的运行时机能可能存在很大差异，这使得选择最佳配置变得困难…

苹果这项新工作将为未来 iPhone 加入大模型的能力带来无限想象力。近年来，GPT-3、OPT 和 PaLM 等大型语言模型（LLM）在广泛的 NLP 任务中表现出了强大的性能。不过，这些能力伴随着大量计算和内存推理需求，毕竟大型语言模型可能包含数千亿甚至万亿参数，使得高效加载和运行变得有挑战性，尤其是在资源有限的设备上。当前标准的应对方案是将整个模型加载到 DRAM 中进行推理，然而这种做法严…

一般来说，大语言模型的部署都会采用「预训练 — 然后微调」的模式。但是，当针对众多任务（如个性化助手）对 base 模型进行微调时，训练和效劳成本会变得非常高昂。低秩适配（LowRank Adaptation，LoRA）是一种参数效率高的微调方法，通常用于将 base 模型适配到多种任务中，从而产生了大量从一个 base 模型衍生出来的 LoRA 适配程序。这种模式为效劳过程中的批量推理供给了大量…

Speed Is All You Need：google提出针对 Stable Diffusion 一些优化建议，生成图片速度快速提升。Stable Diffusion 在图象生成领域的知名度不亚于对话大模型中的 ChatGPT。其能够在几十秒内为任何给定的输入文本创建逼真图象。由于 Stable Diffusion 的参数量超过 10 亿，并且由于设施上的算计和内存资源有限，因而这种模型主要运转…

1750 亿参数，只需要一块 RTX 3090，ChatGPT 终于不再是大厂专属的游戏？

CUDA 闭源库将和 TensorFlow 一样逐渐式微。

深度学习是门玄学？也不完全是。