Yandex 开发并开源 Perforator,这款开源工具每年可为企业节省数十亿美元的服务器基础设施成本

全球领先的科技公司 Yandex 开发并开源了 Perforator,这是一款用于对服务器和应用程序进行持续实时监控和分析的创新工具。 Perforator 帮助开发人员识别最占资源的代码部分,并提供详细的统计数据,以便进行后续优化。 通过识别代码中的低效部分并支持基于配置文件的优化,Perforator 提供了准确的数据,使企业能够手动优化其应用程序,根据公司规模,降低基础设施成本最多可达 20%。

全球领先的科技公司 Yandex 开发并开源了 Perforator,这是一款用于对服务器和应用程序进行持续实时监控和分析的创新工具。

Perforator 帮助开发人员识别最占资源的代码部分,并提供详细的统计数据,以便进行后续优化。通过识别代码中的低效部分并支持基于配置文件的优化,Perforator 提供了准确的数据,使企业能够手动优化其应用程序,根据公司规模,降低基础设施成本最多可达 20%。这每年可能节省数百万甚至数十亿美元。

“Perforator 帮助企业在不牺牲性能的情况下最大化服务器的使用效率,” Yandex 的高级开发人员、Perforator 团队负责人 Sergey Skvortsov 表示。“企业使用 Perforator 可以优化代码,减少服务器负载,最终降低能源和设备成本。”

为什么使用 Perforator

资源优化对于大型数据中心、大型科技公司以及资源有限的小型企业和初创公司至关重要。公司可以利用 Perforator 优化现有的基础设施,而无需投资额外的设备,也不牺牲性能。该工具已经在 Yandex 的许多服务中使用了超过一年,现在可以供全球的公司、开发人员和研究人员使用。

公司可以将 Perforator 部署在自己的服务器上,减少对外部云服务提供商的依赖,同时保持对数据的完全控制。这使得 Perforator 非常适合那些对数据安全要求严格且在封闭基础设施中运营的组织。

“Perforator 可以为各种规模的公司带来益处,从拥有 10 至 100 台服务器的小型企业,每年节省数百万美元,到拥有数千台服务器甚至更多的大型企业,每年节省数亿美元甚至数十亿美元,” Sergey Skvortsov 指出。“无论公司规模如何,Perforator 都能帮助您减少基础设施成本,为进一步的创新和增长释放更多资源。”

Perforator 如何工作

Perforator 提供了关于服务器资源使用的详细洞察,并分析代码对性能的影响,突出了哪些应用程序消耗了最多的系统资源。Perforator 使用 eBPF 技术在 Linux 内核中运行小程序,既安全又不会拖慢系统速度。eBPF 能够在不更改源代码的情况下,改善监控、安全性和性能优化。

Perforator 支持 C、C++、Go、Rust、Python 和 Java 等原生编程语言。该解决方案通过火焰图提供深入的分析和数据可视化,使问题诊断变得易于管理。

Yandex 开发并开源 Perforator,这款开源工具每年可为企业节省数十亿美元的服务器基础设施成本

Perforator 生成的火焰图示例

“Perforator 在 Yandex 的高需求环境中经过了超过一年的实战测试,提供了广泛的功能,使其成为一款可靠且多功能的服务器性能监控和优化解决方案,” Sergey Skvortsov补充道。

Perforator 的一个关键优势是支持基于配置文件的优化(PGO),它能够自动将 C++ 程序的速度提高多达 10%。此外,Perforator 设计可以在个别计算机上无缝运行,使其不仅适合大型企业,还能为初创公司和科技爱好者提供便利。更重要的是,Perforator 为大企业提供了包括 A/B 测试功能在内的重要特性,帮助做出更明智的决策。

为开发人员和企业提供的开源解决方案

将 Perforator 开源的决定体现了 Yandex 致力于促进社区合作开发系统技术的承诺。

“我们相信,开源诸如此类基础系统的技术能够推动全球技术创新,” Sergey Skvortsov 补充道。

“我们的目标是让我们的技术造福全球,并为开发人员和企业提供价值。此外,技术的开放性使我们能够与社区共同做出有关配置文件分析基础设施开发的决策。”

接下来会发生什么?

Perforator 将在近期增加更多功能,包括与 Python 和 Java 的更好集成以及对事件的更精确分析。

Perforator 的源代码现已在 GitHub,上公开,和其他 Yandex 开源解决方案一起提供,如YaFSDP,这是一个旨在加速大语言模型训练的工具。

Perforator 是 Yandex 开源工具系列中的最新成员。您可以在此页面查看该公司所有的开源项目,包括 YaFSDP、AQLM、Ytsaurus 等。

相关资讯

俄罗斯科技巨头 Yandex 宣布开源“YaFSDP”大语言模型训练工具:大幅提升 GPU 利用率,对 Llama 3 可实现 26% 加速

俄罗斯科技巨头 Yandex 推出了一款开源的大语言模型训练工具 ——YaFSDP,号称与现有工具相比速度最高可提升 26%。据介绍,YaFSDP 在训练速度方面优于传统的 FSDP 方法,尤其适用于大型模型。在预训练 LLM 方面,YaFSDP 速度提高了 20%,并且在高内存压力条件下表现更佳。例如,YaFSDP 对具有 700 亿参数的 Llama 2 可以实现 21% 的效率提升,对具有同级参数的 Llama 3 也实现 了 26% 的效率提升。IT之家附官方数据一览:模型gpu-countseq-lenn

Yandex 开源 LLM 训练工具节省高达 20% 的 GPU 资源

跨国科技公司 Yandex 最近推出了 YaFSDP,这是一种用于训练大型语言模型 (LLM) 的开源方法。YaFSDP 是目前最有效的公开可用工具,用于增强 GPU 通信并减少 LLM 训练中的内存使用量,与 FSDP 相比,其训练速度提升最高可达 26%,具体取决于架构和参数数量。通过使用 YaFSDP 减少 LLM 的训练时间可以节省高达 20% 的 GPU 资源。Yandex 承诺为全球人工智能社区的发展做出贡献,将YaFSDP开源提供给全球的 LLM 开发人员和人工智能爱好者即是履行此承诺的其中一步。“目

台积电:AI 服务器处理器需求快速增长,预计到 2028 年贡献 20% 营收

台积电在昨日的季度财报电话会议上表示,AI 服务器处理器需求强劲,并将持续快速增长,到 2028 年相关业务可贡献总收入的 20%。台积电方面将 AI 服务器处理器狭义定义为执行 AI 训练和推理的 GPU、CPU 和 AI 加速器,不包含网络边缘和消费级设备上的 AI 处理器。台积电 CEO 魏哲家表示,今年台积电在 AI 服务器处理器方面的营收预计将相对去年翻倍,占整体收入的约一成。未来 5 年相关收入将在今年的基础上实现 50% 的复合年增长率,到 2028 年可贡献总体收入的 20%。魏哲家称,台积电是 A