PyTorch

机器学习的下一个前沿—量子扩展

译者 | 陈峻审校 | 重楼现如今，机器学习的速度比以往任何时候都快得多，也能够解决那些曾被认为完全无法解决的问题。将来，在量子计算潜力的驱动下，人工智能（AI）模型会越来越大、越来越强，甚至会超越我们对其训练的工具。说到模型训练，其计算和能源的消耗成本日趋高启。

Torchtune：重塑大语言模型微调的新篇章

在当今的深度学习领域，大语言模型（LLMs）的微调已成为实现定制化模型功能的关键步骤。为了满足这一需求，Torchtune应运而生，它是一个专为PyTorch设计的库，旨在简化LLMs的编写、微调及实验过程。本文将详细介绍Torchtune的功能、特性、使用方法及其社区支持。

PyTorch vs PyTorch Lightning 框架对比

在不断发展的深度学习领域，PyTorch 已经成为开发者和研究人员家喻户晓的名字。其动态计算图、灵活性以及广泛的社区支持使其成为构建从简单神经网络到复杂前沿模型的首选框架。然而，灵活性也带来了编写大量样板代码的责任——尤其是在训练循环、日志记录和分布式学习方面。

Pytorch 核心操作全总结！零基础必备！

在深度学习与人工智能领域，PyTorch已成为研究者与开发者手中的利剑，以其灵活高效的特性，不断推动着新技术的边界。对于每一位致力于掌握PyTorch精髓的学习者来说，深入了解其核心操作不仅是提升技能的关键，也是迈向高级应用与创新研究的必经之路。本文精心梳理了PyTorch的核心操作，这不仅是一份全面的技术指南，更是每一个PyTorch实践者的智慧锦囊，建议收藏！

基于CNN＋PyTorch实现视觉检测分类

译者 | 朱先忠审校 | 重楼本文给出了一个使用CNN＋PyTorch实现汽车电子行业视觉检测分类详尽的实战案例解析。在本文中，我们开发了一个卷积神经网络（CNN），用于汽车电子行业的视觉检测分类任务。在此过程中，我们深入研究了卷积层的概念和相关数学知识，并研究了CNN实际看到的内容以及图像的哪些部分导致它们做出决策。

使用Pytorch构建视觉语言模型（VLM）

视觉语言模型（Vision Language Model，VLM）正在改变计算机对视觉和文本信息的理解与交互方式。本文将介绍 VLM 的核心组件和实现细节，可以让你全面掌握这项前沿技术。我们的目标是理解并实现能够通过指令微调来执行有用任务的视觉语言模型。

PyTorch 深度学习的十个核心概念

深度学习是当前最热门的技术之一，而 PyTorch 是一个非常受欢迎的深度学习框架。今天，我们将深入探讨 PyTorch 中的 10 个核心概念，帮助你更好地理解和使用这个强大的工具。张量（Tensor）张量是 PyTorch 中最基本的数据结构，类似于 NumPy 的数组，但可以在 GPU 上运行，从而加速计算。

用 PyTorch 构建神经网络的 12 个实战案例

用PyTorch构建神经网络是机器学习领域中非常热门的话题。 PyTorch因其易用性和灵活性而受到广大开发者的喜爱。本文将通过12个实战案例，带你从零开始构建神经网络，逐步掌握PyTorch的核心概念和高级技巧。

天下苦英伟达久矣！PyTorch官方免CUDA加速推理，Triton时代要来？

近日，PyTorch 官方分享了如何实现无 CUDA 计算，对各个内核进行了微基准测试比较，并讨论了未来如何进一步改进 Triton 内核以缩小与 CUDA 的差距。在做大语言模型（LLM）的训练、微调和推理时，使用英伟达的 GPU 和 CUDA 是常见的做法。在更大的机器学习编程与计算范畴，同样严重依赖 CUDA，使用它加速的机器学习模型可以实现更大的性能提升。虽然 CUDA 在加速计算领域占据主导地位，并成为英伟达重要的护城河之一。但其他一些工作的出现正在向 CUDA 发起挑战，比如 OpenAI 推出的 Tr

新PyTorch API：几行代码实现不同注意力变体，兼具FlashAttention性能和PyTorch灵活性

用 FlexAttention 尝试一种新的注意力模式。理论上，注意力机制就是你所需要的一切。然而在实际操作中，我们还需要优化像 FlashAttention 这样的注意力机制的实现。尽管这些融合的注意力机制大大提高了性能，且支持长上下文，但这种效率的提升也伴随着灵活性的丧失。对于机器学习研究人员来说，这就像是一种「软件彩票」—— 如果你的注意力变体不适合现有的优化内核，你将面临运行缓慢和 CUDA 内存不足的困境。一些注意力变体包括因果注意力、相对位置嵌入、Alibi、滑动窗口注意力、PrefixLM、文档掩码

PyTorch 团队首发技术路线图，近百页文档披露 2024 下半年发展方向

最近，PyTorch 团队首次公布了开发路线图，由内部技术文档直接修改而来，披露了这个经典开源库下一步的发展方向。如果你在 AI 领域用 Python 开发，想必 PyTorch 一定是你的老朋友之一。2017 年，Meta AI 发布了这个机器学习和深度学习领域的开源库，如今已经走到了第 7 个年头。根据 Assembly AI 2021 年的统计数据，HuggingFace 上最受欢迎的 top 30 模型都能在 PyTorch 上运行，有 92% 的模型是 PyTorch 专有的，这个占比让包括 Tensor

为什么要纯C语言手搓GPT-2，Karpathy回应网友质疑

Karpathy：for fun.几天前，前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 发布了一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」。llm.c 旨在让大模型（LM）训练变得简单 —— 使用纯 C 语言 / CUDA，不需要 245MB 的 PyTorch 或 107MB 的 cPython。例如，训练 GPT-2（CPU、fp32）仅需要单个文件中的大约 1000 行干净代码（clean code），可以立即编

不到1000行代码，PyTorch团队让Llama 7B提速10倍

PyTorch 团队亲自教你如何加速大模型推理。在过去的一年里，生成式 AI 发展迅猛，在这当中，文本生成一直是一个特别受欢迎的领域，很多开源项目如 llama.cpp、vLLM 、 MLC-LLM 等，为了取得更好的效果，都在进行不停的优化。作为机器学习社区中最受欢迎框架之一的 PyTorch，自然也是抓住了这一新的机遇，不断优化。为此让大家更好的了解这些创新，PyTorch 团队专门设置了系列博客，重点介绍如何使用纯原生 PyTorch 加速生成式 AI 模型。代码地址：，PyTorch 团队展示了仅使用纯原生

PyTorch团队重写「分割一切」模型，比原始实现快8倍

我们该如何优化 Meta 的「分割一切」模型，PyTorch 团队撰写的这篇博客由浅入深的帮你解答。从年初到现在，生成式 AI 发展迅猛。但很多时候，我们又不得不面临一个难题：如何加快生成式 AI 的训练、推理等，尤其是在使用 PyTorch 的情况下。本文 PyTorch 团队的研究者为我们提供了一个解决方案。文章重点介绍了如何使用纯原生 PyTorch 加速生成式 AI 模型，此外，文章还介绍了 PyTorch 新功能，以及如何组合这些功能的实际示例。结果如何呢？PyTorch 团队表示，他们重写了 Meta

Keras 3.0预览版迎来重大更新：适用于TensorFlow、JAX和PyTorch