PyTorch

视觉语言模型（Vision Language Model，VLM）正在改变计算机对视觉和文本信息的理解与交互方式。 本文将介绍 VLM 的核心组件和实现细节，可以让你全面掌握这项前沿技术。 我们的目标是理解并实现能够通过指令微调来执行有用任务的视觉语言模型。

深度学习是当前最热门的技术之一，而 PyTorch 是一个非常受欢迎的深度学习框架。 今天，我们将深入探讨 PyTorch 中的 10 个核心概念，帮助你更好地理解和使用这个强大的工具。 张量（Tensor）张量是 PyTorch 中最基本的数据结构，类似于 NumPy 的数组，但可以在 GPU 上运行，从而加速计算。

用PyTorch构建神经网络是机器学习领域中非常热门的话题。 PyTorch因其易用性和灵活性而受到广大开发者的喜爱。 本文将通过12个实战案例，带你从零开始构建神经网络，逐步掌握PyTorch的核心概念和高级技巧。

近日，PyTorch 官方分享了如何实现无 CUDA 计算，对各个内核进行了微基准测试比较，并讨论了未来如何进一步改进 Triton 内核以缩小与 CUDA 的差距。在做大语言模型（LLM）的训练、微调和推理时，使用英伟达的 GPU 和 CUDA 是常见的做法。在更大的机器学习编程与计算范畴，同样严重依赖 CUDA，使用它加速的机器学习模型可以实现更大的性能提升。虽然 CUDA 在加速计算领域占据…

用 FlexAttention 尝试一种新的注意力模式。理论上，注意力机制就是你所需要的一切。然而在实际操作中，我们还需要优化像 FlashAttention 这样的注意力机制的实现。尽管这些融合的注意力机制大大提高了性能，且支持长上下文，但这种效率的提升也伴随着灵活性的丧失。对于机器学习研究人员来说，这就像是一种「软件彩票」—— 如果你的注意力变体不适合现有的优化内核，你将面临运行缓慢和 CUD…

最近，PyTorch 团队首次公布了开发路线图，由内部技术文档直接修改而来，披露了这个经典开源库下一步的发展方向。如果你在 AI 领域用 Python 开发，想必 PyTorch 一定是你的老朋友之一。2017 年，Meta AI 发布了这个机器学习和深度学习领域的开源库，如今已经走到了第 7 个年头。根据 Assembly AI 2021 年的统计数据，HuggingFace 上最受欢迎的 to…

Karpathy：for fun.几天前，前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 发布了一个仅用 1000 行代码即可在 CPU/fp32 上兑现 GPT-2 训练的项目「llm.c」。llm.c 旨在让大模型（LM）训练变得简单 —— 使用纯 C 说话 / CUDA，不必要 245MB 的 PyTorch 或 107MB 的 cPython。例…

PyTorch 团队亲自教你如何减速大模型推理。在过去的一年里，生成式 AI 发展迅猛，在这当中，文本生成一直是一个特别受欢迎的领域，很多开源项目如 llama.cpp、vLLM 、 MLC-LLM 等，为了取得更好的效果，都在进行不停的优化。作为机器学习社区中最受欢迎框架之一的 PyTorch，自然也是抓住了这一新的机遇，不断优化。为此让大家更好的了解这些创新，PyTorch 团队专门设置了系列…

我们该如何优化 Meta 的「分割一切」模型，PyTorch 团队撰写的这篇博客由浅入深的帮你解答。从年初到现在，生成式 AI 发展迅猛。但很多时候，我们又不得不面临一个难题：如何加快生成式 AI 的训练、推理等，尤其是在应用 PyTorch 的情况下。本文 PyTorch 团队的研究者为我们提供了一个解决方案。文章重点介绍了如何应用纯原生 PyTorch 加速生成式 AI 模型，此外，文章还介绍…

Keras 出新库了，这次是 Keras Core，我们可以将其理解为 Keras 3.0 预览版，预计今年秋天正式发布。

近日，Meta 透露了其在人工智能方面取得的最新进展。

PyTorch Lightning 背后的初创公司推出了一套熟练掌握 PyTorch 的免费系列课程。

CUDA 闭源库将和 TensorFlow 一样逐渐式微。

加入 Linux 基金会后，PyTorch 不会有大的改变。

深度学习是门玄学？也不完全是。

PyTorch 1.11、TorchData 和 functorch 现已推出。

经过数月的封闭测试后，TorchStudio 现在终于来了。

AMD，No？PyTorch在AMD CPU的呆板上浮现死锁了。

距离 Mirco Ravanelli 宣布打造新的语音工具包过去了一年多，SpeechBrain 真的如期而至。