LoRA

视频训练LoRA来了！Ostris 用 20 张照片打造惊艳 Wan 2.1 LoRA

2025年3月9日，美国加利福尼亚州——开源模型正让文生视频技术变得越来越有趣。 AI 开发者 Ostris（@ostrisai）近日在 X 平台上分享了他使用自家照片训练的 Wan2.1LoRA 模型成果，仅凭约20张照片和一块家用 RTX4090显卡，便实现了令人惊叹的视频生成效果。这一成果不仅展示了开源技术的潜力，也引发了 X 社区对视频 LoRA 训练工具的热烈讨论。

机器学习|从0开始大模型之模型LoRA训练

1、LoRA是如何实现的? 在深入了解 LoRA 之前，我们先回顾一下一些基本的线性代数概念。 1.1、秩给定矩阵中线性独立的列（或行）的数量，称为矩阵的秩，记为 rank(A) 。

在家中完成LLM微调高效指南（上）

编辑 | 言征出品 | 51CTO技术栈（微信号：blog51cto）LLM在生成文本和理解信息方面非常有效，但它们最终受限于训练数据的语料库。例如，如果你让一个通用的预训练模型回答与你的业务特定流程或操作有关的问题，最好的结果是它拒绝，最坏的情况是它会信誓旦旦地给出一个看似合理但错误的答案。当然，你可以通过自己训练一个模型来解决这个问题，但所需的资源往往超出实际可行的范围。

LoRA、完全微调到底有何不同？MIT 21页论文讲明白了

本文旨在了解两种微调大型语言模型方法之间的差异：完全微调和低秩自适应 (LoRA)。这两种方法都用于将预训练模型适应特定的下游任务，但它们却有所不同。微调（Fine-tuning）是将经过预训练的大语言模型应用于下游任务的关键范例。

写在前面：在推进 AIGC 技术在我们业务中的应用过程中，我发现许多同事，特别是设计师和跨部门协作的团队，对 LoRA 模型在图像生成中的真正价值理解还不够深入。我们似乎更多地停留在"别人在做,我也要做"的从众心态，而没有真正认识到 LoRA 模型的战略意义和变革潜力。这种认知差距可能会导致我们在实践中走一些弯路，无法充分发挥 LoRA 模型的优势，也难以实现 AIGC 技术在业务中的最大化赋能。因此，我针对 LoRA 模型训练流程进行了系统梳理和优化，希望能给大家一些启发，帮助我们更好地理解和应用这一强大的工

比LoRA还快50%的微调方法来了！一张3090性能超越全参调优，UIUC联合LMFlow团队提出LISA

2022 年底，随着 ChatGPT 的爆火，人类正式进入了大模型时代。然而，训练大模型需要的时空消耗依然居高不下，给大模型的普及和发展带来了巨大困难。面对这一挑战，原先在计算机视觉领域流行的 LoRA 技术成功转型大模型 [1][2]，带来了接近 2 倍的时间加速和理论最高 8 倍的空间压缩，将微调技术带进千家万户。但 LoRA 技术仍存在一定的挑战。一是 LoRA 技术在很多任务上还没有超过正常的全参数微调 [2][3][4]，二是 LoRA 的理论性质分析比较困难，给其进一步的研究带来了阻碍。UIUC 联合

如何从头开始编写LoRA代码，这有一份教程

作者表示：在各种有效的 LLM 微调方法中，LoRA 仍然是他的首选。LoRA（Low-Rank Adaptation）作为一种用于微调 LLM（大语言模型）的流行技术，最初由来自微软的研究人员在论文《 LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 》中提出。不同于其他技术，LoRA 不是调整神经网络的所有参数，而是专注于更新一小部分低秩矩阵，从而大大减少了训练模型所需的计算量。由于 LoRA 的微调质量与全模型微调相当，很多人将这种方法称之为微调神器。自发布

告别冷启动，LoRA成为大模型「氮气加速器」，提速高达300%

用 LoRA 打造更快的 AI 模型。AI 模型功能越来越强大，结构也越来越复杂，它们的速度也成为了衡量先进程度的标准之一。如果 AI 是一辆豪华跑车，那么 LoRA 微调技术就是让它加速的涡轮增压器。LoRA 强大到什么地步？它可以让模型的处理速度提升 300%。还记得 LCM-LoRA 的惊艳表现吗？其他模型的十步，它只需要一步就能达到相媲美的效果。这是怎么做到的？Raphael G 的博客详细说明了 LoRA 如何在提高模型推理效率和速度方面取得显著成效，并介绍了这一技术实现的改进及其对 AI 模型性能的重大

不是大模型全局微调不起，只是LoRA更有性价比，教程已经准备好了

这是作者 Sebastian Raschka 经过数百次实验得出的经验，值得一读。增加数据量和模型的参数量是公认的提升神经网络性能最直接的方法。目前主流的大模型的参数量已扩展至千亿级别，「大模型」越来越大的趋势还将愈演愈烈。这种趋势带来了多方面的算力挑战。想要微调参数量达千亿级别的大语言模型，不仅训练时间长，还需占用大量高性能的内存资源。为了让大模型微调的成本「打下来」，微软的研究人员开发了低秩自适应（LoRA）技术。LoRA 的精妙之处在于，它相当于在原有大模型的基础上增加了一个可拆卸的插件，模型主体保持不变。L

保姆级教程！Stable Diffusion LoRA模型训练教程（新手篇）

本篇文章仅整理归纳我的LoRA训练思路及步骤，以及自己遇到的问题和解决方案的复盘整理。希望对新手炼丹师们有所启发和帮助。 LoRA 相关干货：

S-LoRA：一个GPU运行数千大模型成为可能

一般来说，大语言模型的部署都会采用「预训练 — 然后微调」的模式。但是，当针对众多任务（如个性化助手）对 base 模型进行微调时，训练和服务成本会变得非常高昂。低秩适配（LowRank Adaptation，LoRA）是一种参数效率高的微调方法，通常用于将 base 模型适配到多种任务中，从而产生了大量从一个 base 模型衍生出来的 LoRA 适配程序。这种模式为服务过程中的批量推理提供了大量机会。LoRA 的研究表明了一点，只对适配器权重进行微调，就能获得与全权重微调相当的性能。虽然这种方法可以实现单个适配器

如何从零开始训练专属 LoRA 模型？4600字总结送给你！

上篇文章我分享了 47 个高质量的 Stable Diffusion 模型，这些模型都是别人训练好的，使用起来非常方便。但是如果我们要生成特定人物、物品或画风，别人的这些模型就满足不了了，这时候就需要通过训练自己的专属模型来实现。目前 Stable Diffusion 主要有四种模型训练方法：Dreambooth、LoRA、Textual Inversion、Hypernetwork。本文主要介绍如何训练 LoRA 模型，LoRA 是一种轻量化的模型微调训练方法，是在原有大模型的基础上，对模型进行微调，从而能够生