Docs

AI绘画：StableDiffusion炼丹Lora攻略-实战萌宠图片生成

输入“/”快速插入

AI绘画：StableDiffusion炼丹Lora攻略-实战萌宠图片生成

飞书用户8554

2023年7月9日创建

阅读说明

适合的人群：StableDiffusion有一定基础的

没有基础或者没有部署的可以先看下这篇文章教程：

AI绘画：Stable Diffusion 终极炼丹宝典：从入门到精通

LibLib模型下载链接：https://www.liblib.ai/modelinfo/b2c26ce0258149c0be9a47be79f6bfed?mine=1

写在前面的话

最近我在小红书上发现了一些超级可爱、令人眼前一亮的萌宠图片，真是让人忍不住想要与大家分享。​

于是我决定利用AI绘画技术StableDiffusion来创作一些类似的作品。​

以下是详细实操的全过程，包括所有用的资料已经打包到网盘。​

50%

最后尝试的最终效果如下：

更多图片请查看网盘：

「萌宠图片及关键词」

链接：https://pan.quark.cn/s/ba9c3e8ef92a

如果你想了解更多的StableDiffusion的知识，请参阅：

AI绘画：Stable Diffusion 终极炼丹宝典：从入门到精通

原文链接阅读更舒服：​AI绘画：StableDiffusion炼丹Lora攻略-实战萌宠图片生成 ​

一：准备

需要的资料都打包在网盘里面，需要的自行下载。

我用夸克网盘分享了「StableDiffusion炼丹资料」

网盘链接：https://pan.quark.cn/s/3c8cc96f3221

二、Lora作用

LORA可以让我们轻松画出特定的人物，物品，特殊的笔触和特殊的画风或风格，属于一种特殊训练的子集。​

1.AI模特

2.炼衣服Lora

3.改变画风/画面背景

Lora模型究竟是什么？

专业的解释

LoRA的全称是LoRA: Low-Rank Adaptation of Large Language Models，可以理解为stable diffusion（SD)模型的一种插件，和hyper-network，controlNet一样，都是在不修改SD模型的前提下，利用少量数据训练出一种画风/IP/人物，实现定制化需求，所需的训练资源比训练SD模要小很多，非常适合社区使用者和个人开发者。LoRA最初应用于NLP领域，用于微调GPT-3等模型（也就是ChatGPT的前生）。由于GPT参数量超过千亿，训练成本太高，因此LoRA采用了一个办法，仅训练低秩矩阵（low rank matrics），使用时将LoRA模型的参数注入（inject）SD模型，从而改变SD模型的生成风格，或者为SD模型添加新的人物/IP。

通俗的解释

Lora可以复刻人物和物品的特征，固定人物动作，改变照片画风​

而且Lora只需要少量的数据就可以训练出来，比训练大模型要简单很多​