导语：现今，许多 B 端安排师在日常安排中难免会遇到各种运营 3D banner 安排需求。在安排过程中，他们不仅需要费尽心思构思各种造型，还要不断进行重复渲染，而有时渲染结果也难以令人满意。本文旨在介绍一种基于 Stable Diffusion 混合 AI 的 B 端 3D Banner 安排方法和流程，可供任何对该领域感兴趣的人进行实验，创作出各类 B 端模型。
更多AI落地实践：
一、部署 Stable Diffusion 流程
本地安装 stable Diffusion
本地安装教程：(https://www.bilibili.com/video/BV1iM4y1y7oA)（来源：B 站秋葉 aaaki）
云端安装和本地安装优劣势对比
二、3Dbanner 模型训练流程
1. 收集安排素材，准备训练集
安排师在寻找素材尽可能作风上统一，图片本身的质量较高（指看得清楚）。图片的数量也不是越多越好，数量大概在 20 张以内，5 张以上就好。（目前使用的是腾讯云的运营活动 Banner）
2. 图片的处理和裁切
对图片进行裁切和处理，尽可能让素材中的主元素在画面的中间，图片的大小处理为方形大小（512*512），处理的原则模型主体清晰。
3. 对图片进行预处理操作（手动为图片添加描绘）
打标的处理方法相对前步骤会比较麻烦，因为 B 端 banner 都偏抽象类型，很难用一句话描绘清楚，所以这里我们也不能使用 stable diffusion 默认的预处理图片方式，我们选择手动打标的方式。 描绘分为两个模块：底座造型的描绘和主体造型的描绘。
底座的描绘：一个方形白色为主的蓝色点缀底座，圆形的装饰物，发光灯条，透明玻璃材质，蓝色的玻璃质感，白色科技感。
主体的描绘：白色科技感，几何图形，球形，立方体，蓝色玻璃质感，蓝色科技感，科技感，立方体发光，透明玻璃材质，云 ICON，云 logo
针对每张图新建一个 text 文档添加描绘，我们将上述实质手动改为英文：A white square base with blue accents, circular decoration, glowing light bars, transparent glass material, blue glass texture, white tech feel, geometric shapes, spherical, cubic, blue glass texture, blue tech feel, tech feel, cubic glowing, transparent glass material, cloud icon, cloud logo.
4. 使用 Dreambooth 训练
①创建模型
在“1“这里输入你训练出来的模型的名称，你可以按照你的喜好随意起一个英文名，例如：tencentcloud_icon/tencentcloud_banner 之类的，使用 A100GPU 训练一个模型只需要 5 分钟，所以可能会训练多个模型来做对比测试，时间一长你就不知道这些模型是干啥的了，所以我建议规范命名，能清楚阐述模型的效果。
“2”这里选择基底模型，Dreambooth 模型是基于一个现成的模型生成的，理想情况下，你训练出来的新模型中：你训练的主元素由你训练出来的这部分绘制，其他实质由基底模型生成（基底模型决定了整个新模型的作风，如果用的是二次元的模型，最后出来的作风也就是二次元的 icon）选择一个基础模型来进行训练，我们这次是基于 lyriel_v16.safetensors（这是一款偏写实人物的模型，通过 C 站 https://civitai.com/搜索可直接下载 ）。
“3”点击“Create”创建模型。
2. 开始训练
“1”“2”输入你的模型的存放目录和输出目录（文件夹命名的方式例如：tencentcloud_in，tencentcloud_out）。
输入图片的尺寸（因为之前已经把图片的尺寸调整为 512×512，那么这个地方直接输入就好）。
因为我们已经手动为图片打标过了，所以我们需要把 stable diffusion 生成的打标实质手动替换成我们自己的文本实质。
3. Dreambooth 设置
到 dreambooth 选项卡中，选择刚刚创建的模型：tencent cloud_banner。
Instance prompt：输入的 tenentcloud(这个名字不要和现实中存在的常见词语冲突）。
Dataset Directory：填写你输出的图片和文本的目录。
Class Prompt：填写 icon/或者品类。
Classification Dataset Directory 和 Total Number of Class/Reg Images 的参数根据自己的需要来填写，例如：40。
Learning Rate 和 Training Steps 这两个选项都是决定训练强度的，数字越大，学习效果越强，学习效果越强，就越容易过拟合，但是过低又会欠拟合。
Train Wizard 如果是训练人物模型的可以选择 lora，不是的话可以不用选择。
点击”Generate Ckpt”，大概 4 个小时候之后就可以炼丹成功（根据显卡配置测算时间，2080T 大概时间 6 小时，3080T 大概时间 4 小时）。
5.安排师生产流程如下：
①文生图生成方法
关键词写法：实质，作风，质量，视角四个方向填写关键词。
以“服务器”为例：
关键词：A server, a round object with blue center and top white center, top with light blue center and white center, white background, very high quality 3D ICON. The model is divided into two parts, top and bottom. The bottom is a white metal cube with a slightly glassy texture. There are metal screws at all four corners. The screws are very small. There is only one main object in the scene, the object is on the right side of the screen, and the camera is an isometric perspective. X-axis is -20°, y-axis is 45°, z-axis is 0°, masterpiece, best quality, high resolution
负向描绘：nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,fuzzy structure
采样迭代步数：20-30（不是越高越好，过高也会出现抽象的实质）。
生成数量：跟随自己的电脑配置来填写参数，配置好填写数量高，配置低填写低。
宽度/高度：512*512。
最后的生成效果（我们挑选了一些生成较好的效果）。
②混入 Lora“DDicon”生成
以“AI 大脑”为例：
关键词：A brain, a round object with blue center and top white center, top with light blue center and white center, white background, very high quality 3D ICON. The model is divided into two parts, top and bottom. The bottom is a white metal cube with a slightly glassy texture. There are metal screws at all four corners. The screws are very small. There is only one main object in the scene, the object is on the right side of the screen, and the camera is an isometric perspective. X-axis is -20°, y-axis is 45°, z-axis is 0°, masterpiece, best quality, high resolution [lora:DDicon:1]
负向描绘：nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,fuzzy structure
采样迭代步数：20-30（不是越高越好，过高也会出现抽象的实质）。
生成数量：跟随自己的电脑配置来填写参数，配置好填写数量高，配置低填写低。
宽度/高度：512*512。
生成结果：
当我们在关键词中一些“球体”关键词，也有一些抽象图形的产生。
当我们在关键词中一些“爱心”关键词，也有一些爱心图形的产生。
同样的方法我们也训练了其他的作风效果（目前跟腾讯云简介页安排作风一致）。
另外一种作风的尝试。
③后期之后放入到运营场景使用
使用相同方法，不同尺寸进行场景作风测试，通常可用于场景头图 banner 绘制，做商用的状态。
结语
总的来说，AI 技术的发展为 B 端安排师提供了更多的创作可能性和工具。本文介绍的基于 Stable Diffusion 混合 AI 的 3D Banner 安排方法，不仅能够减少安排师的重复渲染工作，还能够创造出更加出色的安排作品。我们相信，随着 AI 技术的不断发展，它将会在 B 端创作中发挥越来越重要的作用，为安排师们带来更多的创作灵感和更高效的工作方式。这种新思路的出现，不仅可以提高安排师的工作效率和创作质量，也能够为企业带来更多的商业价值。因此，我们期待着更多的 AI 技术能够应用到 B 端创作中，为这个行业带来更多的创新和突破。