stablediffusion训练embedding的模型

stablediffusion训练embedding的模型

在AI领域中,Textual Inversion(文本倒置)或称为Embedding(嵌入)是一种适合让AI学习新概念或物体的方法。相比于HyperNetwork,Textual Inversion的学习能力较差。在这方面,Stable Diffusion中文网的基础模型Waifu Diffusion 1.4是一个比较适合训练Embedding的选择。

操作过程

  1. 启动SD WebUI
  2. 切换至Train页面,在Create embedding输入名字。Number of vectors per token设置为7以上。点击Create embedding。
  3. 切换至Train页面,选择刚刚创建的embedding,于Dataset directory输入训练数据的路径。
  4. Prompt template file选style_filewords.txt。Mx Step设置训练至10000步停止。当然你也可以调高一点,并看预览图决定品质差不多之后才按Interrupt中止训练,具体步数视情况而定。
  5. 点击Train Embedding,开始训练。
  6. SD WebUI应会显示剩余时间,通常是一小时起跳,每500步会在右边显示训练该步数的成果。
  7. 你也可以到SD WebUI根目录下的texual_inversions查看训练成果。里面image_embeddings目录会存放训练步数对应的成果。
  8. 待训练完成后,至SD WebUI根目录下的texual_inversions/embeddings,对照image_embeddings目录的图片挑选合适的成品。
  9. 例如觉得9500步的成果不错,那就将该pt档从里面挑出,将其放到SD WebUI程序目录下的embeddings。

Embedding模型使用方式

  1. 在SD WebUI的生图界面,点击右上角的Show Extra Networks。
  2. 选择要使用的embedding,点击将其加入提示词字段。注意,Embedding只能与训练时使用的模型配合使用。
  3. 按照Embedding训练时使用的提示词下提示词,生成的图像将会包含该Embedding的人物。

总结

Textual Inversion是一种让AI学习新概念的方法,适用于Stable Diffusion中文网的基础模型Waifu Diffusion 1.4。通过训练Embedding模型,并配合训练时使用的模型,可以生成包含特定概念或物体的图像。这种方法可以用于创造各种新颖的图像,拓展AI的学习能力和创造力。

原创文章,作者:SD中文网,如若转载,请注明出处:https://www.stablediffusion-cn.com/sd/sd-model/1663.html