如何将ControlNet与SDXL模型配合使用

IT之家 6 月 9 日消息，特斯拉过去那种刚下生产线就卖光的火爆场面似乎一去不复返了，该公司目前面临的困境是产能过剩，汽车堆积如山。据 Sherwood News 报道，特斯拉为了存放这些卖不出去的汽车，把它们堆放在了停车场里，甚至从太空都能看到。2024 年第一季度，特斯拉报告生产了 43...

总所周知SD1.5的模型在上是不可以使用的，那我们使用SDXL时需要用到ControlNet怎么办呢，别担心这个教程以canny为例教你怎么将ControlNet和SDXL配合使用

更新我们的ControlNet

首先就是更新我们的ControlNet，在秋叶整合包中点击版本管理——扩展—— 一键更新就可以啦

也可以在WebUI中——扩展——已安装——检查更新——点击应用——重启WebUI

获取SDXL控制模型

您可以通过以下链接获取适用于 SDXL 的 ControlNet 模型。

lllyasviel/sd_control_collection at main (huggingface.co)

您可以将模型放入

stable-diffusion-webui\extensions\sd-webui-controlnet\models

或

stable-diffusion-webui\models\ControlNet

不过在获取的时候有这么多模型我们怎么选择呢

Canny模型

这边以Canny模型为例，我们不用全部获取，我这边已经测试了这些模型的生成效果和速度

速度测试

模型大小

虽然diffusers_xl_canny_full效果很好，但不幸的是，它是最大的。（2.5 千兆字节）而且生成的时间也比较久，如果你只在乎质量不在意时间并且电脑配置很好可以考虑这个

kohya_controllllite控制模型非常小。鉴于它们的体积小，它们的表现非常好。

对 Canny SDXL 的建议

如果您对它的大尺寸和较低的速度感到满意，请使用diffusers_xl_canny_full。

如果您需要更小、更快的模型并且可以接受风格的轻微变化，请使用kohya_controllllite_xl_canny。

使用sai_xl_canny_128lora以获得合理的文件大小，同时减少样式的更改。

控制权重参数对于生成良好的图像至关重要。大多数型号需要它低于 1。

-------------------------------------------------------------------------------------------

想要深入学习更多AI教程，请访问我们的教程网站：