AI绘画超强功能ControlNet使用教程-Canny篇

国利

一．前言
上次，已经教了大家controlnet和openpose怎么安装，并且让大家已经下载了三个controlnet的模型，相信大家都已经摩拳擦掌，跃跃欲试了吧？
那么，今天就来教大家如何使用这个强大的controlnet功能。
如果你喜欢我们的文章，记得最后点一下赞赏哦，
那么我们开始吧，Enjoy~
二.开始之前
1.你需要安装了stable diffusion webui，如果没有安装的话，请查看这里的教程（win教程，MacOS教程）。
2.你需要已经安装了controlnet插件，如果没有安装的话，请查看这里的教程。
二．教程
(一) 线稿上色
1.第一个环节，我们先来试试canny模型，常用的场景有，给线稿上色和换颜色。
2.我们先随便找一张线稿



线稿来源：lidandan026-站酷

3.把线稿导入controlnet图片框，并设置相关参数。
（1）生成图的区域，分辨率比例和线稿比例一致。Prompt区域，我写的是，girl，amine（女生，漫画）。
（2）基础模型要用漫画模型，比如waifu，novelai，Counterfeit等。


（3）Controlnet区域参数设置
勾选Enable，来启用Contolnet，
因为喂的图是白底线稿，就需要启用invert input color反色
（显存4G或者4G以下的，还可以把low VRAM勾选一下，这个是低显存专用模式，我5g显存，没勾，问题不大。大家也可以试试勾和不勾的效果。以好的效果为准。）
预处理器，线稿无需选，留空。模型选择canny。
Resize model用默认的scale to fit即可。（如果显存特别小的，或者mac电脑，也可以试试勾选just resize模式。）
Canvas width height 则和线稿比例一致即可。


设置好之后，可以点击generate按钮了。
看看效果。




还挺好玩的。
一不小心就生成很多张图片了，哈哈。
（二）漫画换色
弄完线稿，我们来尝试一下图转图好了。
先试一下动漫类。



（原图：网图，来源https://wallup.net/nitroplus-super-sonico-pink-hair-profile-anime-girls-anime/）



（预处理图）



（输出图）



（输出图）

看得出来，动漫的效果，还是挺哇塞的。
那么我的设置是怎样的呢？
Prompt写了主要的几个特征，girl,earphone, coffee(女孩，耳机，咖啡)。
采样器选了dpm+sde karras
尺寸比例参照输入图。因为我显存比较小，所以这里尺寸我设小了一点。


再看controlnet区域
Enable必选。
预处理器和模型都选择canny。画布canvas参照原图。
记得点一下preview，这样原图右侧会出现预处理图像，如果丢失太多细节就换一个预处理器。
注意，预处理器和模型最好选择同一类，比如，都是canny，都是depth，都是openpose之类，否则引导效果会大打折扣。


（三）真人图片
接着我们来看一下真人类照片怎么样。
比如前几天文章的一张图，



（原图）



（结果图）

怎么说呢，真人的效果，比动漫效果差不少。
虽然也是引导生成类似图片，但是部分细节，自然度，皮肤机理等还是很生硬。
动漫效果如果算90分的话，真人效果也就70分左右。而且如果没有加lora的话，实际效果还要打折扣，可能及格分都不到。
（当然，也可能是我技术不够，有懂的大佬也欢迎来交流指导下）
下面是生成的参数设置要点：
基础模型换成了真人模型，chilloutmix，
Prompt强调了真实。用了realistic，raw photo等字样。特别增加了lora语句，以让皮肤，面部肌理绘制更像真人。（不会用lora的参照之前的这篇文章）
照片比例参照原图，原图是正方形，这里也设置成正方形。而controlnet部分，和上面的canny-动漫样例除了画布canva长宽不一样，其他都一样。


一不小心，canny模型用法都讲了一篇文章了。
后续Controlnet部分，计划还会分享openpose（指定姿势）和scribble（草图）模型的用法。
感兴趣的童鞋记得关注点赞走起哦~

注意：
contorlnet部分可能比较消耗显卡性能和显存。经常报错，或者生成效果不如意，很正常，多耐心尝试即可。
如果显卡实在太不给力，几分钟十几分钟生成一张图片，也不要强求，除非你愿意换显卡。
AI绘画相关问题都可以私我，会尽量帮忙解决。
备注：本文含AI创作内容。
历史文章链接：AI绘画相关文章合集0314
<End>

树叶的雪

参数一模一样，报错RuntimeError: mat1 and mat2 shapes cannot be multiplied (77x768 and 1024x320)，我用的谷歌云跑的SD，2.1版本的，不知道怎么回事，试了好久

清寒入骨

换模型也许有用

小重

dalao想请教一下，换了台新电脑预处理总是报错，提示no module found，annatator.XXXX，我该怎么办呢？

旋叶弄舞

那就下载相应模型。再不行就重装sd

半导体打工人

插件和模型下载好，点击运行之后，弹出python意外退出，这是什么意思呢？

安吉尔

估计是显存内存不足

落蕊重芳

大哥我想请问，我用局部重绘，加了canny，depth，openpose，画出来的人脸始终是错误的，就算混合lora也是错误的，这是为啥

宋姗

哈哈，你用太多东西会搞复杂了。需要很仔细的微调。一句话我也很难告诉你。

玩游戏别用大号

我这是2021年的macbook pro也会吗？