AI绘画(3）解决手部问题，Blender+ControlNet

沙漠王

1、模型介绍

这个模型来自推特大佬toyxyz，可以用来摆姿势，生成人物动作图、深度图、线稿，配合stable diffusion的插件controlnet多个模型使用。


效果如下：




模型已更新到第五版：包含人物骨骼、手、脚、左眼、右眼、脸、舌头部位。看到下面的图，不用觉得界面很复杂，因为要用到的blender的地方不是很多，只需要摆姿势和拍照。
(后面有大量向blender小白介绍的内容，会3D建模的可以跳着看)


Blender官网

显而易见，需要安装blender，它是一个免费的3D软件，国内能安装，官网：https://www.blender.org


安装教程很多，也非常简单，下载好后一路next就行了，语言记得选简体中文，这里就不详细写了。
2、安装blender插件

插件链接

安装好blender后，再安装大佬toyxyz的插件，插件的链接：https://toyxyz.gumroad.com


命名一个合理的价格：可以写0白嫖;下载最新版解压即可。




（不用解压rig_tools这个文件）
无法翻墙，百度网盘链接：https://pan.baidu.com/s/1C73qtRjiGsZJyDjM-2mfBw?pwd=lke9 提取码：lke9
安装插件：

编辑>偏好设置>安装>点击该插件>安装插件>启用插件






导入模型：把openpose_bones文件直接拖进来。


3、使用方法

blender的基础操作：

（会的人可以跳过）
移动视角：

A.按住鼠标滚轮，移动画面；
B.滑动鼠标滚轮，缩放画面；
C.左键按住小抓手(如图)不放，滑动鼠标：移动画面。


切换姿态模式:




4、编辑动作：





平移：

以手腕为例，点击正方体，拖动红绿蓝任意一个箭头；或者拖动圆球，在任意方向移动。




旋转：

以手指为例


缩放（握紧手指）：




连选shift：




移动手肘和膝盖：




移动腰部：


摄像机：






5、渲染

设置渲染出的图片大小


动作图

不断调整摄像机到合适位置


正式渲染步骤：


保存：


景深图



线稿图



远了会糊：


解决方法：
手有问题，点击左边Hand_Canny，再点击右边的工具，增大厚（宽）度。




6、Ctrolnet同时多个引导生成图








离谱

肖箫

太感谢了。正好需要一个以blender为基础调整openpose动作建模来方便用sd的教程，直接包圆了

谢佰良

按教程做了一遍，效果不错，感谢分享。就是调节手势的过程还比较麻烦，期待以后有更便捷的专用于设定手势的工具。

丛茗之境

补充一点，用生成的canny图要勾选 Invert Input Color

天武

有条件整个动捕手套？[捂脸]

火炬哥

不用动捕，摄像头或手机拍自己的手，把手部分割出来，转成深度图就行了。现成的工具都有，就是要把整个流程串起来。[笑哭]

朕都依你

colab上怎么给sd添加opencose插件啊

吉利商用车

太强了，之前都是openposeX和depth library搞的，看来得简单学一下blender了