Aigc工程师 发表于 2024-7-23 15:21:25

第十集:Depth预处理及模型详解

图文教程

本节课要为大家讲解的是Depth模型(深度图模型)

在我们使用Depth模型前,我们先来了解一下,什么是深度图?

深度图也被称为距离影像,指的是图像采集器采集到图像中各个场景区域的距离,深度图会使用灰阶数值0~255组成图像,灰阶数值为0的区域表示图像中最远的区域,灰阶数值255表示图像中最近的区域,所以我们在深度图中可以看到不同灰度的区域组成的图像。

https://fszxai.fss-my.addlink.cn/webui/gj/0650.png
                                                                颜色越白距离越近

Depth模型

Depth 模型可以提取图像中元素的前后景关系生成深度图,再将其复用到绘制图像中,因此当画面中物体前后关系不够清晰时,可以通过 Depth 模型来辅助控制。

由于Depth只检测元素的远近并未检测细节元素,所以新生成的图像和原图元素细节之间会存在差异

Depth预处理器

Detph预处理器共4种

depth_leres

depth_leres++

depth_midas

depth_zoe

depth_leres预处理器效果

depth_leres预处理器的成像焦点在中间景深层,这样的好处是能有更远的景深,且中距离物品边缘成像会更清晰,但近景图像的边缘会比较模糊。

https://fszxai.fss-my.addlink.cn/webui/gj/0651.png

depth_leres++预处理效果

depth_leres++预处理器在depth_leres预处理器的基础上做了优化,能够有更多的细节,但处理速度相对更慢。

https://fszxai.fss-my.addlink.cn/webui/gj/0652.png

depth_midas预处理效果

depth_midas预处理器是经典的深度估计器,也是最常用的深度估计器,处理速度最快。

https://fszxai.fss-my.addlink.cn/webui/gj/0653.png

depth_zoe预处理效果

depth_zoe预处理器的参数量是最大的,所以处理速度比较慢,实际效果上更倾向于强化前后景深对比,更适合处理复制场景。

https://fszxai.fss-my.addlink.cn/webui/gj/0654.png

根据预处理器算法的不同,Depth 在最终成像上也有差异,实际使用时大家可以根据预处理的深度图来判断哪种深度关系呈现更加合适,从速度效率上我们更多的选择depth_leres和depth_midas预处理器。

演示实例

https://fszxai.fss-my.addlink.cn/webui/gj/0655.jpg

如图这样的修道院走廊,通常AI是很难去做到更好的复用或修复这样的结构

但我们借助Depth模型,就可以很好的还原其复制的机构

1.大模型选择

我们需要修复修道院走廊,选一个真实大模型

https://fszxai.fss-my.addlink.cn/webui/gj/0656.png

2.ControlNet设置

https://fszxai.fss-my.addlink.cn/webui/gj/0657.png

上传我们的原图

启用、完美像素、允许预览打勾

https://fszxai.fss-my.addlink.cn/webui/gj/0658.png

控制类型:Depth

预处理器:选择ZOE,因为该图结构比较复杂,ZOE更合适

其他默认即可

3.SD基本设置

正向提示词:masterpiece,best quality,official art,8k wallpaper,monastery

一些常用的质量词+修道院

负面提示词:lowres,error,cropped,worst quality,low quality,jpeg artifacts,out of frame,watermark,signature,blurry

采样方式:DPM++ 2M Karrae

迭代步数:25

像素(宽高):和原图相同比例512*768

到这里整个设置就完成了

直接点击生成

一起看下效果图

https://fszxai.fss-my.addlink.cn/webui/gj/0659.jpg

作业题

随意拍一张室外图,通过Depth模型生成一张动漫图片

参考:

大模型选择二次元模型

多尝试4种预处理器,找到最合适的
页: [1]
查看完整版本: 第十集:Depth预处理及模型详解