第十一集：NormalMap预处理及模型详解

Aigc工程师

图文教程

NormalMap模型

NormalMap算法根据图片生成一张记录凹凸纹理信息的法线贴图，通过提取输入图片中的 3D 物体的法线向量，以法线为参考绘制出一副新图，同时给图片内容进行更好的光影处理。



法线贴图在游戏制作领域用的较多，常用于贴在低模上模拟高模的复杂光影效果，非常适合CG建模师。

另一种可以体现景深关系的图像叫NormalMap法线贴图，要理解它的工作原理，我们需要先回顾下法线的概念。

我们在中学时期有学过法线，它是垂直与平面的一条向量，因此储存了该平面方向和角度等信息。我们通过在物体凹凸表面的每个点上均绘制法线，再将其储存到 RGB 的颜色通道中，其中 R 红色、G 绿色、B 蓝色分别对应了三维场景中 XYX 空间坐标系，这样就能实现通过颜色来反映物体表面的光影效果，而由此得到的纹理图我们将其称为法线贴图。由于法线贴图可以实现在不改变物体真实结构的基础上也能反映光影分布的效果，被广泛应用在 CG动画渲染和游戏制作等领域。

ControlNet的NormalMap模型就是根据画面中的光影信息，从而模拟出物体表面的凹凸细节，实现准确还原画面内容布局，因此 NormalMap 多用于体现物体表面更加真实的光影细节。下图案例中可以看到使用 NormalMap 模型绘图后画面的光影效果立马有了显著提升。

NormalMap预处理器

MiDaS是早期 v1.0版本使用的预处理器，官方已表示不再进行维护，平时大家使用默认新的Bae预处理器即可

NormalMap算法一共有二种预处理器，分别是：

normal_bae

normal_midas

normal_midas预处理效果

Normal_Midas预处理方法是经典的预处理方法，MiDaS是早期 v1.0版本使用的预处理器，官方已表示不再进行维护，平时大家使用默认新的Bae预处理器即可。

normal_bae预处理效果

Normal_Bae预处理器用于估计法线贴图，重点是解决了aleatoric不确定性问题，这样能够较好完善法线贴图中的细节内容。默认使用Bae预处理器。

NormalMap实操：真人转换为游戏角色



1.大模型选择

我们需要转成游戏角色，这里选择动漫大模型



2.ControlNet设置



上传需要处理图片

启用、完美像素、允许预览打勾



控制类型：NormalMap（法线贴图）

预处理器：normal_bae

模型：normalmap

控制权重：1

所有设置好后点击中间的爆炸按键

3.SD基本设置

正向提示词：masterpiece,best quality,extremely detailed,8k wallpaper,character,anime,adorable_girl,trippy background,gradient hair,sunglasses,

反向提示词：(((simple background))),monochrome,lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,worst quality,low quality,normal quality,jpeg artifacts,username,bad anatomy,cropped,worst quality,low quality,normal quality,signature,watermark,blurry,ugly,pregnant,vore,duplicate,morbid,mut ilated,tran nsexual,hermaphrodite,long neck,mutated hands,poorly drawn hands,poorly drawn face,mutation,deformed,bad anatomy,bad proportions,malformed limbs,extra limbs,cloned face,disfigured,gross proportions,(((missing arms))),(((missing legs))),(((extra arms))),(((extra legs))),pubic hair,plump,bad legs,error legs,bad feet,

采样方式：DPM++ 2M Karrae

迭代步数：20

像素（宽高）：和原图相同比例680*1024

到这里整个设置就完成了

直接点击生成

一起看下效果图



作业题

用自己的照片生成一张游戏角色图片