ComfyUI的学习笔记

推荐教程：

（1）https://www.bilibili.com/video/BV1sW42197fN?p=1&vd_source=0c4d2c8d0a9190a4bb7587a15f6341f2

（2）https://www.bilibili.com/video/BV13b4y1G7s9/?spm_id_from=333.788&vd_source=0c4d2c8d0a9190a4bb7587a15f6341f2

（3）https://www.bilibili.com/video/BV1Bi421e73X/?p=1&vd_source=0c4d2c8d0a9190a4bb7587a15f6341f2

一、原理

整个大模型Checkpoint包括VAE、CLIP、Latent、U-net这几个部分组件。

（1）大模型（ControlNet、Lora等）包括以下：

​ .ckpt：基于TensorFlow框架；

​ .h5：基于Keras框架；

​ .pt/.pth：基于PyTorch框架；

​ .onnx：开发式标准格式。

（2）Stable Diffusion架构分类：

​ SD1.x：如SD1.x lighting

​ SDXL：如SDXL Hyper

​ SD3、Flux

二、文生图

（1）工作流介绍

1）checkpoint加载器：以majic写实模型为例子

2）CLIP文本编码器：正向、负向提示词

3）K采样器：去噪过程

4）空Latent：存放空间

5）VAE解码器：

最后是整体的工作流：

（2）生成后的图片

三、VAE、Lora和ControlNet模块

（1）VAE

（2）Lora

（3）ControlNet

四、图生图

（1）图生图：

（2）VAE内补编码器：

VAE编码器：

VAE内补编码器：

图像对比：

（3）设置Latent噪波遮罩；

图像为：

五、扩展图片

常见两种放大方法（latent按系数和图像通过模型放大）：

六、图像裁剪（缩放）

七、反推图片提示词