How Stable Diffusion Works

https://www.nolibox.com/creator_articles/principle_of_stablediffusion.html

这两篇文章结合这个视频可以大致了解 Stable Diffusion 是如何工作的。

其中最重要的是「潜在空间」(Latent Space),CLIP 神经网络把对图像的理解映射到潜在空间的不同维度的不同值,而 Unet 神经网络也是运行在潜在空间,不断地去除噪音,融合文本信息在潜在空间的映射,经过几十次的擦除噪音后,就能还原出一张真实的照片。

当然这只是非常上层的理解,要了解细节的话还是得再深挖。

❤️