attention - guidance相关代码阅读优先级？

AI

如果是attention - guidance相关的内容，查看代码的优先级顺序为：diffusers文档要优先于diffusers pipeline流程（尤其是unet部分），而这两者又优先于prompt - to - prompt论文的jupyter notebook。在基础原理方面，All Things ViTs cvpr23tutorial是需要关注的。看懂这个代码之后还可以进行扩展。比如在文字方面，可以关联上sh AIlab的一些研究，像brush - your - text（aaAI2023）等，它们都类似地运用了和p2p论文中类似的attention替换方法。self - guidance（nips2023）的jupyter定义了很多固定不变的变化方向。使用之后就会发现，Cross attention的分割如何与对象高度匹配是一个非常重要的研究问题。幸运的是，出现过一个与sam结合且很好用的开源库，目前课题组都已经开始使用了。先标记一下，后续再把我参考过的博客贴出来。这个系列（可能是指某些相关内容的系列）的1、2、3都值得一看。遗憾的是，我投论文的时候，diffusers里面的attention部分还没有更新到最主要的内容。后面的同学应该比较幸运了。相关的网址为https://zhuanlan.zhihu.com/p/677234407?utm_psn = 1750313385596817409。