文生图参数目升至240亿！Playground v3发布：深度和会LLM，图形假想才智迥殊东说念主类
剪辑：LRS
【新智元导读】Playground Research推出了新一代文本到图像模子PGv3，具备240亿参数目，给与深度和会的大型言语模子，终昭着在图形假想和恪守文本辅导指示上甚而迥殊了东说念主类假想师，同期扶持精准的RGB时势适度和多言语识别。
自昨年以来，文本到图像生成模子取得了巨猛进展，模子的架构从传统的基于UNet逐渐转动为基于Transformer的模子。
Playground Research最近发布了一篇论文，翔实先容了团队最新的、基于DiT的扩散模子Playground v3（简称PGv3），将模子参数目彭胀到240亿，在多个测试基准上达到了开端进的性能，更擅长图形假想。
与传统依赖于预考试言语模子如T5或CLIP文本编码器的文本到图像生成模子不同，PGv3十足集成了大型言语模子（LLMs），基于全新的深度和会（Deep-Fusion）架构，行使仅解码器（decoder-only）大型言语模子的常识，来进行文本到图像生成任务。
此外，为了提高图像描摹的质料，斟酌东说念主员开拓了一个里面描摹生成器（in-house captioner），唐突生成不同翔实进度的描摹，丰富了文本结构的万般性，还引入了一个新的基准CapsBench来评估翔实的图像描摹性能。
执行完结标明，PGv3在文本辅导恪守、复杂推理和文本渲染准确率方面推崇出色；用户偏好斟酌标明，PGv3模子在常见的假想应用中，如神气包（stickers）、海报和logo假想，具有迥殊东说念主类的图形假想才智，还唐突精准适度RGB时势和多言语和会。
PGv3模子架构
Playground v3（PGv3）是一个潜扩散模子（LDM），使用EDM公式进行考试。像DALL-E 3、Imagen 2和Stable Diffusion 3等其他模子相似，PGv3旨在推论文本到图像（t2i）生成任务。
PGv3十足集成了一个大型言语模子（Llama3-8B），以增强其在辅导和会和恪守方面的才智。
文本编码器
Transformer模子中的每层捕捉到的暗示不同，包含不同级别的单词级和句子级信息，方法作念法是使用T5编码器或CLIP文本编码器的终末一层输出，或是趋奉倒数第二层的输出，不外，斟酌东说念主员发现遴聘任于调治文本转图像模子的最好层极度贫困，止境是使用解码器格调的大型言语模子时，具有更复杂的里面暗示。
斟酌东说念主员以为，信息引导过LLM每层的一语气性是其生成才智的要津，而LLM中的常识横跨了总计层，而不是被某一层的输出所封装，是以PGv3在假想时，复制了LLM的总计Transformer块，不错从LLM的每个对应层中齐得到荫藏镶嵌输出。
这种才能不错充分行使LLM完好的「想考经过」，唐突引导模子效法LLM的推理和生成经过，是以在生成图像时，不错终了更好的辅导恪守和一致性才智。
模子结构
PGv3给与了DiT格调的模子结构，图像模子中的每个Transformer块齐开拓得与言语模子（Llama3-8B）中的对应块接头，仅包含一个翔实力层和一个前馈层，参数也接头，如荫藏维度大小、翔实力头的数目和翔实力头的维度，何况只考试了图像模子部分。
在扩散采样经过中，言语模子部分只需要开动一次，就不错生成总计中间荫藏镶嵌。
与大大齐传统的基于CNN的扩散模子不同，Transformer模子将图像特征的自翔实力与图像和文本特征之间的交叉翔实力分开，然后进行积蓄翔实力操作，不错从图像和文本值的组合池中索要有关特征，何况能减少策画本钱和推理手艺，底下还有一些对性能提高灵验的操作：
1. Transformer块之间的U-Net逾越一语气。
2. 中间层的token下采样，在32层中，在中间层将图像键和值的序列长度减少了四倍，使总计这个词积蓄雷同于唯唯一个下采样的传统卷积U-Net，稍稍加速了考试和推理手艺，而且莫得性能下跌。
3. 位置镶嵌，与llama3中的旋转位置镶嵌（RoPE）接头，现货黄金投资由于图像是二维的特征，是以斟酌东说念主员探索了2D版块的RoPE：
「插值-PE」（interpolating-PE）才能无论序列长度何如，保抓肇始和扫尾位置ID固定后，在中间插值位置ID，不外该才能在考试分辩率上严重过拟合，何况无法泛化到未见过的纵横比。
比拟之下，「彭胀-PE」（expand-PE）才能依次列长度成比例增多位置ID，不使用任何妙技或归一化，性能推崇考究，莫得裸泄漏分辩率过拟合的迹象。
新的VAE
潜扩散模子（LDM）的变分自编码器（VAE），关于笃定模子的细粒度图像质料上限来说极度紧迫。
斟酌东说念主员将VAE的潜通说念数从4增多到16，增强了合成细节的才智，比如较小的面部和笔墨；除了在256×256分辩率下进行考试外，还彭胀到512×512分辩率，进一步提高了重建性能。
CapsBench描摹基准
图像描摹评估是一个复杂的问题，现在的评估办法主要分为两类：
1. 基于参考的办法，如BLEU、CIDEr、METEOR、SPICE，使用一个真确描摹或一组描摹来策画相似度行为质料度量，模子得分受到参考时势的扫尾；
2. 无参考办法，如CLIPScore、InfoMetIC、TIGEr，使用参考图像的语义向量或图像的多个区域来策画所提议描摹的相似度办法，但谬误是，关于密集图像和长而翔实的描摹，语义向量不具备代表性，因为包含的宗旨太多。
一种新式的评估才能是基于问题的办法，从描摹中生成问题，并使用这些问题评估所提议的描摹，有助于全面评估文本到图像模子。
受到DSG和DPG-bench的启发，斟酌东说念主员提议了一种反向的图像描摹评估才能，在17个图像类别中生成「是-否」问答对：通用、图像类型、文本、时势、位置、相关、相对位置、实体、实体大小、实体时势、计数、情谊、朦拢、图像伪影、私知名词（宇宙常识）、调色板和色调分级。
在评估经过中，使用言语模子仅基于候选描摹回复问题，谜底选项为「是」、「否」和「不适用」。
CapsBench包含200张图像和2471个问题，平均每张图像12个问题，隐敝电影场景、卡通场景、电影海报、邀请函、告白、失业照相、街头照相、繁荣照相和室内照相。
执行完结
斟酌东说念主员对比了Ideogram-2（左上），PGv3（右上）和Flux-pro（左下），当以缩略图现象巡视时，3个模子的图像看起来相似，定性各异很小。
当放大查验细节和纹理时，就能看出彰着区别：Flux-pro生成的皮肤纹理过于平滑，雷同于3D渲染的成果，不够真确；Ideogram-2提供了更真确的皮肤纹理，但在恪守辅导词方面推崇不好，辅导词很长的情况下，就会丢失要津细节。
比拟之下，PGv3在恪守辅导和生成真确图像方面齐推崇出色，还展现出彰着优于其他模子的电影质感。
指示恪守
彩色文本代表模子未能捕捉到的具体细节，不错看到PGv3永恒唐突恪守细节。跟着测试辅导变长，并包含更多翔实信息时，PGv3的上风变得尤为彰着，斟酌东说念主员将这种性能提高归功于咱们集成了大型言语模子（LLM）的模子结构和先进的视觉-言语模子（VLM）图像描摹系统。
文本渲染
模子唐突生成万般类别的图像，包括海报、logo、神气包、册本封面和演示幻灯片，PGv3还唐突复现带有定制文本的神气包，并凭借其雄伟的辅导恪守和文本渲染才智，创造出具有无穷变装和构图的全新神气包。
RGB时势适度
PGv3在生成实质中终昭着特殊缜密的时势适度，迥殊了方法调色板，凭借其雄伟的辅导恪守才智和专科考试，PGv3使用户唐突使用精准的RGB值精准适度图像中每个对象或区域的时势，极度合适需要精准时势匹配的专科假想场景。
多言语才智
收获于言语模子天生唐突和会多种言语，并构建出考究的有关词暗示，PGv3唐突当然地讲授万般言语的辅导，何况多言语才智仅通过极少的多言语文本和图像对数据集（数万张图像）就饱胀了。
参考贵府：
https://arxiv.org/abs/2409.10695
