雷峰网原创文章，未经授权禁止转载。详情见转载须知。
在这一系列实验中，最关键的不雅察集中在 diffusion 过程不合阶段的变更上。研究人员发明，在早期阶段，前提信息和无前提信息之间几乎是接近的，二者差别很小，这意味着假如在这个时刻仍然应用固定并且较强的 guidance，就轻易出现引导过强的问题。
很多人第一次认为图像生成模型已经足够强，往往是在它能快速画出一张看上去不错的图的时刻。但真正开端频繁应用之后，又会慢慢发明另一面。
比如做一张活动主视觉，前几回生成里主体、色调、氛围都对了，可一放大年夜细节就会发明手部、材质、边沿关系经不起看。再比如给一篇文章配封面，模型明明懂得了主题，却总在最后出现时把重点元素放错地位，或者让画面风格和语义之间出现稍微但难以忽视的误差。
这恰是当前生成式 AI 进入大年夜范围应用之后，行业越来越在意的一类问题。今天的 diffusion 模型已经不缺生成才能，缺的是更稳定、更可控、也更相符真实应用过程的生成机制。
以前几年，行业重要依附更大年夜的模型、更多的数据和更强的算力推动后果上升，但当模型才能赓续切近亲近高位之后，很多问题开端不再表示为能不克不及生成，而是能不克不及稳定地生成对。换句话说，竞争的重点正在从模型会不会画，转向模型能不克不及在每一步都朝着精确偏向画。
这个变更异常关键，因为它意味着生成模型的成长正在从范围驱动走向机制驱动。
在这个背景下，来自上海交通大年夜学与 vivo BlueImage Lab 的研究团队提出了《C²FG Control Classifier Free Guidance via Score Discrepancy Analysis》。研究切中的恰好是行业正在碰到的那个深层抵触。
以前广泛应用的 guidance 方法，本质上默认生成过程中的前提引导强度可以保持固定，但真实的 diffusion 过程并不是静止的，模型在不合阶段对前提信息的依附程度并不一样。研究人员抓住的，恰是这种经久存在却常被经验调参掩盖的问题。
从这个意义上看，C²FG 代表的不只是一次技巧修补，而是一种研究视角的变更。它提示行业，下一阶段真正重要的问题，可能不再只是把模型做得更大年夜，而是更精确地舆解生成过程内部到底产生了什么，并据此从新设计控制方法。
论文地址：https://arxiv.org/pdf/2603.08155
C²FG 更改进了生成分布本身
在实验成果方面，研究团队环绕 ImageNet 这一核心义务起首验证了办法的整体后果。比较可以发明，在惯例的 DiT 模型上，引入 C²FG 之后最直接的变更是生成成果明显更接近真实分布，这一点表如今 FID 从 2.29 降低到 2.07，同时 IS 从 276.8 晋升到 291.5，而 Precision 根本保持在 0.83，Recall 从 0.57 上升到 0.59。
这组变更合营解释，研究人员的办法并没有经由过程就义质量来换取多样性，而是在保持原有精度的情况下，同时让生成图像更清楚、类别更明白，并且覆盖到更广的真实分布区域。比拟之下，假如只看单一指标，很难看出这种“同时晋升多个维度”的后果，而这里的数据组合正好表现了这一点。
更关键的是，这种改进在强模型上依然成立。以 SiT-XL/2 为例，本身已经处在较高机能程度，固定 guidance 时 FID 为 1.80，而 C²FG 可以把它进一步压到 1.51，同时 IS 从 284.0 晋升到 315.0。固然 Precision 从 0.81 略微变为 0.80，但 Recall 从 0.61 晋升到 0.62，这解释整体生成才能仍然是加强的，而不是简单的衡量变更。
换句话说，在模型已经很强的情况下，仍然可以或许在“更真实”和“更丰富”之间取得更好的均衡，这一点本身就解释问题不在模型才能，而在 guidance 机制。
当实验推动到更接近机能上限的设置时，这种趋势依然存在。即使原办法已经达到 FID 1.42 如许的程度，引入 C²FG 后仍然可以进一步降低到 1.41，这种渺小但稳定的改进解释，跟着模型赓续切近亲近极限，误差来源越来越集中在机制层面，而不是收集本身。
类似的现象也涌如今更复杂的高分辨率义务中，在 512 × 512 设置下，原办法的 FID 为 6.81，而 C²FG 可以降低到 6.54，同时 IS 从 229.5 晋升到 280.9，这注解在更艰苦的生成前提下，办法依然可以或许改良图像构造和整体清楚度，而不是只在简单场景中有效。
第五层则是极限验证，专门去测试强模型和少步数这两类更苛刻的情境，因为假如办法在这些设置下仍然有效，就更能解释它反应的是一种稳定规律，而不是有时现象。
研究团队还将验证扩大到不合类型的义务中。在文本生成图像义务中，固然整体晋升幅度不如 ImageNet 明显，但趋势保持一致，例如 U-ViT 的 FID 从 5.37 降低到 5.28，Stable Diffusion 的 CLIP 分数从 31.8 晋升到 31.9，这解释这种办法不仅实用于类别前提，还对文本前提同样有效，只是在更复杂语义束缚下改进幅度会相对平和。
进一步在像素空间义务中，原模型已经可以达到 FID 1.58，在强 baseline 的赞助下降低到 1.04，而参加 C²FG 后仍然可以持续降低到 1.03，这种在接近极限区域仍然存在的改进，直接解释误差并不是来自模型表达才能，而是来自 guidance 的应用方法。雷峰网("大众,"号：雷峰网)
从更切近实际应用的角度来看，研究人员还分析了推理步数削减时的表示。在 50 步和 20 步这两种设置中，FID 都出现了稳定降低，并且在 20 步这种更极端的低计算预算下，晋升反而加倍明显。这意味着，当每一步的决定计划变得加倍关键时，动态 guidance 的优势会被放大年夜。
最后，经由过程一个简单的二维 toy 实验，研究团队展示了更直不雅的现象，传统办法会产生明显偏离目标分布的异常样本，而 C²FG 根本不会出现这类 outliers，生成分布也更切近真实分布，这进一步解释改进不仅表如今视觉后果上，更表如今整体概率分布的精确性上。
基于逐层验证的实验设计框架
在实验经由的安排上，研究团队之所以设计这么多层次的实验，并不只是为了解释 C²FG 比本来的办法更好，而是欲望进一步答复一个更核心的问题，也就是这种办法为什么会更好。
环绕这个目标，研究人员搭建了一个逐层推动的验证体系。第一层是机制验证，重点去测前提分支和无前提分支之间的差别，成果发明这种差别并不是固定不变的，而是会跟着时光赓续变更。
第二层是分布验证，也就是经由过程 toy 实验去不雅察生成成果是否更接近真实分布，从而断定改进毕竟产生在视觉层面，照样已经深刻到分布层面。
第三层是机能验证，研究团队把办法放到 ImageNet 这种核心义务中，直接检查各类指标可否获得晋升。第四层是泛化验证，在这一层里，研究人员主动改换模型、改换义务，也改换采样方法，目标就是确认这种改进并不依附某一种特定构造或某一种实验前提。
如许一层一层推动之后，全部实验就形成了一条完全的证据链，最后支撑的结论也就不再只是“后果更好”，而是“这种改进背后确切存在可以反复验证的机制”。
相反，到了后期阶段，这种差别会敏捷增大年夜，也就是说模型越来越须要前提信息去把生成过程拉回到目标分布邻近，假如 guidance 依旧保持固定，就会显得不敷，无法供给足够的束缚。
恰是在这个意义上，研究团队提出的 C²FG 才显得重要，因为它的感化不是简单地把 guidance 变大年夜或者变小，而是主动匹配这种随时光变更的差别，让前期不过强、后期不不足，从而使全部生成过程更相符真实的 diffusion 动态。
对 diffusion 本质的修改
从实验意义来看，这项研究的重要性，不只是把几个指标持续进步了一点，而是解释研究团队发清楚明了 diffusion 生成模型里一个更本质的问题。
以前很多办法默认 guidance 在全部生成过程中都可以保持固定，但实验成果注解，问题并不只是参数怎么调，而是这种固定做法本身就不相符生成过程的实际变更。
因为研究人员在不合义务、不合模型和不合设置下都不雅察到了稳定晋升，所以可以解释，C²FG 修改的不是某一种局部技能，而是前提信息介入生成时广泛存在的误差。这也意味着，研究真正推动的，不只是一个新办法，而是一种对生成机制更精确的懂得。
这种意义在强模型上的表示尤其有说服力。像从 1.80 降到 1.51 如许的晋升，假如放在通俗模型上已经很明显，而涌如今本来就接近极限的强模型上，就更能解释残剩误差重要不是模型才能不敷，而是 guidance 的感化方法还不敷合理。
换句话说，研究团队证清楚明了，将来晋升生成模型的后果，并不必定只能依附更大年夜的模型、更多的数据或更长的练习时光，也可以来自对生成过程中引导机制的从新设计。
少步数实验的意义则更切近日常应用。研究人员发明，步数越少，C²FG 的优势越明显，这解释在计算资本有限的时刻，固定 guidance 带来的误差会被放大年夜，而动态 guidance 更能削减这种问题。
对通俗人来说，这种改进最终可能表如今更直接的应用体验上，比如生成速度更快，等待时光更短，对设备机能的请求更低，同时生成成果也更稳定，不轻易出现模糊、跑偏或者细节崩坏。
toy 实验进一步解释，C²FG 改良的也不只是图像外面的清楚度，而是让生成成果在整体分布上更接近真实目标，这意味着通俗用户在应用生成对象时，更轻易一次获得天然、合理、相符需求的成果，而不必反复修改和重试。雷峰网
再往深一点看，这项研究的价值还在于，它让生成模型的成长偏向变得更清楚了。研究团队最核心的供献，不只是把 guidance 从常数改成时光函数，而是用体系实验解释，生成过程中的前提引导本来就应当跟着时光变更。
这个结论不仅能赞助后续研究找到更合理的设计思路，也有机会让现有生成体系以比较低的成本获得进级。最后落实到通俗人身上，就是将来的图像生成对象有可能变得更快、更稳，也更轻易普及。
发表评论 取消回复