首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >扩散模型 >扩散模型为什么训练比 GAN 更稳定?

扩散模型为什么训练比 GAN 更稳定?

词条归属:扩散模型

1. 训练目标单纯明确

GAN 需要生成器与判别器相互对抗、动态博弈,二者平衡极为敏感,容易训练崩溃或模式崩溃。扩散模型的训练目标则是单一的噪声预测均方误差,是一个稳定的回归任务,不存在对抗博弈带来的振荡,因此更容易收敛、更易调参。

2. 输出多样性更丰富

由于训练目标不鼓励"只走少数捷径",扩散模型在同一提示下能生成差异显著、覆盖更广的结果,不易像 GAN 那样收敛到少数几种固定"套路"。这在需要创意多样性的内容生成场景中是重要优势。

3. 质量随规模可预测提升

扩散模型的生成质量随模型规模、训练数据和采样步数的增加而稳定提升,规律清晰;GAN 则常因训练不稳定而难以可靠地通过扩大规模获得更好效果。这一特性也是扩散模型在大规模生成任务中后来居上的原因之一。

相关文章
学界 | 最小二乘GAN:比常规GAN更稳定,比WGAN收敛更迅速
选自Github 机器之心编译 参与:蒋思源 近来 GAN 证明是十分强大的。因为当真实数据的概率分布不可算时,传统生成模型无法直接应用,而 GAN 能以对抗的性质逼近概率分布。但其也有很大的限制,因为函数饱和过快,当判别器越好时,生成器的消失也就越严重。所以不论是 WGAN 还是本文中的 LSGAN 都是试图使用不同的距离度量,从而构建一个不仅稳定,同时还收敛迅速的生成对抗网络。 项目地址:http://wiseodd.github.io/techblog/2017/03/02/least-square
机器之心
2018-05-07
1.9K0
GAN归来:模型大幅简化,训练更稳定,逆袭扩散模型,AI社区疯传
现代版 GAN 基准论文成为了周五 HuggingFace 热度最高的研究。该论文也入选了 NeurIPS 2024。
机器之心
2025-02-03
1.2K0
汇总简析:GAN和扩散模型生成训练数据
1)提出的扩散嵌入网络可以解决流形不匹配问题,并且易于生成潜码,与 ImageNet 潜在空间更好地匹配。
公众号机器学习与AI生成创作
2023-02-23
3.2K0
还不如GAN!谷歌、DeepMind等发文:扩散模型直接从训练集里「抄」
---- 新智元报道   编辑:LRS 【新智元导读】「图像生成质量」和「隐私保护」,二者不可得兼。 去年,图像生成模型大火,在一场大众艺术狂欢后,接踵而来的还有版权问题。 类似DALL-E 2, Imagen和Stable Diffusion等深度学习模型的训练都是在上亿的数据上进行训练的,根本无法摆脱训练集的影响,但是否某些生成的图像就完全来自于训练集?如果生成图像与原图十分类似的话,其版权又归谁所有? 最近来自谷歌、Deepmind、苏黎世联邦理工学院等多所知名大学和企业的研究人员们联合发表了一
新智元
2023-02-24
1.3K0
为什么多模态理解比单模态模型更准确?
摘要: 多模态理解通过整合多种模态信息,在某些场景下能够提供更全面的内容理解。本文从技术架构角度分析多模态理解与单模态模型的差异,探讨多模态融合对理解准确性的影响。 一、单模态模型的局限性 在讨论多模
克劳德2048
2026-06-22
2580
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券