【Diffusion学习】【生成式AI】Stable Diffusion、DALL-E、Imagen 背後共同的套路

news/2024/8/26 13:13:16 标签: 人工智能, stable diffusion

文章目录

    • 图片生成Framework 需要3个组件:
      • 相关论文【Stable Diffusion,DALL-E,Imagen】
    • 具体介绍三个组件
      • 1. Text encoder介绍【结论:文字的encoder重要,Diffusion的模型不是很重要!】
        • 评估指标:FID计算
        • CLIP Score 计算
      • 3. Decoder介绍【不需要成对的训练资料】
      • 2. Diffusion Model介绍【训练一个noise predicter】
        • noise 加在 latent representation上


from: https://www.youtube.com/watch?v=JbfcAaBT66U&list=PLJV_el3uVTsNi7PgekEUFsyVllAJXRsP-&index=5

简介:

84,841次观看 2023年3月25日 【機器學習 2023】(生成式 AI)
感謝黃敬峰先生提供字幕

Stable Diffusion
https://arxiv.org/abs/2112.10752

DALL-E series
https://arxiv.org/abs/2204.06125
https://arxiv.org/abs/2102.12092

Imagen
https://arxiv.org/abs/2205.11487


图片生成Framework 需要3个组件:

  1. Text Encoder
  2. Generation Model
  3. Decoder

在这里插入图片描述

相关论文【Stable Diffusion,DALL-E,Imagen】

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

具体介绍三个组件

在这里插入图片描述

1. Text encoder介绍【结论:文字的encoder重要,Diffusion的模型不是很重要!】

在这里插入图片描述

评估指标:FID计算

在这里插入图片描述

CLIP Score 计算

在这里插入图片描述

3. Decoder介绍【不需要成对的训练资料】

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

2. Diffusion Model介绍【训练一个noise predicter】

在这里插入图片描述

noise 加在 latent representation上

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述


http://www.niftyadmin.cn/n/5558103.html

相关文章

安卓使用Kotlin调用身份证阅读器SDK读取身份证、社保卡信息

步骤一:在app/build.gradle.kts下面添加东信身份证阅读器的读卡库 dependencies {implementation(files("libs/DonseeDevice.aar"))implementation(libs.androidx.core.ktx)implementation(libs.androidx.lifecycle.runtime.ktx)implementation(libs.and…

django-vue-admin项目运行

文本主要对django-vue-admin项目进行了简要介绍,并且对前后端进行了源码安装和运行。在此基础上可作为管理系统二次开发的基础框架。 一.django-vue-admin简介和安装 1.简介 django-vue-admin项目是基于RBAC模型权限控制的中小型应用的基础开发平台,采…

Accelerated PyTorch training on Mac

本文翻译整理自:Accelerated PyTorch training on Mac https://developer.apple.com/metal/pytorch/ 文章目录 Metal 加速要求开始1.Set upAnacondapip 2.安装Anacondapip从源代码构建 3.验证 反馈意见资源 Metal 加速 PyTorch使用新的 Metal Performance Shaders&…

2024华为数通HCIP-datacom最新题库(变题更新⑥)

请注意,华为HCIP-Datacom考试831已变题 请注意,华为HCIP-Datacom考试831已变题 请注意,华为HCIP-Datacom考试831已变题 近期打算考HCIP的朋友注意了,如果你准备去考试,还是用的之前的题库,切记暂缓。 1、…

JVM常见知识点总结

最近在看关于JVM的一些知识点,之前也有了解过,可是时间一长就总会忘,索性按照自己的记忆方式去回顾一下知识点。 首先,jvm是Java程序运行的环境,全称为Java Virtual Machine 当我们写好的Java文件经过javac编译后就变成…

持续集成04--Jenkins结合Gitee创建项目

前言 在持续集成/持续部署(CI/CD)的旅途中,Jenkins与版本控制系统的紧密集成是不可或缺的一环。本篇“持续集成03--Jenkins结合Gitee创建项目”将引导如何将Jenkins与Gitee(一个流行的Git代码托管平台)相结合&#xff…

第一章 Typescript小白快速入门

第一章 Typescript小白快速入门 这里将会介绍到从typescript的简介到环境的部署,从基础类型的入门学习到ts的编译打包。 1、TypeScript简介 TypeScript是JavaScript的超集。它对JS进行了扩展,向JS中引入了类型的概念,并添加了许多新的特性…

【Linux】进程信号 --- 信号预备阶段(入门篇)

👦个人主页:Weraphael ✍🏻作者简介:目前正在学习c和算法 ✈️专栏:Linux 🐋 希望大家多多支持,咱一起进步!😁 如果文章有啥瑕疵,希望大佬指点一二 如果文章对…