- Objective: - Breadcrumb: # 概念阐释 - 使用生成模型来生成文本、代码、图片或其他数据的AI。生成式 AI 使用的是[[端到端]]的深度学习范式，基于[[Transformer]]架构的[[Deep Learning 深度学习|深度神经网络DNN]]，开启了深度学习的 AI 盛夏。 - 本质：通过从输入数据中学习，识别数据中的模式、结构、关系从而达到理解，然后用自己的理解生成新的、没见过的输出。 - 生成的结果靠的是算法、数据和算力综合作用结果： - 算法： - [[LLM Visualization nano-gpt]]：比如[[tokenization]]、[[Embedding]]向量、[[文本序列处理]]、[[transformer]]架构、[[注意力机制]] - 数据： - 基于互联网上的人类语言原生文本数据进行学习 - 算力： - 大量的计算资源，比如 100 块 GPU，在海量数据上进行训练，加工处理，不断优化参数，不断预测下一个词，生成符合上下文的新内容 - 实例：[[GPT的训练过程（archive）]]  # 实例 ## 生成式AI产品(基于 transformer 架构) - 文本生成 AI - ChatGPT - Google Gemini - LLaMA - 图片生成 AI - [[stable diffusion]] - [[DALL·E]] - [[Midjourney]] - 视频生成 AI - [[Sora]] - 生物生成 AI - [[AlphaFold2]]：生成蛋白质结构 ## 自回归生成与生成式AI的关系： - [[自回归生成模型]]生成式AI的一个典型应用模式，尤其是在文本生成任务中。生成式AI不仅限于自回归模型，其他类型的生成模型（例如生成[[GAN 生成对抗网络]]变分自编码器VAEs等）也存在，但自回归模型（如GPT系列）是生成式AI中最常见的一种。 - **联系**：自回归模型本质上是生成式AI的一种实现，专注于逐步生成新数据（如文本）。 - **区别**：生成式AI是一个更广泛的类别，涵盖了所有能够生成数据的模型，而自回归特指那种基于已有数据逐步生成下一个数据点的方式。 # 相关内容 ## 生成式AI的 big idea - 生成的内容与输入数据具有相似性，但又不完一样； - 生成的结果是线性连贯的，就像人类的生成（文字、口语）一样，往往无法区分； - 通过不同于人类的理解方式，似乎 AI 更能够捕捉到输入信息中的复杂性和细微差别（nuance），从而达到人类无法学习到的程度； - 因此可以替代我们的很多工作。 - 无论是 AI 的训练阶段（[[GPT 训练过程（archive）]]）还是推理阶段，本质生都在做一件事：生成下一个 token - 训练过程是人类阅读的翻版：阅读时大脑中在做**预测下一个词**与实际词之间对比差异，进行知识体系的调整（调参） - 推理过程：**生成预测的下一个词**，连接成线性的自然语言来回答人类提出的问题 # 参考资料 - [4.2 生成式AI对人类学习的启示](https://readwise.io/reader/shared/01jew2fq0hyg572cnk85wsypx8) - [4.3 什么是生成输出](https://readwise.io/reader/shared/01jfe4ymgkj16ry5s0b3xgk2gq) - [x] [生成式 AI-Wikipedia](https://readwise.io/reader/shared/01j50042jrjsxmzqx0nh53kb0s)