- # inbox - - # todo - # WHY - 学习AI 的学习反观人类的学习 - AI 带来的变革的当下，个体如何立足于世界？下一代如何立足于未来？ - 重要的主题不能停留于浮皮潦草的阶段 - # WHAT - ### 什么是大语言模型 collapsed:: true - [[Intro to LLM]] - [[LLM 大语言模型]] - ### LLM在深度学习中的位置 collapsed:: true - 机器学习 machine learning vs [[符号人工智能|专家系统]]：人类编写程序、深蓝、[[SHRDLU]] collapsed:: true - [[ANN 人工神经网络]] collapsed:: true - [[perceptron 感知器]] - [[Deep Learning 深度学习|深度神经网络DNN]] or 深度学习 deep learning collapsed:: true - [[端到端]] vs 机器学习 - [[生成式 AI]] ：预测下一个词、生成下一个词 collapsed:: true - [[AlphaGo]] - 基于[[Transformer]]架构的生成式 AI collapsed:: true - [[NLP 自然语言处理]] - [[LLM 大语言模型]] collapsed:: true - [[GPT]] - google gemini - LLaMA - 百度文心一言 - 多模态 collapsed:: true - text to video： collapsed:: true - [[Sora]] - text to image： collapsed:: true - [[DALL·E]] - [[Midjourney]] - [[stable diffusion]] - text to audio: - audio to text: [[whisper]] - 自动驾驶:[[FSD]] - 生成蛋白质结构：[[AlphaFold2]] - ### LLM 原理 collapsed:: true - ### [[LLM、GPT 的训练过程]] collapsed:: true - [[GPT 训练过程（archive）]]、[[GPT的训练过程（archive）]] *需要修改* - [[LLM 预训练]] - 后训练 collapsed:: true - [[SFT 监督微调]] - [[奖励模型]] - [[RLHF 基于人类反馈的强化学习]] - ### LLM、GPT的推理过程 collapsed:: true - [[GPT的生成过程]] - ### 什么是ChatGPT collapsed:: true - [[《这就是 ChatGPT》]] - G：[[生成式 AI]] collapsed:: true - [[生成式 AI 对人类学习的启示]] - [[费曼大法]] - P：[[LLM 预训练]]、[[Pre-training 预训练]] - T：[[Transformer]] collapsed:: true - [[how transformer work]] - GPT的原理： collapsed:: true - what does GPT do - why does it work? - 什么是[[ChatGPT]] - ### 推理模型原理 - # HOW - ## LLM 模型 collapsed:: true - [[GPT-4 Turbo]] - [[GPT-4o]]：多模态能力最强，生成图片 - [[GPT-4.5]]：语言能力最强，知识库是 4o 的 10 倍 - ## 多模态 collapsed:: true - [[Sora]] - [[ChatGPT live video]] - ## 推理模型 collapsed:: true - [[o1]] - [[o3]]：最强推理模型，事实审核、图片审核、批判式思考、小主题研究 - ## agent L3 collapsed:: true - 与环境互动，在反馈中学习，人类给出任务，后续不需要提供更多输入（信息和指令），AI 就能决策判断、执行交付 - [[ChatGPT Task]]：基础任务提醒 - [[ChatGPT operator]]：直接操作浏览器 - [[Google Gemini with Deep Research]]：帮助专业人士做研究 - [[Deep Research]]： - 深度主题研究 - 最好的翻译工具 - [[ChatGPT agent mode]] #s5-★★★★★ - [[o3+学习模式]] #s5-★★★★★ - [[GPT-5]] - ## 应用 collapsed:: true - [[ChatGPT 工具]] - [[prompt engineering]] - [[meta prompt：o1 狂暴模式]] - [[meta prompt：英文搜索，中文回答]] - [[meta prompt：let's think step by step]] - [[meta prompt 总结]] - [[meta prompt：解释概念]] - [[meta prompt invoke]] - [[coding with AI]] - [[生图 with AI]] - [[模型搭配使用方案]] - ## 历史 collapsed:: true - [[ChatGPT 发布记录]] - [[GPT的发展过程]]、[[ChatGPT 简史：从研究的角度]] - ## 人物 collapsed:: true - [[Sam Altman]] - [[Ilya Sutskever]] - # HOW GOOD（思维模型） collapsed:: true - [[规模法则 scaling laws]] - [[预测即压缩压缩即智能，智能即具备理解力]] collapsed:: true - AI 具备理解力，不同于人类的理解方式 - [[LLM 大语言模型|知识模型]] - [[AI vs HI]] - [[生成式 AI 对人类学习的启示]] - [[深度学习模型对比分析]] - [[LLM的本质是自回归 transformer]] - [[语义空间]] - [[推理模型|system2]]&[[LLM 大语言模型|system1]] - # ref. - **工具** collapsed:: true - [[NotebookLM]] - 开源 AI：togetherAI、hugging face - 本地运行：LMStudio - **信息** collapsed:: true - AI 测评：https://lmarena.ai/ - X - https://news.smol.ai/ - [主题研究书单/深度学习、GPT](logseq://graph/info&tools?page=%E4%B8%BB%E9%A2%98%E7%A0%94%E7%A9%B6%E4%B9%A6%E5%8D%95%2F%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E3%80%81GPT) - **小册子 intro, 入门小册子** collapsed:: true - 先从应用本身学起，用起来，玩儿起来 - [[《这就是 ChatGPT》]], [[steven wolfram]] 的书, #s5-★★★★★ - [[《Python 深度学习》]] #s5-★★★★★ - [[《深度学习入门》 (鱼书) ]] #s4-★★★★☆ - [[《深入浅出神经网络与深度学习》]], [[michael nielsen]] 的书, #s4-★★★★☆ - [Neural Networks and Deep Learning](http://neuralnetworksanddeeplearning.com/index.html) **3b1b**强烈推荐(DL2) by michael nielsen - **大图景 big picture, 了解学科大图景** collapsed:: true - [[《深度学习：智能时代的核心驱动力量》]] 谢诺夫斯基 #s5-★★★★★ - [[《深度学习革命》]] (genius makers) #s5-★★★★★ - **大部头 textbook, 经典大部头建立成体系、深入的知识框架** collapsed:: true - [[《深度学习》 (花书) ]] 教科书, 大部头 #s4-★★★★☆ - [[《人工智能：现代方法》]] #s4-★★★★☆ - **长视频 knowledge videos, 用知识视频减低学习难度，获得直观理解** - [[3Blue1Brown]] 的神经网络系列视频； - [[andrej karpathy]] 介绍 ChatGPT 原理的系列视频； - [[Deep Dive into LLMs like ChatGPT]] - [[state of GPT]] - [[Intro to LLM]] - [[howie 的 YouTube 频道]] - [[howie的知识视频]] - [OpenAI YouTube](https://www.youtube.com/@OpenAI) - [vcubingx](https://www.youtube.com/watch?v=1il-s4mgNdI) 3b1b推荐（DL6） - **其他的神经网络可视化讲解：** collapsed:: true - VGG16 Neural Network Visualization - A.I. Experiments: Visualizing High-Dimensional Space - Neural Network 3D Simulation - **可视化操作** collapsed:: true - [neural network playground](https://playground.tensorflow.org/) - [LLM Visualization](https://bbycroft.net/llm) - **其他** collapsed:: true - [[《动手学深度学习 (PyTorch 版)》]] PyTorch 用的最多, 操作时再读； - [[《深度学习进阶》 (鱼书) ]] NLP, 自然语言处理, 过时； - [[《深度学习入门 2》 (海书) ]] 自建框架；高阶；暂时不读； - **学习元技能** collapsed:: true - [[如何学会一切知识，不管它有多难？- ChatGPT 学习为例]] - [[和 ChatGPT 的 723 天]] - [使用 ChatGPT 原理学会一切知识](logseq://graph/info&tools?page=729%20%E4%BD%BF%E7%94%A8%20chatGPT%20%E5%8E%9F%E7%90%86%E5%AD%A6%E4%BC%9A%E4%B8%80%E5%88%87%E7%9F%A5%E8%AF%86) - [训练一个人脑 GPT，需要多少 token？](https://mp.weixin.qq.com/s/-iFWmcvCs0ZtT-mi38rryQ) - 辅助学习工具：[Google 学习神器 learn About](https://btcml.xetslk.com/s/1LLyuC)