# inbox
- [ ] https://en.wikipedia.org/wiki/Turing_test
- [ ] [图灵测试-YouTube](https://www.youtube.com/watch?v=MGW_Qcqr9eQ)
# todo
- [ ] [[Intro to LLM]]
- [ ] [state of GPT](https://readwise.io/reader/shared/01j1h3ha6ahgh359fkzjd75n4y)
- [ ] 陈老师的文章
- [ ] 费曼日报往期
- [ ] [[《这就是 ChatGPT》]]
# WHY
> 可预见的未来，不论是物化生这样的基础学科，还是医学金融等应用领域，都要懂编程甚至人工智能，如果不能以编程拿出革新的成果，也将沦为“文盲”。——MzSavage
我和我的同事们，必须懂得计算机和人工智能。
## 厘清关系
- 人工智能
- [[符号人工智能]] hand design by rule
- [[AI 简史]]
- [[machine learning 机器学习]]
- 监督、半监督、无监督学习
- [[ANN 人工神经网络]]
- [[Deep Learning 深度学习]]
- [[MLP 多层感知器]]
- [[CNN 卷积神经网络]]
- [[Transformer]]
- [[RL 强化学习]]
# WHAT 树干
数学、计算机科学、神经科学；[[认知科学 cognitive science]]
## 数学基础
子类： 线性代数、概率与信息论、数值计算等，目前的概念不分子类
- 可微分编程
- 自动微分
- 张量微积分
- 信息几何
- 统计流形
## 机器学习基础
[[machine learning 机器学习]]算法：[[Supervised learning 监督学习]]、[[unsupervised learning 无监督学习]]、强化学习、进化学习、随机梯度下降、贝叶斯算法
- [[gradient descent 梯度下降]]
- 聚类
- 回归（[[overfitting 过度拟合]]）
- 幻觉
- 对抗
- 注意力
- 卷积
- [[Loss function 损失函数]]
- [[Backpropagation 反向传播算法]]
- [[激活函数]]
- [[regularization 正则化]]
- [[数据集]]
- [[diffusion 扩散模型]]
- 自回归
- 模式识别
- 运算学习理论
- 归纳偏置
## 人工神经网络
- 神经形态工程
- 基本结构
- 基本原理
# HOW 树杈和树叶
## 深度学习人物
- Yoshua Bengio
- [[Geoffrey Hinton 辛顿]]
- [[Yann LeCun 杨立昆]]
- Alex Graves
- Ian Goodfellow
- Stephen Grossberg
- Demis Hassabis
- [[Fei-Fei Li 李飞飞]]
- Andrew Ng 吴恩达
- [[Jürgen Schmidhuber]]
- David Silver
- [[Ilya Sutskever]]
## 深度学习组织
- Anthropic
- DeepMind
- EleutherAI
- Google Brain
- Meta AI
- Mila
- MIT CSAIL
- OpenAI
- Hugging Face
## 深度学习应用
- [[machine learning 机器学习]]
- [[ANN 人工神经网络]]（[[Deep Learning 深度学习]]）
- 科学计算
- 人工智能
- 语言模型（[[LLM 大语言模型]]）
## 深度学习硬件
- TPU
- VPU
- IPU
- 忆阻器
- SpiNNaker
## 深度学习软件库
- Theano
- tensorFlow
- PyTorch
- JAX
- Flux.jI
## 深度学习的技术架构
- [[perceptron 感知器]]
- [[SVM 支持向量机]]
- [[MLP 多层感知器]]
- [[RNN 循环神经网络]]
- [[LSTM 长短期记忆]]
- GRU 门控循环单元
- [[CNN 卷积神经网络]]
- ResNet 残差神经网络
- [[Transformer]]
- Autoencoder 自编码器
- VAE 变分自编码器
- [[GAN 生成对抗网络]]
- GNN 图神经网络
- ESN 回响状态网络
- NTM 神经图灵机
- DNC 可微分神经计算机
## 技术实现
### Audio-visual 音频-视觉领域
- [[AlexNet]]
- WaveNet
- 人像合成
- 手写识别
- OCR
- 语音合成
- 语音识别
- 人脸识别
- AlphaFold
- DALL-E（transformer)
- Midjourney
- Stable Diffusion
- Whisper（transformer)
- [[Sora]] （DALL-E,其实还是 transformer)
### Verbal 自然语言
- [[NLP 自然语言处理]]
- [[LLM 大语言模型]]
- Word2vec
- Seq2seq
- BERT
- LaMDA
- NMT
- 辩手项目
- IBM Watson 沃森
- GPT-1 （transformer)
- GPT-2
- GPT-3
- GPT-4
- ChatGPT
- GPT-J
- 文心一言（transformer)
- Chinchilla AI
- PaLM
- BLOOM
- LLaMA
- [[GPT-4o]]
- [[GPT-4 Turbo]]
- [[ChatGPT Canvas]]
- [[SearchGPT]]
### Decisional 决策
- AlphaGo
- AlphaZero
- Q学习
- SARSA
- OpenAI Five
- [[自动驾驶]]
- MuZero
- 行动选择
- 机器人控制
# HOW GOOD 与普通人的关联
- prompt 元技能
- DALL·E 大法
- 深度学习 x 人类智能：GPT 时代的人类学习
## 实践
- [GPT 大法](logseq://graph/feynman_OS-main?page=GPT%E5%A4%A7%E6%B3%95)
- 《深度学习入门》+吴恩达的深度学习课程+Andrey 网络课程
# ref.
## BOK1
- 参考资料的参考资料，他人总结的书单
- [陈老师整理的深度学习主题知识树](https://btcml.xetslk.com/s/1B5knh) ★★★★★
- [陈老师的深度学习书单](https://weread.qq.com/misc/booklist/4200372_7KeOZSblp)
- [陈老师的AI&HI主题研究书单](https://www.douban.com/doulist/132226742/?dt_dapp=1&dt_platform=com.douban.activity.wechat_friends)
- [陈老师的深度学习书单 2024 版](https://www.douban.com/doulist/157508232/)
- [深度学习图解系列](https://mp.weixin.qq.com/s/VMgSfrIY4C9kxuHqfO74lg)
- [awesome-ChatGPT-repositories学习资料集合](https://github.com/taishi-i/awesome-ChatGPT-repositories)
- [宝玉的工程技术分享](https://baoyu.io/)
- [深度学习](https://zh.wikipedia.org/wiki/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0)- wikipedia
- [x] [[《深度学习：智能时代的核心驱动力量》]]谢诺夫斯基
- [x] [[《深度学习革命》]]凯德·梅茨
## BOK2
### 📗 书籍
- 《深度学习》教科书 伊恩·古德费洛 #专题
- 《深度学习入门》斋藤康毅 #专题
- [x] 《这就是 ChatGPT》[美] 斯蒂芬·沃尔弗拉姆（Stephen Wolfram）+ 延伸阅读 #专题
- 《千脑智能》杰夫·霍金斯
- 《人工智能简史》尼克 #专题 #历史
### 与深度学习、LLM、GPT有关的论文
- [[Sora 技术论文（整理成 2w2h)]]
### 与深度学习、LLM、GPT有关的知识视频
- [[李飞飞 2016 年公开演讲 - AI 简史]]
- [state of GPT](https://youtu.be/bZQun8Y4L2A?si=atGWFWtjlsICViX2)
- [2023发布会视频：OpenAI DevDay, Opening Keynote](https://readwise.io/reader/shared/01hekmmjfqsxxnr8ycz275yk90)
- 视频的笔记大纲
- 视频本身是这条笔记的ref
- [Andrej Karpathy频道](https://www.youtube.com/@AndrejKarpathy)
- [satable diffusion by Andrej Karpathy]()
- [[Intro to LLM]]
- [3Blue1Brown](https://www.youtube.com/@3blue1brown)
- [GPT 与项目式学习](https://readwise.io/reader/shared/01j5czqwkzhtd1n0wx3appz0c4)
-
### 纪录片
- [AI时代 The Age Of A.I. 2019](https://movie.douban.com/subject/34914536/)
- [BBC地平线：人工智能指南 Horizon: The Horizon Guide to AI 2018](https://movie.douban.com/subject/30331457/)
- [地平线系列：寻找人工智能 Horizon: The Hunt for AI (2012)](https://movie.douban.com/subject/11500281/)
### 🧩 碎片化信息
- 费曼日报GPT、AI相关主题
- LATER [初中生能看懂的机器学习](https://readwise.io/reader/shared/01hqph304r7deq2dfn76jv0a6x) by Wolfram 《这就是ChatGPT》延伸阅读
- @howie：
- [训练一个人脑 GPT，需要多少 token？](https://mp.weixin.qq.com/s/-iFWmcvCs0ZtT-mi38rryQ)
- [如何学会一切知识，不管它有多难？(以 ChatGPT 原理学习为例)](https://mp.weixin.qq.com/s/0VelzpOuRpriRRdSevK4Ug)
- [使用 ChatGPT 原理学会一切知识](https://mp.weixin.qq.com/s/2iFD6wy3E_C28kGA2XKRgQ)
- [长青知识树 3 步法-中](https://readwise.io/reader/shared/01hq52ksxssevfpzeqmnanpp4q)
- [我的电脑里有两棵树，一棵是知识树，另一棵还是知识树。](https://readwise.io/reader/shared/01j5f9bj6rxk918ge06jta5mna)
- [画知识树，关键在“研究”二字 - GPT 简史](https://readwise.io/reader/shared/01hqcbvh59cd5e20mm13zemz6w)
- [人类 BOK 与个人 BOK - AI 简史](https://readwise.io/reader/shared/01hpx0m7rx2srpw4d0w0z2mfzq)
- ChatGPT o1
- [https://openai.com/o1/](https://openai.com/o1/)
- [o1 实现了 system2 的思考](https://mp.weixin.qq.com/s/lKDoaSVqghBms4hvYg1IsA)(内附直播链接)
- [o1 推理模型实例](https://mp.weixin.qq.com/s/3VctBkKNShpqZE_77fxmuA)
### 学习平台
- DeepLearning by 吴恩达
- [hugging face](huggingface.co)
- hugging face课程：NLP、深度学习、AI 音频处理
- GitHub 项目
- ChatGPT&GPT助理
### 大活人
- Howie.serious
- Andrey karpathy
- Eureka Labs by andrej Karpathy
- [报道](https://36kr.com/p/2866057708915335)
- eurekalabs.ai
- github.com/EurekaLabsAI
- [karpathy website](https://karpathy.ai)
- [karpathy blog](https://karpathy.github.io)
- 3b1b
# archive
---
- [反向传播算法与 CNN 的关系](https://chatgpt.com/share/b051d5ae-8bd4-4605-b02b-6d9dc77bc3f7)