# inbox # todo # WHY - 如果计算机拥有认知和情感 - 大脑的工作原理是[[ANN 人工神经网络]]的研究基础，人类是如何在进化中做到可以瞬间识别图像、识别语音并能够理解语言的？科学家们需要先弄清原理，才能复制出这样的人工智能来。 - # WHAT（树干） - 作者与[[Geoffrey Hinton 辛顿]]研究了[[Boltzmann machine 玻尔兹曼机]] - [[PDP 并行分布式处理]]（Parallel Distributed Processing，PDP）（辛顿参与过）当时PDP实验室正在探索如何以分布在网络中的大量节点活动的形式来**理解文字和语言**，而杰弗里是其中的核心人物。 - [[认知科学 cognitive science]]中理解语言的传统方法是基于符号表征。符号的美妙之处在于可以对复杂的[[概念 concept]]进行压缩，但过度压缩造成的问题是很难精确地描述现实世界。 - 所以基于逻辑程序、规则进行符号处理的人工智能不能识别各种各样的杯子，也不能理解什么是「正义、和平」这样的抽象概念。 - **神经网络**：但是另一种方法可行，通过大量神经元上的活动模式来表示杯子，如此一来就可以捕捉概念之间的相似和差异点。这赋予了符号可以反映其含义的丰富的内部结构。问题在于，在1980年，还没有人知道如何创建这些内部表征。 - 概率是机器学习中的核心： - 布尔这本著作的全称是《思维规律的研究——逻辑与概率的数学理论基础》。虽然其中让人印象最深刻的是对逻辑的洞察，但这本书对于概率论也有很多讨论。概率论是现代机器学习的核心，在描述现实世界中的不确定性方面比逻辑方法要好用得多。 - [[高斯分布]] - 我曾通过写下非线性神经元交互网络的方程式并分析它们来解决如何理解大脑的问题，就像物理学家几个世纪以来使用数学来理解重力、光、电、磁和核能的本质一样。 - 每天晚上睡前，我都会祈祷：“亲爱的主，让方程式是线性的，噪声呈高斯分布，变量是可分的吧。”这些是能产生分析解法的条件，但是因为神经网络方程式是非线性的，与之相关的噪声是非高斯分布的，而且变量是不可分的，所以它们并没有明确的解。 - [[计算神经科学]] - 但是如果物理学太简单，生物学又过于复杂，我应该在哪里寻求指导呢？与物理学中的力不同，大脑回路有一个目的，就是解决计算问题，比如看见和移动，以便在世界上生存。即使是一个关于神经元如何工作的完美的物理模型，也不会告诉我们它的目的是什么。神经元负责处理携带信息的信号，而计算则是试图理解大自然这一过程中缺失的环节。我在过去的40年中一直在追求这一目标，并开创了一个新的领域，叫作“计算神经科学”。 # HOW（树枝和树杈） - 20 世纪 80 年代相信神经网络的科学家们： - 克里斯托弗·冯·德·马尔斯伯格（Christoph von der Malsburg），开发了一种模式识别模型，将发射脉冲的人造神经元连接在一起，并证明了这种方法可以识别图像中的人脸。 - 大阪大学的福岛邦彦（Kunihiko Fukushima）发明了神经认知机（Neocognitron），一个基于视觉系统架构的多层网络模型，它使用了卷积滤波器和简单形式的赫布可塑性（Hebbian plasticity），这也是深度学习网络的一个直接的前身。 - 赫尔辛基大学的电气工程师戴沃·科霍宁（Teuvo Kohonen），他开发了一个自组织网络，可以学习将相似的输入通过不同的处理单元聚类到二维映射中（例如可以用来代表不同的语音），相似的输入能够激活输出空间的相邻区域。科霍宁网络模型的一个主要优点是，它不需要对每个输入的类别进行标记（通过生成标记来训练监督网络的花费十分高昂）。 - 加州大学洛杉矶分校的朱迪亚·珀尔（Judea Pearl）引入了将网络中的结点用概率联系起来的信念网络，比如草地变湿，是因为喷水器打开了的概率，或者因为下雨了的概率。 - 朱迪亚·珀尔（Judea Pearl）引入了将网络中的结点用概率联系起来的信念网络，比如草地变湿，是因为喷水器打开了的概率，或者因为下雨了的概率。这是一个很有前景的将概率网络系统化的早期尝试。虽然珀尔的网络模型是一个可以用于追踪世间因果关系的强大框架，但手动分配所有所需概率已经被证明是不切实际的。能够自动找到概率的学习算法依然有待突破（会在本书第二部分讨论）。 - 上述几个例子和其他基于网络的模型都有一个共同的致命缺陷：它们都不足以解决现实世界中的问题。 # HOW GOOD（思维模型） big idea 能够解决哪些问题 大法 # ref. ## 📗 书籍 ### 入门小册子 intro - 参考资料的参考资料，他人总结的书单、GitHub学习资料集合 - Google前十页、维基百科的文献链接 - 百科全书：wikipedia（navbox）、DK等百科全书类的知识汇编、综合 - 小册子、入门或图解类书籍（搜索引擎+“入门”） - epic - 导论教科书的目录 ### 了解学科大图景 big picture ### 经典大部头 textbook - 理论认知 - 历史认知 - 实践认知 ### 相关论文 ### 知识视频、网络课程 - YouTube（同时设置浏览器文件夹） - 课程 - cousera - mimo - codecademy - 网站、播客、网页 - 纪录片 ### 🧩 碎片化信息（同样需要深度加工，走完学习闭环） - [费曼日报](https://daily.candobear.com/) - 正规出版的报刊、杂志文章，严肃规范的科普类文章 - GitHub 项目（star收藏） - 知乎专栏 - 个人网站、博客、网页、X - RSS订阅 ### 🤔 案例研究 ### 👨‍🏫 多请教大活人（与人沟通非常重要） # archive --- - [[Geoffrey Hinton 辛顿]] - [[计算机科学]] -