- 为什么不说理解说编码？ - 理解的范式转换 - 罗塞塔石牌 - transformer - 这意味着什么？ - 翻译学不存在了 - 大语言模型，本质上知识大模型 - 历史上哲学家们对“理解”的各种理解 - 编码取代理解：从记忆编码到神经网络编码 - 小能熊的编码 - 编码无处不在 - 学习闭环与编码解码 - 编码依赖背景知识 - 人脑如何编码信息？ - 编码方式：只有 4 种 - 举例：acumen - 深度编码：有效编码的唯一指导原则 # why ## 为什么不说“理解”说“编码” - ### 理解的范式转换：transformer 创造了智能体“理解”的全新范式 - [[罗塞塔石牌 rosetta stone]]：人类基于规则的理解，人类大脑最擅长的是从复杂的信息中提取模式和规律 - [[transformer]]：通过高维空间的几何关系进行理解 - 人类的理解vsAI智能体的理解 - 大语言模型本质上是知识大模型 - AI 让翻译学不存在了 - ### 历史上哲学家们对“理解”的各种理解 - **古希腊哲学：理解的起源** - **柏拉图**：主张理想主义，认为理解的对象是不变的“理想形式”，这些形式存在于超越现实的理念世界中。 - **亚里士多德**：强调经验的重要性，认为理解源于感官经验，通过记忆形成经验，再通过抽象和归纳获得知识。他提出“质料”和“形式”的概念，认为形式是事物内在的特性和功能。 - [[说明文 - 概念的分类和界定]] - **文艺复兴与启蒙时期：理性与经验的探索** - **约翰·洛克**：在《人类理解论》中提出，所有知识来源于经验，包括感官经验和内省经验。通过观察和抽象形成概念，语言是交流和思考的工具，但语言的模糊性可能导致理解的误差。 - **康德**：调和理性主义和经验主义，提出“先验”和“后验”知识的区分。认为人类通过内在的“范畴”（如因果律、空间、时间）加工经验数据，只能认识现象，而非事物本身。 - **现代哲学：多角度的理解探索** - **存在主义与现象学**（如海德格尔、胡塞尔）：认为理解是人存在的一种基本方式，通过人与世界、他人和自己的关联构建理解。 - **分析哲学**（如维特根斯坦、罗素）：关注语言和逻辑在理解中的作用。维特根斯坦提出“语言游戏”概念，认为语言的意义依赖于具体语境，理解世界的关键在于理解语言的使用方式。 -  **认知科学：从哲学到科学** - 20世纪后，认知科学整合心理学、神经科学和人工智能等学科，研究感知、记忆、语言处理等认知过程，为理解机制提供了科学视角。 # what ## “编码”取代“理解”：从记忆编码到神经网络编码 - 从认知心理学、认知神经科学、认知科学的角度来说，对于知识的加工处理统称为“编码” - 人类对于知识的理解也是在大脑中进行的加工处理。 - [[深度理解模型]] - **attention - encoding - storage - retrieval** ## 小能熊的编码 - 大脑神经网络加工处理信息 - 提炼为知识砖块 - 与已有知识砖块建立丰富和有意义的关联； - **知识砖块**： - 从外部信息中提取和构建心理表征，将信息转化为知识，形成知识砖块，构成我们知识结构的基本单元； - **知识关联**： - 在新知和已知之间，在新的知识砖块与已有的知识体系之间，建立丰富、有意义的关联； - 需要更深层的认知处理，对知识进行分类、归纳、类比，知识被组织和重构，形成更复杂和深入的认识。 - **编码 encoding**： - 把别人解码输出的信息编码为自己的知识表征，透过他人的线性文字，重新构建文字背后的知识结构；读书、对话、看电影都是在编码； - 根据自己的现有认知框架、现有的知识和经验对新的信息进行编码，再将新的信息融入个人 Bok；这一过程涉及信息的重组、关联活重新解释。 - **编码依赖背景知识**： - 对于信息的理解非常依赖个体的知识体系，所以就会出现作者与读者之间的差异； - 西方谚语：“一千个人眼中有一千个哈姆雷特” - 怎么办？[[阅读 阅读理解五步法]] - **解码 decoding**： - 把自己的思考解码为线性的语言表达；口头费曼、写作都是在解码； - > **一个作者的目标，就是把网状的思考，用树状的结构，编码成线性的文字。**—— 《风格感觉》Steven Pinker ## 人脑如何编码信息？ ### 人脑的 4 种编码方式 人虽然有听觉、视觉、触觉、味觉、嗅觉五种感官来获取信息，但信息在进入大脑被编码的过程只有 4 种编码方式。 - 听觉编码 acoustic encoding - 通过声音类信息编码 - 26 个字母字母歌 - 视觉编码 visual encoding - 通过视觉图形进行编码 - **语义编码 semantic encoding** - 语义编码是对信息的深层加工处理 - 语义编码的重点在于“意义”，只有有意义的信息才能储存在长时记忆中，并在需要的时候被提取使用 - **结构编码 organization encoding** ^505090 - 根据信息的内在结构，对信息进行分类的过程 - 在学习的过程中用树状图、表格或流程图对信息进行分类 - 用单词四步法理解 acumen 这个单词，实际上运用了语义编码与结构编码 ### 有效编码的唯一指导原则：深度编码 - **浅层编码**： - 视觉和听觉编码是浅层的 - 熟视无睹：5 元人民币背后是什么图片？黄山？布达拉宫？人民大会堂？ - 没有被注意力注意到的信息：不会在脑子里留下任何印象 - **深度编码**： - 语义编码和结构编码是深度的，是对知识的精加工，对于人类大脑来说是更加有效的； - 对于一个单词：中英文词义、搭配用法、具体场景、例句、同反义词，从词根、词构等角度进行结构编码 - 对于一篇文章，提炼概念、提炼关键词，串联概念，整理出自己的框架，在关键词之间建立链接，与过往知识树进行关联，最终长出一棵有意义且能够解决问题的知识树； - **深度学习**： - 信息编码越深，信息加工越深，学习记忆的效果越高效 # how # how good - [[模式识别、特征学习、心理表征、概念的关系]] # Ref. - [3.2 什么是编码？](https://readwise.io/reader/shared/01jdtexe0qt0f70tmv48wkgdj3)