目前GPT所使用的[[自我监督学习]]路线存在局限，因为没有基于现实的知识，目前的大语言模型训练在1万亿到2万亿个[[tokenization]]，看似流畅，但最终会犯错，会制造虚构的事实和故事。 自我监督学习是一种无监督的学习方法，通过遮盖输入的部分内容，让模型预测被遮蔽的词。 机器应该像人类那样尝试**通过观察或体验世界来学习**，可以参考杨立昆提出的“自主智能”架构。 杨立昆指出AI面临的3个挑战： 1. 学习世界的表征和预测模型 2. 学习推理 3. 通过分层的方式将复杂的任务拆解简单的任务 提出世界模型，可以想像一个场景，基于场景预测结果。 杨立昆在2022年的一篇论文中提出了关于世界模型的观点。他指出，**婴儿在成长过程中通过观察和体验世界来学习基本概念，例如物体应该在重力下下落**。他认为科学家们应该尝试用机器复制这种**通过观察或体验世界来学习的能力**。他在2023年的北京智源大会上发表演讲，分享了他对大语言模型发展路线的思考。他认为目前主流的GPT路线存在局限，想要让AI像人类一样学习、应对和规划真实世界，可以参考他在一年前提出的"自主智能"架构。他对**[[自我监督学习]]持保留态度**，认为这些系统在推理和规划方面存在不足，只是快速反应而已。他提出了三个AI面临的挑战：**学习世界的表征和预测模型**，**学习推理**，以及**通过分层的方式规划复杂的行动序列**。他强调了人类和动物的能力与当前AI的能力之间的差距，并表示机器学习在与人类动物相比方面并不出色。他也参与了一场辩论，探讨人工智能是否对人类构成威胁。 想要AI获得对真实世界的学习、应对和理解，展示了自主智能（autonomous intelligence）。 - [图灵奖得主杨立昆：类GPT主流路线存在局限，仍不如人和动物](https://readwise.io/reader/shared/01h2fyx5da5h5nzvkpw2fw132h/) - [演讲原文](https://readwise.io/reader/shared/01h2fyx8486z8snfy5z39r3fay/)