- Objective: 人类思维的矛盾 - Breadcrumb: # 概念阐释 计算不可约性是指某些计算或过程的复杂性是固有的，不能通过简化或找到捷径来完成。换句话说，要完全理解这些过程的结果，就必须执行所有的计算步骤，无法通过更简单的方式或直觉来预测结果。 # 实例 在机器学习领域，一个深度神经网络如何从输入数据中学习到复杂的模式和特征，尽管这个学习过程可以通过数学和算法形式化，但网络内部如何确切地进行这些操作，包括它如何调整其数以百万计的参数来最小化误差，对于观察者来说并不直观。这里的“不可约”体现在，要理解模型的最终决策，就必须考虑其所有的计算步骤，无法通过简化的模型完全捕捉。但这并不意味着没有模型可被提炼，而是提炼出的模型无法完全拟合所有的情况，从而准确无误的预测所有可能的结果。 # 相关内容 ## 人类学习与计算不可约存在着根本的矛盾 人类的学习是通过建立心理模型-反馈-迭代心理模型来完成的，这意味着人类的学习是通过压缩数据来提取规律，但计算不可约性意味着在提炼模型时会有一定的限制：模型并不能适用于所有情况，预判的准确性低。 我们通常能用大脑完成的事情，大概都是为了避免计算不可约性而特意选择的。 # 参考资料 - 《这就是 ChatGPT》足够大的神经网络当然无所不能！P51 - ilya：与伊尔亚·苏茨克维在多个访谈里强调的“GPT的大思路是通过生成来获取世界模型的压缩表示”异曲同工。 - 那么，人类还剩下些什么优势呢？根据“计算不可约性原理”（即“总有一些计算是没有捷径来加速或者自动化的”，作者认为这是思考AI未来的核心），复杂系统中总是存在无限的“计算可约区”，这正是人类历史上能不断出现科学创新、发明和发现的空间。所以，人类会不断向前沿进发，而且永远有前沿可以探索。同时，“计算不可约性原理”也决定了，人类、AI、自然界和社会等各种计算系统具有根本的不可预测性，始终存在“收获惊喜的可能”。人类可贵的，是有内在驱动力和内在体验，能够内在地定义目标或者意义，从而最终定义未来。 - GPT 的回答是基于神经网络对人类文本的理解和概括，是对全部人类文本的有损信息压缩 - 概念是对一系列具象**事物**进行高度压缩的结果