2025/12/13 语言模型的“理解”能力的来源

极致的预测 = 数据的高效压缩 = 提取出生成数据的因果规律。 到极致，那就是模型靠“自己的方法”，获得了“解释”样本世界（文本）的规律。这个规律，无法被人理解，它是模型内部的一种表达方式。人即使拿到了，估计也很难用人的思维来理解。根本性的差异在于文本是世界规律的一部分，注定是局部的。从这个局部来映射全局，必然会造成失真。这个差距是无法弥补的。