窝小思考Transformer的推理能力

Copypasted from memos

如果说语言文字/模型产生的输出，就是能指 signifier；而按照大多数人的观点人的conscious mind更接近所指 signified（你的言辞所想要展示给别人的，你真正想表达的东西），那么人的语言的构造并非人的思维过程，或许它是人的思维的一个子集，但绝不能完全represent人的意识活动。

这正是因为你意欲说出的事情与你的言辞所表达的事情之间总是存在着某些差异，同时这也是一个语言哲学上的鸿沟（gap）。此鸿沟的存在将使通过学舌的语言模型来构建具有推理能力的AGI的尝试变得困难重重。

可以将语言看作人思维的一个子集，或者人思维活动的结果，但语言绝不仅仅是思维的ontology的唯一表现形式。目前的LLM都是通过sampling语言的潜在概率分布来构建AI。也许，耗费马斯克所言的数十万张Nvidia H100 GPU，配合庞大的语料库，能构造出一个十分复杂的语言模型，但它终究只能是对人类思维活动的一种异构的逼近 (approximation)。按照统计学习观点，我们不断增加算力也只能尽力缩小估计误差 (estimation error)，而逼近误差 (approximation)取决于模型族是否能很好地拟合潜在的目标分布 (underlying probability distribution) 。问题的核心也就是探究语言模型族对AGI的充分性，而这个用来逼近的模型族，与真实的思维模型之间的approximation error的大小，现在还尚无定论。

Figure 1. The tradeoffs between Approximation Error & Estimation Error. In figure (b), the empirical risk of the empirical risk minimizer (ERM), which is also our optimization objective, converges to zero as model complexity increases. The true risk, on the other hands, rebounds. The ERM fails to be a good surrogate for the true risk, leaving a large estimation gap that is hard to bridge.

就好像Searle提出的中文房间里的单词书 [1]，即便它进化出十分复杂的匹配规则，它的内核依然不是我们所理解的智能，而只是十分复杂的词类映射。一类我觉得noticeable的反对意见是「虽然单词书非智能、但房间整体拥有智能」。Searle已经在原论文的objection部分中对此给予反驳，这里不再赘述。（将房间reduce为仅剩下单词书，或者小人已经记住了单词书所有规则，但依旧不理解中文的意思）

另一方面，因为拉康所说「言辞所表达的事情总是比想要说出的事情更多」（这是由能指自身的特性决定的），即便是单纯的语言模型，它输出的话语所蕴含的所指意向的丰富程度，也会让人产生幻觉，就好像它已然拥有了智能。

图灵测试还是未能考虑到这些问题，图灵测试是一个behavioral criterion, 在图灵的年代也确实难以想象Expert System与Physical Symbol System这些早期AI尝试的失败和连接主义 (connectionism) 的崛起。图灵测试对AI的认识论approach、类似心理测试的行为判定条件，似乎也是对现象学意义上的人类意识 (phenomenal consciousness) 的不可验证性的一个妥协的结果，暗示了我们永远无法跨越心灵哲学所言的解释鸿沟 (explanatory gap)。

在这个意味中看图灵测试，我甚至看到了图灵对整个AGI未来发展所持的悲观态度😂 即便是如今通过表征学习 (representation learning) 算法、由算力堆砌而成的成百上千Gigabytes参数的大语言模型，也未能动摇图灵在70年前提出的这个行为判定准则的地位。

我对能否建造AGI也持同样悲观的态度。The current AI boom is no more than wishful thinking and massive copium. 除非对人类consciousness、对心灵哲学的研究有了新的breakthrough（2019年火遍豆瓣的来自2060的未来人Kafka，就预言了未来人类将在50/60年代在此领域产生突破性的进展），这种盲人摸象式炼丹造就的大模型，更像是一个在符号界不断徘徊盘旋着的幽灵，而不是把守着通往意识世界的入口的卡戎。

Panpsychism或许是关于意识问题的一种安慰剂。如果我们的意识，本身与史前地球的一块石头说拥有的静止的意识是同质的 (homogeneous)，那么这个意识也就失去了一些特殊性。

类似They are made out of meat一文讽刺的外星人的想法，人类的意识本身不具备特殊性，而是大脑内生物化学变化的作用结果，那么通过模拟脑内环境的方法就能以很小的逼近误差构建出这个思维模型，behavioral criterion获得胜利。Searle其实也对此提出过一些异议，参见The brain simulator reply [1].

又或许，直接倒戈失败主义。承认即便是石头的意识，也不存在于我们这个表象世界，而位于另一个我们无法探索的意识世界，那么AGI问题可以直接宣判死刑。因为现象学意义上的解释鸿沟，我们永远无法构建出能从本质上逼近人类意识的AGI。

[1] Searle, J. R. (1980). Minds, brains, and programs. Behavioral and Brain Sciences, 3(3), 417–424. https://doi.org/10.1017/S0140525X00005756