从涌现现象看大语言模型与复杂系统

在复杂系统中，「涌现」是一个经常会被提到的名词，简单解释就是：系统定量上的变化导致系统行为上的定性变化，使得整体上展现出了构成它的个体所不具备的新特性。比如单个蚂蚁毫无智力可言，但当一大群蚂蚁聚集在一起时，就会呈现出智能。

这篇文章以涌现现象为切入点，从复杂系统的视角结合动力学来分析 AI 大模型。动力系统最简单理解就是油门和刹车，跑得快了踩一脚刹车，跑得慢了踩一脚油门，这两个工具的配合就能达到调配动力的效果。神经网络里也有类似的机制，比如前馈过程（数据从 input 神经元，跋山涉水，经过各个神经元，被 transform 成各个数值，一直到 output 神经元）就是那脚油门，而反向传播传播（通过与误差的比较来修正神经元的权重值）就像那脚刹车。如果误差小，就轻踩，误差大就踩得狠一点。

大模型的涌现能力跟渗流模型比较像，在低于某个阈值时是很多个小单元，一旦突破这个阈值，这些单元就会串联起来形成一个联合体，表现上就是出现了新的能力。或许也可以用渗流模型来解释思维链（CoT，就是要思考好几步才能得到最终的结果）。但这也会带来一些新的问题，比如这个能力的边界在哪里，什么场景下会有怎样的表现？

文中还提到了「生态位」和语言中的类比现象的相似性。简单来说就是职能差不多，但长得不一样。

我们都知道每一个物种在整个生态系统中都有着独一无二的地位和作用，如果一个生态位上的物种消失，经过一段时间的演化，该生态位上就有可能“诞生”出一个全新的物种，但是它的功能和原物种极其相似。

如果我们将一个词所表达的概念看作是一个物种，而人类整个语言所起到的功能性作用看作是一个生态系统，那么每个概念也就会具有一个类似的生态位。现代的基于预训练的语言大模型本质上就是建立在各个词汇彼此之间的类比关系而进行语言理解的

比如，那个著名的公式：男人-女人=国王-王后。也就是说，表示男人和女人的词向量彼此相减得到的差向量，是与表示国王和王后的词向量彼此相减得到的差向量非常接近的。这说明，在整个语言体系中，国王相对于王后相当于男人相对于女人。国王和王后的关系可以类比为男人和女人的关系。王后这个词在王室成员这个具体的生态系统中起到了和女人这个词在更大的人物角色这个生态系统中类似的生态位。

将 AI 大模型与复杂系统类比，一方面是因为这二者在某些方面有相似性，更主要的还是从复杂系统的研究视角来理解和改进 AI 大模型。