How ChatGPT Works Technically For Beginners（ChatGPT 工作原理简介）

这个视频从 Beginner 的角度描述了 ChatGPT 的大致运行原理，不需要编程基础就能看明白，可以对 ChatGPT 有一个整体的了解。

我们知道人的大脑里有数百亿的神经元，万亿个神经元突触连接。ChatGPT 内部也有数量庞大的神经元组成的神经网络。只不过人类的神经元之间通过电信号传递，而 ChatGPT 的神经元连接则是通过数学和编程的方式实现。

对神经元的运行机制做一个简化，就是接收一个特定的输入，然后会产生不同的输出，这些不同的输出又可以作为其他神经元的输入。比如上图中这个神经元接受 3 作为输入，然后输出 5，1，9。

切换到机器学习的语境，如果用神经网络的方式来学习辨识鸟，可能就会像上图这样（做了简化），将图像进行某种方式的切割，作为 input layer，这个 layer 里的神经元又会将输入传递给下一层的神经元，因为每个神经元对感兴趣的输入都不一样，所以可能有些神经元被激活了，有些则没什么响应。一开始这套系统的识别率会很低，但训练者可以告诉它结果是对的还是错的，进而来调整内部的神经网络。经过大量数据的训练后，这个模型就具备了识别特定物体的能力。

当然还有很多种神经网络的连接方式（就像人的大脑一样），可以应对不同的场景。ChatGPT 是通过大语言模型训练出来的，啥意思呢？就像人类婴儿小时候一样，虽然不能说话，但天天能听到家人们的对话，就会积累对语言的使用经验，但还是会有点笨拙。等到上学后，在老师的监督下学习就会知道怎样的表达是正确的，怎样的语言组合是错误的。ChatGPT 也经历了类似的两个阶段，第一阶段会学习大量的互联网上的文本数据，慢慢积累知识和语感，第二阶段通过人工调教，告诉它怎样的回答加分，怎样的回答减分，对 ChatGPT 进行强化学习。经过这两个步骤后，ChatGPT 就很会说人话了。

都是神经网络，但 ChatGPT 的神经网络跟人的神经网络还是不太一样。人类需要花费大约 25 年的时间才能拥有完全发育的大脑。即使完全发育后，神经元也总是在发生变化（可塑性），从对话、书本、经验中持续学习。但 ChatGPT 的神经网络训练完成后，基本就定型了（虽然也可以通过对话来更新模型，但整体来说还是偏 Fixed）。