跟 Ilya（OpenAI 联合创始人）聊大语言模型和未来世界

这篇文章是《纽约时报》的前总编辑 Craig Smith 与 OpenAI 的联合创始人 Ilya 进行的一次访谈的记录。聊到了大语言模型的局限和潜力，以及 AI 在未来世界中可能带来的影响。鉴于 Ilya 在 AI 领域所做出的成绩和地位，他对 GPT 以及 AI 的思考还是挺值得一听的。

总结一下 Ilya 的一些观点：

• 从原理上看，GPT 好像只是学习统计规律来进行预测，并不了解世界和语言的本质，但要做出精准的预测就需要了解这些数据。随着生成式模型的不断完善，它对世界的理解也会越来越深，甚至到惊人的地步(从 GPT-4 强大的 Reasoning 就可以见一斑)。
• 幻觉（一本正紧地胡说八道）问题是可以被解决的，方式就是 RLHF（人工反馈的强化学习），调教师会借助 AI 工具来高效地给出反馈，哪些回答是对的，哪些回答是不合适的，哪些回答是错的。至于为什么会错，自己去想，想不明白就不要干了（俗称 PUA，是的，对 AI 也可以 PUA）。
• 多模态（比如图像、视频等）对于 GPT 理解世界是 Essential（必要的） 还是 Plus（辅助的）？Ilya 认为是 Plus，比如了解颜色之间的近似度，通过图像确实可以很直观快速地了解，但用文本也可以做到，虽然路线会更长，也更耗时（比如通过对比两个向量之间的角度和长度）。
• 未来的发展方向：更高效地学习（通过更少的数据更快地学到更多的内容），更可控，更稳定，减少人的参与，以及消灭幻觉。

我现在有点理解为什么要呼吁 Slow Down AI 了。摩托车、汽车虽然跑得比人快，但比赛时我们可以禁止它们参赛；AlphaGo 虽然更擅长围棋，我们也可以把它排除在赛场之外。但 AGI 就不一样了，虽然现在还没有一个公认的 AGI，但 GPT-4 的出现吹响了这个号角，让它不再那么遥远，只是这次我们不能再把它排除在外了。

人相对于动物很大的一个优势，是发达的前额叶皮层带来的智能：推理、规划、抽象思维、理解复杂思想、学习。如果有一个工具（或许称之为物种更合适？）在智能方面能够大幅超过普通人类，并且在持续进化，一个必然的结果就是让这个工具为自己所用，然后就会形成棘轮效应：一旦用上了，就回不去了。形成依赖之后，是否会降低使用者的智能？就像导航一样，要去哪里，告诉导航，然后顺着它设计的路线走就行了。