文字接龙——人工智能惊人的简单原理，但是也很有启发性

题图：Cheva用AI创作

现在语言模型这么火，人工智能语言模型这么火，而且表现出来的能力也确实非常的强悍，甚至引起了很多人的恐慌，其中也不乏专业人士。 一个让人细思极恐的说法就是，人类只是机器文明的孵化器而已。 当然这一切的前提是人工智能能够产生自我意识，有自己的需求，但是现在还没有谁能够说得清楚什么是自我意识。 既然现在的大语言模型表现得如此像人类，也许可以通过了解人工智能的原理来理解人类的心智到底是怎么一回事。 于是看了很多与此相关的科普视频，其中比较推荐的是B站上面新石器公园的节目，还听了一位台湾教授李宏毅的部分讲座视频，学到的东西还是很多的，而且让我有些吃惊。
现在我们来抛开一些技术细节，像ChatGPT这样的很神奇的人工智能，其原理其实是非常简单的，甚至比Stable Diffusion这样的根据文字生成图像的人工智能模型还要简单。 因为这些看上去很像人类智能的人工智能语言模型，其实他们的任务就是文字接龙。 再说明白一点，就是根据前面的文字来预测下一个字是什么。 比如你如果问ChatGPT，“世界上最高的山是哪一座？”ChatGPT的运作过程其实就是把你这句话当作上下文在后面进行接龙。——“世界上最高的山是哪一座？喜”然后再把“世界上最高的山是哪一座？喜”作为上下文再一次进行推理，再进行一次预测。 这次得到的就是“马”。继续接龙，最后就得出了“喜马拉雅山”。 而这个接龙的能力就是通过学习互联网上大量的人类产生的文字资料而获得的。
当然人类的语言还是很有奥妙的，很多时候，接龙方法也不止一种。 比如我说“你好”，后面可以接感叹号，也可以接“你好啊”，“你好美”，“你好强”。 也就是说，语言模型产生接龙的结果是一个概率分布。 所以你问ChatGPT同一个问题很多遍，你会发现每次的答案都会有些许不同。 这一特性似乎和量子力学中的叠加态和本征态非常相似。 电子的属性也是一个概率分布，只有在观测时才会确定为其中许多种可能性中的一个。 而语言模型的输出也是一个概率分布。 只有当你输入具体的指令或问题时，它才会从这些多种可能中确定一个输出给你看。 每每想到这里不禁让我脑洞大开，也许这和我们世界的本质有什么联系？ 难道世界真的是虚拟的，它也许只不过是一个运行在外星人巨大电脑上的AI模型？ 好吧，这个扯得有点远，还是先拉回来。

回到我们开始的话题，既然AI模型只是在做文字接龙，那它又是如何听懂我的指令，回答我的问题呢？ 毕竟在使用ChatGPT时， 绝大多数情况下它都能够给出合理且准确地回答，并不像随机地在乱接话。 因为一个经过大量文字训练出来会文字接龙 的模型实际上就像一个懂得很多但却口无遮拦 的小孩子。如果大人在他旁边谈话 的话，也许说 的每个话题他都能够接上话 ，但却不一定 是人们想听 的话， 这样 的话就会让人很讨厌了。 所以学会了文字接龙之后， 还要做两件事情。 一件事用术语说叫instruction tuning， 就是要让他学习指令和结果。 比如说， 我需要让他给我翻译， 那么我就要让他看得懂翻译 的指令， 我就会把这样 的例子给他学习： “请把下面 的文字翻译成英文，需要翻译的文字：我爱你。， 结果： I love you。” 比较神奇 的是， 对于学习了大量文字资料 的语言模型， 你并不需要把所有 的指令都给他训练一遍。 只需要给他学习一定数量 的指令， 他就能够很好地听懂人类 的指示并完成任务了，就像人类所说的触类旁通。 这个现象给了我很大 的启示。 既然深度学习 是用算法在模拟神经网络 的工作原理， 那么这些特性可能也是适用于人 的大脑。 可以看出前面 的指令训练 的形式很像人类学生 的刷题。 但是大语言模型中指令训练 的现象说明， 题目并不是刷得越多就越好， 模型就越有用。 相反， 是语言模型 的参数量和模型在之前学习到 的文字量才是关键。 如果之前学习 的文字量， 也就是数据集， 足够大， 只需要进行少量 的指令训练， 也就是刷题， 就能够取得很好 的效果。 那么在儿童 的教育中， 应该也是这样 的。学习的重点并不是要刷大量的题目， 而是要阅读和学习大量的材料和知识。扩展知识面和阅读量。如果这两项指标上去了， 只需要进行很少量 的刷题训练， 就能够取得比较好的成绩了。

也许在孩子的教育方面应该汲取这个经验。