ChatGPT 的技术上个星期被微软装上Bing搜索，击败谷歌，创造新时代的时候似乎已经到来了。然而随着越来越多的人开始试用，一些问题也被摆上前台。 

有趣的是，每天都在登上热搜的 ChatGPT 似乎也让以往观点相悖的着名学者，纽约大学教授 Gary Marcus 和 Meta 人工智慧主管、图灵奖得主 Yann LeCun 罕见的有了共同语言。

近日，Gary Marcus 撰文介绍了 ChatGPT 应用无法避免的问题：道德和中立性。这也许是预训练大模型目前面临的最大挑战。

从未来回看现在，ChatGPT 可能会被视为 AI 历史上最大的宣传噱头，夸大说自己实现了可能数年之后才能发生的事情，让人趋之若鹜却又力不从心 —— 有点像 2012 年的旧版无人驾驶汽车演示，但这一次还意味着需要数年才能完善的道德护栏。 

毫无疑问，ChatGPT 提供的东西是它的前辈，如微软的 Tay，Meta 的 Galactica 所做不到的，然而它给我们带来了一种问题已经解决的错觉。在经过仔细的资料标注和调整之后，ChatGPT 很少说任何公开的种族主义言论，简单的种族言论和错误行为请求会被 AI 拒绝回答。 

它政治正确的形象一度让一些倾向保守的人不满，马斯克就曾表示对该系统的担心：

现实的情况其实更复杂。 

正如我多次强调的，你需要记住的是 ChatGPT 不知道它在说什么。认为 ChatGPT 有任何道德观点完全是纯粹的技术拟人化。 

从技术角度来看，据称使 ChatGPT 比几周前发表但三天后才被撤回的 Galactica 好得多的是护栏机制。Galactica 会肆无忌惮地输出负面内容，而且使用者几乎不需要付出任何努力，而 ChatGPT 有护栏，而这些护栏在大多数情况下会阻止 ChatGPT 像 Galactica 那样爆发。 

不过，不要为此而松口气。可以肯定地说，那些护栏只不过是防君子不防小人。 

最终对 ChatGPT 真正重要的是表面相似性，定义在单词序列上（预测文本序列下一个单词出现的概率）。机器学习演算法在表面上所做的事并不明辨是非，恰恰相反，在这里 AI 从不推理。盒子里没有矮人，有一些数值。依据只有语料库资料，一些来自网际网路，一些是人工判断的，里面没有有思想的道德代理人。 

这意味着有时 ChatGPT 会出现在左，有时在右，有时介于两者之间，所有这些都是关于输入字串中的一堆单词如何恰好匹配几个训练语料库中的一堆单词的函数（一个用于调整大型语言模型，另一个用于调整一些强化学习）。所以在任何情况下都不应该信任 ChatGPT 提供的道德建议。 

这正是马斯克担心的，前一分钟你会完全清醒，接下来你可以做一些完全相反的事情。