GPT4被曝变蠢-为了降本OpenAI偷偷搞小动作吗

GPT-4被曝“变蠢”!为了降本，OpenAI偷偷搞“小动作”吗?用户反馈GPT-4性能下降，逻辑性能削弱、出现大量错误回复、生成能力差等问题;可能采用MoE技术导致模型复杂性增加。专家建议将预测模型分解成多个子任务进行训练。

新闻详情

“你们发现了吗?最近GPT-4的画质变差了吗?”

早在今年五月中旬， OpenAI的网络开发论坛上，就有一位GPT-4的用户留言，说GPT-4似乎“变蠢”了。

他说：“我一直在使用 ChatGPT，自从GPT-4发布以来，我一直是 GPT+的用户。通常情况下，我会使用GPT-4，以帮助分析和创造较长的内容。以前，GPT-4看起来对我的需求非常了解。但是现在，它好像失去了追踪信息的能力，给了我许多错误的信息，并且越来越多地误解了我的需求。

还是只有我一个人碰巧碰上了?”

事实证明，这个GPT-4用户并非孤家寡人，在这个帖子下面，有很多人留言：“我也是这么觉得的!”

01错误百出的新版gpt-4

据很多用户反馈，除了分析和写长篇文章的能力下降外，GPT-4的写作质量也下降了。

Roblox产品负责人杨彼得在 Twitter上说，GPT-4模式的输出速度加快，但是质量下降：“一些很简单的事情，比如如何使文字更加清晰、简洁和表达观点，我认为是文字质量下降。”

最新版本的GPT-4算法在讨论和评估复杂反问题、变化速率和变化模式、时间和空间变异等方面的逻辑性能明显下降。

他说：“在GPT-4升级以前，我几乎没有收到过错的回答，但是现在，我必须对每一个结果都进行仔细的检查(也就是说，现在双否定条件有时无法正确转换成肯定条件)。我认为这个错误与GPT-4相比，更接近于GPT-3.5的程度。”

即使是在编码能力方面，新版本的GPT-4输出的质量也没有以前那么好。

一位开发人员曾经用GPT-4写过网页的函数代码，他抱怨道：“现在的GPT-4太让人失望了。”这就好像开了一个月的法拉利，突然变成一辆破卡车一样，我不知道自己还会不会继续花钱买它。”

另一个开发人员还提到，目前GPT-4会循环输出代码：“非常糟糕，GPT-4会一而再再而三地输出代码或者其它信息。我命令它编写代码，当它运行到某一点时，就会出现一个"````"，然后再次运行!现在的它，比起当初的它，完全就是一个傻子。”

除此之外，在 Twitter、 OpenAI等在线开发论坛上，也有不少用户反映，新版本GPT-4的逻辑被削弱了，出现了大量错误回复，无法追踪信息，没有按照说明书的要求去做，甚至连基础代码都忘了加括号，只记得最新的提示等等。

对于GPT-4的突然“降智”，也有用户提出了自己的猜测：“现在的版本，跟刚发布的版本有很大的区别，我猜是 OpenAI为了满足更多的用户，做出了牺牲。”

从这一点上来看，这款GPT-4的“风评”，还真不如它刚推出的时候那么好。

02GPT-4的速度越来越快，但也越来越“蠢”

去年年底，基于 GPT-3.5的 ChatGPT问世，凭借其出色的生成能力，引发了 AIGC热潮，而今年3月， OpenAI发布的GPT-4，更是引起了全球的轰动。

那时候，GPT-4被称为“最强人工智能模型”，因为它的多模态特性，让它不仅可以理解图像，还可以理解文字，因此很快就成为了开发者以及其他科技领域的首选模型，并衍生出许多关于GPT-4的赞誉，比如十秒造出一个网站，通过最难的美国法律考试，以及麻省理工学院数学考试满分……

然而就在人们为GPT-4的强大而惊叹的同时，那昂贵的价格和响应速度，却是让人瞠目结舌。作为回应，帮助开发人员建立大规模定制语言模型的 Lamini首席执行长周雪伦(Sharon Zhou)说：“GPT-4速度很慢，但是很精确。”

直到今年5月，GPT-4仍然是一种“缓慢、昂贵、但是非常精确”的模式。随后，它的响应速度开始加快，用户开始质疑它的性能下降。

关于这一现象，包括周 Sharon在内的一些人工智能专家提出了这样的看法： OpenAI可能创建了一些类似于大模型的小型GPT-4模型，但是更便宜。

03专家猜测：可能和 MoE技术有关系。

据周夏龙教授介绍，这一方法被称为“混合专家系统”。MoE (MoE)是神经网络领域中出现的一种新型集成学习技术，是当前训练数以万亿的参数化模型的核心技术。

具体而言，该方法将预测模型分解成多个子任务，针对每一个子任务建立专家模型(专家组模型)和门模型(Gating模型)，根据预测结果选择信任哪一个专家，对预测结果进行综合。

那么为什么 MoE技术会被GPT-4所引用呢?周Sharon解释说，GPT-4中的这些小型专家模型将被训练用于不同的任务和主题领域，比如可以有一个小型的GPT-4专家模型，这样当用户向GPT-4提问时，这个新的系统将会知道将该问题提交给哪一个专家模型。此外，为了避免出现这种情况，该系统还可能向两个以上的专家模型发送问题，然后把结果混合起来。

对于这种行为，夏伦·周将其描述为“忒修斯之舟”(这是一个关于身份转换的悖论，假设一个事物的组成发生了变化，它依然是原来的事物)。也就是过一段时间， OpenAI将取代GPT-4中的某些部件：“OpenAI正在把GPT-4打造成一个小规模的舰队。”

基于以上推测，周雪伦认为最近出现的关于GPT-4 “变蠢”的说法，很可能与 MoE的训练方法有关：“当用户对GPT-4进行测试时，我们会提出许多不同的问题，小规模GPT-4的专家模型做不到这一点，但是它会从我们这里收集数据，然后不断地改进、学习。”

04gpt-4的体系结构曝光?

随着用户对GPT-4 “变蠢”的反馈不断增加，几个人工智能专家在这周也发布了所谓的“GPT-4架构细节”。

其中，一位名叫 Yam Peleg的推特博主称，GPT-4具有1.8万亿个参数，120个层，体积是GPT-3的十倍，训练用的是13 Ttoken，训练成本在6300美元左右……

到目前为止， OpenAI尚未对此作出回应。然而，艾伦人工智能研究院的创始人欧伦·埃奇奥尼却对媒体说：“虽然还没有得到证实，但我觉得这个猜测应该是对的。”

他解释说，通常使用 MOE方法的原因有二：一是希望得到一个更好的结果，二是希望得到一个更便宜更快速的结果。

“理想状态下， MOE可以做到两者兼得，但实际上，很多时候还是要权衡成本和质量。”在这个基础上，欧伦·埃特齐尼认为，从目前的情况看， OpenAI看起来是在降低GPT-4的成本上做出了牺牲。

那么你对此有何看法?