这是关于ChatGPT 如何运作 ChatGPT 工作原理的人工回答。
ChatGPT是最闪亮的新型人工智能工具之一，但自 2020 年以来，后台运行的算法实际上一直在为一系列应用程序和服务提供支持。因此，要了解 ChatGPT 的工作原理，我们需要从底层语言开始为它提供动力的引擎。
ChatGPT 中的 GPT 主要是GPT-3，即生成式预训练 Transformer 3，尽管 GPT-4 现在可供 ChatGPT Plus 订阅者使用——并且可能很快就会变得更加普及。GPT 模型由 OpenAI（ChatGPT 和图像生成器DALL·E 2背后的公司）开发，但它们支持从Bing 最近发布的 AI 功能到Jasper 和 Copy.ai等编写工具的所有内容。事实上，目前可用的大多数 AI 文本生成器都使用 GPT-3，并且下一步可能会提供 GPT-4。使用 OpenAI 和 X 构建 AI 驱动的工作流程
自动化 ChatGPT
ChatGPT 使 GPT-3 成为众人瞩目的焦点，因为它使与 AI 文本生成器的交互过程变得简单，而且最重要的是，对所有人免费。另外，它是一个聊天机器人，自从 SmarterChild 以来，人们就喜欢一个好的聊天机器人。
虽然 GPT-3 和 GPT-4 是目前最流行的大型语言模型 (LLM) ，但在未来几年内，竞争可能会更加激烈。例如，谷歌刚刚推出了 Bard——它的 AI 聊天机器人——它由自己的语言引擎提供支持，称为对话应用程序语言模型(LaMDA)。但就目前而言，OpenAI 的产品是事实上的行业标准。它只是人们最容易上手的工具。
那么“ChatGPT 是如何工作的？”的答案 基本上是：GPT-3 和 GPT-4。但是，让我们更深入地挖掘一下。
借助 X，您可以将 ChatGPT 连接到数以千计的其他应用程序，将 AI 引入您所有的业务关键型工作流程。
什么是ChatGPT
ChatGPT 是由OpenAI构建的应用程序。使用 GPT 语言模型，它可以回答您的问题、撰写文案、起草电子邮件、进行对话、用不同的编程语言解释代码、将自然语言翻译成代码等等——或者至少尝试——所有这些都基于自然语言提示你喂它。这是一个聊天机器人，但非常非常好。
图片来自ChatGPT
如果你想写一首关于你的宠物的莎士比亚十四行诗或者想为一些营销电子邮件的主题行提供一些想法，那么玩弄它虽然很酷，但它对 OpenAI 也有好处。这是一种从真实用户那里获取大量数据的方法，并且可以作为 GPT 强大功能的精美演示，除非您深入研究机器学习，否则它可能会让人觉得有点模糊。
目前，ChatGPT 提供两种 GPT 模型。默认的 GPT-3.5 功能较弱，但每个人都可以免费使用。更高级的 GPT-4 仅限于 ChatGPT Plus 订阅者，即使他们每天也只能得到有限数量的问题。
ChatGPT 的一大特色是它可以记住您与之进行的对话。这意味着它可以从你之前问过的任何内容中收集上下文，然后用它来通知它与你的对话。您还可以要求返工和更正，它会参考您之前讨论过的任何内容。它使与 AI 的交互感觉像是真正的来回。
如果您想真正感受一下，现在就去花五分钟玩一下 ChatGPT（它是免费的！），然后再回来阅读它的工作原理。
ChatGPT 如何运作？
这个庞大的数据集被用来形成一个深度学习神经网络 […] 以人脑为模型——这使得 ChatGPT 能够学习文本数据中的模式和关系 […] 预测任何给定句子中接下来应该出现什么文本.
ChatGPT 的工作原理是尝试理解您的提示，然后根据训练的数据吐出它预测最能回答您问题的单词串。
让我们实际上谈谈培训。在这个过程中，新生的 AI 被赋予了一些基本规则，然后它要么被置于情境中，要么被赋予大量数据来完成工作，以开发自己的算法。
GPT-3 接受了大约 5000 亿个“标记”的训练，这使其语言模型能够更轻松地分配含义并预测合理的后续文本。许多单词映射到单个标记，但更长或更复杂的单词通常会分解为多个标记。平均而言，令牌大约有四个字符长。 OpenAI 对 GPT-4 的内部运作保持沉默，但我们可以放心地假设它是在几乎相同的数据集上训练的，因为它更强大。
所有的令牌都来自人类编写的大量数据。这包括涵盖所有不同主题、风格和流派的书籍、文章和其他文档，以及从开放互联网上搜集的数量惊人的内容。基本上，它可以处理人类知识的总和。
这个庞大的数据集被用来形成一个深度学习神经网络——一个复杂的、多层的、以人脑为模型的加权算法——它允许 ChatGPT 学习文本数据中的模式和关系，并利用创造类似人类的能力通过预测任何给定句子中接下来应该出现什么文本来做出响应。
虽然确实如此，但这大大低估了东西。ChatGPT 不在句子级别上工作——相反，它生成的文本包含可以跟随的单词、句子，甚至段落或节。这不是您手机上的预测文本直截了当地猜测下一个词；它试图对任何提示创建完全连贯的响应。
为了进一步完善 ChatGPT 响应各种不同提示的能力，它针对对话进行了优化，采用了一种称为强化学习与人类反馈 (RLHF) 的技术。从本质上讲，人类创建了一个带有比较数据的奖励模型（其中两个或多个模型响应由 AI 培训师排名），因此 AI 可以学习哪个是最佳响应。
图片来自ChatGPT
回到它形成的神经网络。基于所有这些训练，GPT-3 的神经网络有 1750 亿个参数或变量，允许它接受输入——你的提示——然后，根据它赋予不同参数的值和权重（以及少量随机性） ), 输出它认为最符合您的要求的任何内容。OpenAI 没有说 GPT-4 有多少参数，但可以肯定的猜测是它超过 1750 亿个，低于曾经传闻的100 万亿个参数。不管确切的数字是多少，更多的参数并不自动意味着更好。GPT-4 的一些增强功能可能来自于比 GPT-3 拥有更多的参数，但很大程度上可能归因于其训练方式的改进。
最后，最简单的想象方式就像您小时候玩的那些“完成句子”游戏之一。
最后，最简单的想象方式就像您小时候玩的那些“完成句子”游戏之一。例如，当我使用 GPT-3 给 ChatGPT 提示“X是……”时，它回答说：
“X是一种基于网络的自动化工具，允许用户将不同的网络应用程序连接在一起，以自动执行重复性任务并改进工作流程。”
你可以在数百篇描述 X 所做的事情的文章中找到这种句子，所以它在这里吐出的是这种东西是有道理的。但是当我的编辑给它同样的提示时，它说：
“X 是一种基于 Web 的自动化工具，允许用户连接不同的 Web 应用程序并自动执行它们之间的工作流程。”
这非常相似，但不是完全相同的响应。这种随机性（您可以在某些 GPT-3 应用程序中使用称为“温度”的设置来控制它）确保 ChatGPT 不只是对每个单一的响应做出回应，相当于一个普通的答案。它每次都在整个神经网络中运行每个提示，并在这里和那里掷几个骰子以保持新鲜感。它不太可能开始声称 X是来自火星的颜色，但它会根据它们的相对可能性混淆以下单词。
（对于它的价值，当在 GPT-4 上运行时，ChatGPT 说：“ X是一种基于 Web 的自动化工具，它允许用户在各种在线应用程序和服务之间集成和自动化任务。”大同小异！）
吐出的是文字，而不是知识
ChatGPT 的制造商率先指出它可能会产生不正确（并且可能有害）的信息，尽管他们正在努力修复它。
这是一个简单的例子。当我要求使用 GPT-3 和 GPT-4 的 ChatGPT 回复“Harry Guinness 是……”时，GPT-3 首先回答询问哪个 Harry Guinness。好问题——我们实际上是两个人！所以我说，“作家哈利吉尼斯”（就是我）。GPT-4 马上就猜到了我是谁，尽管两种回答都很有趣：
GPT-3： Harry Guinness 是爱尔兰的自由作家和记者。他为各种出版物撰稿，包括《纽约时报》、《卫报》、《赫芬顿邮报》和《大众机械》。他涵盖的主题从技术和摄影到旅游和文化。
GPT-4：Harry Guinness 是一位爱尔兰作家、摄影师和技术专家。他为各种出版物撰稿，包括 How-To Geek、Lifehacker 和 Tuts+。他的工作主要侧重于技术、教程和技巧，以及摄影和图像编辑。Guinness 以创建详细的指南而闻名，这些指南可以帮助读者理解复杂的主题或以直接的方式解决问题。
GPT-3 的第一行和最后一行几乎是从我的各个网站和网络上的作者简介中逐字提取的（尽管我通常将自己列为自由作家和摄影师，而不是记者）。但是出版物的清单基本上是编造的。我曾为《纽约时报》撰稿，但不是为《卫报》、《赫芬顿邮报》或《大众机械》撰稿（我确实定期为《大众科学》撰稿，所以这可能就是来源）。
GPT-4 正确处理了摄影师部分，实际上列出了我为之撰写的一些出版物，这令人印象深刻，尽管它们不是我最引以为豪的。这是一个很好的例子，说明 OpenAI 如何能够提高 GPT-4 相对于 GPT-3 的准确性，尽管它可能并不总是提供最正确的答案。
但是让我们回到 GPT-3，因为它的错误提供了一个有趣的例子，说明了 ChatGPT 幕后发生的事情。它实际上对我一无所知。它甚至不是从互联网上复制/粘贴并信任信息源。相反，它只是根据它拥有的数十亿个数据点来预测接下来会出现的一串单词。
例如：《纽约时报》与《卫报》和《赫芬顿邮报》归为一组的次数远多于与《连线》、《户外》、《爱尔兰时报》，当然还有《扎皮尔》等我曾为其撰稿的地方。因此，当它必须从《纽约时报》中找出应该采取的后续行动时，它不会从已发布的关于我的信息中提取信息；它从所有训练数据中提取大型出版物列表。它非常聪明，看起来很有道理，但事实并非如此。
GPT-4 做得更好，并且对出版物进行了修改，但它所说的其余部分真的感觉像是似是而非的后续句子。我不认为它对我的声誉有任何高估：它只是在说生物说的那种话。它比 GPT-3 更善于隐藏它的工作原理，尽管它实际上使用了很多相同的技术。
尽管如此，GPT 已经取得的进步还是令人印象深刻。目前，GPT-4 被锁定在高级订阅之后，因此您看到的大多数 ChatGPT 内容都将依赖 GPT-3，但这可能会在接下来的一段时间内发生变化。谁知道 GPT-5 会带来什么。