ChatGPT 的原理可以用浅显的语言逐层说明如下： 首先，它获取与迄今为止的文本相对应的 token 序列，并找到表示它们的嵌入（即一组数字的数组）。 然后，在这个嵌入上进行操作，以“标准神经网络方式”，值“逐层流动”到网络的连续层中，从而生成一个新的嵌入（即一个新的数字数组）。 接着，从这个数组的最后一部分生成一个大约有 50,000 个值的数组，这些值将变成不同可能的下一个 token 的概率。 关键是，这个流程的每个部分都是由神经网络实现的，其权重由端到端的网络训练确定。 此外，您还可以通过以下资源更深入地了解：
它有三个基本阶段。首先，它获取与迄今为止的文本相对应的token序列，并找到表示它们的嵌入（即一组数字的数组）。然后它在这个嵌入上进行操作——以“标准神经网络方式”，值“逐层流动”到网络的连续层中——以生成一个新的嵌入（即一个新的数字数组）。然后，它从这个数组的最后一部分中生成一个大约有50,000个值的数组，这些值将变成不同可能的下一个token的概率。（是的，碰巧有大约与英语常用单词相同数量的token被使用，但只有大约3000个token是整个单词，其余的是片段。)关键是，这个流程的每个部分都是由神经网络实现的，其权重由端到端的网络训练确定。换句话说，实际上除了整体架构外，一切都是从训练数据中“学习”的，而不是“显式设计”。然而，在设置体系结构方面有许多细节，这些细节反映了各种经验和神经网络知识。即使这绝对涉及到细节，但我认为谈论其中一些细节仍然很有用，这至少可以让我们了解到构建ChatGPT这样的系统需要多少工作量。首先是嵌入模块。这是GPT-2的草图Wolfram语言表示：
|名称|作者/来源|总结|链接|发布日期|必看星标|图片|<br>|-|-|-|-|-|-|-|<br>|ChatGPT诞生记：先捞钱，再谈理想｜OpenAI翻身史|林亦LYi|ChatGPT的背后是OpenAI这家公司，今天我们聊聊它的理想、成果与争议。|[https://www.bilibili.com/video/BV1Te4y1w7D6/](https://www.bilibili.com/video/BV1Te4y1w7D6/)|2023/02/10|👍🏻||<br>|【渐构】万字科普GPT4为何会颠覆现有工作流|YJango|视频是关于GPT的底层原理和未来影响。将抛开技术细节，少用专业名词，在整体功能上讲解ChatGPT的「工作原理」「制造过程」「涌现的能力」「未来的影响」以及「如何应对」|[https://www.bilibili.com/video/BV1MY4y1R7EN/](https://www.bilibili.com/video/BV1MY4y1R7EN/)|2023/03/15|👍🏻||<br>|终于有人把chatGPT说清楚了——全网最深入浅出的chatGPT原理科普|新石器公园|本视频深入浅出的讲解了chatGPT的基本原理和演化过程，让你真正理解这个世界最大的变化。
|任务名|内容摘要|链接|标签|分类|必读星标|<br>|-|-|-|-|-|-|<br>|ChatGPT中，G、P、T分别是什么意思？|GPT：Generative Pre-Training Transformer，分别代表生成式、预训练和转换器。|[https://mp.weixin.qq.com/s/vXoYeA7w6l_WiKmDHogdTA](https://mp.weixin.qq.com/s/vXoYeA7w6l_WiKmDHogdTA)|ChatGPT|入门||<br>|大白话聊ChatGPT|逐字稿：[2023/3/6大白话聊ChatGPT直播逐字稿（Sarah &王建硕）](https://d58hixvcd6.feishu.cn/docx/HfMEds7Z1ov37wxqM19czTBinWg)|[https://www.xiaoyuzhoufm.com/episode/641183b5bb1fc0cb68f810c6](https://www.xiaoyuzhoufm.com/episode/641183b5bb1fc0cb68f810c6)|ChatGPT|入门||<br>|AI的时代已经到来|在比尔·盖茨的一生中，他说看到了两次技术演示，让他感到革命性。一次是图形界面，而另一次呢，是他在2022年感受到的。