ChatGPT 从网络、书籍等来源获取大量人类创作的文本样本进行训练，其神经网络由简单元素组成，虽操作简单，但包含数十亿个元素和 1750 亿个连接及权重。每次生成新 token 时，都需进行涉及所有权重的计算，可在 GPU 上高度并行完成，但生成长段文本仍需时间。
ChatGPT 最终从积累的“传统智慧统计数据”中提取“连贯的文本线索”，其生成的文本结果非常接近人类所产生的。这表明人类语言及背后思维模式的结构比想象中更具“法律属性”，ChatGPT 已隐含发现，或许我们能通过语义语法、计算语言等明确揭示。
ChatGPT 的基本人工神经网络结构基于大脑的理想化模型，人类生成语言时的许多方面与其工作可能相似。但至少在能使用外部工具之前，ChatGPT 只是提取文本线索，且目前没有“终极理论”能预见其设计对自然语言问题必然有效，不过它在生成语言方面确实表现出色，这可视为一项潜在惊人的科学发现。
ChatGPT的基本概念在某种程度上相当简单。从网络、书籍等来源中获取大量人类创作的文本样本。然后训练神经网络生成“类似”的文本。特别是让它能够从“提示”开始，然后继续生成“类似于训练内容”的文本。正如我们所见，ChatGPT中的实际神经网络由非常简单的元素组成，尽管有数十亿个。神经网络的基本操作也非常简单，基本上是为每个新单词（或单词部分）生成“输入”，然后将其“通过其元素”（没有任何循环等）。但是，这个过程能够产生成功地“类似于”网络、书籍等内容的文本，这是非常卓越和出乎意料的。它不仅是连贯的人类语言，而且“说的话”是“遵循其提示”的，利用其“读到”的内容。它并不总是说出“全局意义上的话”（或对应于正确的计算），因为（例如，没有访问Wolfram|Alpha的“计算超能力”）它只是根据训练材料中的“声音类似”的东西“说出”“听起来正确”的东西。
如果看一下ChatGPT的最长路径，涉及大约400（关键的）层——在某些方面【和其他某些神经网络相比】不算很多。但是它有数百万个神经元，共计1750亿个连接，因此有1750亿个权重。需要认识到的一件事是，每次ChatGPT生成新token时，都必须进行一次涉及所有这些权重的计算。从实现角度来看，这些计算可以按照高度并行，可以方便地在GPU上完成。但对于每个生成的token，仍然必须进行1750亿次计算（实际比这还要多一点）——因此，不足为奇的是，使用ChatGPT生成一长段文本可能需要一些时间。但最终，值得注意的是，所有这些操作——虽然它们本身非常简单——却可以一起以如此出色的“类似于人类”的方式生成文本。必须再次强调（至少就我们所知），没有“终极理论”可以预见到ChatGPT的设计对类似于对于自然语言这样的任何问题必然有效【但是事实上它就是很有效】。实际上，正如我们将要讨论的那样，我认为我们必须将其视为一项——潜在惊人的——科学发现：在像ChatGPT这样的神经网络中，以某种方式捕捉到了人类大脑在生成语言方面所能做到的本质。
ChatGPT的具体工程使其相当引人入胜。但是，最终（至少在它可以使用外部工具之前），ChatGPT仅仅从它积累的“传统智慧统计数据”中提取了一些“连贯的文本线索”。但是，其结果有多么类似于人类。正如我所讨论的，这表明了一些至少在科学上非常重要的事情：人类语言（以及背后的思维模式）的结构比我们想象的要简单和更具有“法律属性”。ChatGPT已经隐含地发现了它。但是我们可能可以用语义语法、计算语言等明确地揭示它。ChatGPT在生成文本方面的表现非常出色，结果通常非常接近我们人类所产生的。那么这是否意味着ChatGPT像大脑一样工作呢？它的基本人工神经网络结构最终是基于大脑的理想化模型的。当我们人类生成语言时，许多方面的工作似乎是相当相似的，这似乎是非常可能的。