ChatGPT 是通过从网络、书籍等来源获取大量人类创作的文本样本,训练神经网络来生成类似的文本。其基本概念是让神经网络能够从提示开始,生成类似于训练内容的连贯文本。
ChatGPT 中的实际神经网络由大量简单元素组成,基本操作是为每个新单词生成输入并通过元素处理。但这个过程能产生出色的类似人类语言的文本,这表明人类语言及思维模式的结构比想象中更具规律性。
不过,ChatGPT 在训练和硬件方面与大脑存在差异,其策略可能效率较低,内部没有循环或重新计算数据,限制了计算能力。但目前看到它能做到的事情令人兴奋,也为更好理解人类语言和思维过程提供了动力。
ChatGPT 基于 OpenAI 最先进的语言模型 gpt-3.5-turbo。使用 OpenAI 的 API,可利用 gpt-3.5-turbo 构建多种应用,如起草邮件、写代码、回答文档问题、创建会话代理、提供软件自然语言接口、辅导学科、语言翻译、假扮角色等。还可体验 OpenAI 在线编辑器的聊天格式。
ChatGPT的基本概念在某种程度上相当简单。从网络、书籍等来源中获取大量人类创作的文本样本。然后训练神经网络生成“类似”的文本。特别是让它能够从“提示”开始,然后继续生成“类似于训练内容”的文本。正如我们所见,ChatGPT中的实际神经网络由非常简单的元素组成,尽管有数十亿个。神经网络的基本操作也非常简单,基本上是为每个新单词(或单词部分)生成“输入”,然后将其“通过其元素”(没有任何循环等)。但是,这个过程能够产生成功地“类似于”网络、书籍等内容的文本,这是非常卓越和出乎意料的。它不仅是连贯的人类语言,而且“说的话”是“遵循其提示”的,利用其“读到”的内容。它并不总是说出“全局意义上的话”(或对应于正确的计算),因为(例如,没有访问Wolfram|Alpha的“计算超能力”)它只是根据训练材料中的“声音类似”的东西“说出”“听起来正确”的东西。ChatGPT的具体工程使其相当引人入胜。但是,最终(至少在它可以使用外部工具之前),ChatGPT仅仅从它积累的“传统智慧统计数据”中提取了一些“连贯的文本线索”。但是,其结果有多么类似于人类。正如我所讨论的,这表明了一些至少在科学上非常重要的事情:人类语言(以及背后的思维模式)的结构比我们想象的要简单和更具有“法律属性”。ChatGPT已经隐含地发现了它。但是我们可能可以用语义语法、计算语言等明确地揭示它。ChatGPT在生成文本方面的表现非常出色,结果通常非常接近我们人类所产生的。那么这是否意味着ChatGPT像大脑一样工作呢?它的基本人工神经网络结构最终是基于大脑的理想化模型的。当我们人类生成语言时,许多方面的工作似乎是相当相似的,这似乎是非常可能的。
但是,当涉及到训练(也就是学习)大脑和当前计算机的不同“硬件”(以及可能的未开发算法思想)时,ChatGPT需要使用一种可能相当不同(并且在某些方面效率远低于)大脑的策略。还有另一件事:与典型的算法计算甚至不同,ChatGPT内部没有“循环”或“重新计算数据”。这不可避免地限制了它的计算能力,甚至相对于当前的计算机,但绝对相对于大脑。目前尚不清楚如何“解决这个问题”并且仍然保持训练系统具有合理效率的能力。但是这样做可能会让未来的ChatGPT能够做更多“类似于大脑的事情”。当然,有很多大脑做得不太好的事情,尤其是涉及到相当于不可约计算的内容。对于这些问题,大脑和ChatGPT这样的东西都必须寻找“外部工具”——例如Wolfram语言。但现在看到ChatGPT已经能够做到的事情是令人兴奋的。在某种程度上,它是一个绝佳的基本科学事实,即大量简单的计算元素可以做出令人惊讶和意想不到的事情。但它也为我们在两千年内对人类语言和背后的思维过程的基本特征和原则有更好的理解提供了最好的动力。一些读书笔记张无常https://mp.weixin.qq.com/s/cpLDPDbTjarU0_PpBK_RDQ
[ChatGPT](https://chat.openai.com/chat)基于OpenAI最先进的语言模型gpt-3.5-turbo。使用OpenAI的API,你可以使用gpt-3.5-turbo构建你自己的应用来做这些事情:起草一份邮件或者其他文字内容写Python代码回答关于一组文档的问题创建会话代理(conversational agents)给你的软件提供一个自然语言的接口辅导各种学科语言翻译假扮成游戏中货其他内容的角色这个指引说明了如何[调用基于聊天的语音模型的API](https://platform.openai.com/docs/api-reference/chat)并分享了一些能获取到更好结果的技巧。你也可以体验新的[OpenAI在线编辑器的聊天格式](https://platform.openai.com/playground?mode=chat)。