ChatGPT 目前的发展情况如下：
Gen AI/Generative AI是“生成式人工智能”正式称呼。Generative AI是一种能够生成新内容的人工智能技术，比如文本、图像、音乐等。而AIGC指的是由人工智能生成的内容的创作方式，实际上是Generative AI的应用结果。[heading1]问题四、ChatGPT是什么？[content]从OpenAI的官网中可以查询到，在2022年宣发时，OpenAI称ChatGPT是一种模型。但是同样是在官网中查询帮助页面，发现这里称ChatGPT是一种服务。而我们使用的ChatGPT目前是依赖GPT系列模型来运转的。不做任何怀疑论上的揣摩，从公开收集的资料中可以看出，早些年OpenAI推出了一个叫ChatGPT的模型，但目前我们所熟知的ChatGPT逐渐演变成了一种可以兼容多种GPT模型的聊天应用（服务）。
当时团队一年里的大部分时间里都在做这个项目，但后来我们减少了对浏览功能的侧重，因为模型内部的知识已经非常丰富，浏览功能并不是最吸引人的部分。我们当时把这个产品给朋友和家人用了一段时间，也在考虑要公开发布。GPT-4就是在2022年的8月完成了训练。GPT-4是OpenAI的旗舰项目，特别强调指令遵循能力，因为这些是会被实际部署到生产环境中的模型。这些模型的首次finetune使用了完整的技术栈，并且表现出色，所以大家对它们期望极高。尽管这些模型有时能产生令人惊艳的输出，它们的可靠性还是存在问题，有时会出现明显的错误或hallucination，所以GPT-4还不是最终的进化完成体，不过综合能力已经非常优秀了。在那之后，大家暂时忘记了chat这个分支。我们继续研究，把指令型数据（通常用来训练AI执行特定的任务）和聊天数据（更侧重于模拟人类间自然对话的数据）混合在一起，希望能够结合这两个东西的优点，创造出一个既可以处理具体任务又能流畅聊天的模型。但从结果看来说，显然是chat模型使用起来更简单，它能够更好地了解并处理自己的潜在局限性，这是我在开发过程中最激动的事情之一，因为这说明一些人认为的语言模型的固有缺陷，实际上可以通过一些直接的方法得到解决。指令型模型中的一些任务，比如“complete this text，but in a nice or helpful way（以友好和能有帮助的方式补全这段文本）”本身的描述是不够明确清晰的，这会让模型难以执行，也增加了数据标注者的困难。而chat模型则更加直观，人们对于一个能给我们帮助的bot该具备哪些行为特点有自然的预期，也会让chat模型在理解任务和执行上更简单和准确。因此，这类模型能够展现出更连贯的特征和更稳定的行为。Dwarkesh Pa tel：这是不是说所有人用你开源的fine-tuning API都能训练出一个像ChatGPT这样的模型？
还记得在2017年，当商家向我推荐购买天猫精灵时，我兴致勃勃地尝试了一阵子后感到非常失望。如今，它已经变成了一个用来收蚂蚁森林能量的普通音箱了😂。这与厂商的初衷背道而驰，因为最初对它的期望是成为一个平台级的交互入口。但由于技术不成熟，产品体验问题非常严重，只能执行一些简单的指令任务，生成的对话非常僵硬。自从去年11月30日发布以来，ChatGPT在科技圈内引起了广泛的关注。到了2月份，它已经成为了全民狂欢的对象。人们被AI对自然语言的理解和丝滑流畅的表达所震惊，与之前的聊天机器人相比，简直是天上地下的差距。ChatGPT的出现标志着聊天机器人技术的巨大进步，它为人机交互带来了更加自然、智能的体验。那么为什么聊天机器人看起来不再是“人工智障”了？让我们来解构一下“ChatGPT”这个词，你就知道为什么它会看起来更智能了。“Generative”可以理解为单字接龙，它是通过结合上文来计算下一个字的概率，选择概率大的那个字接到后面。在使用ChatGPT时，你可以看到它是一个字一个字生成的，这并不是有意设计成这样，而是因为它真实地反映了生成式模型的工作原理。“Pre-trained”可以理解为一个天才少年在图书馆里孜孜不倦地学习了人类知识的精华。GPT-3的预训练数据集多达45TB，主要来自维基百科、书籍、期刊、Reddit链接、Common Crawl等数据集。经过数据清洗，数据量也达到570G，相当于500000本《红楼梦》的数量。这个天才少年阅读了海量的文本之后，无师自通，确实“学到”了很多知识。