ChatGPT 中的 GPTs 是 OpenAI 推出的工具，允许用户量身打造自己的 AI 助理，可根据需求和偏好创建定制的 ChatGPT，如帮忙梳理电子邮件或提供创意灵感等。目前，GPTs 的使用仅限于 ChatGPT Plus 的用户，用户可以上传资料来自定义 GPTs，还能分享给他人或使用他人创建的 GPTs。OpenAI 推出了 GPT Store 这一类似应用商店的平台，允许用户分享他们的 GPTs，甚至可能实施收益分润制度。
关于 ChatGPT 本身，其内部运行机制较为复杂。例如，在嵌入模块中，会将 token 值和 token 位置嵌入向量相加。之后是一系列所谓的“注意块”，每个注意力块中有多个“注意力头”独立运行。
此外，GPT-4 于 2022 年 8 月完成训练，特别强调指令遵循能力。开发过程中曾将指令型数据和聊天数据混合，希望创造出既处理具体任务又能流畅聊天的模型，结果表明 chat 模型使用更简单，能更好地了解并处理自身潜在局限性。
[title]问：GPTs是什么？GPTs是OpenAI推出的一种工具，它允许用户量身打造自己的AI助理。你可以根据自己的需求和偏好，创建一个完全定制的ChatGPT。无论是要一个能帮忙梳理电子邮件的助手，还是一个随时提供创意灵感的伙伴，GPTs都能让这一切变成可能。GPTs的出现代表着AI技术的一个重要进展，它将AI的应用从专家的领域延伸到了普通大众的日常生活中。OpenAI已经推出了几种现成的GPTs供大家使用，比如「The Negotiator」、「Game Time」等。此外，用户可以上传资料来自定义GPTs，创造出更符合个人或专业需求的AI助手。除了创建和使用自己的GPTs外，你还可以分享给他人，或使用其他人创建的GPTs。目前，GPTs的使用仅限于ChatGPT Plus的用户。无论你是想自己创建GPTs，还是想使用他人的创作，都需先升级至ChatGPT Plus。此外，OpenAI推出了GPT Store，这是一个类似应用商店的平台，允许用户分享他们的GPTs，甚至可能实施收益分润制度，为创造者和OpenAI创造新的收入来源。总的来说，GPTs是一种让使用者能够量身打造自己的AI助理的工具，开启了个性化AI的新阶段，为开发者和普通用户提供了更多便利。希望这些信息对您有所帮助！内容由AI大模型生成，请仔细甄别
[title]ChatGPT是在做什么，为什么它有效？[heading2]ChatGPT的内部为什么只需将token值和token位置嵌入向量相加？我认为这里没有特别的科学。人们已经尝试了各种不同的方法，这个方法似乎是有效的方法之一。而且神经网络的故事中的一部分是，从某种意义上说，只要我们的设置“大致正确”，通常可以通过足够的训练来调整细节，而不必真正“理解神经网络如何配置自己”的工程细节。这是嵌入模块如何运行的，它操作字符串“hello hello hello hello hello hello hello hello hello hello bye bye bye bye bye bye bye bye bye bye”：每个token的嵌入向量的元素显示在页面下方，而在页面上方，我们首先看到一组“hello”的嵌入，然后是一组“bye”的嵌入。上面的第二个数组是位置嵌入，其看似随机的结构只是“被学习到”的（在这种情况下是在GPT-2中）。好的，那么在嵌入模块之后，transformer的“主要事件”就来了：一系列所谓的“注意块”（GPT-2有12个，ChatGPT的GPT-3有96个）。这一切都很复杂，类似于典型的难以理解的大型工程系统，或者说生物系统。但无论如何，这里是单个“注意块”的示意表示（适用于GPT-2）：在每个注意力块中，都有一组“注意力头”【attention head】（对于GPT-2有12个，对于ChatGPT的GPT-3有96个），每个头都独立地在嵌入向量的不同值块上运行。（是的，我们不知道将嵌入向量分割成几个部分或不同部分的含义是什么好处，这只是已经“发现有效”的事情之一。)
[title]OpenAI联创：RLHF是超级智能的秘密武器[heading1]ChatGPT的诞生当时团队一年里的大部分时间里都在做这个项目，但后来我们减少了对浏览功能的侧重，因为模型内部的知识已经非常丰富，浏览功能并不是最吸引人的部分。我们当时把这个产品给朋友和家人用了一段时间，也在考虑要公开发布。GPT-4就是在2022年的8月完成了训练。GPT-4是OpenAI的旗舰项目，特别强调指令遵循能力，因为这些是会被实际部署到生产环境中的模型。这些模型的首次finetune使用了完整的技术栈，并且表现出色，所以大家对它们期望极高。尽管这些模型有时能产生令人惊艳的输出，它们的可靠性还是存在问题，有时会出现明显的错误或hallucination，所以GPT-4还不是最终的进化完成体，不过综合能力已经非常优秀了。在那之后，大家暂时忘记了chat这个分支。我们继续研究，把指令型数据（通常用来训练AI执行特定的任务）和聊天数据（更侧重于模拟人类间自然对话的数据）混合在一起，希望能够结合这两个东西的优点，创造出一个既可以处理具体任务又能流畅聊天的模型。但从结果看来说，显然是chat模型使用起来更简单，它能够更好地了解并处理自己的潜在局限性，这是我在开发过程中最激动的事情之一，因为这说明一些人认为的语言模型的固有缺陷，实际上可以通过一些直接的方法得到解决。指令型模型中的一些任务，比如“complete this text，but in a nice or helpful way（以友好和能有帮助的方式补全这段文本）”本身的描述是不够明确清晰的，这会让模型难以执行，也增加了数据标注者的困难。而chat模型则更加直观，人们对于一个能给我们帮助的bot该具备哪些行为特点有自然的预期，也会让chat模型在理解任务和执行上更简单和准确。因此，这类模型能够展现出更连贯的特征和更稳定的行为。Dwarkesh Pa tel：这是不是说所有人用你开源的fine-tuning API都能训练出一个像ChatGPT这样的模型？