目前性能最好的 GPT 模型是 GPT-4。为实现最佳性能,您可以采取以下措施:
此外,还有一些热门的 GPT 应用,例如: |GPTs 名称|分类|简介|直达链接|访问量|流量占比|Logo| |-|-|-|-|-|-|-| |Canva|设计|轻松设计任何东西:演示文稿、标识、社交媒体帖子等|https://chat.openai.com/g/g-alKfVrz9K|174328|0.011|👍| |Grimoire|代码|编程巫师:100 倍效率工程师,用一句话创建网站。为新创造时代而生。|https://chat.openai.com/g/g-n7Rs0IK86|121380|0.008|👍| |DesignerGPT|设计、代码|创造并托管美观的网站。|https://chat.openai.com/g/g-2Eo3NxuS7|90414|0.006|👍| |Researchgpt|研究|人工智能研究助理。从数据库搜索 2 亿篇学术论文,获取基于科学的答案,并用准确的引用创建内容。|https://chat.openai.com/g/g-bo0FiWLY7|85880|0.005|👍| |Ai PDF|效率工具、文本|能够处理高达 2GB 的 PDF 文件,专业版可以跨成千上万的 PDF 和 OCR 文档进行搜索。|https://chat.openai.com/g/g-V2KIUZSj0|66463|0.004|👍| |Mr.Ranedeer|教育|你的个性化人工智能导师!|https://chat.openai.com/g/g-9PKhaweyb|48587|0.003|👍| |AI GPT|教育|人工智能与机器学习专家,精通深度学习框架。|https://chat.openai.com/g/g-agCdZedbZ|41828|0.003|👍| |Simpsonize Me|设计|将照片转化为《辛普森一家》风格的艺术作品。|https://chat.openai.com/g/g-tcmMldCYy|40887|0.003|👍|
同时,GPT 模型包括基础模型、SFT 模型和 RLHF 模型。例如,ChatGPT 就是一个 RLHF 模型,而 Vicuna-13B 等是 SFT 模型。RLHF 模型效果更好,因为人类在很多比较中更喜欢来自 RLHF 模型的输出。但 RLHF 模型在某些情况下也会有不足,比如会损失一些熵,输出变化更小的样本。
我认为这些是我目前的默认建议。我会将你的任务分成两个主要部分。第一,实现你的最佳性能,第二,优化你的费用,让其降低,按照这个顺序。第一,最好的性能目前来自GPT-4模型,这是迄今为止最强大的模型。使用非常详细的提示词,包含任务上下文、相关信息和指令。沿着这样的思路思考:如果他们不能给你回邮件,你会告诉他什么?但是也要记住,任务承包商是人,他们有内心想法、他们非常聪明,等等。LLMs并不具有这些品质,所以确保几乎考虑到LLMs的心理,并针对此设计提示。多多参考大量的提示工程技术,在这些提示中检索并添加任何相关的上下文和信息。其中一些在上面的幻灯片中有所强调,但这也是一个非常大的领域,我只是建议你在线寻找提示工程技术,那里有很多内容。尝试使用少样本提示(few-shots)。这指的是你不只是想问,你还想尽可能地展示(你想要的),给它举例子,如果可以的话,帮助它真正理解你的意思。尝试使用工具和插件来分担LLM本身难以完成的任务。不仅要考虑单个提示和答案,还要考虑潜在的链条(chain)和反思,以及如何将它们粘合在一起,以及如何制作多样本等。最后,如果你认为你已经最大地优化了提示工程的效果,我认为你应该坚持一段时间,看看一些可能微调模型以适应你的应用程序,但预计这会更慢并且涉及更多内容。然后这里有一个专家级别的研究区域,那就是RLHF,如果你能使它工作的话,目前确实比SFT工作得更好一些。但是再次提醒,我会说这非常复杂。为了优化你的成本,尝试探索容量较低的模型或更短的提示等。
|GPTs名称|分类|简介|直达链接|访问量|流量占比|Logo|TOP20|<br>|-|-|-|-|-|-|-|-|<br>|Canva|设计|轻松设计任何东西:演示文稿、标识、社交媒体帖子等|[https://chat.openai.com/g/g-alKfVrz9K](https://chat.openai.com/g/g-alKfVrz9K)|174328|0.011||👍|<br>|Grimoire|代码|编程巫师:100倍效率工程师,用一句话创建网站。为新创造时代而生。|[https://chat.openai.com/g/g-n7Rs0IK86](https://chat.openai.com/g/g-n7Rs0IK86)|121380|0.008||👍|<br>|DesignerGPT|设计,代码|创造并托管美观的网站。|[https://chat.openai.com/g/g-2Eo3NxuS7](https://chat.openai.com/g/g-2Eo3NxuS7)|90414|0.006||👍|<br>|Researchgpt|研究|人工智能研究助理。从数据库搜索2亿篇学术论文,获取基于科学的答案,并用准确的引用创建内容。|[https://chat.openai.com/g/g-bo0FiWLY7](https://chat.openai.com/g/g-bo0FiWLY7)|85880|0.005||👍|<br>|Ai PDF|效率工具,文本|能够处理高达2GB的PDF文件,专业版可以跨成千上万的PDF和OCR文档进行搜索。|[https://chat.openai.com/g/g-V2KIUZSj0](https://chat.openai.com/g/g-V2KIUZSj0)|66463|0.004||👍|<br>|Mr.Ranedeer|教育|你的个性化人工智能导师!|[https://chat.openai.com/g/g-9PKhaweyb](https://chat.openai.com/g/g-9PKhaweyb)|48587|0.003||👍|<br>|AI GPT|教育|人工智能与机器学习专家,精通深度学习框架。|[https://chat.openai.com/g/g-agCdZedbZ](https://chat.openai.com/g/g-agCdZedbZ)|41828|0.003||👍|<br>|Simpsonize Me|设计|将照片转化为《辛普森一家》风格的艺术作品。|[https://chat.openai.com/g/g-tcmMldCYy](https://chat.openai.com/g/g-tcmMldCYy)|40887|0.003||👍|
[title]GPT的现状(State of GPT)[heading2]一、如何训练GPT助手[heading3]强化学习然后最后,你会得到一个可以部署的模型。例如,ChatGPT就是一个RLHF模型,但是你可能会遇到一些其他的模型,比如说Vicuna-13B(俗称小羊驼模型)等,这些都是SFT模型。我们有基础模型、SFT模型和RLHF模型,这就是目前的状态。现在你可能会问为什么你会想做RLHF?答案可能并不那么激动人心,那就是它的效果更好。这张图来自于instructGPT论文。根据这些已经过去一段时间的实验,这些PPO模型是RLHF。我们看到,当我们提供给人类时,他们在很多比较中都更喜欢这些模型。与提示为助手的基础模型相比、与SFT模型相比,人类基本上更喜欢来自RLHF模型的token(输出文字)。所以,它的效果就是更好。但你可能会问为什么?为什么它的效果更好?我认为并没有一个社区真正达成一致的令人惊讶的答案,但我会提供一个可能的原因,它与比较与生成在计算上的容易度之间的不对称性有关。让我们以生成一个俳句为例。假设我让一个模型写一首关于回形针的俳句。如果你是一个试图提供训练数据的承包商,那么想象一下作为一个收集SFT数据的承包商。你应该如何创建一个关于回形针的好俳句呢?你可能就是不擅长这个,但是如果我给你几个俳句的例子,你可能能够更欣赏其中的一些俳句。因此,判断哪一个好是一个更简单的任务。基本上,这种不对称性使得比较可能是一个更好的方式,可以更好地利用你作为人的判断,以创建一个稍微更好的模型。现在,RLHF模型并不是在所有情况下都比基础模型有改进。特别是,我们注意到,例如,RLHF会损失一些熵。这意味着它们可以输出变化更小的样本,它们可以输出比基础模型更低变化的样本。基础模型有很多熵,会给出多样性的输出。