在 AI 术语中，名称中带有“instruct”通常具有特定的含义。
以“InstructGPT”为例，它更善于遵循人类的指示，这在 AI 中被称为“对齐（Alignment）”。通过这种方式，可以让模型的输出更加安全，减少错误、幻觉和攻击性语言。这意味着模型能够更好地理解和响应人类的需求，除非被特别要求，否则不会产生不良的输出。
在大语言模型的训练中，“instruct”也出现在指令微调阶段。在这个阶段，模型被训练以理解并执行具体指令，例如翻译文本等，从而能够回答问题。此时输入的内容通常包括“instruct”部分，明确指示模型需要执行的任务。
总之，“instruct”在 AI 大模型中往往与遵循人类指示、进行特定任务的训练和执行相关，旨在使模型的输出更符合人类的期望和要求。
InstructGPT更善于遵循人类的指示，在AI术语中被称为对齐（Alignment），可以让模型的输出更加安全，错误、幻觉和攻击性语言更少。简而言之，InstructGPT不是一个混蛋，除非它被要求成为一个混蛋。在所有这些成果之上，OpenAI在山姆·奥特曼的推动下，顶着巨大的压力对公众开放了ChatGPT。至此，一个新的智能时代就被开启了！人才网络虽然Transformer架构最早诞生于Google的研究，但在庞大的组织内部，并没有得到特别多的重视。“也许Google AI Research太像一个学术研究机构了，大家更重视想法的涌现和发表论文，但在坚定的采用一种技术方案，将其工程化和产品化上却被忽视了” OpenAI的总裁格雷格·布罗克曼（Greg Brockman）在最近一次播客采访中这样描述，这也是伊尔亚的团队能够孤注一掷取得成果的主要原因。配图1.05：硅谷AI人才流动图（Source:Coatue AI Report 2023）
大语言模型训练过程涉及几个关键步骤：无监督学习：这一阶段模型通过分析大量文本数据，学习到语言的基本结构和常识，具备文本补齐能力而非直接回答问题。模型将人类的知识通过向量化的方法转换，从而获得基础的语言模型。清洗出好的数据指令微调：在此阶段，模型被训练以理解并执行具体指令，如翻译文本，从而能够回答问题。这一阶段涉及的数据输入量相对于无监督学习阶段有所减少。输入内容包括3个部分，中间可能有分隔符* Instruct：请你翻译下面这段话* Input：一段英文* Output：一段中文对齐过程：通过引入人类的评价标准（奖励函数）和处理特定的格式要求，进一步优化模型的输出以符合人类的期望。这包括处理文化、道德等方面的细节，以确保模型的输出更加贴近人类的价值观。排序相信在这个过程中，OpenAI很有可能自己构建了一套强大的标注组织体系，高效，又能对抗标注人员能力强依赖。说起来人工标注符合scaling law。
有了搜索的结果，接下来就是使用大模型进行总结输出啦，这一个节点最关键的就是大模型的提示词大模型的输出response用来代表大模型对于所有contexts的总结这段提示词完全参考艾木大佬的文章：https://mp.weixin.qq.com/s/Ory8iVXXjjN3zSTcupPm6Q源头是一个github的开源项目：https://github.com/leptonai/search_with_lepton/blob/main/search_with_lepton.py由于本篇教程主要是让大家对Coze的能力更有体感，所以提示词这里不做深入探讨。