以下是从初级到高级的提示词设计方法的讲解:
初级阶段: 在初级阶段,重点是明确表达您的需求和期望。例如,清晰地描述任务、问题或所需的输出类型。
中级阶段: 随着经验的积累,可以尝试更详细和具体的描述。包括提供更多的背景信息、限制条件和关键要点,以引导模型生成更符合期望的结果。
高级阶段:
自动提示词工程(APE):
样例驱动的渐进式引导:
格式选择:
需要注意的是,部署 APE 并非没有挑战,可能需要大量计算资源和建立有效评分指标,初始设置也可能需要精心策划的种子提示词集来有效指导生成过程。重要的是提示词的内容要与 AI 的“理解机制”相契合,而非外在形式。
自动提示词工程(APE)[15]自动化了创建提示词的复杂过程。通过利用LLM自身生成、评估和完善提示词的能力,APE旨在优化提示词设计过程,确保在引出期望响应方面具有更高的效果和相关性。APE方法(见图21)通过一系列既独立又相互关联的步骤展开:•提示词生成:最初,LLM针对特定任务产生多种提示词,利用其庞大的语言数据库和上下文理解。•提示词评分:随后,这些提示词经过严格的评估阶段,根据清晰度、特定性和推动期望结果的潜力等关键指标进行评分,确保只有最有效的提示词被选中进行完善。•完善和迭代:完善过程涉及根据评分调整和调整提示词,旨在增强它们与任务要求的一致性。这个迭代过程促进了提示词质量的持续改进。通过自动化提示词工程过程,APE不仅减轻了手动创建提示词的负担,而且引入了以前无法达到的精确度和适应性。生成和迭代完善提示词的能力可以显著增强LLM在从自动内容生成到复杂的对话代理等各种应用中的实用性。然而,部署APE并非没有挑战。需要大量的计算资源和建立有效评分指标的复杂性是需要考虑的重要因素。此外,初始设置可能需要精心策划的种子提示词集来有效地指导生成过程。尽管存在这些挑战,APE代表了提示词工程的重大进步,提供了一种可扩展且高效的解决方案,以在各种应用中解锁LLM的全部潜力,从而为更细致和与上下文相关的交互铺平了道路。
[1]D.Sculley,Gary Holt,Daniel Golovin,Eugene Davydov,Todd Phillips,Dietmar Ebner,Vinay Chaudhary,和Michael Young.机器学习:技术债务的高利贷。在SE4ML:机器学习软件工程(NIPS 2014研讨会),2014年。[2]Xavier Amatriain,Ananth Sankar,Jie Bing,Praveen Kumar Bodigutla,Timothy J.Hazen,和Michaeel Kazi.Transformer模型:介绍和目录,2023年。[3]Hattie Zhou,Azade Nova,Hugo Larochelle,Aaron Courville,Behnam Neyshabur,和Hanie Sedghi.通过上下文学习教授算法推理,2022年。[4]Yao Lu,Max Bartolo,Alastair Moore,Sebastian Riedel,和Pontus Stenetorp.神奇有序的提示词及其寻找方法:克服少样本提示词顺序敏感性,2022年。[5]Jason Wei,Xuezhi Wang,Dale Schuurmans,Maarten Bosma,brian ichter,Fei Xia,Ed Chi,Quoc V Le,和Denny Zhou.思维链提示词在大型语言模型中引出推理。在S.Koyejo,S.Mohamed,A.Agarwal,D.Belgrave,K.Cho,和A.Oh,编辑,神经信息处理系统进展,第35卷,页码24824–24837。Curran Associates,Inc.,2022年。[6]Zhuosheng Zhang,Aston Zhang,Mu Li,和Alex Smola.大型语言模型中的自动思维链提示词,2022年。[7]Shunyu Yao,Dian Yu,Jeffrey Zhao,Izhak Shafran,Thomas L.Griffiths,Yuan Cao,和Karthik Narasimhan.思维树:与大型语言模型一起进行深思熟虑的问题解决,2023年。
还记得我们在方案推理环节,得到的「最终样式.html」吗?按照我早先的一篇文章《样例驱动的渐进式引导法》中提到的方法,把这个html文件作为样例,和这段提示词同时发送给Claude,让AI根据@李继刚的提示词中控制样式输出的形式,自行总结我们需要的结果。你将会获得一份这样形式的答卷:只需要稍微调整一下文本结构与引用细节,就可以嵌入到我们的提示词中。这样基本也能让提示词按照预期运行起来:当然,想要更好地控制生成结果,尤其是视觉样式的稳定性,还得经过多次调试,并根据测试bug微调提示词,直至稳定运行。[heading3]拓展:Lisp、Markdown格式是否必需?[content]不是。经过两年的蓬勃发展,大语言模型的提示工程已经呈现出百花齐放的局面。无论LangGPT结构化提示词,还是CRISPE和CARE等框架,业界涌现出了多种提示词方法论。在格式方面,我们看到了LangGPT在用的Markdown格式,也有像刚哥最近青睐的Lisp伪代码格式,甚至还有像我那样灵活混搭的方案。但真正重要的不是提示词的外在形式,而是内容是否与AI的"理解机制"相契合。如果要我推荐提示词的写法:对于刚入门的朋友:首推LangGPT结构化提示词,直观易懂,可以快速上手。对于想要进阶的用户:一方面,LangGPT依然是一个可靠的选择;另一方面,有额外的精力和好奇心,不妨尝试一下刚哥推崇的Lisp伪代码格式,能够强迫自己精炼提示词,对措辞理解、概念认知也有很大帮助。