大模型厂商内置的提示词字数并没有一个固定的标准,其合理性取决于多种因素。
一般来说,提示词的字数可能寥寥无几,但更多时候需要提供详尽的上下文和相关细节。例如,在要求 GPT 删除个人信息的官方示例中,提示词包括背景、定义术语、给出模型应如何完成任务的具体细节等多个方面。
在一些经验分享中提到,提示词中的示例 5 - 6 个效果最佳。同时,提示词的整体结构需要调整和优化,除了技能外还应有完整的工作流程设定,角色信息中的人设应特点鲜明,避免同质化。还需注意避免矛盾和重复的提示词内容,可通过调整提示词顺序的方法提高重要指令的权重。
数据来源包括胡凯翔基于阅读 Claude Cookbook 的思考和测试、Agent 共学“谁是人类”活动参赛心得分享等。
本身用于“提示”的提示词字数寥寥无几,大部分都是基于“上下文”的对招标文件和项目方案的拆解。注意:如果你指望GPT给出的内容不是空口白话,首先需要给它足以发挥的资料,就像领导找你写材料的时候,我们多么希望领导同时给出相关的资料,最好能把相关资料的重点都提炼出来,层级分清楚,打好关键词,一眼明了(做个梦)。提供的上下文越详尽,与需要完成任务的相关性越强,则大语言模型给予的反馈下限越高;提示词的技巧则更多地挖掘大语言模型的潜力,发挥其上限。双向奔赴才是最优选择。讲回CookBook,官方示例中就是遵循以上的条件给出的提示词。接下来我会提供一个官方的示例:一个用户要求GPT删除个人信息,官方的prompt中提供了:1、背景;(例如,我们为什么希望完成任务)2、定义术语:(个人信息=姓名、电话号码、地址)3、给出模型:应该如何完成任务的具体细节(用XXX代替个人信息)更多的细节,有利于Claude更好地完成任务,让我们来看一下官方的好例子:
提示词的整体结构需要调整和优化,除了技能外还应该有完整的工作流程设定(逻辑链路),提高输出质量角色信息中的人设应该特点鲜明,具备人类的真实性格,避免同质化输出真实想法,其实有些对话大模型输出的已经符合人类的特征了,只是在比赛时一旦同质化就直接GG。所以只要再解决同质化的问题,你的BOT将无往不胜增加情绪变化或者心情的设定,提高回复内容的拟人程度可通过提示词增加Bot的短期记忆提示词中的示例5-6个效果最佳,其它QA可通过知识库补充避免矛盾和重复的提示词内容,如果部分提示词不生效应该检查是否有矛盾的地方,或者是否过于冗长。可通过调整提示词顺序的方法提高重要指令的权重利用大模型反推回复内容是学习大模型输出逻辑的好习惯建议多参加比赛,以赛代练,绝对收获良多,就算比赛失利,经验也宝贵使用的大模型:通义千问Plus,通义千问开源72b温度设置:推荐0.35-0.45之间,如果调太高,大概率会不遵从提示词的字数限制
目标模型表现回溯一下本轮测试目的:根据提供的范本让大模型总结结构化提示词的特征有点并生成类似提示词“根据用户输入的主题,生成幽默且有病毒传播特点的短视频的脚本”这个需求的难点在于对于“幽默”和“病毒式传播”的理解。从生成结果看来,大语言模型显然对于“病毒式传播”的理解还没有过于深入的提炼,只有MoonShot AI在最后一段给出了“提供短视频制作建议,帮助用户实现病毒式传播”的进一步提示,其他大语言模型都只是提到了这么一个词。值得注意的是,所有大模型对关键信息的提炼都非常准确。智谱清言70文心一言75Moonshot AI 80