限制大模型的字数可以通过以下几种方式:
使用提示词时,您会通过API或直接与大语言模型进行交互。你可以通过配置一些参数以获得不同的提示结果。调整这些设置对于提高响应的可靠性非常重要,你可能需要进行一些实验才能找出适合您的用例的正确设置。以下是使用不同LLM提供程序时会遇到的常见设置:Temperature:简单来说,temperature的参数值越小,模型就会返回越确定的一个结果。如果调高该参数值,大语言模型可能会返回更随机的结果,也就是说这可能会带来更多样化或更具创造性的产出。我们目前也在增加其他可能token的权重。在实际应用方面,对于质量保障(QA)等任务,我们可以设置更低的temperature值,以促使模型基于事实返回更真实和简洁的结果。对于诗歌生成或其他创造性任务,你可以适当调高temperature参数值。Top_p:同样,使用top_p(与temperature一起称为核采样的技术),可以用来控制模型返回结果的真实性。如果你需要准确和事实的答案,就把参数值调低。如果你想要更多样化的答案,就把参数值调高一些。一般建议是改变Temperature和Top P其中一个参数就行,不用两个都调整。Max Length:您可以通过调整max length来控制大模型生成的token数。指定Max Length有助于防止大模型生成冗长或不相关的响应并控制成本。
从官方文档可以看到我们目前使用的模型有哪些,以及每个模型的token限制。除此之外,最直观能感受到各类模型token限制的其实是poe:在这里我们看到的16K、32K、100K就是指token上限。Claude-2-100 k模型的上下文上限是100k Tokens,也就是100000个tokenChatGPT-16 k模型的上下文上限是16k Tokens,也就是16000个tokenChatGPT-4-32 k模型的上下文上限是32k Tokens,也就是32000个token但似乎很多小伙伴不理解这个限制具体影响在哪些方面。所以我替你们问了一下GPT(真不懂你们为什么不自己问/手动狗头)从回答可以看出,这个token限制是同时对下述两者生效的:1、一次性输入2、一次对话的总体上下文长度,值得注意的是这个长度不是达到上限就停止对话,而是遗忘最前面的对话,你可以理解为鱼的记忆只有7秒,第8秒的时候他会忘记第1秒的事,第9秒的时候……(某些同学是不是恍然大悟了)
“-输出改进后的完整Prompt”,这也是属于需要输出的内容,不是这个机器人的目标。3.注意拼写正确Constrains:Constraints:翻译为限制,限制一般包括具体的字数限制。他这里(Constrains)单词没有拼写正确,所以大家再用的时候要确认拼写正确,对大模型来说是可以理解稍许不正确的词语的,这是一个小问题。正确的拼写方法是Constraints。限制条件,要确保你的限制条件清晰和可以被大模型执行。以下是一些常见的限制条件:1.内容长度限制:这是最直观的一种限制,确保模型的输出不会超过用户设定的字数或者信息量。2.内容类型限制:这种限制确保模型不会生成不恰当的或不相关的内容。例如,可以通过预先设定的过滤规则来避免生成不适宜的语言或主题。3.逻辑和一致性限制:为了让模型的输出更加符合逻辑,可以通过增加对模型理解和处理逻辑关系的能力来设定。4.风格和语调限制:在某些情况下,你可能希望模型的输出符合特定的写作风格或语调。没有遵循最简原则Skill: