Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

在调用大模型的过程中,将token设置最大值,大模型回答还是会出现中断的情况,应该怎么避免和解决

Answer

在调用大模型的过程中,将 token 设置最大值但回答仍出现中断的情况,可以从以下几个方面避免和解决:

  1. 调整相关参数:
    • Max_output_tokens:根据具体需求设置合适的值。若需要更短响应,设为较低值;若希望更长回答,设为较高值。但注意设置过低可能导致回答在奇怪位置截断。
    • Temperature:值越小,模型返回结果越确定;值调高,可能更随机和具创造性。对于质量保障等任务设低,诗歌生成等创造性任务可适当调高。
    • Top_p:用于控制模型返回结果的真实性,需要准确和事实答案时调低,想要更多样化答案时调高。一般改变 Temperature 和 Top_p 其中一个参数即可。
    • Max Length:调整以控制大模型生成的 token 数,有助于防止生成冗长或不相关响应并控制成本。
    • Stop Sequences:指定字符串,模型生成文本遇到时停止,可控制响应长度和结构。
    • Frequency Penalty:对下一个生成的 token 进行惩罚,与 token 在响应和提示中出现次数成比例,减少单词重复。
  2. 利用插入文本的最佳实践:
    • 使用 max_tokens > 256,模型插入较长完成时效果更好,且只按实际生成 token 数收费。
    • 优先选择 finish_reason == "stop",表明模型成功连接后缀且完成质量良好。
    • 重新采样 3 - 5 次,温度较高以增加多样性。若所有返回示例的 finish_reason 都是“length”,可能 max_tokens 太小,需考虑增加再重试。
    • 尝试给出更多线索,通过提供示例帮助模型确定自然停顿处。
Content generated by AI large model, please carefully verify (powered by aily)

References

谷歌Gemini多模态提示词培训课——Part2

Gemini还有其他参数可以用来控制输出。让我们来看看其中两个,首先是max_output_tokens。在生成配置中,我们可以设置max_output_tokens。这个参数决定了响应中可以生成的最大Token数。在Gemini中,一个Token大约相当于4个字符,而100个Token大约对应62-80个单词。如果你想得到更短的响应,可以将max_output_tokens设置为较低的值,比如1。相反,如果你希望得到更长的回答,可以把它设置为较高的值,比如2000。让我们把max_output_tokens设置为10,看看它如何影响输出。调用API后,我们得到了一个非常简短的响应:"一个男人坐在电脑前。"你会发现它并没有完整输出一句话,但这正是我们预期的结果。根据你的具体需求,你可能会想控制输出的长度。如果你需要非常简洁的回答,可以降低这个值。但要注意,设置得太低可能会导致回答在奇怪的地方被截断,比如句子中间。另一个我们可以设置的参数叫做stop_sequences。它允许我们指定一个字符串列表,告诉模型在生成文本时,如果遇到这些字符串就停止。如果一个指定的字符串在响应中出现多次,模型会在第一次遇到它时就停止。但要注意,这些字符串是区分大小写的。stop_sequences的一个常见用途是在构建面向特定群体(比如儿童)的聊天机器人时,过滤掉某些不适合的词。让我们来试试这个参数。我们知道图片中有一个熊猫,所以我们把"熊猫"设为stop_sequence。这意味着模型在生成描述时,一旦提到"熊猫"就会停止。现在,我们用这个新的stop_sequence参数来调用API,看看它会如何影响模型的输出。这样我们就能观察到stop_sequences是如何控制模型输出的内容和长度的。

大语言模型设置

使用提示词时,您会通过API或直接与大语言模型进行交互。你可以通过配置一些参数以获得不同的提示结果。调整这些设置对于提高响应的可靠性非常重要,你可能需要进行一些实验才能找出适合您的用例的正确设置。以下是使用不同LLM提供程序时会遇到的常见设置:Temperature:简单来说,temperature的参数值越小,模型就会返回越确定的一个结果。如果调高该参数值,大语言模型可能会返回更随机的结果,也就是说这可能会带来更多样化或更具创造性的产出。我们目前也在增加其他可能token的权重。在实际应用方面,对于质量保障(QA)等任务,我们可以设置更低的temperature值,以促使模型基于事实返回更真实和简洁的结果。对于诗歌生成或其他创造性任务,你可以适当调高temperature参数值。Top_p:同样,使用top_p(与temperature一起称为核采样的技术),可以用来控制模型返回结果的真实性。如果你需要准确和事实的答案,就把参数值调低。如果你想要更多样化的答案,就把参数值调高一些。一般建议是改变Temperature和Top P其中一个参数就行,不用两个都调整。Max Length:您可以通过调整max length来控制大模型生成的token数。指定Max Length有助于防止大模型生成冗长或不相关的响应并控制成本。Stop Sequences:stop sequence是一个字符串,可以阻止模型生成token,指定stop sequences是控制大模型响应长度和结构的另一种方法。例如,您可以通过添加“11”作为stop sequence来告诉模型生成不超过10个项的列表。Frequency Penalty:frequency penalty是对下一个生成的token进行惩罚,这个惩罚和token在响应和提示中出现的次数成比例,frequency penalty越高,某个词再次出现的可能性就越小,这个设置通过给重复数量多的Token设置更高的惩罚来减少响应中单词的重复。

文本补全(Text completion)

插入文本是测试版中的新功能,您可能需要修改使用API的方式以获得更好的结果。以下是一些最佳实践:使用max_tokens > 256。模型在插入较长完成时效果更好。如果max_tokens太小,则模型可能会在连接后缀之前被截断。请注意,即使使用更大的max_tokens,在生成token数量方面也只会收取实际生成token数对应的费用。优先选择finish_reason =="stop"。当模型到达自然停止点或用户提供的停止序列时,它将设置finish_reason为“stop”。这表明该模型已成功连接到后缀,并且是完成质量良好的一个很好信号。这对于在n>1或重新采样(见下一点)时选择几个完成之间进行选择尤其相关。重新采样3-5次。虽然几乎所有完成都与前缀相连,但在较难情况下,模型可能难以连接后缀。我们发现重新采样3或5次(或者使用k=3,5的best_of),并挑选具有“stop”作为其finish_reason的样本可以成为解决此类问题有效方法之一。在重新采样时,通常希望温度较高以增加多样性。注意:如果所有返回的示例都具有finish_reason == “length”,则很可能max_tokens太小了,在自然地连接提示和后缀之前模型就耗尽了token数,请考虑增加max_tokens再进行重试。尝试给出更多线索.在某些情况下,为了更好地帮助模型生成内容,您可以通过提供一些示例来给出线索,让该模型能够遵循这些示例来确定自然停顿处。

Others are asking
多模态达模型排行
以下是一些常见的多模态模型排行及相关信息: 1. 智谱·AI 开源模型: CogAgent18B:基于 CogVLM17B 改进的开源视觉语言模型,拥有 110 亿视觉参数和 70 亿语言参数,支持 11201120 分辨率的图像理解,在 CogVLM 功能基础上具备 GUI 图像的 Agent 能力。代码链接:。 CogVLM17B:强大的开源视觉语言模型(VLM),在多模态权威学术榜单上综合成绩第一,在 14 个数据集上取得了 stateoftheart 或者第二名的成绩。代码链接:。 Visualglm6B:开源的支持图像、中文和英文的多模态对话语言模型,语言模型基于 ChatGLM6B,具有 62 亿参数;图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁,整体模型共 78 亿参数。代码链接:。 2. Gemini 模型:Gemini Ultra 在表 7 中的各种图像理解基准测试中都是最先进的,在回答自然图像和扫描文档的问题,以及理解信息图表、图表和科学图解等各种任务中表现出强大的性能。在 zeroshot 评估中表现更好,超过了几个专门在基准训练集上进行微调的现有模型,适用于大多数任务。在 MMMU 基准测试中取得了最好的分数,比最先进的结果提高了 5 个百分点以上,并在 6 个学科中的 5 个学科中超过了以前的最佳结果。 3. 多模态思维链提示方法:Zhang 等人(2023)提出了一种多模态思维链提示方法,多模态 CoT 模型(1B)在 ScienceQA 基准测试中的表现优于 GPT3.5。
2025-03-18
推理类模型,以deepseek为代表,与此前的聊天型ai,比如chatgpt3.5,有什么差异
推理类模型如 DeepSeek 与聊天型 AI 如 ChatGPT3.5 存在以下差异: 1. 内部机制:对于大语言模型,输入的话会被表示为高维时间序列,模型根据输入求解并表示为回答。在大模型内部,是根据“最大化效用”或“最小化损失”计算,其回答具有逻辑性,像有自己的思考。 2. 多模态能力:ChatGPT3.5 是纯语言模型,新一代 GPT 将是多模态模型,能把感官数据与思维时间序列一起作为状态,并装载在人形机器人中,不仅能对话,还能根据看到、听到的事进行判断,甚至想象画面。 3. 超越人类的可能性:有人假设人按最大化“快乐函数”行动,只要“效用函数”足够复杂,AI 可完全定义人,甚至超越人类。如在“短期快乐”与“长期快乐”的取舍上,人类难以找到最优点,而 AI 可通过硬件算力和强化学习算法实现,像 AlphaGo 击败世界冠军,在复杂任务上超越人类。 4. 应用领域:文字类的总结、润色、创意是大语言模型 AI 的舒适区,如从 ChatGPT3.5 问世到 ChatGPT4 提升,再到 Claude 3.5 sonnet 在文学创作领域取得成绩,只要有足够信息输入和合理提示词引导,文案编写可水到渠成。
2025-03-18
一句话阐述推理类模型的原理
推理类模型的原理主要包括以下方面: OpenAI 的推理模型通过强化学习进行训练,以执行复杂推理。此类模型在回答前会思考,能产生长链的思维过程。通过训练,它们学会优化思考过程、尝试不同策略并识别错误,从而遵循特定指南和模型政策,提供更有用的回答,避免产生不安全或不适当的内容。 例如 OpenAI o1 这样的推理模型基于链式思维,逐步推理问题的每个步骤来得到答案。 还有一些概率预测的快速反应模型,通过大量数据训练来快速预测可能的答案。
2025-03-18
用哪个大模型,在PDF和图片识别上精度高
在 PDF 和图片识别方面,对于图片,ChatGPT 依靠视觉模型解析,复杂图片建议使用最新模型(如 GPT4.5)。对于 PDF,ChatGPT 仅能识别文本,无法读取图表、图片,复杂布局可能导致误读。一些初步实验表明,一些开源的 PDF 解析方法可能无法达到高质量要求,而当辅以可以有效提取文档中的结构化信息并将其整合为提示词(Prompt)的 PDF 解析器时,大语言模型能够作出更准确的响应。
2025-03-18
手绘风格图片生成模型
以下是关于手绘风格图片生成模型的相关内容: 艺术字生成: 模型选择:图片 2.1,输入提示词(可参考案例提示词)。 案例参考提示词: 金色立体书法,“立冬”,字体上覆盖着积雪,雪山背景,冬季场景,冰雪覆盖,枯树点缀,柔和光影,梦幻意境,温暖与寒冷对比,静谧氛围,传统文化,唯美中国风。 巨大的春联,金色的书法字体,线条流畅,艺术美感,“万事如意”。 巨大的字体,书法字体,线条流畅,艺术美感,“书法”二字突出,沉稳,大气,背景是水墨画。 巨大的奶白色字体“柔软”,字体使用毛绒材质,立在厚厚的毛绒面料上,背景是蓝天。 原文链接:https://mp.weixin.qq.com/s/jTMFYKxsN8dYNZu3VHKBnA 【06】在线生图定制主题海报: 操作步骤: 选择模型:推荐使用的模型,如(例图 1)风格模型>中国风>水墨工笔;(例图 2)风格模型>儿童>童话绘本;(例图 3)风格模型>MJ>剪纸艺术;(例图 4)风格模型>儿童>皮克斯(模型选择过程如图所示)。 输入画面描述:更好地描述画面的方法包括使用本课件提供的自选关键词、按主体+氛围+视角+画质的顺序输入关键词、使用括号()强调关键词。 选择画面大小:无界 AI 已将尺寸与用途标注在选项中,制作主题海报可选择 9:16 的宣传海报比例,选择 17283072 的分辨率可以更快生成图片。 其他设置:增加作图数量可以在同样参数的控制下一次性生成多幅图片,方便挑选。 优化海报:使用可画(https://www.canva.cn/?displaycomoption=true)在线编辑海报。 0 基础手搓 AI 拍立得: 背景:每次使用大模型工具时流程繁琐冗长,出于简化操作、提升效率的需求,萌生了“AI 拍立得”的概念,即拍即得,简化流程,让操作更直观、更高效。之前的直播分享内容中也有提到关于 AI 拍立得的能力,往期回顾: 在线体验:快速体验 AI 拍立得,微信小程序搜索:Pailido,丰富场景自由切换,可快速生成闲鱼文案、生成外卖/大众点评。 交互逻辑:用户选择拍摄场景类型并立即拍照,AI 自动识别和分析照片中的内容信息,依据预设场景规则迅速生成符合情境的反馈,避免繁琐操作。 实现场景: 图片转成文本:逻辑为用户上传图片后,大模型根据选择的场景生成与内容相关的文字描述或解说文本,核心是图片理解和文本整理润色,场景包括生成美食点评、朋友圈发布文案、闲鱼上架示例模版等。 图片转绘图片:逻辑为用户上传图片后,大模型按照指定的风格快速生成图像的转绘版本,适应不同风格和场景需求,核心是图片风格化滤镜,场景包括图片粘土风、图片积木风、图片像素风等。
2025-03-18
2025.3.18 新的大模型新闻
以下是 2025 年 3 月 18 日的一些新的大模型新闻: DeepSeek 深夜发布大一统模型 JanusPro,将图像理解和生成统一在一个模型中。其官网发声渠道包括微信公众号:DeepSeek;小红书:@DeepSeek(deepseek_ai);X:DeepSeek(@deepseek_ai);知乎账号(2025 年 3 月 1 日注册)。模型(7B)和(1B)的相关信息可参考特定链接。 2025 年 3 月 10 日的新闻:《大模型的未来,是 Agent 还是 App?》中提到 OpenAI 的 Deep Research 被视为一种新型的研究语言模型,具备自主执行搜索任务的能力。 2025 年 3 月 3 日的新闻:2025 年将是智谱的开源年,即将发布全新大模型并开源。2024 年 12 月,智谱已完成 D+轮 30 亿元人民币融资。
2025-03-18
在AI生成中,1token大约是多少字符?
在 AI 生成中,对于英文文本,1 个 Token 大约相当于 4 个字符或 0.75 个单词。以中文为例,由于不同厂商的大模型采用了不同的文本切分方法,通常情况下 1 Token 约等于 1 2 个汉字。在 ChatGPT 4 中,“Learning AI Meticulously,Sharing Knowledge Joyfully”这句话被视为 10 个 Token,标点符号单独计算,“Joyfully”被拆分成“Joy”和“fully”。您可以查看 OpenAI 的分词器工具来了解更多关于文本如何转换为 Token 的信息。
2025-03-18
token是什么
在大语言模型领域,Token 通常用来表示文本数据中的一个单元。在不同语境下,一个 token 可能代表一个字、一个词或一个句子。在英文中,一个 token 通常是一个词或标点符号;在一些汉语处理系统中,一个 token 可能是一个字或一个词。Token 是处理和理解文本数据的基本单元。 在深度学习的语言模型中,如 Transformer,输入的文本首先被切分成一系列的 tokens。这些 tokens 被转换成向量,然后被输入到神经网络中进行处理。因此,在这种情况下,token 可以被理解为语言模型接收和处理的最小的信息单元。在训练过程中,每个 token 会关联一个预测,这个预测可以是下一个 token 的预测,也可以是该 token 的属性预测,如词性、情感等。 训练 token 的数量会影响模型的性能和准确性。更多的训练 token 通常意味着更多的训练数据,这可能会提升模型的准确性和泛化能力。然而,处理更多的 token 也会增加计算的复杂性和计算资源的需求。 很多同学把 token 理解为中文语义里的“字节”,这种理解有一定相似度,因为“字节”是计算机存储和处理数据的基本单元,而“token”是语言模型处理文本信息的基本单元。但这种理解不够准确,“Token”在语言模型中的作用比“字节”在计算机中的作用更加复杂和多元。在大语言模型中,“token”不仅代表文本数据中的一个单位,而且每个“token”都可能携带了丰富的语义信息。比如,在处理一句话时,“token”可能表示一个字、一个词甚至一个短语,同时,每个“token”在模型中都有一个对应的向量表示,这个向量包含了该“token”的语义信息、句法信息等。 Unicode 是一种在计算机上使用的字符编码,为每种语言中的每个字符设定了统一并且唯一的二进制编码,以满足跨语言、跨平台进行文本转换、处理的要求。GPT 实际是将我们输入的文字转换成 token,然后通过 GPT 模型预测 token,再将 token 转换成文字,最后再输出给我们。GPT 的输入和输出都是一个个的 token,GPT 适用于几乎所有流行的自然语言,其 token 需要兼容几乎人类的所有自然语言,通过 unicode 编码来实现这个目的。
2025-03-13
飞书多维表格中使用deepseek有100万tokens总量的限制?
飞书多维表格中使用 DeepSeek 有一定的 token 总量限制。DeepSeekR1、V3 模型分别提供了 50 万免费额度和 API 半价活动(算下来 5 元有 100 万)。即日起至北京时间 20250218 23:59:59,所有用户均可在方舟享受 DeepSeek 模型服务的价格优惠。 不同模型的 token 限制有所不同,例如 Claude2100 k 模型的上下文上限是 100k Tokens,即 100000 个 token;ChatGPT16 k 模型的上下文上限是 16k Tokens,即 16000 个 token;ChatGPT432 k 模型的上下文上限是 32k Tokens,即 32000 个 token。 Token 限制同时对一次性输入和一次对话的总体上下文长度生效,不是达到上限就停止对话,而是会遗忘最前面的对话。 如果想直观查看 GPT 如何切分 token,可以打开,在其中可以看到实时生成的 tokens 消耗和对应字符数量。需要注意的是,英文的 Token 占用相对于中文较少,这也是很多中文长 Prompt 会被建议翻译成英文设定然后要求中文输出的原因。
2025-03-07
长token处理
以下是关于长 token 处理的相关信息: 通义千问方面: 开源的 Qwen2.51M 大模型推出 7B、14B 两个尺寸,在处理长文本任务中稳定超越 GPT4omini,同时开源推理框架,在处理百万级别长文本输入时可实现近 7 倍的提速,首次将开源 Qwen 模型的上下文扩展到 1M 长度。 在上下文长度为 100 万 Tokens 的大海捞针任务中,Qwen2.51M 能够准确地从 1M 长度的文档中检索出隐藏信息,仅有 7B 模型出现少量错误。 对于更复杂的长上下文理解任务,通义官方选择了等测试集。 Qwen2.51M 系列模型在大多数长上下文任务中显著优于之前的 128K 版本,特别是在处理超过 64K 长度的任务时表现出色。Qwen2.514BInstruct1M 模型不仅击败了 Qwen2.5Turbo,还在多个数据集上稳定超越 GPT4omini,可作为现有长上下文模型的优秀开源替代。 OpenAI API 方面: 模型通过将文本分解为标记(Token)来理解和处理文本,Token 可以是单词,也可以是字符块。 对于英文文本,1 个 Token 大约相当于 4 个字符或 0.75 个单词。 给定的 API 请求中处理的 Token 数量取决于输入和输出长度,文本提示词和生成的补全合起来不能超过模型的最大上下文长度(对于大多数模型,这是 2048 个 Token,或大约 1500 个单词),可查看分词器工具了解更多信息。
2025-03-07
token与参数的关系
Token 与参数存在密切关系。在大模型中,用于表达 token 之间关系的参数众多,主要指模型中的权重(weight)与偏置(bias)。例如,GPT3 拥有 1750 亿参数,而词汇表 token 数相对较少,只有 5 万左右。 目前使用的大模型存在 token 限制,如 Claude2100k 模型的上下文上限是 100k Tokens(100000 个 token),ChatGPT16k 模型的上下文上限是 16k Tokens(16000 个 token),ChatGPT432k 模型的上下文上限是 32k Tokens(32000 个 token)。这种 token 限制同时对一次性输入和一次对话的总体上下文长度生效,当达到上限时不是停止对话,而是遗忘最前面的对话。 在分词过程中,不同的字符串会被编码为不同的 token,例如字符串“Tokenization”编码到 token30642 及其后的 token1634,token“is”(包括前面的空格)是 318 等。数字的分解可能不一致,如 127 是由 3 个字符组成的 token,677 是 2 个 token 等。 为了让计算机理解 Token 之间的联系,需要把 Token 表示成稠密矩阵向量,这个过程称为 embedding,常见算法包括基于统计的 Word2Vec、GloVe 等,基于深度网络的 CNN、RNN/LSTM 等,基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力机制来学习不同 token 之间的依赖关系,生成高质量 embedding。
2025-03-06
Claude3/grok3/Gemini使用API调用时消耗token的价格是?
Claude 3 的 API 调用价格为:每百万输入 token 0.25 美元,每百万输出 token 1.25 美元。可以处理和分析 400 起最高法院案件或 2500 张图片只需 1 美元。相关链接:https://x.com/imxiaohu/status/1768284259792691366?s=20
2025-02-27
如何用coze实现一个心理学调研的智能体?最好能够支持音频调用
要使用 Coze 实现一个支持音频调用的心理学调研智能体,您可以按照以下步骤进行操作: 1. 进入 Coze,点击「个人空间 工作流 创建工作流」,打开创建工作流的弹窗。 2. 根据弹窗要求,自定义工作流信息。 3. 点击确认后完成工作流的新建,左侧「选择节点」模块中,实际用上的有: 插件:提供一系列能力工具,拓展 Agent 的能力边界。本案例涉及的思维导图、英文音频,因为无法通过 LLM 生成,就需要依赖插件来实现。 大模型:调用 LLM,实现各项文本内容的生成。本案例的中文翻译、英文大纲、单词注释等都依赖大模型节点。 代码:支持编写简单的 Python、JS 脚本,对数据进行处理。 4. 编辑面板中的开始节点、结束节点,则分别对应分解子任务流程图中的原文输入和结果输出环节。 5. 按照流程图,在编辑面板中拖入对应的 LLM 大模型、插件、代码节点,即可完成工作流框架的搭建。 在配置子任务节点时: 1. 关于模型选择,没有强制必须用某个模型的说法。而是根据自己的习惯、实测的响应速度、生成质量、调用费用,进行综合选择。比如 Doubao Function Call 模型,对于插件调用、Coze 内 json 格式输出比较擅长;MiniMax 处理文字速度很快;GLM 对于用户提示词的理解比较好。每个模型都有自己擅长的特点,而且每家模型都在不断的迭代。所以模型的选用,需要根据实测情况综合调整。 2. 一般选择豆包·function call 32k。“function call”代表有着更好的 Coze 的工具调用能力,“32k”代表模型的上下文窗口大小,即模型在处理文本时能够考虑的单词或标记的数量。如果输出和输入的类型不是纯文本时,比如是 array、object 结构,请根据实测情况,考虑替换上豆包 function call 版本,其他的 LLM 可能会输出格式比较混乱。
2025-03-12
manus的工具调用使用到的具体技术有哪些
Manus 工具调用使用的具体技术包括: 1. 基于多智能体(Multiple Agent)架构,运行在独立的虚拟机中,通过规划、执行和验证三个子模块的分工协作来处理复杂任务。 2. 核心功能由多个专注于不同任务或领域(如自然语言处理、数据分析、推理等)的独立模型共同完成,这种多模型驱动的设计提高了系统的鲁棒性和准确性,增强了处理复杂任务的能力。 3. 技术架构包含关键组件: 虚拟机:运行在云端虚拟机中,用户可随时查看任务进度,适合处理耗时任务。 计算资源:利用计算资源生成算法,用于筛选简历等具体任务。 生成物:能够生成各种类型的输出,如文本、表格、报告等。 内置多个 agents:通过内置多个智能体,实现任务的分解和协同工作。 4. 采用“少结构,多智能体”的设计哲学,强调在数据质量高、模型强大、架构灵活的情况下,自然涌现 AI 的能力,使处理复杂任务更高效和准确。
2025-03-06
调用api是什么
调用 API(Application Programming Interface,应用程序编程接口)是指软件系统之间进行交互和通信的一种方式。通过调用 API,一个程序可以请求并获取另一个程序或服务所提供的数据、功能或执行特定的操作。 API 通常定义了一组规则、协议和方法,包括请求的格式、参数的传递方式、响应的数据结构等。开发人员可以使用特定的编程语言和工具,按照 API 的规定发送请求,并处理返回的响应结果,以实现不同系统之间的集成和数据共享。 例如,在 Web 开发中,调用第三方提供的 API 可以获取天气信息、地图数据、社交媒体内容等,从而丰富自己的应用功能。在移动应用开发中,也可以调用系统提供的 API 来实现诸如访问设备传感器、发送短信等功能。 总之,调用 API 是现代软件开发中实现功能扩展和系统集成的重要手段。
2025-03-05
有可以在微信端调用的AI智能体吗?
目前有以下几种在微信端调用 AI 智能体的方式: 1. 通过 chatgptonwechat(简称 CoW)项目: 登录宝塔面板,在宝塔面板中可视化控制云服务器,部署 docker 容器,启动 COW 项目与微信取得关联。 点击“Docker”中的“项目模板”中的“添加”按钮,按照相关步骤进行操作。 项目模板代码示例如下:将编译好的内容复制进来。 在容器中创建容器,选择容器编排,填入模板和名称,确定。 点击容器后,可以看到运行的是两个服务。 点击“wcandyaibot”后面的日志按钮,用提前预备好的微信进行扫码。手动刷新查看是否成功,若看到“WeChat login success”,则接入成功。 2. 智普工作流: 新用户有 1 元及 5 元的资源包可供购买。 工作流具备文章、文件、网页总结,生成图片、视频和文字版日报等功能,通过意图识别跳转节点,使用了多个 agent。 在控制台的自动体中心,右键创建智能体,可选择对话型或文本型,创建后在空旷画布的左下角添加节点,节点包括 agent、LM、工具、代码、数据提取、分支判断和问答等,agent 通过跳入跳出条件与其他节点交互,LM 通过工作流连线执行功能。 文档可在 vtoagi.com 首页的 banner 获取,飞书群也可获取。 接入微信时,准备了云服务器和本地电脑两种版本,可按需选择。 需要注意的是,不同的方式可能存在一定的技术门槛和配置要求。
2025-03-04
基础搭建的知识库效果很差,模型答案的幻觉很严重,我应该怎么改进?(Deepseek调用api接入本地faiss的rag库)
以下是一些改进基础搭建的知识库效果、减轻模型答案幻觉问题的建议: 1. 更换大模型:例如从 ChatGLM26B 替换成 baichuan213b,针对您的场景,后者的性能可能提升一倍左右。 2. 更换 embedding 模型:将 embedding 模型从 LangChain Chatchat 默认的 m3ebase 替换为 bgelargezh,后者可能更优。 3. 测试不同 Top k 的值:比较 Top 5、Top 10、Top 15 的结果,发现 Top 10 时效果可能最优。 4. 对文档名称进行处理:人工对文件进行重命名,上传相同文件构建知识库,同时在构建知识库时勾选【开启中文标题加强】选项,虽然重命名文件对结果的提升效果不明显,但勾选该选项后,回答的无关信息可能减少,效果有所提升。 RAG(RetrievalAugmented Generation)即检索增强生成,由检索器和生成器两部分组成。检索器从外部知识中快速找到与问题相关的信息,生成器利用这些信息制作精确连贯的答案,适合处理需要广泛知识的任务。 在大模型中,向量可想象成空间中的点位,每个词或短语对应一个点。系统通过查看词在虚拟空间中点的位置,寻找直线距离最近的点来检索语义上接近的词语或信息。理解向量后,当收到一个对话时,RAG 的完整工作流程为:检索器从外部知识中检索相关信息,生成器利用这些信息生成答案。 要优化幻觉问题和提高准确性,需要了解从“问题输入”到“得到回复”的过程,针对每个环节逐个调优,以达到最佳效果。
2025-02-27