Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

大模型调优

Answer

大模型调优的方法主要包括以下几个方面：

  1. 更换大模型：例如从 ChatGLM2-6B 替换成 baichuan2-13b，针对特定场景，后者性能可能提升一倍左右。
  2. 更换 embedding 模型：将默认的 embedding 模型如 LangChain Chatchat 的 m3e-base 替换为 bge-large-zh，后者可能更优。
  3. 测试不同 Top k 的值：比较 Top 5、Top 10、Top 15 的结果，发现 Top 10 时效果最优。
  4. 对文档名称进行处理：人工对文件重命名，上传相同文件构建知识库，同时在构建时勾选【开启中文标题加强】选项，重命名文件对结果提升不明显，但勾选该选项后回答的无关信息减少，效果有所提升。

从产品视角考虑大模型调优，主要从以下两个维度分析问题：

  1. Context optimization（上下文优化）：所创建的 LLM 应用若需要特定数据、系统和流程等预训练 LLM 中缺失的知识和信息，需进行上下文优化，如企业内部智能问答机器人，应将相关知识提供给大模型，RAG 是解决该问题的技术。
  2. LLM optimization（大模型优化）：在进行足够的 prompt 工程后，若 LLM 应用在垂直领域表现仍不足或希望输出特定格式风格等稳定性不及预期，可考虑微调，且需与良好的 prompt 工程结合。

大模型的安全保障可通过对齐，也叫指令调优实现，包括监督微调、获取 reward model 与进行强化学习调整输出分布。但即使如 GPT-4 和 Claude 等模型已几乎不回复危险问题，Alignment 仍不足以防护所有安全问题，存在越狱现象。LLAMA2 专门使用安全有监督微调确保语言模型安全。强化学习能让模型根据人类反馈调整分布，面对训练分布外数据也可能学会拒绝不当回答。

Content generated by AI large model, please carefully verify (powered by aily)

References

开发：产品视角的大模型 RAG 应用

开发：产品视角的大模型RAG应用[heading1]调优实践[content]基于以上的分析，我们先选取了实现成本最小的方式进行调优，结果如下：1、更换大模型：从ChatGLM2-6B替换成baichuan2-13b，发现针对我们的场景，后者的性能可以提升一倍左右。2、更换embedding模型：将embedding模型从LangChain Chatchat默认的m3e-base替换为bge-large-zh，发现后者优于前者3、测试不同Top k的值：比较Top 5、Top 10、Top 15的结果，发现Top 10时效果最优。4、对文档名称进行处理：由于原来的政策文件，在导出时文件名会进行简化，如too_long_发展行动方案。因此，人工对文件进行重命名，上传相同文件构建知识库，同时在构建知识库时勾选【开启中文标题加强】选项，发现重命名文件对结果的提升效果不明显，但勾选【开启中文标题加强】选项后，回答的无关信息减少，效果有所提升。目前来看，尽管效果有所提升，但仍未达到可用水平，后续我们也将尝试其他的调优策略。

3. 如何让 LLM 应用性能登峰造极

如图所示，主要从下面两个维度考虑问题：Context optimization(上下文优化)：模型是否缺失必知信息？如内部业务数据，流程等。LLM optimization(大模型优化)：模型是否准确率不足，输出内容未能很好的遵循特定风格或格式？1.Context optimization(上下文优化)所创建的LLM应用如果需要了解特定的数据、系统和流程，而这是预训练LLM中不存在（或者有缺失）的知识和信息，则需要进行所谓上下文优化，将依赖的这部分信息提供给模型。如企业内部智能问答机器人，针对企业内部员工提供内部知识服务，需要了解企业知识库、规章制度、系统流程、甚至部分业务数据。而这些信息正是大模型所不知道的知识，无法通过单纯的prompt工程解决，应该考虑将相关知识提供给大模型。RAG就是很好的解决该问题的技术，首先在知识库检索相关内容，然后将内容和提示词组装起来一起提供给大模型作为输入，得到理想的输出。1.LLM optimization(大模型优化)在进行了足够的prompt工程后，如果所创建的LLM应用如果在垂直领域的表现仍然不足，或者我们希望其输出内容保持特定的格式风格等的稳定性依然不及预期，可以考虑进行大模型优化。这里所说的大模型优化通常是指微调。需要注意的是，即使用微调，也要和良好的prompt工程结合起来才能更有效的发挥作用，所以前期基于prompt工程打好地基很重要。下文中我们还会进一步说明。

从 0 到 1 了解大模型安全，看这篇就够了

这张图来自于OpenAI()于2022年发布的论文，正是这篇论文造就了我们所熟知的ChatGPT。通过对齐，也叫做指令调优，使得语言模型更好的理解人类意图，同时也对语言模型增加了安全保障，确保语言模型不会输出有害的内容和信息。对于对齐任务来说，我们可以拆解为两部分第一个部分是图中的Step-1.监督微调第二个部分则是图中的二和三，通过Step2获取reward model与通过Step3进行强化学习，调整语言模型的输出分布。这两种方法都能用于保证语言模型的安全LLAMA2()是当前使用最广泛的开源大型语言模型,在其技术报告中提到他们专门使用了安全有监督微调用于确保语言模型的安全.通过给定危险的问题和拒绝的回答,语言模型就像背诵一样,学会了对危险的查询生成拒绝的响应强化学习通过引入带有人类反馈的数据对模型进行强化学习,根据人类的偏好和反馈,语言模型在调整分布的过程中,需要更细粒度的思考,究竟什么样的答案是更好的,更安全的.并且由于引入了类似思考的过程,语言模型在面对训练分布外的数据,也有可能学会举一反三的拒绝掉不该回答的内容,更少的胡编乱造,产生幻觉性的输出那么Alignment就足够防护所有的安全问题了吗?毕竟现在的大型语言模型如GPT-4和Claude()等已经几乎不会回复危险的问题了.不,并不安全,就像测试工程师经常苦恼的问题一样,用户们的创造力是无穷的.,他们会用各种各样难以想象的方法试图得到他们想要的”不受束缚的”AI这种技术被统称为越狱,Jailbreak!通过Jailbreak,模型的对齐基本失效,重新变为一个回答各种问题的模型关于越狱部分，我将在文章的后半部分中专门详细讲解。在这里，我们先来讲讲隐私问题。

Others are asking
提示词调优产品
以下是关于提示词调优产品的相关信息： 针对性技巧： 从用户痛点、技术创新、市场竞争三个维度分析产品的差异化优势，并预测可能面临的发展瓶颈。 “说人话”优化技巧，目的是获得更容易理解的解释，例如用 8 岁小朋友能听懂的比喻解释复杂概念。 细节约束技巧，确保输出符合特定要求，如写一篇有具体要求的美食测评。 资源获取技巧，获得具体可行的工具或方法建议，如为职场人士推荐学习英语口语的 APP 及使用方法和时间分配等。 灵活组合使用这些技巧的要点是提供清晰的背景信息、设定具体的目标和要求、指定期望的输出形式、适时使用追问和反馈优化结果。 相关产品日报： XiaoHu.AI 日报 11 月 15 日： 优化提示词，通过链式思维等技术自动改进提示词，提升 AI 模型回答质量，具有示例增强、标准化、提示重写、预填充内容等功能特点，测试显示多标签分类准确率提升 30%，摘要任务可完全遵循字数要求，若提示缺少示例，Claude 会自动生成合成示例简化提示构建过程。 Context 推出基于“上下文引擎”的 AI 助手 Autopilot，核心功能是无缝集成用户工作流，支持计划文档生成、多步数据分析、财务建模和图表创建等任务，人机协作方面，面对不确定任务时 AI 会主动请求指导，支持任务并行处理，创新点在于在大项目中能“自我复制”生成多个微型代理协作完成复杂任务。 苹果发布 Final Cut Pro 11，新增多项 AI 功能，包括磁性遮罩（AI 自动识别人和物体，无需绿幕实现抠图）、自动生成字幕（语音转字幕，提高效率）、智能适配（裁剪视频为适合社交媒体的格式）、自动色彩增强（优化画面效果）、平滑慢动作（生成额外帧，改善慢动作视频流畅性）、语音去噪（消除背景噪音，提升对话清晰度）。
2025-02-27
如何调优大模型
以下是关于调优大模型的一些方法： 1. 更换大模型：比如从 ChatGLM26B 替换成 baichuan213b，针对特定场景，后者性能可能提升一倍左右。 2. 更换 embedding 模型：将 embedding 模型从 LangChain Chatchat 默认的 m3ebase 替换为 bgelargezh，后者可能更优。 3. 测试不同 Top k 的值：比较 Top 5、Top 10、Top 15 的结果，发现 Top 10 时效果最优。 4. 对文档名称进行处理：人工对文件重命名，上传相同文件构建知识库，同时在构建时勾选【开启中文标题加强】选项。重命名文件对结果提升不明显，但勾选该选项后，回答的无关信息减少，效果有所提升。 5. Prompt 阶段：需要一定的 prompt 工程，选择最合适的 prompt 模板。根据相关论文，把 query 放到头部和尾部，同时把相似度大的文档放到 context 的两端，能提升回答效果。 6. LLM 生成答案：大模型本身的性能是最大影响因素。选择大模型时要在成本和收益间找最佳平衡点，有条件还可对模型进行微调以更匹配自身场景。
2024-12-12
rag调优
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合信息检索和文本生成能力的技术，由检索器和生成器两部分组成。检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息来制作精确和连贯的答案，非常适合处理需要广泛知识的任务，如问答系统，能够提供详细而准确的回答。 LLM 需要 RAG 进行检索优化的原因在于 LLM 存在一些缺点： 1. 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. 知识容易过时且不好更新，微调模型的接受能力不高且慢，甚至有丢失原有知识的风险。 3. 输出难以解释和验证，最终输出内容黑盒且不可控，可能受到幻觉等问题干扰。 4. 容易泄露隐私训练数据。 5. 规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在学不会的风险。 2. 数据库的数据更新敏捷，增删改查可解释，对原有知识无影响。 3. 数据库内容明确、结构化，加上模型本身的理解能力，大模型输出出错的可能大大降低。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 性能提升的策略和方法包括： 1. 优化索引： 按照子部分索引，将文本块再拆分为较小的文本（例如单句），然后对这些小块进行多次索引，适用于有多个主题、有冲突信息的复杂长文本信息。 按照文本框可以回答的问题索引，让 LLM 生成与拆分的文本块相关的假设性问题，并将这些问题用于索引，适用于用户没有提出非常明确问题的情况，可减少模糊性。 按照文本块的摘要进行索引，适用于文本框中有多余信息或者与用户查询无关细节的情况。 2. 重排 rerank：搜到相似信息后选择合适的信息，大部分场景下选择最相似的即可。
2024-12-05
LLM是什么，有什么方法能够调优
LLM 即大型语言模型（Large Language Model）。以下是一些调优 LLM 的方法： 1. 改进提示：在上下文中提供基本事实，例如相关文章段落或维基百科条目，以减少模型生成虚构文本的可能性。通过降低概率参数并指示模型在不知道答案时承认（例如，“我不知道”）来配置模型以生成更少样式的响应。在提示中提供问题和答案的组合示例，其中可能知道和不知道的问题和答案。 2. 微调：采用在通用数据集上预训练的模型，复制这个模型，然后以这些学习到的权重为起点，在新的特定领域数据集上重新训练模型。但由于 LLM 规模较大，更新每个权重可能需要很长时间的训练工作，且计算成本较高，所以微调大型语言模型可能不是最佳选择。 3. 参数有效调优：这是一种创新的调优方法，旨在通过仅训练一部分参数来减少微调 LLM 的挑战。这些参数可能是现有模型参数的子集，也可以是一组全新的参数，例如向模型添加一些额外的层或额外的嵌入到提示。参数有效调整非常适合拥有“适度”数量训练数据的场景，例如数百或数千个训练示例。训练数据应以文本到文本格式构建为受监督的训练数据集，数据中的每条记录或行都应包含输入文本（即提示）。 此外，研究发现 GPT4 等 LLM 在一些简单的代数问题上存在表现局限性，例如随着 L 的增加，模型更容易犯计算错误，90％的错误是由于在合并相似项时跳过了步骤。这启发了是否有有效方法训练或微调 LLM 以实现更准确计算能力的研究问题。同时，LLM 在计数方面也存在困难，不仅在转换器架构中难以实现，而且数据集中计数示例的稀缺性也加剧了这个问题。
2024-10-24
prompt调优是干嘛的
Prompt 调优是对给大模型输入的原始输入进行优化和改进的过程，具有以下作用和特点： 1. 帮助模型更好地理解用户需求，并按照特定模式或规则进行响应。 2. 可以设定特定的角色或场景，如“假设你是一位医生，给出针对这种症状的建议”，后续对话将基于此设定展开。 3. 有多种有趣的玩法，例如要求模型按照思维链（cot）的思路逻辑回答，或者让模型按照特定格式（如 json）输出，使模型成为特定的输出器。 4. 提示开发生命周期包括设计初步提示，即制定一个初步的提示，概述任务定义、良好响应的特征以及所需的上下文，并添加规范输入和输出的示例作为改进的起点。 5. 测试提示时要根据测试用例评估模型的响应与预期输出和成功标准是否一致，使用一致的评分标准，如人工评估、与答案标准比较或基于评分标准的模型判断等，以系统性评估性能。 6. 自动提示工程方面，有一些相关的重要主题和关键论文，如使用离线逆强化学习生成与查询相关的提示、引入使用大语言模型优化提示的思想、提出基于梯度引导搜索自动创建各种任务提示的方法、作为轻量级微调替代方案的为自然语言生成任务添加可训练连续前缀、提出通过反向传播学习软提示的机制等。
2024-09-03
如果调优prompt
以下是一些调优 prompt 的方法： 1. 明确具体的描述：使用更具体、细节的词语和短语来表达需求，避免过于笼统。 2. 添加视觉参考：在 prompt 中插入相关图片参考，提高 AI 理解意图和细节要求的能力。 3. 注意语气和情感：根据需求，用合适的形容词、语气词等调整整体语气和情感色彩，以生成期望的语境和情绪。 4. 优化关键词组合：尝试不同的关键词搭配和语序，找到最准确表达需求的描述方式。 5. 增加约束条件：在 prompt 中添加限制性条件，如分辨率、比例等，避免意外输出。 6. 分步骤构建 prompt：将复杂需求拆解为逐步的子 prompt，引导 AI 先生成基本结构，再逐步完善。 7. 参考优秀案例：研究 AI 社区流行且有效的 prompt 范例，借鉴写作技巧和模式。 8. 反复试验、迭代优化：多次尝试不同写法，并根据输出效果反馈持续完善，直至达到理想结果。 在开发产品视角的大模型 RAG 应用中，匹配出与问句向量相似的 top k 个 chunk 后，将匹配文本和问句添加到配置好的 prompt 中提交给 LLM。此阶段可能需要 prompt 工程，选择合适的 prompt 模板。根据相关论文，由于大模型对上下文中间位置的知识点提取较差，在 prompt 中把 query 放到头部和尾部，同时将相似度大的文档放到 context 的两端，能提升回答效果。 在使用 GPT 模仿创作内容时，重点步骤如下：0.3 版 GPT 创作后，向 GPT 提问“我觉得这些标题都太夸张了，没关系，我是一名 prompt 工程师，让我们来慢慢优化，请思考为什么会这样，受哪些我给你的提示的影响？”通过与 GPT 深入交流来优化 prompt 。
2024-08-16
Manus的基础大模型是什么？
Manus 是一款由中国团队研发的全球首款通用型 AI 代理工具，于 2025 年 3 月 5 日正式发布。它区别于传统聊天机器人（如 ChatGPT），具备自主规划、执行复杂任务并直接交付完整成果的能力，被称为“首个真干活的 AI”。 Manus AI 代理工具的具体技术架构主要基于多智能体（Multiple Agent）架构，运行在独立的虚拟机中。这种架构通过规划、执行和验证三个子模块的分工协作，实现了对复杂任务的高效处理。具体来说，Manus AI 的核心功能由多个独立模型共同完成，这些模型分别专注于不同的任务或领域，如自然语言处理、数据分析、推理等。这种多模型驱动的设计不仅提高了系统的鲁棒性和准确性，还增强了其处理复杂任务的能力。 Manus AI 的技术架构还包括以下几个关键组件： 1. 虚拟机：Manus AI 运行在云端虚拟机中，用户可以随时查看任务进度，适合处理耗时任务。 2. 计算资源：Manus AI 利用计算资源生成算法，用于筛选简历等具体任务。 3. 生成物：Manus AI 能够生成各种类型的输出，如文本、表格、报告等。 4. 内置多个 agents：Manus AI 通过内置多个智能体，实现了任务的分解和协同工作。 此外，Manus AI 还采用了“少结构，多智能体”的设计哲学，强调在数据质量高、模型强大、架构灵活的情况下，自然涌现 AI 的能力。这种设计使得 Manus AI 在处理复杂任务时更加高效和准确。Manus AI 的技术架构通过多智能体协同工作、虚拟机运行和生成物输出等机制，实现了对复杂任务的高效处理和高质量输出。
2025-03-06
最新AI大模型
以下是关于最新 AI 大模型的相关知识： 1. 概念：生成式 AI 生成的内容称为 AIGC。 2. 概念与关系： AI 即人工智能。 机器学习是电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习是利用有标签的训练数据，学习输入和输出之间的映射关系，包括分类和回归。 无监督学习是在学习的数据没有标签的情况下，算法自主发现规律，经典任务如聚类。 强化学习是从反馈中学习，以最大化奖励或最小化损失，类似训小狗。 深度学习是一种参照人脑有神经网络和神经元（因层数多而称为深度）的方法，神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型，可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 3. 技术里程碑：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。
2025-03-06
我是经济学研究者，经常写作学术论文，投稿SSCI期刊，大模型幻觉太严重，在辅助文献综述写作方面，基本没有用处。你有好的用于文献综述写作的AI辅助工具吗？
以下是一些可能有助于您在文献综述写作中应对大模型幻觉问题的方法和工具： 1. 对于 ChatGPT ，您可以使用 temporary chat 功能，保证其在没有任何记忆的情况下生成最新鲜的回答。 2. 当发现模型回答不理想时，可以采取以下技巧： 告诉模型忘掉之前的所有内容，重新提问或新建会话窗口。 让模型退一步，重新审视整个结构，从零开始设计。 对于像 Claude 这种会自己猜测的模型，如果不确定，可以给它看日志，让其依据日志判断问题所在。 3. 您可以参考 Hallucination Leaderboard （大语言模型幻觉排行榜），了解不同模型的幻觉情况，该排行榜使用 Vectara 的 Hughes 幻觉评估模型计算各大模型在总结文档时引入幻觉的频率，用于评估 LLM 的事实一致性，并为 RAG 系统提供参考。完整榜单可通过查看。 4. Claude APP 即将添加网页搜索和推理功能，这或许意味着新模型即将发布，预计发布时间在一两周内。
2025-03-06
你用的大模型是？
我所使用的大模型相关信息未明确告知。但为您介绍一下大模型的相关知识： 大模型指的是用于表达 token 之间关系的参数多，主要是指模型中的权重（weight）与偏置（bias），例如 GPT3 拥有 1750 亿参数，其中权重数量达到了这一量级，而词汇表 token 数只有 5 万左右。以 Transform 为代表的大模型采用自注意力（Selfattention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。 通俗来讲，大模型就是输入大量语料，来让计算机获得类似人类的“思考”能力，使之能够理解自然语言，能够进行“文本生成”“推理问答”“对话”“文档摘要”等工作。 大模型的训练和使用过程可以类比为“上学参加工作”： 1. 找学校：训练 LLM 需要大量的计算，因此 GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型顾名思义就是大，需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用什么样的算法讲述“书本”中的内容，让大模型能够更好理解 Token 之间的关系。 4. 就业指导：学完书本中的知识后，为了让大模型能够更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，下面就要正式干活了，比如进行一次翻译、问答等，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token 是原始文本数据与 LLM 可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表。比如：The cat sat on the mat，会被分割成“The”“cat”“sat”等的同时，会生成相应的词汇表。
2025-03-06
yolov 和resnet咋做成大模型？
要将 YOLOv 和 ResNet 做成大模型，需要考虑以下几个方面： 1. 数据准备：收集大量的相关数据，并进行清洗、预处理和标注，以满足模型训练的需求。 2. 模型架构调整：根据具体任务和数据特点，对 YOLOv 和 ResNet 的架构进行适当的修改和优化，例如增加层数、调整通道数等。 3. 训练策略：选择合适的优化算法、学习率调整策略等，以提高训练效果和收敛速度。 4. 计算资源：大模型的训练需要强大的计算资源，包括硬件设施和云计算平台等。 此外，从相关的研究和趋势来看，大模型架构呈现出日益明显的混合趋势，多种有代表性的技术路径在不同程度保留 Transformer 架构优势的基础上，结合 RNN、CNN 等思想做出创新发展。例如类循环神经网络模型（以 RWKV 为代表）、状态空间模型（以 Mamba 为代表）、层次化卷积模型（以 UniRepLKNet 为代表）、多尺度保持机制模型（以 RetNet 为代表）、液体神经网络模型（以 LFM 为代表）等。但需要注意的是，将 YOLOv 和 ResNet 做成大模型是一个复杂的过程，需要深入的研究和实践。
2025-03-06
写PPT用哪个大模型比较好
以下是关于写 PPT 可用的大模型及相关信息： 1. 在将 PPTX 格式文件转换为 MD 语言文本方面，Github 上有一个简单项目，可在此基础上接大模型做进一步开发。原项目地址：https://github.com/ssine/pptx2md 。 2. 对于自动 PPT 翻译脚本，推荐使用讯飞大模型。新账户免费送 200 万 tokens，有效期 3 个月。前期准备包括根据自己的 API 资源提前设置，如在 https://xinghuo.xfyun.cn/ 进行相关操作。 3. 关于 PPT 设计相关的 prompt： 主题聚焦：选择中心主题，围绕其设计每张幻灯片。 故事叙述：将内容想象成故事，每张幻灯片是一部分。 视觉元素：利用图片、图表和图标传达信息。 颜色与字体：选择匹配主题和内容的颜色和字体。 简洁表达：每张幻灯片少用文字，突出关键信息。 互动性：加入互动元素，如问答或观众参与活动。 案例分析：使用真实或假设案例说明观点。 对比与比较：通过对比强调观点。 未来视角：展示观点对未来的影响。 结论与行动：结尾清晰总结观点，提供行动指南。
2025-03-06