Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何调优大模型

Answer

以下是关于调优大模型的一些方法:

  1. 更换大模型:比如从 ChatGLM2-6B 替换成 baichuan2-13b,针对特定场景,后者性能可能提升一倍左右。
  2. 更换 embedding 模型:将 embedding 模型从 LangChain Chatchat 默认的 m3e-base 替换为 bge-large-zh,后者可能更优。
  3. 测试不同 Top k 的值:比较 Top 5、Top 10、Top 15 的结果,发现 Top 10 时效果最优。
  4. 对文档名称进行处理:人工对文件重命名,上传相同文件构建知识库,同时在构建时勾选【开启中文标题加强】选项。重命名文件对结果提升不明显,但勾选该选项后,回答的无关信息减少,效果有所提升。
  5. Prompt 阶段:需要一定的 prompt 工程,选择最合适的 prompt 模板。根据相关论文,把 query 放到头部和尾部,同时把相似度大的文档放到 context 的两端,能提升回答效果。
  6. LLM 生成答案:大模型本身的性能是最大影响因素。选择大模型时要在成本和收益间找最佳平衡点,有条件还可对模型进行微调以更匹配自身场景。
Content generated by AI large model, please carefully verify (powered by aily)

References

开发:产品视角的大模型 RAG 应用

开发:产品视角的大模型RAG应用[heading1]调优实践[content]基于以上的分析,我们先选取了实现成本最小的方式进行调优,结果如下:1、更换大模型:从ChatGLM2-6B替换成baichuan2-13b,发现针对我们的场景,后者的性能可以提升一倍左右。2、更换embedding模型:将embedding模型从LangChain Chatchat默认的m3e-base替换为bge-large-zh,发现后者优于前者3、测试不同Top k的值:比较Top 5、Top 10、Top 15的结果,发现Top 10时效果最优。4、对文档名称进行处理:由于原来的政策文件,在导出时文件名会进行简化,如too_long_发展行动方案。因此,人工对文件进行重命名,上传相同文件构建知识库,同时在构建知识库时勾选【开启中文标题加强】选项,发现重命名文件对结果的提升效果不明显,但勾选【开启中文标题加强】选项后,回答的无关信息减少,效果有所提升。目前来看,尽管效果有所提升,但仍未达到可用水平,后续我们也将尝试其他的调优策略。

开发:产品视角的大模型 RAG 应用

开发:产品视角的大模型RAG应用[heading1]如何调优[heading3]5、Prompt阶段[content]匹配出与问句向量最相似的top k个chunk之后,会将匹配出的文本和问句,一起添加到配置好的prompt中,提交给LLM。在这个阶段,可能需要一定的prompt工程,选择最合适的prompt模板。根据论文《Lost in the Middle:How Language Models Use Long Contexts》,大模型对上下文中间位置的知识点提取较差,因此在prompt中,把query放到头部和尾部,同时根据相似度,把相似度大的文档放到context的两端,能提升回答效果。[heading3]6、LLM生成答案[content]prompt提交给LLM后,LLM将生成回答,返回给用户。此时最大的影响因素就是大语言模型本身的性能。选择大模型时,也需要在成本和收益之间找到最佳平衡点,有些场景可能不需要最好的大模型,就可以实现还不错的效果。有条件的还可以对模型进行微调,使模型能力更加匹配自身的场景。

大模型入门指南

通俗来讲,大模型就是输入大量语料,来让计算机获得类似人类的“思考”能力,使之能够理解自然语言,能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。既然是学习,那我们就可以用『上学参加工作』这件事来类比大模型的训练、使用过程:1.找学校::训练LLM需要大量的计算,因此GPU更合适,因此只有购买得起大量GPU的贵族学校才有资本训练自己的大模型2.确定教材::大模型顾名思义就是大,需要的数据量特别多,几千亿序列(Token)的输入基本是标配3.找老师::即用什么样的算法讲述“书本”中的内容,让大模型能够更好理解Token之间的关系4.就业指导::学完书本中的知识后,为了让大模型能够更好胜任某一行业,需要进行微调(fine tuning)指导5.搬砖::就业指导完成后,下面就要正式干活了,比如进行一次翻译、问答等,在大模型里称之为推导(infer)在LLM中,Token([2])被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词,甚至更大的语言单位,具体取决于所使用的分词方法(Tokenization)。Token是原始文本数据与LLM可以使用的数字表示之间的桥梁。在将输入进行分词时,会对其进行数字化,形成一个词汇表(Vocabulary),比如:The cat sat on the mat,会被分割成“The”、“cat”、“sat”等的同时,会生成下面的词汇表:|Token|ID||-|-||The|345||cat|1256||sat|1726||…|…|

Others are asking
有没有大模型识别 CAD图纸的技术
目前存在一些可以辅助或自动生成 CAD 图的 AI 工具和插件,特别是在设计和工程领域。以下为您列举部分相关工具: 1. CADtools 12:这是一个 Adobe Illustrator(AI)插件,为 AI 添加了 92 个绘图和编辑工具,涵盖图形绘制、编辑、标注、尺寸标注、转换、创建和实用工具。 2. Autodesk Fusion 360:Autodesk 开发的一款集成了 AI 功能的云端 3D CAD/CAM 软件,有助于用户创建复杂几何形状和优化设计。 3. nTopology:基于 AI 的设计软件,能够帮助用户创建复杂的 CAD 模型,包括拓扑优化、几何复杂度和轻量化设计等。 4. ParaMatters CogniCAD:基于 AI 的 CAD 软件,可根据用户输入的设计目标和约束条件自动生成 3D 模型,适用于拓扑优化、结构设计和材料分布等领域。 5. 生成设计工具:一些主流 CAD 软件,如 Autodesk 系列、SolidWorks 等,提供了基于 AI 的生成设计工具,能根据用户输入的设计目标和约束条件自动产生多种设计方案。 需要注意的是,这些工具通常需要一定的 CAD 知识和技能才能有效使用。对于 CAD 初学者,建议先学习基本的 3D 建模技巧,然后尝试使用这些 AI 工具来提高设计效率。以上内容由 AI 大模型生成,请仔细甄别。
2025-03-01
Monica和Openai的记忆功能是如何让大模型产生记忆的?是什么原理?
大模型的记忆功能实现方式较为复杂,不同的模型可能有所不同。 OpenAI 的模型中,大模型 LLM 扮演了“大脑”的角色,其记忆功能可能通过“Agent = LLM + 规划 + 记忆 + 工具使用”的基础架构来实现。但需要注意的是,对于 ChatGPT 这类模型,实际上其本质上并没有直接的记忆功能。它能理解之前的交流内容,是因为每次将之前的对话内容作为新的输入重新提供给模型。这种记忆功能并非由大型模型直接实现,而是通过在别处进行存储来达成。 如果对话内容过长,可能会影响模型的整体性能。解决这个问题的一个简单方法是启动另一个对话框。对于之前的数据,通常只能进行总结。
2025-03-01
推理模型的技术原理
推理模型是一种新的范式,专注于解决复杂、多步骤的问题。其技术原理主要包括以下方面: 1. 思考输入意图:通过对输入内容的深入理解,明确问题的核心和需求。 2. 逐步提供答案:不像传统模型一次性给出结果,而是分步骤进行推理和回答。 3. 擅长领域:在解谜和高级数学等具有挑战性的任务中表现出色。 4. 与传统模型的区别:传统模型可能更倾向于直接给出结果,而推理模型会通过逐步思考来提供答案。 5. 成本和易错性:推理模型成本高昂且容易出错,适用场景有限。 6. 模型变体:如 DeepSeek 推出的多种变体(如 R1Zero 和 R1Distill)展示了不同的训练策略和性能表现。 7. 思考过程:类似于人类的慢思考过程,结合行业特点给出重要事项和先后顺序。 8. 运算原理:快思考是概率预测,脱口而出但不一定对;慢思考在概率预测基础上做二层逻辑,即链式思维,展开问题找多条路径并互相验证。 9. 适用场景:指令遵循领域 instruct 模型效果好,推理和创造性问题适合用慢思考的推理模型。
2025-03-01
如何建立一个行业的知识库,并建立这个行业的专属AI模型?
建立一个行业的知识库并建立专属 AI 模型可以参考以下步骤: 1. 明确行业需求和目标:确定知识库和 AI 模型要解决的具体问题和实现的功能。 2. 收集和整理数据:包括行业相关的各种信息、文档、案例等,为知识库提供素材。 3. 设计提示词:明确 AI 模型的角色和专注的技能,使其能够按照设定进行工作。 4. 构建知识库:将行业特定的规则、流程、案例等内容整理成工作手册,供 AI 模型参考。 5. 选择合适的 AI 模型:例如可以使用阿里千问模型等。 6. 进行模型训练和优化:根据收集的数据和设定的提示词、知识库对模型进行训练,并不断优化。 7. 融合实际场景:让人类专家配备可穿戴设备,收集现实世界的互动供 AI 学习,避免复制危险的偏见。 8. 持续评估和改进:根据实际应用效果,对知识库和 AI 模型进行评估和改进。 例如,在医疗保健领域,开发具有潜在空间层次结构的堆叠 AI 模型,反映对每个基本元素的理解或预测能力。创建专门从事医疗保健特定领域的 AI,让其接触到顶级从业人员的多样化视角。在财经领域,依托中央财经大学的资源优势,基于内容增强型知识插槽技术构建高质量知识库,与客户自有知识库结合,实现全业务场景的支撑,可实现快速的专家级 Agent 构建与管理维护。在文档处理领域,如上海普米智图智能科技有限公司,自主研发的数据框架 Ananke 和 Agent 框架 Moros,利用智能体技术提升工作流效率。
2025-03-01
模型蒸馏
模型蒸馏是指教师模型将知识蒸馏给学生模型,有多种蒸馏方式。其应用场景广泛,例如在车机等算力有限的场景中,能让小模型在特定领域取得良好效果,还能实现低成本高速推理和修复模型幻觉。 在实际操作中,PaaS 平台支持多机分布式部署,满足推理性能要求,能一站式完成模型蒸馏。例如在阿里云 PAI 平台上进行模型蒸馏微调时,由于上一步中蒸馏的数据集很小,不足以改变模型权重,因此可以使用别人做好的数据集。在使用前可以打开查看里面的结构,和蒸馏出来的数据结构是否一致。然后下载并解压数据集,在 PAI 平台的数据集中找到 OSS 存储,建立数据集并上传。接着选择模型进行部署训练,如选择 7binstruct 的原生模型,选择训练,注意超参配置。训练完成后可以测试模型效果,在 model gallery 里面找到训练好的模型进行部署和调试。 此外,ComfyUI 原生支持 FLUX.1,FLUX.1 有三个变体:FLUX.1是一个蒸馏的 4 步模型,拥有 Apache 2.0 商用许可,适用于在本地进行部署或者个人使用。相关模型的链接、模型与工作流地址以及说明文档均可获取。 在云端部署操作方面,登录 Pad 控制台,通过 model gallery 进行部署,如 Deepseek R1 模型,可选择 SG 浪或 Vim 推理框架,根据资源出价,部署后可在模型在线服务 EAS 查看状态。模型试用可以使用 postman,通过修改接口和复制文档中的内容进行在线调试,发送请求查看状态码,根据模型名称和相关要求输入内容进行试用。同时要注意模型 API 的调用方法,包括查找位置、获取 token 等,使用后要及时停止或删除服务以避免持续付费。
2025-02-28
deepseek 的提示词应该怎么写?和以往的大语言模型的提示词有什么不同?
DeepSeek 的提示词具有以下特点: 1. 语气上还原帝王语气,不过分用力,使用相对古典但兼顾可读性的文字,避免傻气的表达。 2. 对历史细节熟悉,这可能与支持“深度探索”和“联网搜索”同时开启有关,能准确还原如“太极宫”“甘露殿”“掖庭局”“观音婢”“宫门鱼符”等唐初的历史称谓。 3. 输出极其具体且充满惊人细节,行文的隐喻拿捏到位,如“狼毫蘸墨时发现指尖残留着未洗净的血痂”“史官们此刻定在掖庭局争吵。该用‘诛’还是‘戮’,‘迫’还是‘承’。‘只是这次,他不敢触碰我甲胄上元吉的掌印’”等句子,虽未直接写“愧疚与野心,挣扎与抱负”,但句句体现。 与以往大语言模型的提示词的不同在于:以往模型可能在语气、历史细节和具体细节的处理上不如 DeepSeek 出色。
2025-02-28