Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

举例说明,意图和FAQ训练的区别

Answer

意图和 FAQ 训练是两种不同的概念。

意图训练主要侧重于理解用户的核心意图或目的。例如,在一个客服场景中,用户的意图可能是查询产品信息、寻求技术支持或进行投诉等。通过对大量的用户交互数据进行分析和学习,模型能够识别出这些不同的意图类别。

FAQ 训练则侧重于常见问题及其对应的标准答案。比如常见的“产品如何退换货”“售后服务的联系方式是什么”等问题,以及相应的准确回答。

总的来说,意图训练更注重对用户目的的分类和理解,而 FAQ 训练更侧重于对特定常见问题的准确回答。

Content generated by AI large model, please carefully verify (powered by aily)
Others are asking
意图和FAQ最明显的区别是什么
意图和 FAQ 最明显的区别在于:意图通常指的是用户行为背后的目的或期望,它更侧重于理解用户的深层需求和动机。而 FAQ(常见问题解答)则是预先准备好的一系列常见问题及其对应的标准答案,主要用于快速回答用户可能提出的一般性问题。 总的来说,意图关注的是挖掘用户潜在的想法和目标,FAQ 则是针对常见问题提供现成的解答。
2025-01-13
你是一名DEEPSEEK专家,请用大白话交给小白掌握deepseek的使用,举例说明
DeepSeek 的使用对于小白来说可能有点复杂,但我尽量用大白话给您解释清楚。 比如说,您想让 DeepSeek 帮您生成“玄武门之变结束的当天,李世民在深夜写下一段独白,你觉得他会写什么?”这样的内容。 DeepSeek 会这样来处理: 1. 先回顾玄武门之变的历史背景,比如这场政变发生在 626 年,李世民杀了兄弟,逼父亲退位等。 2. 思考李世民当晚的心理,可能有释然、愧疚、恐惧、自责等多种复杂情绪,还要考虑他是被迫还是早有预谋。 3. 要让生成的独白不仅符合历史事实,还要有文学性,体现人性的复杂。比如要平衡他的野心与自责,对未来的抱负与对过去的悔恨。 4. 考虑当时的文化背景,像儒家思想对孝悌的重视,李世民的行为违背了这些伦理,他可能会内心挣扎,还可能为自己的行为找正当理由。 5. 按照您的需求,给独白加上一些文学修辞,像比喻、对仗、意象等,增强画面感。 另外,DeepSeek 还有个很厉害的地方,就是它能在独白文本中“自作主张”地加入括号里的场景描述,让整个输出更有画面感。比如“(夜风掀动案头《韩非子》,停在‘夫妻者,非有骨肉之恩也’那页)”、“(墨迹在‘弑’字上晕开一团)”、“(忽然扔笔,抓起铜镜)”这些句子,很难相信是 AI 写的。 总之,使用 DeepSeek 时要考虑很多方面的因素,它能根据您的提示词和需求,生成很精彩的内容。
2025-03-13
举例说明,医疗人工智能应用的风险及其法理防范
医疗人工智能应用存在以下风险: 1. 可能对受欧盟法律保护的公共利益和基本权利造成损害,包括身体、心理、社会或经济方面的损害。 2. 在决定是否给予、拒绝、减少、取消或收回医疗保健服务等福利时,可能对人们的生计产生重大影响,并侵犯基本权利,如社会保护权、不受歧视权、人的尊严权或有效补救权。 3. 用于评估自然人信用分数或信用度的人工智能系统可能导致对个人或群体的歧视,并延续历史上的歧视模式或造成新形式的歧视性影响。 法理防范措施包括: 1. 为所有高风险人工智能系统制定统一的规则,这些规则应与《宪章》保持一致,是非歧视性的,并符合欧盟的国际贸易承诺,同时考虑相关的伦理准则。 2. 明确价值链上相关经营者的作用和具体义务,促进对法规的遵从,确保法律的确定性。 3. 在特定条件下,明确高风险人工智能系统提供者的责任和义务。 需要注意的是,欧盟法律规定的用于检测提供金融服务过程中的欺诈行为以及用于计算信贷机构和保险企业资本要求的尽职审慎目的的人工智能系统,以及用于自然人健康和人寿保险风险评估和定价的人工智能系统,在符合一定条件时不视为高风险系统。
2025-01-02
欧盟《人工智能法案》在中国适用过程中的积极影响与不利影响,请举例说明
欧盟《人工智能法案》在中国适用过程中的积极影响与不利影响举例如下: 积极影响: 1. 对中小企业的兼顾激励与监管:欧盟的法案顾及到了中小企业在人工智能领域的弱势地位,适当地将对中小企业的合规义务豁免规定以及合规支持规定纳入未来的人工智能立法中,有利于形成健康有序的公平竞争秩序,激发中小企业的科技创新活力,同时防止过度监管。例如,2023 年《AI 法案》折衷草案通过制约单方面强加给中小企业和初创企业的不公平合同条款、促进监管沙盒广泛而平等的参与、降低评估费用等措施降低中小企业的合规成本。 2. 纳入道德伦理和人权考量:《人工智能法案》将人工智能系统对伦理道德和基本人权的影响有机纳入规制框架和评估框架中,我国《科技伦理审查办法》也是将伦理纳入包括人工智能开发在内的科技活动的积极探索。 不利影响: 1. 以风险为基准的管理框架存在不确定性:伦理道德和人权具有高度概括性、抽象性和不确定性,如何将其融入人工智能治理考验立法技术。《人工智能法案》对“不可接受的风险”和“高风险”的人工智能系统的界定和解释存在相当大的不确定性和模糊性,可能难以统一进行风险分类,成效有待进一步观望和研讨。 2. 可能无法完全适应中国国情:中国和欧盟在人工智能发展的阶段、市场环境、企业结构等方面存在差异,欧盟的法案在具体适用时可能需要进行较大的调整和适配,否则可能无法有效发挥作用。
2024-12-29
欧盟《人工智能法案》在我国适用过程中的影响,请举例说明(注意,简洁凝练)
欧盟《人工智能法案》在我国适用过程中的影响主要体现在以下方面: 1. 立法参考:我国与欧盟在人工智能立法工作上“齐头并进”,且立法理念有共通之处,如风险分级管理、高风险项目的“备案”“评估”“透明”等原则。该法案对我国人工智能立法工作具有重要参考意义。 2. 市场拓展:若我国的 AI 项目有意拓展欧洲市场,可能因针对不同市场重新训练特有模型效率不高,而不得不根据欧盟法案对产品进行调整。 同时,我国是第一个开始制定生成式人工智能监管框架的国家,从 2022 年开始陆续出台全面指南,如今审查机构已介入。我国持续生产 SOTA 模型,由国家互联网信息办公室监督。政府希望模型避免给政治问题提供“错误”答案,发布模型前须提交测试以校准拒绝率。虽然禁止 Hugging Face 等国外网站访问,但官方批准的“主流价值观语料库”可作为训练数据源。此外,伦理道德和人权向来是人工智能技术发展绕不开的终极话题,我国《科技伦理审查办法》也是将伦理纳入包括人工智能开发在内的科技活动的积极探索。但由于该《办法》适用于所有科技活动,人工智能的特殊性可能无从得到体现,且如何界定和解释“不可接受的风险”和“高风险”的人工智能系统也面临相当大的不确定性和模糊性。
2024-12-29
AI的能力边界是什么,请举例说明
AI 的能力存在边界,主要体现在以下方面: 1. 知识来源受限:AI 的知识来源于训练数据,无法超越这些数据的范围,如同学生不能回答课本之外的问题。 2. 推理能力有限:即使拥有足够的知识,AI 也无法像人类一样进行无限的推理和联想。 例如,在“Hallucination is Inevitable:An Innate Limitation of Large Language Models”这篇论文中,揭示了 AI 幻觉无法被完全消除的根本原因就在于 AI 模型的能力边界。 在探索者队伍的研究中,有人提出开发一个用于探索 AI 能力边界的实验平台,这也从侧面反映了对 AI 能力边界的关注。 此外,国际政治的边界或将按照 AI 技术边界来重新划分,也说明了 AI 能力边界的影响范围之广。
2024-08-31
大语言模型领域, 如何理解“退火”概念。 请用通俗易懂的方式举例说明
在大语言模型领域,“退火”是一个相对复杂的概念。通俗地说,您可以把它想象成铁匠打铁时的一个过程。铁匠在打造铁器时,不会一开始就用猛火高温一直烧,而是会逐渐升高温度,然后再慢慢降低温度,让金属的结构更加稳定和优化。 在大语言模型中,“退火”的作用类似于此。它可能是在模型的训练过程中,对某些参数或者条件进行逐步的调整和优化,以达到更好的性能和效果。但目前提供的知识库内容中,没有直接关于大语言模型中“退火”概念的详细且通俗易懂的解释和具体例子。
2024-08-13
意图识别
意图识别是根据输入的内容决定后续环节的流程,有点像 if/else 。从输出看,其 reason 通常为英文。可以简单理解为是一个简化版的大语言模型节点,为更精准识别,可优化选项使其更精准凝练,不行的话可换用大语言模型节点。 在自然语言处理领域,意图识别已被广泛讨论。随着大型模型兴起,尤其是用作智能体的 Brain 模块时,承担了主要工作任务。当用户输入指令,通过感知模块传递到 Brain 模块,Brain 模块需做出反应,本质上是一种分类任务,区分用户具体意图,在单一或多智能体系统中都至关重要。通过如 Siri、小爱同学等常见智能助手的例子可更直观理解。大型模型执行意图识别任务主要基于前期大量数据训练得到的模型,可通过微调适应特定领域需求。 在 Manus 多智能体通用任务系统中,意图识别从用户输入中提取关键词和任务类型,引导用户补充信息以明确需求。
2025-03-12
产品经理在设计AI产品功能时候,需要设计意图识别吗?怎么设计呢
产品经理在设计 AI 产品功能时,需要设计意图识别。以下是关于意图识别的相关内容: 意图识别的定义:当用户输入指令,这些指令通过感知模块传递到 Brain 模块,Brain 模块需要对这些指令做出反应。这个过程在本质上是一种分类任务,即识别并区分用户的具体意图。无论是在单一智能体架构还是复杂的多智能体系统中,意图识别都扮演着至关重要的角色。 意图识别的实现方式: 1. 通过准备特定于任务的数据集,然后利用这些数据对模型进行 Finetuning,以提升其在特定意图识别任务上的表现。这个过程涉及到在预训练模型的基础上进一步训练,以调整模型参数,使其更适应特定的任务需求。 2. Prompttuning,这种方法不需要对模型的参数进行大规模调整。而是通过精心设计的提示词来引导模型,使其能够识别和响应用户的意图。这种方法的优势在于其灵活性和快速适应性,能够在不改变模型参数的情况下,迅速适应新的任务或领域。 这两种方法各有优缺点:微调能够提供更高的准确性,但需要较多的训练数据和计算资源;而提示词调优则在创造性和灵活性方面表现更为突出。 在使用大型模型进行意图识别时,需要注意一些潜在的问题: 1. 由于意图识别在智能系统中扮演着守门人的角色,如果其准确性不足,整个系统的后续环节,包括记忆、规划和反思等,都可能受到影响,无法正常发挥作用。 2. 在落地设计时,意图识别通常与特定的业务场景紧密相关,如果脱离了具体的业务需求,意图识别将失去其实际意义。因此,在设计意图识别系统时,必须将其与业务需求紧密结合,确保其能够准确地理解和响应用户的需求。如果意图识别脱离了业务背景,那么可能不如利用模型的泛化能力去执行更基本的意图识别任务。 以下是一个使用 prompt 来设计意图识别的例子:在上述使用提示词进行意图识别的例子中,提示词对用户的指令进行了分类,以识别不同的意图。然后,根据这些识别出的意图,系统执行相应的动作。最终,系统会输出一个 JSON 格式的结果,这通常包含了对用户指令的解析和响应。 在未来的 AI 学习产品中,除了拥有大模型之外,还需要拥有其他的基础设施,包括但不仅限于具备学习任务规划能力的小参数规模模型、意图识别模型、多模态交互模型、搜索引擎、既有的知识库等等。
2025-03-06
有生成示意图的好工具么?
以下是一些生成示意图的好工具: 1. Creately: 简介:在线绘图和协作平台,利用 AI 功能简化图表创建过程,适合绘制流程图、组织图、思维导图等。 功能:智能绘图功能,可自动连接和排列图形;丰富的模板库和预定义形状;实时协作功能,适合团队使用。 官网:https://creately.com/ 2. Whimsical: 简介:专注于用户体验和快速绘图的工具,适合创建线框图、流程图、思维导图等。 功能:直观的用户界面,易于上手;支持拖放操作,快速绘制和修改图表;提供多种协作功能,适合团队工作。 官网:https://whimsical.com/ 3. Miro: 简介:在线白板平台,结合 AI 功能,适用于团队协作和各种示意图绘制,如思维导图、用户流程图等。 功能:无缝协作,支持远程团队实时编辑;丰富的图表模板和工具;支持与其他项目管理工具(如 Jira、Trello)集成。 官网:https://miro.com/ 4. Lucidchart: 简介:强大的在线图表制作工具,集成了 AI 功能,可以自动化绘制流程图、思维导图、网络拓扑图等多种示意图。 功能:拖放界面,易于使用;支持团队协作和实时编辑;丰富的模板库和自动布局功能。 官网:https://www.lucidchart.com/ 5. Microsoft Visio: 简介:专业的图表绘制工具,适用于复杂的流程图、组织结构图和网络图。其 AI 功能可以帮助自动化布局和优化图表设计。 功能:集成 Office 365,方便与其他 Office 应用程序协同工作;丰富的图表类型和模板;支持自动化和数据驱动的图表更新。 官网:https://www.microsoft.com/enus/microsoft365/visio/flowchartsoftware 6. Diagrams.net: 简介:免费且开源的在线图表绘制工具,适用于各种类型的示意图绘制。 功能:支持本地和云存储(如 Google Drive、Dropbox);多种图形和模板,易于创建和分享图表;可与多种第三方工具集成。 官网:https://www.diagrams.net/ 使用 AI 绘制示意图的步骤: 1. 选择工具:根据具体需求选择合适的 AI 绘图工具。 2. 创建账户:注册并登录该平台。 3. 选择模板:利用平台提供的模板库,选择适合需求的模板。 4. 添加内容:根据需求,添加并编辑图形和文字。利用 AI 自动布局功能优化图表布局。 5. 协作和分享:如果需要团队协作,可以邀请团队成员一起编辑。完成后导出并分享图表。 示例:假设需要创建一个项目管理流程图,可以按照以下步骤使用 Lucidchart: 1. 注册并登录:https://www.lucidchart.com/ 2. 选择模板:在模板库中搜索“项目管理流程图”。 3. 编辑图表:根据项目需求添加和编辑图形和流程步骤。 4. 优化布局:利用 AI 自动布局功能,优化图表的外观。 5. 保存和分享:保存图表并与团队成员分享,或导出为 PDF、PNG 等格式。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-02-12
意图识别如何通过提示词实现
通过提示词实现意图识别通常有以下几种方式: 1. 准备特定于任务的数据集,对模型进行 Finetuning,以提升其在特定意图识别任务上的表现。但此过程需要较多训练数据和计算资源。 2. 使用 Prompttuning 方法,通过精心设计的提示词来引导模型识别和响应用户意图。这种方法具有灵活性和快速适应性。 3. 对用户的指令通过提示词进行分类,以识别不同的意图,然后根据识别出的意图执行相应动作,最终输出 JSON 格式的结果。 4. 对用户提问进行分类,如分为导航类、信息查询类、交易类、本地信息类等,匹配更准的信息源和更好的回复提示词。例如搜索“笔记本电脑”,提取出“shopping”意图,挂载相关电商平台信息源进行更小范围搜索,并加载匹配的提示词模板控制大模型回答内容。 5. 利用大模型提供的 Function Calling 能力进行意图识别。 但目前主流的实现方案,不管是成熟的大模型还是微调的小模型,准确度都不够高。
2025-02-11
意图识别
意图识别是根据输入的内容决定后续环节的一种方式,类似于 if/else 。从输出看,其 reason 通常为英文。它可以被理解为简化版的大语言模型节点,为更精准识别,可优化选项,若不行可换大语言模型节点。 在自然语言处理领域,意图识别虽已被广泛讨论,但随着大型模型兴起,尤其在用作智能体的 Brain 模块时,承担了主要工作任务。其本质是对用户输入指令的分类任务,在单一或多智能体系统中都至关重要。通过如 Siri、小爱同学等常见智能助手的例子可更直观理解。大型模型执行意图识别任务主要基于大量数据训练得到的模型,可通过微调适应特定领域需求。 在 AI 搜索中,意图识别的关键作用是对用户提问进行分类,如分为导航类、信息查询类、交易类、本地信息类等,还包括多级子分类,但面临枚举无法穷尽的问题。对搜索意图分类可匹配更准的信息源和更好的回复提示词,很大程度提升检索召回率,保证搜索结果个性化。目前主流实现方案主要通过提示词请求大模型完成识别,但准确度不够高,大模型的 Function Calling 能力也可理解为一种意图识别。
2024-12-25
大模型是怎么训练的
大模型的训练过程可以类比为“上学参加工作”: 1. 找学校:训练大模型需要大量的计算资源,如 GPU,只有具备强大计算能力的机构才有条件训练自己的大模型。 2. 确定教材:大模型需要大量的数据,通常几千亿序列(Token)的输入是基本要求。 3. 找老师:即选择合适的算法来讲解“书本”中的内容,让大模型更好地理解 Token 之间的关系。 4. 就业指导:学完知识后,为了让大模型更好地胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:就业指导完成后,正式干活,比如进行翻译、问答等,在大模型里称之为推导(infer)。 在 LLM 中,Token 被视为模型处理和生成的文本单位,可以代表单个字符、单词、子单词,甚至更大的语言单位,具体取决于所使用的分词方法(Tokenization)。在将输入进行分词时,会对其进行数字化,形成一个词汇表(Vocabulary)。 此外,训练大模型的基础步骤如下: 1. 创建数据集:进入厚德云模型训练数据集(https://portal.houdeyun.cn/sd/dataset),在数据集一栏中点击右上角创建数据集,输入数据集名称。可以上传包含图片和标签的 zip 文件,也可单独上传照片,但建议提前将图片和标签打包成 zip 上传,且图片名与对应的达标文件应匹配。上传后等待一段时间,确认创建数据集,返回上一个页面等待上传成功,可点击详情检查,能预览到数据集的图片以及对应的标签。 2. Lora 训练:点击 Flux,基础模型会默认是 FLUX 1.0D 版本。选择数据集,触发词可有可无,取决于数据集是否有触发词,模型效果预览提示词可随机抽取数据集中的一个标签填入。训练参数可调节重复次数与训练轮数,若不知如何设置,可默认 20 重复次数和 10 轮训练轮数。可按需求选择是否加速,点击开始训练,会显示所需要消耗的算力,然后等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有生图,点击可自动跳转到使用此 lora 生图的界面,点击下方的下载按钮可自动下载到本地。 从原理层面,用数学来理解 Prompt:传统的机器学习是 p,但这个模型未经人工标注,我们给出的 Prompt 就是 x,让大模型基于此知道概率最大的 y,避免人工标注,但依赖 x 给入的信息更大概率找到合适的 y。例如给一张照片,输入“这是一个动物,这是什么”,大模型根据输入提取特征和提示,最终返回结果。
2025-03-22
MoE模型训练为什么会比dense模型要更困难?
MoE 模型训练比 dense 模型更困难的原因主要包括以下几点: 1. 内存需求:MoE 模型需要将所有专家加载到内存中,这导致其需要大量的 VRAM。 2. 微调挑战:微调 MoE 模型存在困难,历史上在微调过程中较难泛化。 3. 训练设置:将密集模型转换为 MoE 模型时,虽然训练超参数和训练设置相同,但 MoE 模型的特殊结构仍带来了训练上的复杂性。 4. 计算效率与泛化平衡:MoE 模型在训练时更具计算效率,但在微调时难以实现良好的泛化效果。
2025-03-17
什么样的数据集适合训练大语言模型?
以下是一些适合训练大语言模型的数据集: 1. Guanaco:这是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集,地址为:。 2. chatgptcorpus:开源了由 ChatGPT3.5 生成的 300 万自问自答数据,包括多个领域,可用于训练大模型,地址为:。 3. SmileConv:数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话,含有 56k 个多轮对话,其对话主题、词汇和篇章语义更加丰富多样,更加符合在长程多轮对话的应用场景,地址为:。 虽然许多早期的大型语言模型主要使用英语语言数据进行训练,但该领域正在迅速发展。越来越多的新模型在多语言数据集上进行训练,并且越来越关注开发专门针对世界语言的模型。然而,在确保不同语言的公平代表性和性能方面仍然存在挑战,特别是那些可用数据和计算资源较少的语言。 大模型的预训练数据通常非常大,往往来自于互联网上,包括论文、代码以及可进行爬取的公开网页等等,一般来说,现在最先进的大模型一般都是用 TB 级别的数据进行预训练。
2025-03-17
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 模型准备: 1. 下载所需模型,包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时存放位置随意,只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本: 1. 网盘链接: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 安装虚拟环境: 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件,右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”,然后等待 1 2 小时的下载过程,完成后提示是否下载 hunyuan 模型,选择 n 不用下载。 数据集准备: 1. 进入厚德云 模型训练 数据集:https://portal.houdeyun.cn/sd/dataset 2. 创建数据集: 在数据集一栏中,点击右上角创建数据集。 输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件,也可以上传只有图片的文件(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,选择上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入。 5. 训练参数可调节重复次数与训练轮数,厚德云会自动计算训练步数。若不知如何设置,可默认 20 重复次数和 10 轮训练轮数。 6. 按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 7. 等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置:.Flux_train_20.4\\train\\qinglong\\train 运行训练:约 1 2 小时即可训练完成。 验证和 lora 跑图:有 ComfyUI 基础的话,直接在原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点就可以,自行选择 Lora 和调节参数。
2025-03-15
在ai图像训练打标时,怎么让部分标签权重更大
在 AI 图像训练打标时,让部分标签权重更大的方法如下: 1. 在 Stable Diffusion 中,手动补充的特殊 tag 放在第一位,因为 tags 标签有顺序,最开始的 tag 权重最大,越靠后的 tag 权重越小。 2. 在 BooruDatasetTagManager 中采用方法二: 删除部分特征标签,如 All tags 中不该出现的错误识别的自动标签,Image tags 中作为特定角色的自带特征的标签,并将特征与 LoRA 做绑定。 完成所有优化删除后,点击左上角菜单 File>Save all changes 保存当前的设置。 此外,在 Stable Diffusion 训练数据集制作中还需注意: 1. 调用 Waifu Diffusion v1.4 模型需要安装特定版本(2.10.0)的 Tensorflow 库,在命令行输入相应命令完成版本检查与安装适配。 2. 进入到 SDTrain/finetune/路径下,运行相应代码获得 tag 自动标注,其中主要参数包括: batch_size:每次传入 Waifu Diffusion v1.4 模型进行前向处理的数据数量。 model_dir:加载的本地 Waifu Diffusion v1.4 模型路径。 remove_underscore:开启后将输出 tag 关键词中的下划线替换为空格。 general_threshold:设置常规 tag 关键词的筛选置信度。 character_threshold:设置特定人物特征 tag 关键词的筛选置信度。 caption_extension:设置 tag 关键词标签的扩展名。 max_data_loader_n_workers:设置大于等于 2,加速数据处理。
2025-03-15
你好,我想训练一个自己的专属模型,比如说基于网页里面的问卷调查,我有答题的逻辑,网页的问卷调查项目每天都有非常多的不同的地方,但是又有相通的地方,我想让AI在我的逻辑之上能自我迭代自动答题,我该怎么办
如果您想基于网页问卷调查训练一个能在您的逻辑之上自我迭代自动答题的专属模型,有以下两种常见的技术方案: 1. 训练专有大模型: 优点:效果最好。 缺点:成本高,训练和维护需要大量计算资源和专业知识;更新模型知识难度大,需要重新训练或微调,过程复杂耗时。 2. 利用 RAG(检索增强生成)技术: 例如选择 Baichuan27BChat 模型作为底模,配置模型本地路径和提示模板。在 Train 页面里选择 sft 训练方式,加载定义好的数据集,根据数据集大小和收敛情况设置学习率和训练轮次。使用 FlashAttention2 可减少显存需求、加速训练速度;显存小的朋友可减少 batch size 并开启量化训练,内置的 QLora 训练方式好用。但需要用到 xformers 的依赖。根据聊天记录规模大小,训练时间少则几小时,多则几天。 此外,还有学生训练专属植物分类 AI 模型的案例供您参考。在北京市新英才学校的跨学科选修课“生化 E 家”中,老师和学生共同收集校园内不同树叶的照片,在 OpenInnoLab里找到图像分类训练工具,建立植物分类模型,加入大量数据集进行训练,再用图像化编程将其套在程序里,形成简单的识别工具。在这个过程中,老师通过生活体验与学生讨论图像分类原理,学生从体验到实践操作,在不进行大量代码编程的情况下能够训练 AI 模型,并了解模型训练准确度与数据的关系。
2025-03-14