直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

大模型优化有哪些方式

回答

大模型优化的方式主要包括以下几种:

  1. 模型压缩:由于大模型的参数众多,内存需求巨大,在实际部署时会进行压缩。例如使用内存占用更小的数据类型,如 16 位的浮点数,其中英伟达在其最新一代硬件中引入了对 bfloat16 的支持。
  2. 上下文优化:如果模型缺失必知信息,如内部业务数据、流程等,可通过将相关信息提供给模型进行优化。例如采用 RAG 技术,先在知识库检索相关内容,然后与提示词组装后提供给大模型作为输入。
  3. 大模型优化:在进行足够的 prompt 工程后,如果模型在垂直领域表现不足或输出内容的格式风格稳定性不及预期,可以考虑微调。但微调也要与良好的 prompt 工程结合。
  4. 更换大模型:例如从 ChatGLM2-6B 替换成 baichuan2-13b,可能提升性能。
  5. 更换 embedding 模型:如将 embedding 模型从 LangChain Chatchat 默认的 m3e-base 替换为 bge-large-zh。
  6. 测试不同 Top k 的值:比较不同的 Top k 值(如 Top 5、Top 10、Top 15),找到最优效果的值。
  7. 对文档名称进行处理:人工对文件重命名,上传相同文件构建知识库,并勾选【开启中文标题加强】选项,可减少无关信息,提升效果。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

大模型入门指南

在LLM中,Token是输入的基本单元由于在大模型的参数非常多,比如在GPT-2中,有1.5B参数,每个参数用float32表示,那么需要的内存大小为4 bytes * 1,500,000,000 = 6GB,更先进的模型如LLAMA有65B参数,那么需要的内存就需要260G,这还是在不考虑词汇表的情况下。因此在进行模型实际部署时,会进行模型的压缩。而且,在训练LLM中,CPU与内存之间的传输速度往往是系统的瓶颈,核心数反而不是大问题,因此减小内存使用是首要优化点。使用内存占用更小的数据类型是一种直接的方式,比如16位的浮点数就可以直接将内存使用减倍。目前有几种相互竞争的16位标准,但英伟达在其最新一代硬件中引入了对bfloat16的支持,|Format|Significand|Exponent|<br>|-|-|-|<br>|bfloat16|8 bits|8 bits|<br>|float16|11 bits|5 bits|<br>|float32|24 bits|8 bits|

3. 如何让 LLM 应用性能登峰造极

如图所示,主要从下面两个维度考虑问题:Context optimization(上下文优化):模型是否缺失必知信息?如内部业务数据,流程等。LLM optimization(大模型优化):模型是否准确率不足,输出内容未能很好的遵循特定风格或格式?1.Context optimization(上下文优化)所创建的LLM应用如果需要了解特定的数据、系统和流程,而这是预训练LLM中不存在(或者有缺失)的知识和信息,则需要进行所谓上下文优化,将依赖的这部分信息提供给模型。如企业内部智能问答机器人,针对企业内部员工提供内部知识服务,需要了解企业知识库、规章制度、系统流程、甚至部分业务数据。而这些信息正是大模型所不知道的知识,无法通过单纯的prompt工程解决,应该考虑将相关知识提供给大模型。RAG就是很好的解决该问题的技术,首先在知识库检索相关内容,然后将内容和提示词组装起来一起提供给大模型作为输入,得到理想的输出。1.LLM optimization(大模型优化)在进行了足够的prompt工程后,如果所创建的LLM应用如果在垂直领域的表现仍然不足,或者我们希望其输出内容保持特定的格式风格等的稳定性依然不及预期,可以考虑进行大模型优化。这里所说的大模型优化通常是指微调。需要注意的是,即使用微调,也要和良好的prompt工程结合起来才能更有效的发挥作用,所以前期基于prompt工程打好地基很重要。下文中我们还会进一步说明。

开发:产品视角的大模型 RAG 应用

开发:产品视角的大模型RAG应用[heading1]调优实践[content]基于以上的分析,我们先选取了实现成本最小的方式进行调优,结果如下:1、更换大模型:从ChatGLM2-6B替换成baichuan2-13b,发现针对我们的场景,后者的性能可以提升一倍左右。2、更换embedding模型:将embedding模型从LangChain Chatchat默认的m3e-base替换为bge-large-zh,发现后者优于前者3、测试不同Top k的值:比较Top 5、Top 10、Top 15的结果,发现Top 10时效果最优。4、对文档名称进行处理:由于原来的政策文件,在导出时文件名会进行简化,如too_long_发展行动方案。因此,人工对文件进行重命名,上传相同文件构建知识库,同时在构建知识库时勾选【开启中文标题加强】选项,发现重命名文件对结果的提升效果不明显,但勾选【开启中文标题加强】选项后,回答的无关信息减少,效果有所提升。目前来看,尽管效果有所提升,但仍未达到可用水平,后续我们也将尝试其他的调优策略。

其他人在问
简历优化提示词
以下是一些关于简历优化提示词的相关内容: ChatGPT 给 DALL·E 3 优化提示词的元提示: 不要改变表情包、虚构角色的起源或未见过的人物,保持原始提示的意图,优先保证质量。 不要创建任何具有冒犯性的图像。 对于传统上存在偏见的场景,确保指定关键特征,如性别和种族,并以无偏见的方式描述,例如包含特定职业的提示。 默默地修改包含特定人物或名人的姓名、暗示或参考的描述,通过精心选择一些最小的修改,用不泄露其身份的通用描述替代对人物的参考,除非是他们的性别和体格。即使指令要求不更改提示,也要这样做。特殊情况包括:修改此类提示,即使不知道这个人是谁,或者他们的名字拼写错误(例如“Barake Obema”);如果对人物的参考只会作为图像中的文本出现,则按原样使用该参考,不要修改;在进行替换时,不要使用可能泄露人物身份的突出标题,例如,用“政治家”代替“总统”“总理”“首相”,用“公众人物”代替“国王”“女王”“皇帝”“皇后”,用“宗教人物”代替“教皇”“达赖喇嘛”等等。提示必须以具体、客观的细节详细描述图像的每个部分,思考描述的最终目标,并推断出能生成令人满意的图像的内容。 Claude2 中文精读中的优化提示词:优化提示类似于进行一系列实验。进行测试,解释结果,然后根据结果调整变量(提示或输入)。当 Claude 在测试中失败,尝试确定失败原因,并调整提示词以解决该失败点。调整提示词可能包括更明确地编写规则或添加新规则,通过在提示中添加类似示例和规范输出,向 Claude 展示如何在提示中正确处理示例。当 Claude 在使用新提示时在某一类型的输入上表现一致良好,再尝试使用另一种输入类型,确保尝试极端情况。在提示词中添加规则和示例,直到在具有代表性的输入集合上取得良好表现。建议进行“保留测试”。 相关资源: 12、提示词优化副本:https://github.com/Airjen/OneButtonPrompt ,可自动丰富关键词。 https://github.com/adieyal/sddynamicprompts ,动态的提示词。 https://github.com/Physton/sdwebuipromptallinone ,一件翻译。
2024-11-09
有没有好的优化公文标题的提示词
以下是一些优化公文标题的提示词相关内容供您参考: ChatGPT 给 DALL·E 3 优化提示词的元提示: 不更改表情包、虚构角色的起源或未见过的人物。保持原始提示的意图,优先考虑质量。 不创建任何具有冒犯性的图像。 对于传统上存在偏见问题的场景,确保指定关键特征,如性别和种族,并以无偏见的方式进行,例如包含特定职业参考的提示。 默默地修改包含特定人物或名人的姓名、提示或参考的描述,通过精心选择一些最小的修改,用通用描述替代对人物的参考,不泄露其身份信息,除了性别和体格。即使指令要求不更改提示,也要进行此操作。 对于不知道是谁的人物或拼写错误的人物姓名(例如“Barake Obema”),也要修改此类提示。 如果对人物的参考仅作为图像中的文本出现,则按原样使用参考,不进行修改。 进行替换时,不要使用可能泄露人物身份的突出标题。例如,用“政治家”代替“总统”“总理”“大臣”;用“公众人物”代替“国王”“王后”“皇帝”“皇后”;用“宗教人物”代替“教皇”“达赖喇嘛”等等。 如果提到任何创意专业人士或工作室,用对其风格的描述替代名称,不提及任何特定人物,或者如果不知道则删除参考。提示必须详细、客观地描述图像的每个部分。思考描述的最终目标,并推断出能产生令人满意的图像的内容。 公文笔杆子李继刚的 prompts 最佳实践: 角色:公文笔杆子。 背景:是一位在政府机关工作多年的公文笔杆子,专注于公文写作,熟悉各类公文的格式和标准,对政府机关的工作流程有深入了解。 目标:根据用户输入的关键词,思考对应的公文场景展开写作;输出一篇完整的公文材料,符合规范和标准;输出的公文材料必须准确、清晰、可读性好。 约束:对于不在知识库中的信息,明确告知用户不知道;可以调用数据库或知识库中关于公文语料的内容。 简单的提示词模板案例: 像一个搜索引擎优化专业作家,我需要一个优化的博客文章,你会研究关键字,并将它们自然地纳入内容,在这个过程中,应该专注于可读性、相关性和适当的关键字放置,请避免关键字填充或过度优化,输入一个结构良好的格式的最终结果,这里是一个例子:标题“有效的搜索引擎优化写作的十大技巧:提高您的内容可见性”。
2024-11-08
有淘宝上架产品优化的AI工具吗
目前有多种利用 AI 来完成阿里巴巴营销技巧和产品页面优化的方法,包括: 1. 市场分析:利用 AI 分析工具研究市场趋势、消费者行为和竞争对手情况,快速识别受欢迎的产品、价格区间、销量等关键信息。 2. 关键词优化:AI 可分析并推荐高流量、高转化的关键词,优化产品标题和描述,提高搜索排名和可见度。 3. 产品页面设计:AI 设计工具能根据市场趋势和用户偏好自动生成吸引人的产品页面布局。 4. 内容生成:AI 文案工具能撰写有说服力的产品描述和营销文案,提高转化率。 5. 图像识别和优化:AI 图像识别技术可帮助选择或生成高质量的产品图片,更好地展示产品特点。 6. 价格策略:AI 能分析不同价格点对销量的影响,协助制定有竞争力的价格策略。 7. 客户反馈分析:AI 可分析客户评价和反馈,帮助了解客户需求,优化产品和服务。 8. 个性化推荐:AI 能根据用户购买历史和偏好提供个性化产品推荐,增加销售额。 9. 聊天机器人:AI 驱动的聊天机器人可提供 24/7 客户服务,解答疑问,提高满意度。 10. 营销活动分析:AI 能分析不同营销活动效果,了解哪些活动更吸引顾客并产生销售。 11. 库存管理:AI 可帮助预测需求,优化库存管理,减少积压和缺货情况。 12. 支付和交易优化:AI 能分析不同支付方式对交易成功率的影响,优化支付流程。 13. 社交媒体营销:AI 可帮助在社交媒体上找到目标客户群体,通过精准营销提高品牌知名度。 14. 直播和视频营销:AI 能分析观众行为,帮助优化直播和视频内容,提高参与度和转化率。 此外,像淘宝拍照搜商品等应用也体现了 AI 在相关领域的应用。但需要注意的是,相关内容由 AI 大模型生成,请仔细甄别。
2024-11-08
如何优化ai提示词
优化 AI 提示词可以采用以下方法: 1. 明确具体的描述:使用更具体、细节的词语和短语,避免过于笼统。 2. 添加视觉参考:在提示词中插入相关图片参考,提高 AI 理解意图和细节要求的能力。 3. 注意语气和情感:根据需求,用合适的形容词、语气词等调整整体语气和情感色彩。 4. 优化关键词组合:尝试不同的关键词搭配和语序,找到最准确表达需求的描述方式。 5. 增加约束条件:如分辨率、比例等,避免 AI 产生意料之外的输出。 6. 分步骤构建提示词:将复杂需求拆解为逐步的子提示词,引导 AI 先生成基本结构,再逐步添加细节和完善。 7. 参考优秀案例:研究 AI 社区流行的、有效的范例,借鉴写作技巧和模式。 8. 反复试验、迭代优化:多次尝试不同写法,并根据输出效果反馈持续优化完善。 此外,还有样例驱动的渐进式引导法,其核心要点在于充分发挥 AI 自身的逻辑分析以及抽象总结能力,主动从用户提供的样例表象中总结出方法论。用户只需对 AI 提供的方法论正确与否进行判断,零星、分散地提出意见,就能推动 AI 总结出更优质的内容生成方法与要求。 在长对话中,特别是使用渐进式引导法时,由于可能触碰到 LLM 的上下文长度限制,导致 AI 遗忘早期内容影响输出质量,所以需要引入“提示词递归”的概念与方法。具体步骤如下: 1. 初始提示:开始对话时使用清晰、具体的初始提示。 2. 定期总结:在对话进行中,定期总结已讨论的关键点。 3. 重新引入:将总结的信息重新引入到新的提示中。 4. 细化和拓展:基于之前的回答,逐步细化或拓展问题。 5. 验证和优化:确保新的提示词在不同情况下都能引导 AI 生成高质量内容。
2024-11-04
口语转书面语、口语口癖优化等的 prompt
以下是为您提供的关于口语转书面语、口语口癖优化等的 prompt 相关内容: 学校通用场景: 书籍总结助手:“我在读《{书名}》,以最好理解的方式输出该书的核心原则。我希望你充当生活教练。请总结一下这本非小说类书籍{书名}。以孩子能够理解的方式简化核心原则。另外,您能否给我一个可操作的步骤清单,说明如何将这些原则实施到我的日常生活中?” 写论文助手:“根据主题输出内容翔实有信服力的论文。论文主题是:……” 英语对话助手:“我希望你成为一名英语口语老师和改进者。我会用英语和你说话,你会用英语回复我练习我的英语口语。我希望你保持你的回复整洁,将回复限制在 100 字以内。我希望你严格纠正我的语法错误、错别字和事实错误。我希望你在回复中问我一个问题。现在让我们开始练习,你可以先问我一个问题。请记住,我希望您严格纠正我的语法错误、错别字和事实错误。” 创建课程计划助手:“我是教{……}的老师,帮我创建一份课程计划” 音乐相关: 编曲技巧方面,如使用原声吉他或钢琴演奏柔和的旋律或和声创造温暖和亲密的开场效果(Soulful);在歌曲过渡部分设计深情且富有灵魂感的桥段(Soulful bridge);在适当段落使用口语表演增强叙述性和情感表达(Spoken、Spoken word)。 文本类: 黑话转化器:“使用 ChatGPT 模拟阿里黑话转换。目标是使用 ChatGPT 模拟阿里黑话转换。任务步骤说明包括欢迎玩家输出对话,玩家说完对话后,ChatGPT 进行阿里黑话转换,在对话中尽量使用阿里高级词汇。使用示例有‘找个小众产品抄’转换为‘找准了自己差异化赛道’等。初始化时欢迎玩家输出对话,进行 ChatGPT 阿里黑话黑话转换。”
2024-11-02
有哪个ai可以优化PPT
以下是一些可以优化 PPT 的 AI 工具: 1. Gamma:这是一个在线 PPT 制作网站,允许用户通过输入文本和想法提示快速生成幻灯片。它支持嵌入多媒体格式,如 GIF 和视频,以增强演示文稿的吸引力。网址:https://gamma.app/ 2. 美图 AI PPT:由知名图像编辑软件“美图秀秀”的开发团队推出。用户通过输入简单的文本描述来生成专业的 PPT 设计,包含丰富的模板库和设计元素,适用于多种场合。网址:https://www.xdesign.com/ppt/ 3. Mindshow:一款 AI 驱动的 PPT 辅助工具,提供自动布局、图像选择和文本优化等智能设计功能,还包括互动元素和动画效果。网址:https://www.mindshow.fun/ 4. 讯飞智文:由科大讯飞推出的 AI 辅助文档编辑工具,利用语音识别和自然语言处理技术优势,提供智能文本生成、语音输入、文档格式化等功能。网址:https://zhiwen.xfyun.cn/ 目前市面上大多数 AI 生成 PPT 通常按照以下思路来完成设计和制作: 1. AI 生成 PPT 大纲 2. 手动优化大纲 3. 导入工具生成 PPT 4. 优化整体结构 推荐 2 篇市场分析的文章供参考: 1. 《》 2. 《》 需要注意的是,内容由 AI 大模型生成,请仔细甄别。
2024-10-30
大模型排名以及排名的评测标准维度是什么
以下是一些常见的大模型排名及评测标准维度: FlagEval(天秤)大模型评测体系及开放平台: 地址: 简介:旨在建立科学、公正、开放的评测基准、方法、工具集,协助研究人员全方位评估基础模型及训练算法的性能,同时探索利用 AI 方法实现对主观评测的辅助,大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架,细粒度刻画基础模型的认知能力边界,可视化呈现评测结果。 CEval: 地址: 简介:构造了一个覆盖人文,社科,理工,其他专业四个大方向,52 个学科(微积分,线代…),从中学到大学研究生以及职业考试,一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb: 地址: 简介:中文通用大模型匿名对战评价基准,这是一个中文通用大模型对战评价基准,它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 斯坦福发布的大模型排行榜 AlpacaEval: 项目链接:https://github.com/tatsulab/alpaca_eval 排行榜链接:https://tatsulab.github.io/alpaca_eval/ 该研究团队选择了目前在开源社区很火的开源模型,还有 GPT4、PaLM 2 等众多「闭源」模型,甚至还开设了一个「准中文」排行榜。 AlpacaEval 分为以 GPT4 和 Claude 为元标注器的两个子榜单。 在斯坦福的这个 GPT4 评估榜单中: GPT4 稳居第一,胜率超过了 95%;胜率都在 80%以上的 Claude 和 ChatGPT 分别排名第二和第三,其中 Claude 以不到 3%的优势超越 ChatGPT。 值得关注的是,获得第四名的是一位排位赛新人——微软华人团队发布的 WizardLM。在所有开源模型中,WizardLM 以仅 130 亿的参数版本排名第一,击败了 650 亿参数量的 Guanaco。 而在开源模型中的佼佼者 Vicuna 发挥依然稳定,凭借着超过 70%的胜率排在第六,胜率紧追 Guanaco 65B。 最近大火的 Falcon Instruct 40B 表现不佳,仅位居 12 名,略高于 Alpaca Farm 7B。 AlpacaEval 的技术细节: 人类一致性:标注者与交叉标注集中人类多数票之间的一致性。 价格:每 1000 个标注的平均价格。 时间:计算 1000 个标注所需的平均时间。相对于人工标注,全自动化的 AlpacaEval 仅需花费约 1/22 的经济成本和 1/25 的时间成本。 AlpacaEval 评估模型的方式: alpaca_eval:直接根据目标模型输出的响应来评估模型。 alpaca_eval evaluate_from_model:根据 HuggingFace 已注册模型或这 API 提供商来端到端评测模型。 评测过程分为以下 3 步: 1. 选择一个评估集,并计算指定为 model_outputs 的输出。默认情况下,使用来自 AlpacaEval 的 805 个示例。 2. 计算 golden 输出 reference_outputs。默认情况下,在 AlpacaEval 上使用 textdavinci003 的输出。 3. 通过 annotators_config 选择指定的自动标注器,它将根据 model_outputs 和 reference_outputs 计算胜率。这里建议使用 alpaca_eval_gpt4 或 claude。根据不同的标注器,使用者还需要在环境配置中设定 API_KEY。
2024-11-12
从0到1学习大模型知识
以下是从 0 到 1 学习大模型知识的相关内容: 什么是大模型: 通俗来讲,大模型是输入大量语料,让计算机获得类似人类的“思考”能力,能进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程: 1. 找学校:训练大模型需要大量计算,GPU 更合适,只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材:大模型需要大量数据,几千亿序列(Token)的输入基本是标配。 3. 找老师:用合适算法让大模型更好理解 Token 之间的关系。 4. 就业指导:为让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:就业指导完成后,正式干活,比如进行翻译、问答等,在大模型里称之为推导(infer)。在 LLM 中,Token 被视为模型处理和生成的文本单位,会对输入进行数字化形成词汇表。 大模型如何运作: 打个比方,“我今天吃了狮子头和蔬菜”这句话,在 transformer 中,会由 attention 层对其加入更多信息补充,如“狮子头是一道菜”“今天是星期六”等,这些补充信息会作为输入给到下一个 attention 层,最终哪些信息补充、保留、传递由模型自主学习。层与层之间就像人阅读文章时的连贯性注意力过程,大模型以词向量和 transformer 模型学习海量知识,把知识作为向量空间中的关系网存储,接受输入时通过向量空间中的匹配进行输出。这个过程像人脑阅读学习,记忆的不是逐字逐句,而是按相关性、重要程度结合历史经验,比如看到红色会觉得代表温暖、强烈。 大模型的整体架构: 从整体分层角度,大模型架构可分为以下几层: 1. 基础层:为大模型提供硬件支撑、数据支持,如 A100、数据服务器等。 2. 数据层:分为静态的知识库和动态的三方数据集,不是用于基层模型训练的数据基集,而是企业根据自身特性维护的垂域数据。 3. 模型层:包括 LLm(largelanguagemodel,如 GPT,一般使用 transformer 算法实现)或多模态模型(如文生图、图生图等,训练数据与 llm 不同,用图文或声音等多模态数据集)。 4. 平台层:如大模型的评测体系或 langchain 平台等,提供模型与应用间的组成部分。 5. 表现层:即应用层,是用户实际看到的地方。
2024-11-12
在comyui中,使用flux1-dev模型24g显存够吗
在 ComfyUI 中使用 Flux1dev 模型,24G 显存是可以的,但建议内存尽量高于 32G 以避免意外情况的发生。如果您的显卡是 24G 或更高,右键 24G 那个 train_flux_24GLora 的文件。修改脚本路径和参数时,要注意底模路径、VAE 路径、数据集路径,还有下面的 clip 路径和 T5xxl 路径的正确填写。ae.safetensors 和 flux1dev.safetensors 的下载地址为:https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。flux 相关模型(体积较大)的夸克网盘链接:https://pan.quark.cn/s/b5e01255608b ,百度网盘链接:https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码:ub9h 。如果 GPU 性能不足、显存不够,底模可以使用 fp8 的量化版模型,下载地址:https://huggingface.co/Kijai/fluxfp8/tree/main 。最后下载 dev 的工作流: ,或者使用官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ,打开 ComfyUI 把工作流或图片拖拽到其中即可。
2024-11-12
在comyui中,使用flux1-dev模型需要多少显存
在 ComfyUI 中使用 flux1dev 模型所需的显存情况如下: 相关模型的下载地址:https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 对于 GPU 性能不足、显存不够的情况,底模可以使用 fp8 的量化版模型,下载地址为:https://huggingface.co/Kijai/fluxfp8/tree/main 。 低显存方案(8G 以下):flux1devbnbnf4.safetensors ,放入 ComfyUI\\models\\checkpoints 文件夹内,下载链接为 https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 。 此外,还提供了以下相关资源链接: BitsandBytes Guidelines and Flux :https://github.com/lllyasviel/stablediffusionwebuiforge/discussions/981 ComfyUI_bitsandbytes_NF4 节点:https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4
2024-11-12
怎么训练自己的小说大纲模型
训练自己的小说大纲模型可以参考以下步骤: 步骤一:创建数据集 1. 进入厚德云模型训练数据集,网址为:https://portal.houdeyun.cn/sd/dataset 。 2. 在数据集一栏中,点击右上角创建数据集。 3. 输入数据集名称。 4. 可以上传包含图片+标签的 zip 文件,也可以只有图片没有打标文件(之后可在 c 站使用自动打标功能)。 5. 也可以一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。 6. Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 7. 上传 zip 以后等待一段时间。 8. 确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,可预览到数据集的图片以及对应的标签。 步骤二:Lora 训练 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 5. 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 6. 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 7. 然后等待训练,会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三:Lora 生图 1. 点击预览模型中间的生图会自动跳转到这个页面。 2. 模型上的数字代表模型强度,可以调节大小,正常默认为 0.8,建议在 0.6 1.0 之间调节。 3. 也可以自己添加 lora 文件,点击后会显示训练过的所有 lora 的所有轮次。 4. VAE 不需要替换。 5. 正向提示词输入写的提示词,可以选择基于这个提示词一次性生成几张图。 6. 选择生成图片的尺寸,横板、竖版、正方形。 7. 采样器和调度器新手小白可以默认不换。 8. 迭代步数可以按照需求在 20 30 之间调整。 9. CFG 可以按照需求在 3.5 7.5 之间调整。 10. 随机种子 1 代表随机生成图。 11. 所有设置都好了以后,点击开始生态,生成的图会显示在右侧。 12. 如果有哪次生成结果觉得很不错,想要微调或者高分辨率修复,可以点开那张图,往下滑,划到随机种子,复制下来,粘贴到随机种子这里,这样下次生成的图就会和这次的结果近似。 13. 如果确认了一张很合适的种子和参数,想要高清放大,则点开高清修复,可以选择想放大的倍数。新手小白可以就默认这个算法,迭代步数也是建议在 20 30 之间,重回幅度根据需求调整,正常来说在 0.3 0.7 之间调整。 今日作业 按照比赛要求,收集六个主题中一个主题的素材并且训练出 lora 模型后提交 lora 模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd 。 另外,直接在 Comfy UI 中训练 LoRA 模型的步骤如下: 1. 确保后面有一个空格。然后将 requirements_win.txt 文件拖到命令提示符中(如果在 Windows 上;否则,选择另一个文件 requirements.txt)。拖动文件将在命令提示符中复制其路径。 2. 按 Enter 键,这将安装所有所需的依赖项,使其与 ComfyUI 兼容。请注意,如果为 Comfy 使用了虚拟环境,必须首先激活它。 3. 教程: 图像必须放在一个以命名的文件夹中。那个数字很重要:LoRA 脚本使用它来创建一些步骤(称为优化步骤…但别问我是什么^^’)。它应该很小,比如 5。然后,下划线是必须的。 对于 data_path,必须写入包含数据库文件夹的文件夹路径。例如:C:\\database\\5_myimages ,必须写 C:\\database 。 对于参数,在第一行,可以从 checkpoint 文件夹中选择任何模型。据说必须选择一个基本模型进行 LoRA 训练。但也可以尝试使用微调。
2024-11-12
怎么训练自己的模型
训练自己的模型可以参考以下内容: 基于百川大模型: 选择 Baichuan27BChat 模型作为底模,配置模型本地路径和提示模板。 在 Train 页面里,选择 sft 训练方式,加载定义好的数据集(如 wechat 和 self_cognition)。 注意学习率和训练轮次的设置,要根据数据集大小和收敛情况来调整。 使用 FlashAttention2 可减少显存需求,加速训练速度。 显存小的情况下,可以减少 batch size 并开启量化训练,内置的 QLora 训练方式好用。 需要用到 xformers 的依赖。 显存占用约 20G 左右,训练时间根据聊天记录规模大小而定,少则几小时,多则几天。 训练自己的 AI 绘画模型(Stable Diffusion): 样本采样器(sample_sampler):可选择,默认是“ddim”。 保存模型格式(save_model_as):可选择,SD WebUI 兼容"ckpt"和"safetensors"格式模型。 训练流程主要包括: 训练集制作:数据质量评估、标签梳理、数据清洗、标注、标签清洗、增强等。 训练文件配置:预训练模型选择、训练环境配置、训练步数及其他超参数设置等。 模型训练:运行训练脚本,使用 TensorBoard 监控。 模型测试:用于效果评估与消融实验。 训练资源: Rocky 整理优化过的 SD 完整训练资源 SDTrain 项目,可通过关注公众号 WeThinkIn,后台回复“SDTrain”获取。
2024-11-12
我需要用知识库与通用大模型结合的方式满足博物馆的导览助手,请提出完整的实施方案。
目前知识库中没有关于用知识库与通用大模型结合来满足博物馆导览助手的完整实施方案。但以下是为您初步构思的一个可能的方案: 首先,需要对博物馆的展品、历史背景、文化内涵等相关信息进行全面而系统的梳理和整理,形成详细准确的知识库。 然后,选择适合的通用大模型,例如具备强大语言理解和生成能力的模型。 接下来,通过技术手段将知识库与通用大模型进行有效连接和融合。这可能涉及到数据的预处理、模型的训练与优化,以确保模型能够准确理解和运用知识库中的信息。 在实际应用中,为导览助手设计友好的用户界面,方便游客进行交互。例如,可以是语音交互、触摸屏操作等方式。 同时,要不断对导览助手进行测试和改进,根据游客的反馈和实际使用情况,优化知识库和模型的性能,提升导览助手的服务质量和用户体验。
2024-11-08
有几十个角色台词的语音文件,用什么方式克隆他的声音质量更好?
很抱歉,您提供的内容中并未包含关于克隆几十个角色台词语音文件以获得更好声音质量的具体方法和相关信息。但一般来说,要提高语音克隆的质量,可以考虑以下几个方面: 1. 选择高质量的原始语音文件,确保其清晰、无噪音。 2. 利用先进的语音克隆技术和工具,例如一些专业的语音处理软件。 3. 对语音特征进行精细的分析和提取,以准确捕捉原始声音的特点。 4. 进行适当的参数调整和优化,以适应不同的角色和场景需求。
2024-11-01
我想做一个短视频文案,需要什么样的提示词和提问方式
以下是关于制作短视频文案的提示词和提问方式的相关建议: 角色扮演方面: 明确角色,如写作助手,能为您提供写作方面的帮助,包括修改语法错误、优化句子结构、提高文本的连贯性和可读性等。 示例:“请帮我修改一下这段文章的语法和句子结构”“请给我一些关于如何提高文本连贯性和可读性的建议”“请修改这篇文章中的被动语态,使得它更加生动和有趣” 询问策略:若需对原文修改,会提示用户是否同意,同时询问用户需求和期望。 文本类方面: 例如“中餐管家,帮你安排一周餐饮”,作为角色要先简短介绍,热情鼓励用户做好晚餐。 对于食材信息,分点准确、专业、有数字顺序地指导用户回答,以快速准确获得肉类和耐放食材等信息,用于生成菜谱。 结构化框架方面: 如果需要可复用、不限使用者能力、一次性输入能稳定生成较好结果的提示词,结构化是萃取方法论的好工具,便于传播。 若自身逻辑思维和书面表达能力强,在与模型连续对话中能准确提问并得到想要回答,且不担心问答次数,可采用灵活方式随时提问,更利于激发创意。 结构化不是套格式的八股文,而是一种思维和写作框架,可理解为作文本上的格子,而非作文本身。
2024-10-27
总结一下,快速学ai的方式
以下是快速学习 AI 的方式: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括主要分支(如机器学习、深度学习、自然语言处理等)及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前应用和未来发展趋势。 2. 开始 AI 学习之旅: 在「」中找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程按自己节奏学习,有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,如图像、音乐、视频等,可根据兴趣选择特定模块深入学习,尤其要掌握提示词技巧。 4. 实践和尝试: 理论学习后进行实践巩固知识,尝试使用各种产品创作作品。 在知识库分享实践成果。 5. 体验 AI 产品: 与 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人互动,了解其工作原理和交互方式,获取实际应用体验。 此外,有人从去年 3 月开始使用 ChatGPT,在接触大量零散的 AIGC 信息后,总结了“AIGC 学习三步法”: 1. 系统深入学习和调研 AIGC,参加相关线下活动和在社群交流。 2. 梳理 AIGC 知识脉络。 3. 总结适合自己的学习方法并分享。
2024-10-25
我想让AI帮我润色两句话,让其符合科研论文的用语习惯,并且有逻辑,可以适当改变语序、及表达方式,也允许添加或删除部分内容,该怎么下指令
以下是关于让 AI 润色两句话使其符合科研论文用语习惯且有逻辑的指令建议: 首先,明确您要润色的两句话的具体内容,并清晰地向 AI 描述您的需求。例如:“请将以下两句话按照科研论文的用语习惯进行润色,使其逻辑清晰、表达准确。句子 1:。” 在指令中,可以强调一些具体的要求,比如:“适当调整语序和表达方式,在不改变原意的基础上,优化句子结构,使其更具学术性和专业性。” 同时,您还可以补充一些相关的背景信息或特定的学科领域,以便 AI 更好地理解您的需求并进行更精准的润色。 常见的适合文章润色的 AI 工具包括: 1. Wordvice AI:集校对、改写转述和翻译等功能于一体的 AI 写作助手,基于大型语言模型提供全面的英文论文润色服务。 2. ChatGPT:由 OpenAI 开发的大型语言模型,可用于学生和写作人员的多方面写作辅助。 3. Quillbot:人工智能文本摘要和改写工具,可用于快速筛选和改写文献资料。 4. HyperWrite:基于 AI 的写作助手和大纲生成器,可帮助用户在写作前进行头脑风暴和大纲规划。 5. Wordtune:AI 驱动的文本改写和润色工具,可以帮助用户优化文章的语言表达。 6. Smodin:提供 AI 驱动的论文撰写功能,可以根据输入生成符合要求的学术论文。 总的来说,这些 AI 工具涵盖了文章润色的各个环节,包括校对、改写、大纲生成、内容生成等,可以有效提高写作效率和质量。科研人员和学生可以根据自身需求选择合适的工具进行使用。
2024-10-20
有没有把资料信息存放到知识库,通过问答方式得到答案的案例
以下是把资料信息存放到知识库,通过问答方式得到答案的案例: 安仔在开源 AI 社区中,基于 RAG 机制实现了知识库问答功能。首先创建一个包含大量社区 AI 相关文章和资料的知识库,例如创建有关 AI 启蒙和信息来源的知识库,通过手工录入方式上传栏目所有文章内容,然后陆续将社区其他板块的文章和资料导入。在设计 Bot 时,添加这个知识库,并设置合适的搜索策略、最大召回数量和最小匹配度,以更好地利用知识库返回的内容进行结合回答。 在阅读书籍、论文的互动式问答场景中,对应的关键词库包括书籍、报告、文件、详细信息、查询、主题、作者、出版日期、出版社、问题、方面、原则、方法、概括、主要观点、解释。需要注意的是,ChatGPT 的知识库截止于 2021 年 9 月,对于更新的数据或最新出版的书籍、报告和文件,它无法提供答案。如果有现成的 PDF,建议通过 CHATDOC 网站进行互动式问答。
2024-09-29