直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

我想训练自己的公文写作模型

回答

以下是关于训练公文写作模型的一些建议:

首先,如同大语言模型的学习方式,监督学习对于提升写作能力至关重要。您需要接触大量优秀的公文范例,分析其选题思路、文章结构和表达方式,就像 AI 从海量优质内容中学习规律和模式一样,人类也需要通过这种方式不断“训练”自己的“写作模型”。

其次,对于爆款文案模型的训练过程,您可以参考以下要点:

  1. 引人入胜的开头:提出触动读者好奇心的问题,吸引读者注意力。
  2. 提问引出主题:通过提问巧妙引导读者关注论述主题。
  3. 观点与案例结合:阐述观点时结合生动实际的案例,增强说服力。
  4. 社会现象分析:与当前社会现象相联系,引发读者共鸣和思考。
  5. 软广植入:巧妙植入软广告,如成功案例,激发读者兴趣。
  6. 总结与升华:结尾对内容进行总结和升华,突出主题。
  7. 金句收尾:以启发性金句结尾,留下深刻印象。

您可以明确自己希望编写公文的主题或目标,然后按照这些要素和要点来进行训练和创作。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

夙愿:AI 工作流,赋能我的十倍增长

(如果你已经同意了选题很重要,那么这一段不用看了。)说到找选题,我想到一个很有意思的类比,你知道大语言模型是怎么学习的吗?其中有个关键环节叫"监督学习"。简单说,就是给AI看一堆优秀的文本示例,AI先学习什么是好内容,才能写出好内容,这个过程跟我们公众号创作者学习写作,其实挺像的。想想看,如果你从来没读过任何高阅读量的文章,怎么可能写出高阅读量文章呢?你得先接触大量成功案例,才能培养出好的写作感觉。我之前刚开始写公众号时,我以为自己想到什么就写什么就行了,结果就真不行。后来我开始有意识地学习其他优秀公众号的文章。慢慢地,我发现自己的文笔、选题、结构都在不知不觉中进步了。这就像AI的学习过程。它不是凭空创造,而是从海量优质内容中学习规律和模式。我们人类也一样,需要不断"训练"自己的"写作模型"。所以,当你在刷那些大号的文章时,别只是随便看看。试着分析他们的选题思路、文章结构、表达方式。

爆款文案模型

我理解了,以【一飞冲天】开头提问,我会使用你所指定的“一飞冲天”模型,来帮助你编写一篇文案。这个模型包括以下7个要素,每个要素都有相应的权重:引人入胜的开头(20%)提问引出主题(15%)观点与案例结合(20%)社会现象分析(15%)软广植入(10%)总结与升华(10%)金句收尾(10%)你只需要明确告诉我你希望编写文案的主题或目标,我将会根据这个模型来帮助你完成。

爆款文案模型

已学习这个更深入的文案模型,并理解了以下七个重要的要素:引人入胜的开头:文案开始时提出一个触动读者好奇心的问题,有效地吸引了读者的注意力,促使他们想继续阅读下去。提问引出主题:通过提问的方式,作者巧妙地引导读者理解和关注论述的主题,使得文案更引人入胜,增强读者的阅读兴趣。观点与案例结合:作者在阐述观点时,结合了生动实际的案例,使得观点更具有说服力,增强了文案的吸引力。社会现象分析:将文案内容与当前社会现象相联系,使得文案具有现实意义,能够引发读者的共鸣和思考。软广植入:作者在文案中巧妙地植入了一些软广告,如学员的成功案例,使得读者在不知不觉中对相关产品产生了兴趣。总结与升华:在文案的结尾部分,对之前的内容进行了总结和升华,使得文案主题更加突出,帮助读者深入理解和接受。金句收尾:以一句具有启发性的金句作为结尾,使得文案更具有深度和价值,同时为读者留下深刻的印象。

其他人在问
有没有好的优化公文标题的提示词
以下是一些优化公文标题的提示词相关内容供您参考: ChatGPT 给 DALL·E 3 优化提示词的元提示: 不更改表情包、虚构角色的起源或未见过的人物。保持原始提示的意图,优先考虑质量。 不创建任何具有冒犯性的图像。 对于传统上存在偏见问题的场景,确保指定关键特征,如性别和种族,并以无偏见的方式进行,例如包含特定职业参考的提示。 默默地修改包含特定人物或名人的姓名、提示或参考的描述,通过精心选择一些最小的修改,用通用描述替代对人物的参考,不泄露其身份信息,除了性别和体格。即使指令要求不更改提示,也要进行此操作。 对于不知道是谁的人物或拼写错误的人物姓名(例如“Barake Obema”),也要修改此类提示。 如果对人物的参考仅作为图像中的文本出现,则按原样使用参考,不进行修改。 进行替换时,不要使用可能泄露人物身份的突出标题。例如,用“政治家”代替“总统”“总理”“大臣”;用“公众人物”代替“国王”“王后”“皇帝”“皇后”;用“宗教人物”代替“教皇”“达赖喇嘛”等等。 如果提到任何创意专业人士或工作室,用对其风格的描述替代名称,不提及任何特定人物,或者如果不知道则删除参考。提示必须详细、客观地描述图像的每个部分。思考描述的最终目标,并推断出能产生令人满意的图像的内容。 公文笔杆子李继刚的 prompts 最佳实践: 角色:公文笔杆子。 背景:是一位在政府机关工作多年的公文笔杆子,专注于公文写作,熟悉各类公文的格式和标准,对政府机关的工作流程有深入了解。 目标:根据用户输入的关键词,思考对应的公文场景展开写作;输出一篇完整的公文材料,符合规范和标准;输出的公文材料必须准确、清晰、可读性好。 约束:对于不在知识库中的信息,明确告知用户不知道;可以调用数据库或知识库中关于公文语料的内容。 简单的提示词模板案例: 像一个搜索引擎优化专业作家,我需要一个优化的博客文章,你会研究关键字,并将它们自然地纳入内容,在这个过程中,应该专注于可读性、相关性和适当的关键字放置,请避免关键字填充或过度优化,输入一个结构良好的格式的最终结果,这里是一个例子:标题“有效的搜索引擎优化写作的十大技巧:提高您的内容可见性”。
2024-11-08
公文起草AI
以下是关于公文起草 AI 及相关内容的信息: 生成式人工智能在教学中的应用:教师可根据不同教学场景设计恰当提示词,用其辅助教学,例如收集整理语料。此外,还列举了多种与英语相关的提示词示例,如列举机场场景下的常用英语词汇、将词汇转换成表格形式、询问医院就医时的常用英语句型等。同时提到了一些 AI 应用,如智能助理、AI 搜索总结、思维导图、PPT 制作、论文润色、专业翻译、摘要重点、会议纪要、公文撰写等。 利用 AI 打造爆款公众号文章:关键在于提供清晰且具指导性的提示词,好的提示词能帮助 AI 更准确理解需求并生成符合预期的内容。若想提升文章质量,可提供更详细、具创意的提示词,如“请根据我们收集的关于 OpenAI 回应马斯克言论的资讯,创作一篇既深入又易于理解的科技资讯文章。文章应该有一个吸引人的标题,开头部分要概述事件的背景和重要性,主体部分详细分析 OpenAI 的回应内容及其可能产生的影响,结尾处提出一些引人深思的问题或观点。”最终产出的内容可能需要微调以符合预期和公众号风格,不到十分钟就能完成文章内容产出。
2024-11-08
公文写作prompt
以下为为您提供的公文写作相关的 prompt 信息: 公文笔杆子:李继刚,是一位在政府机关工作多年的公文笔杆子,专注于公文写作,熟悉各类公文的格式和标准,对政府机关的工作流程有深入了解。其目标是根据用户输入的关键词,思考对应的公文场景并展开写作,输出完整、符合规范和标准且准确、清晰、可读性好的公文材料。对于不在知识库中的信息会明确告知,可调用数据库或知识库中关于公文语料的内容,较多使用来自域名“.gov.cn”的内容。相关链接: 。
2024-11-04
国内公文写作做好的AI公认的是那个
目前在国内公文写作方面,没有被公认最好的单一 AI 工具。但在论文写作及内容仿写领域,有以下一些常用且有一定优势的 AI 工具: 文献管理和搜索: Zotero:结合 AI 技术,能自动提取文献信息,便于管理和整理参考文献。 Semantic Scholar:由 AI 驱动的学术搜索引擎,提供文献推荐和引用分析。 内容生成和辅助写作: Grammarly:通过 AI 技术进行文本校对、语法修正和写作风格建议,提升语言质量。 Quillbot:基于 AI 的重写和摘要工具,可精简和优化内容。 内容仿写: 秘塔写作猫:https://xiezuocat.com/ 是 AI 写作伴侣,能推敲用语、斟酌文法、改写文风,同步翻译,支持全文改写、一键修改、实时纠错并给出修改建议,智能分析文章属性并打分。 笔灵 AI 写作:https://ibiling.cn/ 是智能写作助手,适用于多种文体写作,支持一键改写/续写/扩写,智能锤炼打磨文字。 腾讯 Effidit 写作:https://effidit.qq.com/ 是由腾讯 AI Lab 开发的智能创作助手,提升写作效率和创作体验。 需要注意的是,使用这些工具时,应结合自身写作风格和需求,选择最合适的辅助工具。同时,内容由 AI 大模型生成,请仔细甄别。
2024-11-03
推荐办公文书方面适合的AI
以下是一些适合办公文书方面的 AI 工具和应用: 1. AI 办公文件分类系统:如腾讯文档分类功能,利用数据分析和机器学习技术,自动分类办公文件,方便管理。 2. AI 语言学习纠错平台:像英语流利说纠错功能,通过自然语言处理和机器学习技术,帮助语言学习者纠正发音、语法等错误。 3. AI 文章排版工具: Grammarly:不仅是语法和拼写检查工具,还提供排版功能,改进文档整体风格和流畅性。 QuillBot:AI 驱动的写作和排版工具,改进文本清晰度和流畅性。 Latex:广泛用于学术论文排版,有许多 AI 辅助的编辑器和插件简化排版过程。 PandaDoc:文档自动化平台,使用 AI 帮助创建、格式化和自动化文档生成,适合商业和技术文档。 Wordtune:AI 写作助手,重新表述和改进文本,使其更清晰专业。 Overleaf:在线 Latex 编辑器,提供丰富模板和协作工具,适合学术写作和排版。 选择合适的工具取决于您的具体需求,如文档类型、出版标准和个人偏好。对于学术论文,Latex 和 Overleaf 较受欢迎;对于一般文章和商业文档,Grammarly 和 PandaDoc 等可能更适用。 此外,还有以下与办公文书相关的 AI 应用: 1. AI 菜谱口味调整工具:如下厨房口味调整功能,根据用户反馈调整菜谱口味。 2. AI 电影剧情分析系统:如豆瓣电影剧情分析工具,利用数据分析和自然语言处理对电影剧情进行分析。 3. AI 美容护肤方案定制平台:如美丽修行定制方案功能,根据用户肤质定制护肤方案。 在企业运营方面,AI 可用于日常办公文档材料撰写整理、营销对话机器人、市场分析、销售策略咨询、法律文书起草、案例分析、法律条文梳理、人力资源简历筛选、预招聘、员工培训等。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2024-10-21
适合医院行政公文书写的AI
以下是关于适合医院行政公文书写的 AI 的相关信息: 目前有许多可应用于各类写作场景的 AI 工具,例如在简历写作方面,有 Kickresume 的 AI 简历写作器,它使用 OpenAI 的 GPT4 语言模型自动生成简历,能为摘要、工作经验和教育等部分编写内容并保持语调一致;Rezi 是受到超 200 万用户信任的领先 AI 简历构建平台,使用先进的 AI 技术自动化创建可雇佣简历的各方面;Huntr 的 AI 简历构建器提供免费模板及相关生成器和工作匹配功能。更多 AI 简历产品可查看 https://www.waytoagi.com/category/79 。 在医疗保健领域,为实现真正的改变,应投资创建像优秀医生和药物开发者那样学习的“专家”AI 模型生态系统。成为顶尖人才通常从多年密集信息输入和正规学校教育开始,再通过学徒实践从出色实践者那里学习,获得在复杂情况下确定最佳答案的直觉。对于 AI 而言,应通过堆叠模型训练,而非仅依靠大量数据和生成模型解决所有问题,例如先训练生物学、化学模型,再添加特定医疗保健或药物设计数据点。 生成式人工智能在教学中可用于收集整理语料,教师可根据不同教学场景设计恰当提示词,用其辅助教学,例如辅助 AI 搜索总结、思维导图、PPT 制作、论文润色、专业翻译、摘要重点、会议纪要、公文撰写等。
2024-10-21
AI在青少年语文写作方面能提供什么帮助?
AI 在青少年语文写作方面能够提供以下帮助: 1. 激发好奇心和拓展思维:如果将提问方式从封闭性改为开放性,或让 AI 帮助提出更多拓展思考的问题,能够激发孩子的好奇心。 2. 辅助写作过程:让 AI 写作文,孩子对其进行点评批改,并指导 AI 迭代出更好的文章。通过提交孩子和 AI 共同完成作文的聊天记录来进行评价,重点关注孩子能否说清楚 AI 作文的优缺点以及如何修改,甚至可能需要给 AI 做示范。 需要注意的是,在运用 AI 辅助写作时,家长和老师会担忧孩子不动脑筋、完全依赖 AI 写作等问题。但我们可以研究和尝试克服这些问题,让 AI 更好地支持孩子长远发展。
2024-11-07
你知道哪些好用又免费的AI写作
以下为您推荐一些好用又免费的 AI 写作工具: Bing(https://www.bing.com/search?q=Bing+AI&showconv=1&FORM=hpcodx) Claude 2(https://claude.ai/) 常用于营销领域的 AI 工具: Synthesia:允许用户创建由 AI 生成的高质量视频,包括数字人视频。提供多种定价计划,从免费到商业级不等,可用于制作营销视频、产品演示等。 HeyGen:基于云的 AI 视频制作平台,用户可从 100 多个 AI 头像库中选择,并通过输入文本生成数字人视频。适合制作营销视频和虚拟主持人等。 Jasper AI:人工智能写作助手,可用于生成营销文案、博客内容、电子邮件等。提供多种语气和风格选择,写作质量较高。 Copy.ai:AI 营销文案生成工具,可快速生成广告文案、社交媒体帖子、电子邮件等营销内容。有免费和付费两种计划。 Writesonic:AI 写作助手,专注于营销内容创作,如博客文章、产品描述、视频脚本等。提供多种语气和行业定制选项。 好用的 AI 新闻写作工具: Copy.ai:功能强大的 AI 写作助手,提供丰富的新闻写作模板和功能。可快速生成新闻标题、摘要、正文等内容,节省写作时间并提高效率。 Writesonic:专注于写作的 AI 工具,提供新闻稿件生成、标题生成、摘要提取等功能。智能算法可根据用户提供信息快速生成高质量新闻内容,适合新闻写作和编辑人员使用。 Jasper AI:虽然主打博客和营销文案,但也可用于生成新闻类内容。写作质量较高,支持多种语言。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2024-11-07
中文写作哪个AI工具更适合?
以下是一些适合中文写作的 AI 工具: 内容仿写方面: 秘塔写作猫:https://xiezuocat.com/ 是 AI 写作伴侣,能推敲用语、斟酌文法、改写文风,还能实时同步翻译。支持全文改写,一键修改,实时纠错并给出修改建议,智能分析文章属性并打分。 笔灵 AI 写作:https://ibiling.cn/ 是智能写作助手,能处理多种文体,支持一键改写/续写/扩写,智能锤炼打磨文字。 腾讯 Effidit 写作:https://effidit.qq.com/ 由腾讯 AI Lab 开发,能提升写作效率和创作体验。 更多 AI 写作类工具可查看:https://www.waytoagi.com/sites/category/2 (内容由 AI 大模型生成,请仔细甄别) 文章排版方面: Grammarly:不仅是语法和拼写检查工具,还提供排版功能,可改进文档风格和流畅性。 QuillBot:AI 驱动的写作和排版工具,能改进文本清晰度和流畅性。 Latex:虽不是纯粹的 AI 工具,但常用于学术论文排版,使用标记语言描述格式,有许多 AI 辅助的编辑器和插件简化排版。 PandaDoc:文档自动化平台,使用 AI 帮助创建、格式化和自动化文档生成,适合商业和技术文档。 Wordtune:AI 写作助手,可重新表述和改进文本,使其更清晰专业。 Overleaf:在线 Latex 编辑器,提供丰富模板和协作工具,适合学术写作和排版。 选择取决于具体需求,如文档类型、出版标准和个人偏好。学术论文常用 Latex 和 Overleaf,一般文章和商业文档常用 Grammarly 和 PandaDoc 等。 论文写作方面: 文献管理和搜索: Zotero:结合 AI 技术,自动提取文献信息,管理和整理参考文献。 Semantic Scholar:AI 驱动的学术搜索引擎,提供文献推荐和引用分析。 内容生成和辅助写作: Grammarly:提供文本校对、语法修正和写作风格建议,提高语言质量。 Quillbot:基于 AI 的重写和摘要工具,精简和优化内容。 研究和数据分析: Google Colab:提供云的 Jupyter 笔记本环境,支持 AI 和机器学习研究,便于数据分析和可视化。 Knitro:用于数学建模和优化,进行复杂数据分析和模型构建。 论文结构和格式: LaTeX:结合自动化和模板,高效处理论文格式和数学公式。 Overleaf:在线 LaTeX 编辑器,提供丰富模板库和协作功能,简化编写过程。 研究伦理和抄袭检测: Turnitin:广泛使用的抄袭检测工具,确保原创性。 Crossref Similarity Check:通过与已发表作品比较,检测抄袭问题。 使用这些工具时,要结合自己的写作风格和需求,选择最合适的辅助工具。(内容由 AI 大模型生成,请仔细甄别)
2024-11-06
我需要一个能写生成文生视频prompt的机器人,这个机器人只负责生产宠物做饭视频的文字prompt,请学习文生视频prompt写作技巧,并给我写一个这样的机器人
以下是关于文生视频 prompt 写作技巧及为您生成的一个宠物做饭视频的文字 prompt 示例: 文生视频 prompt 写作技巧: 1. 明确视觉样式:要具体描述视频的视觉基调和风格,比如是想要现实的、电影的、动画的还是超现实的。对美学的描述越具体,生成的效果就越接近期望。 2. 考虑视觉风格创意:如电影感要注重戏剧性照明、镜头光晕和高对比度;逼真风格要追求自然光、清晰细节和逼真角色;动画风格可使用卡通、3D 动画或 2D 动画等术语;艺术风格可用印象派、极简主义或抽象等形容词来指导艺术方向。 宠物做饭视频的文字 prompt 示例:“创建一个 2D 动画、色彩鲜艳的视频,一只可爱的猫咪在厨房里熟练地烹饪美味的鱼餐,画面具有温馨的灯光和可爱的卡通风格。”
2024-11-06
推荐五款辅助写作的ai
以下为您推荐五款辅助写作的 AI 工具: 1. Grammarly: 功能:提供语法检查、拼写纠正、风格建议和语气调整等功能。 优点:易于使用,支持多种平台(如浏览器扩展、桌面应用、手机应用),适用于多种语言。 网站:https://www.grammarly.com/ 2. Hemingway Editor: 功能:简化句子结构,提高可读性,标记复杂句和冗长句。 优点:界面简洁,重点突出,适用于改善写作风格和简洁性。 网站:http://www.hemingwayapp.com/ 3. ProWritingAid: 功能:全面的语法和风格检查,提供详细的写作报告和建议。 优点:功能强大,支持多种平台和集成,特别适合专业写作者。 网站:https://prowritingaid.com/ 4. Writesonic: 功能:基于 AI 生成各种类型的文本,包括电子邮件、博客文章、广告文案等。 优点:生成速度快,适合需要快速创作和灵感的用户。 网站:https://writesonic.com/ 5. Lavender: 功能:专注于邮件写作优化,提供个性化建议和模板,帮助用户提高邮件打开率和回复率。 优点:专注邮件领域,提供具体的改进建议和实时反馈。
2024-11-05
大模型优化有哪些方式
大模型优化的方式主要包括以下几种: 1. 模型压缩:由于大模型的参数众多,内存需求巨大,在实际部署时会进行压缩。例如使用内存占用更小的数据类型,如 16 位的浮点数,其中英伟达在其最新一代硬件中引入了对 bfloat16 的支持。 2. 上下文优化:如果模型缺失必知信息,如内部业务数据、流程等,可通过将相关信息提供给模型进行优化。例如采用 RAG 技术,先在知识库检索相关内容,然后与提示词组装后提供给大模型作为输入。 3. 大模型优化:在进行足够的 prompt 工程后,如果模型在垂直领域表现不足或输出内容的格式风格稳定性不及预期,可以考虑微调。但微调也要与良好的 prompt 工程结合。 4. 更换大模型:例如从 ChatGLM26B 替换成 baichuan213b,可能提升性能。 5. 更换 embedding 模型:如将 embedding 模型从 LangChain Chatchat 默认的 m3ebase 替换为 bgelargezh。 6. 测试不同 Top k 的值:比较不同的 Top k 值(如 Top 5、Top 10、Top 15),找到最优效果的值。 7. 对文档名称进行处理:人工对文件重命名,上传相同文件构建知识库,并勾选【开启中文标题加强】选项,可减少无关信息,提升效果。
2024-11-08
claude gpt 国内大模型的对比
以下是关于 Claude、GPT 与国内大模型的对比情况: 在 2023 年度中文大模型基准测评的传统安全能力专项基准中: Claude2 遥遥领先,取得最高分 83.00 分,在传统安全方面表现出色,这可能与 Anthropic 对 AI 安全的重视及精心设计的安全防护措施有关。 文心一言 4.0(API)排在第二名,得分为 68 分。 智谱清言和 Yi34BChat 均超过 65 分。 GPT 系列在安全能力测评上呈现不稳定情况,超过 GPT3.5 的国内模型有 14 个,GPT4表现不尽如人意,可能与国内外安全范围及 OpenAI 安全策略有关。 在主观和客观对比方面: 国内大模型多数擅长做选择题,普遍选择题分数高于简答题分数,文心一言 4.0 和智谱清言表现相对稳定。 GPT4 Turbo 的表现最为稳定,差值仅有 0.86。 此外,国外的代表性大模型如 GPT4 的不同版本、Claude2、Llama2 都有很好的稳定性表现,值得国内大模型进一步分析研究。 AndesGPT 是 OPPO 自主训练的大语言模型,具有对话增强、个性专属和端云协同三大技术特征,在语言理解与抽取、角色扮演能力上排名国内前一,在代码、生成与创作、上下文对话能力上排名国内前三,各项能力较为均衡,聚焦在移动设备端的应用,涵盖知识、记忆、工具、创作等方向。
2024-11-08
国内现有ai模型
以下是 8 月正式上线的国内部分大模型: 北京: 百度(文心一言):https://wenxin.baidu.com 抖音(云雀大模型):https://www.doubao.com 智谱 AI(GLM 大模型):https://chatglm.cn 中科院(紫东太初大模型):https://xihe.mindspore.cn 百川智能(百川大模型):https://www.baichuanai.com/ 上海: 商汤(日日新大模型):https://www.sensetime.com/ MiniMax(ABAB 大模型):https://api.minimax.chat 上海人工智能实验室(书生通用大模型):https://internai.org.cn 这些大模型在聊天状态下具有不同特点,例如: 能生成 Markdown 格式的:智谱清言、商量 Sensechat、MiniMax 目前不能进行自然语言交流的:昇思、书生 受限制使用:MiniMax(无法对生成的文本进行复制输出,且只有 15 元的预充值额度进行体验,完成企业认证后可以进行充值) 具有特色功能的:昇思可生图,MiniMax 可语音合成 此外,阿里通义千问、360 智脑、讯飞星火等不在首批获批名单中。据悉,广东地区获批公司分别为华为、腾讯,科大讯飞系其他地区获批产品。
2024-11-08
能够读取文本数字最多的大模型是哪一个
目前能够读取文本数字较多的大模型有以下几种: Claude2 模型的上下文上限是 100,000 个 token。 ChatGPT16k 模型的上下文上限是 16,000 个 token。 ChatGPT432k 模型的上下文上限是 32,000 个 token。 需要注意的是,token 限制会同时对一次性输入和一次对话的总体上下文长度生效。例如,一次性输入的文本长度以及一次对话中累计的上下文长度都受到相应的限制。当达到上限时,并非停止对话,而是会遗忘最前面的对话内容。
2024-11-08
如何打造智能家电行业大模型,需要几步,分别具体怎么实施?
打造智能家电行业大模型一般需要以下步骤及具体实施方法: 1. 准备计算资源:训练大模型需要大量的计算能力,特别是 GPU 等硬件,类似于找一所具备资本和资源的“贵族学校”。 2. 确定数据:大模型需要海量的数据,数据量通常以千亿序列(Token)为标配,这就像为学习确定丰富的“教材”。 3. 选择算法:选择合适的算法来处理和讲解数据,让大模型能更好地理解 Token 之间的关系,如同为学习找一位好“老师”。 4. 微调指导:为了让大模型更好地适应智能家电行业,需要进行微调指导,类似于就业指导。 5. 实际应用:完成上述步骤后,大模型就可以进行实际的任务,如翻译、问答等,这被称为推导。 在构建大模型的过程中,还包括以下具体环节: 1. 收集海量数据:如同教孩子成为博学多才的人需要让其阅读大量书籍、观看纪录片、与人交谈,对于大模型,要收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。 2. 预处理数据:就像为孩子整理学习资料,要对收集到的数据进行清理和组织,包括删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段。 3. 设计模型架构:为大模型设计“大脑”结构,通常是复杂的神经网络,例如使用 Transformer 架构这种擅长处理序列数据的结构。 4. 训练模型:让大模型“阅读”提供的数据,通过反复预测句子中的下一个词等方式,逐渐学会理解和生成人类语言。 行业最佳实践方面,以 Baichuan 为例,针对用户复杂的问题,借鉴了 Meta 的 CoVe 技术,将复杂 Prompt 拆分为多个独立且可并行检索的搜索友好型查询,还利用自研的 TSF 技术挖掘用户输入背后更深层的问题。在检索步骤中,自研了 BaichuanTextEmbedding 向量模型,对大量数据进行预训练,并通过自研损失函数解决问题,同时引入混合检索方式提升目标文档的召回率。
2024-11-08
图片对话模型有哪些
以下是一些常见的图片对话模型: ChatGLM: 地址: 简介:中文领域效果最好的开源底座模型之一,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持。 VisualGLM6B: 地址: 简介:一个开源的,支持图像、中文和英文的多模态对话语言模型,语言模型基于 ChatGLM6B,具有 62 亿参数;图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁,整体模型共 78 亿参数。依靠来自于 CogView 数据集的 30M 高质量中文图文对,与 300M 经过筛选的英文图文对进行预训练。 ChineseLLaMAAlpaca: 地址: 简介:中文 LLaMA&Alpaca 大语言模型+本地 CPU/GPU 部署,在原版 LLaMA 的基础上扩充了中文词表并使用了中文数据进行二次预训练。 智谱·AI 开源的图片对话模型有: CogAgent18B:基于 CogVLM17B 改进的开源视觉语言模型。拥有 110 亿视觉参数和 70 亿语言参数,支持 11201120 分辨率的图像理解,在 CogVLM 功能的基础上,具备 GUI 图像的 Agent 能力。 代码链接: 模型下载:、始智社区 CogVLM17B:强大的开源视觉语言模型(VLM)。基于对视觉和语言信息之间融合的理解,CogVLM 可以在不牺牲任何 NLP 任务性能的情况下,实现视觉语言特征的深度融合。是目前多模态权威学术榜单上综合成绩第一的模型,在 14 个数据集上取得了 stateoftheart 或者第二名的成绩。 代码链接: 模型下载: Visualglm6B:一个开源的,支持图像、中文和英文的多模态对话语言模型,语言模型基于 ChatGLM6B,具有 62 亿参数;图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁,整体模型共 78 亿参数。 代码链接: 模型下载: 智谱·AI 开源的 Chat 模型有: ChatGLM6Bint4:ChatGLM6B 的 Int4 版本。最低只需 6GB 显存即可部署,最低只需 7GB 显存即可启动微调() 上下文 token 数:2K 代码链接: 模型权重下载链接:魔搭社区、始智社区、启智社区 ChatGLM6Bint8:ChatGLM6B 的 Int8 版本 上下文 token 数:2K 代码链接: 模型权重下载链接:魔搭社区、始智社区、启智社区 AgentLM7B: 简介:1. 提出了一种 AgentTuning 的方法;2. 开源了包含 1866 个高质量交互、6 个多样化的真实场景任务的 Agent 数据集 AgentInstruct;3. 基于上述方法和数据集,利用 Llama2 微调了具备超强 Agent 能力的 AgentLM7B、AgentLM13B、AgentLM70B。 上下文 token 数:4K 代码链接: 模型权重下载链接: AgentLM13B: 上下文 token 数:4K 模型权重下载链接: AgentLM70B: 上下文 token 数:8K 模型权重下载链接:
2024-11-08
摘要总结作为 llm 训练的下游任务,一般的训练流程是怎样的
作为 LLM 训练的下游任务,一般的训练流程如下: 1. 首先从大量文本数据中训练出一个基础 LLM。 2. 随后使用指令和良好尝试的输入和输出来对基础 LLM 进行微调和优化。 3. 接着通常使用称为“人类反馈强化学习”的技术进行进一步细化,以使系统更能够有帮助且能够遵循指令。 在训练过程中,会涉及到一些相关的理论探讨和评价指标: 理论探讨方面,如在推理阶段对 InContext Learning 能力的运行分析,将其视为隐式微调,通过前向计算生成元梯度并通过注意力机制执行梯度下降,且实验表明 LLM 中的某些注意力头能执行与任务相关的操作。 评价指标方面,entropylike 指标(如 crossentropy 指标)常用于表征模型的收敛情况和测试集的简单评估(如 Perplexity 指标),但对于复杂的下游应用,还需更多指标,如正确性(Accuracy)、信息检索任务中的 NDCG@K 指标、摘要任务中的 ROUGE 指标、文本生成任务中的 BitsperByte 指标、不确定性中的 ECE 指标、鲁棒性(包括 invariance 和 equivariance)、公平性、偏见程度和有毒性等。
2024-11-07
训练模型
训练模型的相关内容如下: 用 SD 训练一套贴纸 LoRA 模型的工作流: 原始形象:MJ 初步产出符合设计想法的贴纸原始形象。 二次加工:完成贴纸的白色边线等细节加工。 处理素材:给训练集图片打 tag,修改 tag。 训练模型:将上述处理好的数据集做成训练集,进行训练。 使用编码器解码器架构构建诗歌生成器的训练模型: 在训练模型之前,需要一个损失函数,由于本质上是多类分类问题,损失将是稀疏的分类交叉熵损失,配置从 logits 计算。 有了损失后,编译模型,将损失和优化器联系在一起,优化器在训练期间更新权重以减少损失。 开始训练模型,选择训练的时期,进行多次训练,并提供回调确保训练期间保存权重。 从实际字符串中提取字符序列,使用 TensorFlow 的 TF 字符串 Unicode 拆分功能。 将字符序列转化为数字,使用 TF Keras 层中的 StringLookup 函数进行字符到 ID 的映射,也可通过设置参数获取反向映射。 将处理后的数据作为神经网络的训练数据集,使用 TF Data Dataset API。 call 函数指定网络架构,输入是代表字符的 ID 序列,有嵌入层、循环层和密集层。 完成模型构建后,可使用 model.summary查看模型结构。 包括创建初始向量层、字符向量的演进、构建密集输出层等步骤。
2024-11-06
如何训练AI
训练 AI 通常是指通过大数据训练出一个复杂的神经网络模型,使其能够适应特定的功能。具体来说: 训练需要大量标记过的数据,通过这些数据来训练相应的系统。 训练需要较高的计算性能,以处理海量的数据。 训练具有一定的通用性,以便完成各种各样的学习任务。 例如,在医疗保健领域,为了让 AI 产生真正的改变,我们可以通过使用彼此堆叠的模型来训练 AI,而不是仅仅依靠大量的数据,并期望一个生成模型解决所有问题。比如先训练生物学的模型,然后是化学的模型,在这些基础上添加特定于医疗保健或药物设计的数据点。 此外,机器学习是人工智能的一个分支,是实现人工智能的一个途径之一,近 30 多年已发展为一门多领域科际集成,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。自然语言处理是人工智能和语言学领域的分支学科,包括认知、理解、生成等部分。推理是指利用训练好的模型,使用新数据推理出各种结论。
2024-10-29
通义千问是怎么训练的?
通义千问是阿里推出的一款超大规模预训练语言模型,其训练过程包括以下方面: 1. 大规模预训练:基于先进的深度学习技术进行研发。 2. 精细微调:提升智能水平,使其表现更接近人类,进一步提升代码、数学、推理、指令遵循、多语言理解等能力,并学会对齐人类价值观,变得更有帮助、诚实和安全。 探索多种自动方法获取高质量、可靠、有创造力的指令和偏好数据,如针对数学的拒绝采样、针对代码和指令遵循的代码执行反馈、针对创意写作的回译、针对角色扮演的 scalable oversight 等。 结合有监督微调、反馈模型训练以及在线 DPO 等方法,并采用在线模型合并的方法减少对齐税。 不久后,通义千问团队将推出 Qwen2 的技术报告。Qwen 系列模型在全球爆火,近一个月内总下载量翻倍,已突破 1600 万次。海内外开源社区已经出现了超过 1500 款基于 Qwen 二次开发的模型和应用。
2024-10-24
Lora模型训练数据集
以下是关于 Lora 模型训练数据集的相关内容: 创建数据集: 1. 进入厚德云模型训练数据集(https://portal.houdeyun.cn/sd/dataset)。 2. 在数据集一栏中,点击右上角创建数据集,输入数据集名称。 3. 可以上传包含图片+标签 txt 的 zip 文件,也可以只有图片(之后可在 c 站使用自动打标功能),还可以一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。 4. Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 5. 上传 zip 以后等待一段时间,确认创建数据集。返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,能预览到数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。然后等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 用 SD 训练一套贴纸 LoRA 模型的工作流: 1. 原始形象:MJ 初步产出符合设计想法的贴纸原始形象。 2. 二次加工:完成贴纸的白色边线等细节加工。 3. 处理素材:给训练集图片打 tag,修改 tag。 4. 训练模型:将上述处理好的数据集做成训练集,进行训练。 用 SD 训练一套贴纸 LoRA 模型的原始形象:MJ 关键词: A drawing for a rabbit stickers,in the style of hallyu,screenshot,mori kei,duckcore plush doll art exaggerated poses,cry/happy/sad/...ar 3:4 niji 5 style cute s 180 。会得到不同风格的贴图,我们可以先看看自己喜欢哪一种。出图过程可以有意识地总结这一类贴图的特征,比如都是可爱的兔子,有不同的衣服和头饰,都有一双大大的卡通眼睛,会有不同的面部表情。 注意事项: 1. 关键词中限制了颜色,因此 MJ 生成的图片会一种情绪对应一种颜色,所以同一种情绪最好多生成几张不同色系的,可以减少后续训练中模型把情绪和颜色做挂钩(如果需要这样的话,也可以反其道而行之)。 2. 数据集中正面情绪与负面情绪最好比例差不多,如果都是正面积极的,在出一些负面情时(sad,cry)的时候,可能会出现奇怪的问题(如我们训练的是兔子形象,但 ai 认知的 sad 可能是人的形象,可能会出现人物特征)。 3. 如果训练 256266 大小的表情包,这样的素材就已经够用了。如果要训练更高像素的图片,则需要进一步使用 MJ 垫图和高清扩展功能。 高清化: 左(256)→右(1024),输入左图,加入内容描述,加入风格描述,挑选合适的,选出新 30 张图片(卡通二次元类型的 lora 训练集 30 张差不多,真人 60100 张)。
2024-10-22
Lora模型训练
以下是关于 Lora 模型训练的相关内容: 一、用 SD 训练一套贴纸 LoRA 模型的要点 1. 训练数据集准备:包括训练素材处理、图像预处理、打标优化。 2. 训练环境参数配置:选择本地或云端训练环境,进行训练环境配置和训练参数配置。 3. 模型训练:基于 kohyass 训练模型。 4. 模型测试:通过 XYZ plot 测试模型。 二、郑敏轩:Flux 的 Lora 模型训练 1. 所需模型下载:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意事项: 不使用时,模型放置位置不限,只要知道路径即可。 训练时,建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 三、100 基础训练大模型 1. 步骤一·创建数据集 进入厚德云模型训练数据集:https://portal.houdeyun.cn/sd/dataset 在数据集一栏中,点击右上角创建数据集,输入数据集名称。 可以上传包含图片+标签 txt 的 zip 文件,也可以只有图片(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配,例如:图片名"1.png",对应的达标文件就叫"1.txt"。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 2. 步骤二·Lora 训练 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 选择数据集,点击右侧箭头,选择上传过的数据集。 触发词可有可无,取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数可调节重复次数与训练轮数,厚德云会自动计算训练步数,若不知如何设置,可默认 20 重复次数和 10 轮训练轮数。 可按需求选择是否加速,点击开始训练,会显示所需要消耗的算力,然后等待训练,会显示预览时间和进度条。 训练完成后会显示每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。
2024-10-22