Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

AI训练师是什么职业

Answer

AI 训练师是一种新兴职业,其职责和工作内容因具体领域和应用场景而有所不同。

例如,在 AI 教育培训和商业应用方面,像星动 AI 联合创始人李先森所从事的工作,可能包括对学员进行 AI 相关知识和技能的培训,以及参与 AI 项目的测评和指导等。

在 AI 设计领域,AI 训练师可能需要负责 AI 风格的开发和调试工作,参与项目的整体风格和审美定义。根据产品需求完成风格渲染的研发、测试、配置和维护,熟练使用 StableDiffusion Web UI 等 AI 框架进行风格研发,负责 AI 模型(如 LoRA,Prompt/Prompt Sentence)的训练、参数调整以及性能优化,编写高质量的渲染记录文档,进行配置和模型训练质量控制,并为团队提供技术支持和指导,解决技术难题。

总之,AI 训练师需要具备相关的专业知识和技能,以帮助 AI 系统更好地学习和优化,从而实现各种应用目标。

Content generated by AI large model, please carefully verify (powered by aily)

References

北京分队介绍

OhTqYuth1rLcr92InIh)|序号|昵称|技能与经验|职业与工作领域|兴趣爱好与活动|坐标|<br>|-|-|-|-|-|-|<br>|129|U|业余配音演员,业余歌手,擅长音频剪辑,也可简单视频剪辑。||||<br>|130|萝卜|生图生视频剪辑均可,剪辑方面有从业经验。sd comfyui等在学。||||<br>|131|李先森|星动AI联合创始人,致力于AI教育培训和AI商业应用,AI培训师、AI测评师。希望与各位经常交流、学习、合作||||<br>|132|石头|在央视工作,爱好aigc,希望可以和各位老师多多学习交流||||<br>|133|桥豆麻袋|设计师职业,对ai比较感兴趣,也有一些简单的小尝试,希望大家多多指点||||<br>|134|Minmin|有用stable diffusion和controlnet做一些图像生成的经验,希望学习更多图像和视频生成的技术[呲牙]||||<br>|135|张律师|泰和泰律师事务所律师,对AI也很感兴趣,很高兴认识大家,希望能多多跨行交流||||<br>|136|Ren|来自汇丰,主要做开设海外账户和财富管理,包括储蓄保障和投资理财产品,我对AI挺感兴趣的,很高兴认识大家,希望能多交流学习,一起成长~||||

最近招聘信息-持续更新中

[heading1]AI stylist我们正在寻找会使用StableDiffusion,对AI设计充满热情渴望学习成长的伙伴中!需要熟练使用SD Web UI,根据需求测试并搭配Check Point,Prompt,LoRA,ControlNet等来达成目标。[heading4]岗位职责:[content]负责AI风格的开发和调试工作,参与项目的整体风格和审美定义;根据产品需求完成风格渲染的研发、测试、配置和维护;熟练使用StableDiffusion Web UI等AI框架进行风格研发;负责AI模型(如LoRA,Prompt/Prompt Sentence)的训练、参数调整以及性能优化;编写高质量的渲染记录文档,进行配置和模型训练质量控制;为团队提供技术支持和指导,解决技术难题。[heading4]任职要求:[content]具有至少半年的StableDiffusion Web UI使用经验,知道如何安装对应插件和models并使用;英文水平需要能看懂Web UI,Hugging Face上的英文文档;能根据需求去完成对应的渲染测试,包括但不局限于t2i,i2i以及视频渲染;能熟练的根据不同的check point,prompt和LoRA来结合CFG(和i2i的DS指)和ControlNet来达到测试需求;能够独立进行模型训练和参数调优;拥有良好的记录和沟通习惯,结构清晰,命名规范,逻辑性强,能够对团队进行技术指导;思路清晰、积极主动、认真踏实、良好的沟通能力和团队合作精神,有敏捷研发经验优先。

为了在医疗保健中产生真正的改变,AI 需要像我们一样学习

毫无疑问,AI将不可逆转地改变我们如何预防和治疗疾病。医生将把文档工作交给AI书记员;初级医疗服务提供者将依赖聊天机器人进行分诊;几乎无穷无尽的预测蛋白结构库将极大地加速药物开发。然而,为了真正改变这些领域,我们应该投资于创建一个模型生态系统——比如说,“专家” AI——它们像我们今天最优秀的医生和药物开发者那样学习。成为某个领域顶尖人才通常以多年的密集信息输入开始,通常是通过正规的学校教育,然后是某种形式的学徒实践;数年时间都致力于从该领域最出色的实践者那里学习,大多数情况下是面对面地学习。这是一个几乎不可替代的过程:例如,医学住院医生通过聆听和观察高水平的外科医生所获取的大部分信息,是任何教科书中都没有明确写出来的。通过学校教育和经验,获得有助于在复杂情况下确定最佳答案的直觉特别具有挑战性。这一点对于人工智能和人类都是如此,但对于AI来说,这个问题因其当前的学习方式以及技术人员当前对待这个机会和挑战的方式而变得更加严重。通过研究成千上万个标记过的数据点(“正确”和“错误”的例子)——当前的先进神经网络架构能够弄清楚什么使一个选择比另一个选择更好。我们应该通过使用彼此堆叠的模型来训练AI,而不是仅仅依靠大量的数据,并期望一个生成模型解决所有问题。例如,我们首先应该训练生物学的模型,然后是化学的模型,在这些基础上添加特定于医疗保健或药物设计的数据点。预医学生的目标是成为医生,但他们的课程从化学和生物学的基础开始,而不是诊断疾病的细微差别。如果没有这些基础课程,他们未来提供高质量医疗保健的能力将受到严重限制。同样,设计新疗法的科学家需要经历数年的化学和生物学学习,然后是博士研究,再然后是在经验丰富的药物设计师的指导下工作。这种学习方式可以帮助培养如何处理涉及细微差别的决策的直觉,特别是在分子层面,这些差别真的很重要。例如,雌激素和睾酮只有细微的差别,但它们对人类健康的影响截然不同。

Others are asking
文字生成图片的ai有哪些
以下是一些文字生成图片的 AI 工具: 1. DALL·E:由 OpenAI 推出,能根据输入的文本描述生成逼真的图片。 2. StableDiffusion:开源的文生图工具,可生成高质量图片,支持多种模型和算法。 3. MidJourney:因高质量的图像生成效果和用户友好的界面设计受到广泛欢迎,在创意设计人群中尤其流行。 您还可以在 WaytoAGI 网站(https://www.waytoagi.com/category/104)查看更多文生图工具。 此外,在小学课堂的课程设计中,关于文字生成图片的部分,可先准备一些关键词,如“夜晚的未来城市风景,霓虹灯和飞行汽车”“超现实主义风景,漂浮的岛屿和瀑布云”等,输入 Mid Journey 生成图片并保存,用于课堂展示。同时让学生共创,每人说几个关键词,放入 Mid Journey 查看生成效果,也可展示事先用 SD 制作的作品。通过这些案例和互动,让学生理解 AI 绘图在创意增强、效率提升、降低技能门槛和探索新艺术形式方面的好处。
2025-01-21
图片生成视频的ai有哪些
以下是一些图片生成视频的 AI 工具: 1. Pika:是一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 2. SVD:如果熟悉 Stable Diffusion,可以安装这款最新的插件,在图片基础上直接生成视频。它是由 Stability AI 开源的 video model。 3. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但需要收费。 4. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 5. Sora:由 OpenAI 开发,可以生成长达 1 分钟以上的视频。 更多的相关网站可以查看:https://www.waytoagi.com/category/38 。 另外,使用快影(可灵)处理图片生成视频的步骤如下: 1. 打开快影(需要先通过内测申请),选择 AI 创作。 2. 选择 AI 生成视频。 3. 选择图生视频。 4. 上传处理好的图片,填写想要的互动动作和效果,然后点击生成视频。 5. 排队等待生成结束,点击下载。 以上工具均适合于不同的使用场景和需求,您可以根据自己的具体情况进行选择。
2025-01-21
制作ai视频都需要用到哪些工具
制作 AI 视频通常需要用到以下工具: 1. Stable Diffusion(SD):一种 AI 图像生成模型,可基于文本描述生成图像。网址:https://github.com/StabilityAI 2. Midjourney(MJ):适用于创建小说中的场景和角色图像的 AI 图像生成工具。网址:https://www.midjourney.com 3. Adobe Firefly:Adobe 的 AI 创意工具,能生成图像和设计模板。网址:https://www.adobe.com/products/firefly.html 4. Pika AI:文本生成视频的 AI 工具,适合动画制作。网址:https://pika.art/waitlist 5. Clipfly:一站式 AI 视频生成和剪辑平台。网址:https://www.aihub.cn/tools/video/clipfly/ 6. VEED.IO:在线视频编辑工具,具有 AI 视频生成器功能。网址:https://www.veed.io/zhCN/tools/aivideo 7. 极虎漫剪:结合 Stable Diffusion 技术的小说推文视频创作提效工具。网址:https://tiger.easyartx.com/landing 8. 故事 AI 绘图:小说转视频的 AI 工具。网址:https://www.aihub.cn/tools/video/gushiai/ 此外,制作 AI 视频还需要考虑故事的来源和剧本写作。故事来源可以是原创(如个人或周围人的经历、梦境、想象的故事等),也可以是改编(如经典 IP、名著、新闻、二创等)。剧本写作方面,虽然有一定门槛,但可以从自身或朋友的经历改编入手,多与他人讨论并不断实践总结。在生成视频画面时,可能需要大量抽卡来获取合适的画面。比如在科幻片、战争片、奇幻片等不同类型的视频中,通过不同的工具生成相应的画面。
2025-01-21
有哪些能够生成视频封面的ai
以下是一些能够生成视频封面的 AI 工具: 1. Pika:出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 2. SVD:如果熟悉 Stable Diffusion,可以安装这款最新的插件,在图片基础上直接生成视频,它是由 Stability AI 开源的 video model。 3. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但需要注意是收费的。 4. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 5. Sora:由 OpenAI 开发,可以生成长达 1 分钟以上的视频。 如果您想用 AI 把小说做成视频,可参考以下制作流程: 1. 小说内容分析:使用 AI 工具(如 ChatGPT)分析小说内容,提取关键场景、角色和情节。 2. 生成角色与场景描述:根据小说内容,使用工具(如 Stable Diffusion 或 Midjourney)生成角色和场景的视觉描述。 3. 图像生成:使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作:将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作:利用 AI 配音工具(如 Adobe Firefly)将小说文本转换为语音,添加背景音乐和音效。 6. 视频编辑与合成:使用视频编辑软件(如 Clipfly 或 VEED.IO)将图像、音频和文字合成为视频。 7. 后期处理:对生成的视频进行剪辑、添加特效和转场,以提高视频质量。 8. 审阅与调整:观看生成的视频,根据需要进行调整,比如重新编辑某些场景或调整音频。 9. 输出与分享:完成所有编辑后,输出最终视频,并在所需平台上分享。 请注意,具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外,AI 工具的可用性和功能也可能会随时间而变化,建议直接访问上述提供的工具网址获取最新信息和使用指南。
2025-01-21
有哪些能够提升视频流畅度的ai
以下是一些能够提升视频流畅度的 AI 技术和工具: 1. 关键帧+补间技术: 关键帧生成方式多样,如通过 Stable Diffusion 等方式,能保证不同帧风格一致。 补帧算法包括光流补帧(计算量小、速度快)、基于姿态补帧(适合复杂运动对象)、重参考补帧等。 完善策略有渐进补帧、递归框架、增强后处理、对比学习、模糊处理、融合多个模型等。 2. DiT:能将视频分解成帧并逐帧去噪,生成流畅连贯的视频,在时间维度上保持一致性。 3. 视频配音效的 AI 工具: 支持 50 多种语言配音,音质自然流畅,提供实时配音等功能,并能将语音转录为文本,与多种工具整合。 Vidnoz AI 支持 23 多种语言配音,有语音克隆等功能,提供语音参数自定义和背景音乐添加工具,有不同定价方案。 在选择相关工具时,需考虑支持的语言数量、语音质量、自定义选项和价格等因素。
2025-01-21
有哪些能够提升视频清晰度的ai
以下是一些能够提升视频清晰度的 AI 技术和工具: 1. EvTexture:一种新方法,能解决视频细节模糊和抖动问题。利用事件相机捕获的高频动态细节来改善视频的纹理质量,让视频在处理复杂细节(如树叶、衣服上的条纹等)时更加清晰。 详细内容:https://xiaohu.ai/p/10270 ,https://x.com/imxiaohu/status/1805185573352784177 2. RealESRGANVideo:可将视频清晰度提升至 2K 或 4K,提供不同模型处理模式,用户可根据视频内容选择最适合的模型。 详细内容:https://x.com/xiaohuggg/status/1729336570115920325?s=20
2025-01-21
找了好久也没找到,记得老师是建筑设计师,设计了在深圳大楼,做了有关于 stablediffution 的分享,你能帮我找到是哪个视频吗
以下是为您找到的相关视频信息: 1. 爆肝博主 ZHO 去年 10 月份发布的一系列围绕 Stable Diffusion 的系统整理视频,深入浅出地介绍了整个生态的发展和梳理,包括论文原理和应用技术等多方面内容,分了四集,一共 4 小时,超 5 万字。系列导览: 认识 Stable Diffusion、一周年回顾和 SD 生态圈三方面展开,形成基础认识。 从 AIGC 浪潮聚焦到扩散的系统梳理,从理论的角度理解扩散模型如何实现 0 到 1 的跨越。 将围绕 SD 展开从模型到生态的全面盘点,一起探究 SD 的创新与未来。 对各类 GUI 的盘点、聚焦 ComfyUI,从设计到实际操作做全面梳理。系列视频:b23.tv/NVRRqqQ 2. EP.3 IP Adapter 对话阿文,阿文老师介绍自己是发布会 PPT 设计师,2022 年 4 月开始关注 diffusion 领域,早期跟了很多工具的发布以及测评,比如 DallE 和 Stable Diffusion,一直尝试把 AI 工具用到平面工作流当中。
2024-10-09
如何构建自己的AI职业
以下是关于构建自己的 AI 职业的一些建议: 1. 掌握 Prompt 工程:了解 Claude 的 5 层 Prompt 体系,将其应用到日常工作中,如市场研究、写作、数据分析等项目,以提升驾驭 AI 的能力。 2. 借助元学习:鉴于人工智能依赖的神经网络基础,通过元学习让 AI 更快地获得知识,与人类共同进步。 3. 实践打造微信 AI 机器人: 确定功能范围,如支持用户发送“关键字”获取“AI 相关资料链接”,回答 AI 相关知识,作为微信客服助手发布在微信公众号上。 准备实现所需的内容,包括编写 prompt 提示词,整理“关键字”与“AI 相关资料链接”的对应关系,创建知识库、工作流,准备微信公众号。
2025-01-12
AI对哪些职业影响最大
以下是一些受到 AI 影响较大的职业: 1. 编程领域:传统的程序员岗位面临巨大挑战,如软件工程和算法开发等领域,随着 AI 的进步,可能会有更多程序员岗位被自动化技术取代。 2. 高薪工作:OpenAI 和宾夕法尼亚大学 Eloundou 等人的研究发现,生成式 AI 对高薪工作的影响更大。 3. 商业和社会中的一些职能角色: 软件工程师:负责编写软件应用程序并确保稳健运行。 机器学习工程师:负责实现人工智能,熟悉大模型、RAG、finetuning。 产品经理:负责识别和界定项目,确保项目对用户有用。 提示词工程师:被认为是炒作的职位,实际可能担任了机器学习工程师的部分职责。 其他岗位如数据工程师、数据科学家、项目主管、机器学习研究员等。 4. 销售、市场营销、用户运营、客户服务等岗位:麦肯锡研究了这些岗位将受到 AI 的影响。 5. 知识型工作:生成式 AI 将会对知识型工作产生更大的影响。 需要注意的是,虽然某些职业受到较大影响,但劳动力可能不容易被完全取代,更专业的服务将加速出现,熟练 AI 的专业人员能够产生高附加值。
2025-01-04
我面临退休,想使用ai开展第二职业,该如何规划实施?
以下是为您规划使用 AI 开展第二职业的一些建议: 1. 深入了解 AI 领域:明确自己的兴趣点,比如是对 AI 提示词、AI 绘画、AI 智能体还是其他方面感兴趣。 2. 评估自身技能:确定自己现有的技能与 AI 领域的结合点,以及还需要提升哪些技能。 3. 学习与提升:根据职业目标,获取个性化的学习建议和资源,提升在 AI 领域的专业技能。 4. 选择研究课题:有意识地选择有潜力和市场需求的研究方向。 5. 宣传工作成果:让更多人了解您在 AI 领域的工作和成果。 6. 合作与交流:与能力强且您钦佩的人合作,学习他们的研究品味和思考方式。 7. 关注行业趋势:了解 AI 领域的最新发展和未来方向,比如更事实性不会产生幻觉的语言模型、可以使用工具与世界进行交互的多模态模型等。 8. 制定职业规划:明确短期和长期的职业目标,制定详细的发展计划。 同时,您可以利用一些职业规划服务产品,比如: 1. 对于学生和应届毕业生,可以通过产品了解 AI 技术在不同职业中的应用,评估兴趣和技能,选择合适职业路径并制定规划,根据职业目标获取个性化学习建议和资源提升技能。 2. 对于职场新人和职业转换者,可根据自身职业目标和市场需求制定发展计划,明确短期和长期目标,获取职业转型支持和必要技能培训资源。 3. 对于企业,可利用产品评估应聘者 AI 技能水平,为现有员工提供职业发展规划和技能提升建议,培养内部 AI 人才。 4. 对于教育机构,可将产品作为学生职业指导一部分,帮助了解 AI 领域职业机会和发展路径,优化课程设置提供针对性培训。 5. 对于职业咨询师,可将产品作为辅助工具为客户提供更精准规划建议和技能评估,基于产品数据提供更全面前瞻性指导。
2024-12-24
我想使用ai开展第二职业,该如何规划实施?
以下是关于使用 AI 开展第二职业的规划实施建议: 1. 努力工作:不仅要增加工作时间,还要提升专注程度。可以有意识地与能力强且令人钦佩的人合作,学习他们的研究品味和思考方式。 2. 研究本身及周期:涉及研究课题的选择、研究工作的开展以及成果的宣传等所有部分。 3. 了解模型:深入了解 AI 模型的行为和局限性,以便更好地引导研究方向和做出正确决策。 4. 评估能力:明确语言模型在各种任务中的评价指标,这是研究人员需要优化的目标函数。 5. 针对自身情况: 学生和应届毕业生:通过产品了解 AI 技术在不同职业中的应用,评估兴趣和技能,选择合适职业路径并制定详细规划;根据职业目标获得个性化学习建议和资源,提升 AI 领域技能。 职场新人和职业转换者:职场新人根据自身职业目标和市场需求制定发展计划,明确短期和长期目标;职业转型者可获取详细转型路径和必要技能培训资源。 企业:利用产品评估应聘者 AI 技能水平,为现有员工制定个性化职业发展计划,提供持续指导和培训。 教育机构:将相关产品作为学生职业指导一部分,优化课程设置,提供针对性 AI 技能培训。 职业咨询师:使用产品为客户提供更精准规划建议和技能评估,基于市场数据和趋势分析提供全面前瞻性指导。
2024-12-24
有没有处理职业教育教材很强大的AI
目前在处理职业教育教材方面,以下是一些相关的 AI 信息: 在医疗保健领域,为使 AI 产生真正改变,应创建像优秀医生和药物开发者那样学习的模型生态系统。顶尖人才的培养通常从多年密集信息输入和正规学校教育开始,再通过学徒实践从出色实践者处学习,获得处理复杂情况的直觉。对于 AI 而言,应改变当前学习方式,如通过堆叠模型训练,而非仅依靠大量数据和生成模型。 对于处理文档和数据,特别是 PDF 文本,Claude 2 表现出色。可以将整本书粘贴到 Claude 的前一版本中获取良好结果,新模型更强大。但需注意这些系统仍会产生幻觉,若要确保准确性需检查结果。 如果您有医学课题需要 AI 给出修改意见,以下是一些专业工具推荐: Scite.ai:为研究人员等打造的创新平台,提供引用声明搜索等工具,可简化学术工作。 Scholarcy:能提取文档结构化数据,生成文章概要,包含多个分析板块。 ChatGPT:强大的自然语言处理模型,可提供医学课题修改意见。 但需注意,以上内容由 AI 大模型生成,请仔细甄别。
2024-11-30
帮我生成一个个人的职业目标为数据分析师,职业规划为想要找到一个计算机行业类的公司,我的优势是社交方面和处理数据方面很强,我的2弱势是不太可以创新
以下是为您生成的以数据分析师为职业目标,且希望在计算机行业公司工作的职业规划建议: 首先,鉴于您在社交和处理数据方面的优势,您可以积极利用这两点。在社交方面,主动参与行业相关的社交活动、线上论坛或社群,扩大人脉资源,这有助于您获取更多的行业信息和潜在的工作机会。在处理数据方面,不断提升自己的专业技能,例如学习更高级的数据处理工具和技术,以提高工作效率和质量。 对于您在创新方面的弱势,建议您多关注行业内的创新案例和趋势,通过学习和模仿来逐渐培养创新思维。可以参加一些创新思维的培训课程或者阅读相关的书籍。 在求职过程中,有针对性地投递计算机行业中对数据分析师有需求的公司。准备一份精心制作的简历,突出您在社交和数据处理方面的优势,并诚实地提及您在创新方面的不足以及您为改进所做的努力。 进入公司后,持续学习和提升自己,与团队成员保持良好的沟通和合作,不断积累项目经验,逐步提升自己在数据分析领域的专业能力和影响力。
2024-11-20
FLUX模型训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 1. 模型准备: 下载所需模型,包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时模型存放位置不限,但要知晓路径;训练时建议使用 flux1dev.safetensors 和 t5xxl_fp16.safetensors 版本。 2. 下载脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 3. 数据集准备: 建议使用自然语言,与之前 SDXL 的训练类似。 数据集存放位置:.Flux_train_20.4\\train\\qinglong\\train 。 若未准备数据集,此路径中有试验数据集可直接使用。 4. 运行训练:约 1 2 小时即可完成训练。 5. 验证和 lora 跑图:若有 comfyUI 基础,在原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点,自行选择 Lora 并调节参数。 6. 修改脚本路径和参数: 若显卡为 16G,右键 16G 的 train_flux_16GLora 文件;若显卡为 24G 或更高,右键 24G 的 train_flux_24GLora 文件。 用代码编辑器打开,理论上只需修改红色部分,包括底模路径、VAE 路径、数据集路径、clip 路径和 T5xxl 路径。注意路径格式,避免错误。蓝色部分为备注名称,可改可不改。建议经验丰富后再修改其他深入参数,并做好备份管理。
2025-01-20
Flux 的lora模型训练教程
以下是 Flux 的 Lora 模型训练教程: 1. 模型准备: 下载所需模型,如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意: 不使用时模型存放位置随意,只要知晓路径,后续会引用。 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载训练脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 3. 训练步骤: 进入厚德云模型训练数据集:https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集: 在数据集一栏中,点击右上角创建数据集。 输入数据集名称。 可以提前将图片和标签打包成 zip 上传,zip 文件里图片名称与标签文件应当匹配,如图片名"1.png",对应的达标文件就叫"1.txt"。也可以一张一张单独上传照片。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 步骤二·Lora 训练: 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 触发词可有可无,取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 然后等待训练,会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 4. 低配置方案: 开源社区对低配置方案进行了优化,NF4 来自 controlnet 的作者,GGUF 则包含多个版本可以使用。 NF4 模型下载:https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors ,放置在 ComfyUI/models/checkpoint/中(不像其他 Flux 模型那样放置在 UNET 中),NF4 配套节点插件:git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git GGUF 模型下载:Flux GGUF 模型:https://huggingface.co/city96/FLUX.1devgguf/tree/main ,GGUF 配套节点插件:GGUF 节点包:https://github.com/city96/ComfyUIGGUF 。 值得一提的是在最新版本的 ComfyUI 中 GGUF 的节点插件可以在 Manager 管理器中搜到下载安装,NF4 的配套节点插件则搜不到。 注意使用精度优化的低配模型的话,工作流和原版是不一样的。此处没有专门列举。 自己改的话就是把上面官方的 fp8 的工作流,只需把底模的节点换成 NF4 的或者 GUFF 的即可。 相关生态发展很快,有 Lora、Controlnet、IPadpter 相关生态建设非常速度,以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。
2025-01-19
我想训练一个专属Agent该怎么做?
要训练一个专属 Agent,以下是一些关键步骤和要点: 1. 明确目标:确定您希望 Agent 实现的特定目标,这将为训练提供方向。 2. 理解智能体的定义:智能体是能够感知环境并采取行动以实现特定目标的实体,可以是软件程序或硬件设备。 3. 规划:将大型任务分解为更小、可管理的子目标,以有效处理复杂任务。 4. 反思和完善:让 Agent 能够对过去的行为进行自我批评和反思,从错误中吸取教训,并针对未来步骤进行完善,提高最终结果质量。 5. 记忆管理:包括短期记忆,利用模型的短期记忆进行学习;长期记忆,通过外部向量存储和快速检索实现长时间信息保留和回忆。 6. 工具使用:训练 Agent 学习调用外部 API 来获取模型权重中缺失的额外信息,包括当前信息、代码执行能力、对专有信息源的访问等。 7. 评估工具使用能力:从调用 API 的能力、检索 API 的能力以及计划 API 超越检索和调用的能力这三个层面进行评估。 在训练过程中,还需要注意模型的上下文窗口长度有限,输入的剧集应足够短以构建多剧集历史,2 4 个剧集的多剧集上下文对于学习近乎最优的上下文强化学习算法是必要的,且上下文强化学习的涌现需要足够长的上下文。
2025-01-17
如何创建和训练自己的智能体
创建和训练自己的智能体可以参考以下步骤: 1. 知识库创建: 在线知识库:点击创建知识库,创建一个如画小二课程的 FAQ 知识库。飞书在线文档中每个问题和答案以分割,选择飞书文档、自定义的自定义,输入,可编辑修改和删除,添加 Bot 后可在调试区测试效果。 本地文档:对于本地 word 文件,注意不能将所有内容一股脑放进去训练。例如画小二 80 节课程分为 11 个章节,应先放入大章节名称内容,章节内详细内容按固定方式人工标注和处理,然后选择创建知识库自定义清洗数据。 2. 发布应用:点击发布,确保在 Bot 商店中能够搜到,只有通过发布才能获取到 API。 在创建智能体之前,还需要了解智能体的相关知识: 智能体大多建立在大模型之上,从基于符号推理的专家系统逐步演进而来。基于大模型的智能体具有强大的学习能力、灵活性和泛化能力。其核心在于有效控制和利用大型模型,提示词的设计直接影响智能体的表现和输出结果。 动手实践创建智能体时,可以基于公开的大模型应用产品(如 Chat GLM、Chat GPT、Kimi 等),尝试开发属于自己的智能体。具体步骤包括: 1. 点击“浏览 GPTs”按钮。 2. 点击“Create”按钮创建自己的智能体。 3. 使用自然语言对话或手工设置进行具体设置。 4. 开始调试智能体并发布。 此外,在创建和使用智能体的过程中,还应注意以下几点: 1. 把工作单元切割开,建设属于自己的智能体,并根据结果反馈不断调整。 2. 定期审视工作流程,看哪个部分可以更多地用上 AI。 3. 注重个人素质的提升,尤其是学习能力和创造能力,培养好奇心和持续学习的习惯,将想法转化为具体行动。
2025-01-16
怎么训练AI数字人说话的语气和语调
训练 AI 数字人说话的语气和语调可以从以下几个方面入手: 1. AI Agent:要让数字人像人一样思考,需要编写一个类似人的 Agent,工程实现所需的记忆模块、工作流模块、各种工具调用模块的构建具有挑战性。 2. 驱动躯壳的实现:灵魂部分通过定义接口由躯壳部分通过 API 调用,调用方式有 HTTP、webSocket 等。但包含情绪的语音表达以及保证躯壳的口型、表情、动作和语音的同步及匹配方面,目前主流方案只能做到预设一些表情动作,再做一些逻辑判断来播放预设,语音驱动口型相对成熟但多为闭源,效果可参考 Nvidia 的 Audio2Face 或 Live Link Face + Face AR Sample。 3. 实时性:由于数字人的算法部分组成庞大,几乎不能单机部署,算法一般部署到额外的集群或调用提供的 API,会涉及网络耗时和模型推理耗时,低延时是亟需解决的问题。 4. 多元跨模态:不仅要有语音交互,还可根据实际需求添加其他感官交互,如通过添加摄像头数据获取视觉信息,再通过 CV 算法做图像解析。 5. 拟人化场景:正常与人交流并非线性对话,插话、转移话题等情景需通过工程进行丝滑处理。 此外,对于数字人说话相关的算法开源代码有很多,如 ASR 语音识别方面有 openai 的 whisper、wenet、speech_recognition 等;AI Agent 方面大模型有 ChatGPT、Claude、ChatGLM 等,Agent 部分可使用 LangChain 的模块自定义;TTS 方面有微软的 edgetts、VITS、sovitssvc 等。 如果都要自建代码实现各模块,开发工作量巨大,迭代难度高,个人开发者可借助开源社区的力量,如 dify、fastgpt 等成熟的高质量 AI 编排框架,通过这些框架快速编排出自己的 AI Agent。在开源项目中,使用 dify 框架可利用其编排和可视化交互任意修改流程,构造不同的 AI Agent,实现相对复杂的功能。同时,Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口,基于此可将数字人的语音识别和语音生成都交由 Dify 控制。使用 Dify 接口时需注意必须在应用编排功能中打开文字转语音和语音转文字功能,且只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商,才会在功能板块中展示出来。
2025-01-14
举例说明,意图和FAQ训练的区别
意图和 FAQ 训练是两种不同的概念。 意图训练主要侧重于理解用户的核心意图或目的。例如,在一个客服场景中,用户的意图可能是查询产品信息、寻求技术支持或进行投诉等。通过对大量的用户交互数据进行分析和学习,模型能够识别出这些不同的意图类别。 FAQ 训练则侧重于常见问题及其对应的标准答案。比如常见的“产品如何退换货”“售后服务的联系方式是什么”等问题,以及相应的准确回答。 总的来说,意图训练更注重对用户目的的分类和理解,而 FAQ 训练更侧重于对特定常见问题的准确回答。
2025-01-13