Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何训练自己的ai

Answer

训练自己的 AI 可以从以下几个方面考虑:

  1. 像在医疗保健领域一样,创建模型生态系统,让 AI 像优秀的从业者那样学习。顶尖人才的培养通常从多年的密集信息输入和正规教育开始,再通过学徒实践从出色的实践者那里学习,获取书本外的信息。对于 AI ,应通过堆叠模型训练,而非仅依靠大量数据和生成模型。例如先训练基础学科模型,再添加特定领域数据点。
  2. 部署和训练自己的 AI 开源模型的主要步骤:
    • 选择合适的部署方式,如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等,根据自身资源、安全和性能需求选择。
    • 准备训练所需的数据和计算资源,确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。
    • 选择合适的预训练模型作为基础,如开源的 BERT、GPT 等,也可自行训练基础模型。
    • 针对目标任务进行模型微调训练,根据具体应用场景对预训练模型进行微调,优化模型结构和训练过程以提高性能。
    • 部署和调试模型,将训练好的模型部署到生产环境,并进行在线调试和性能优化。
    • 注意安全性和隐私保护,重视大模型涉及的大量数据和隐私信息的安全性和合规性。
  3. 学习拆解复杂任务,先想清楚如何拆解:
    • 一步步思考,包括自我反省,检查答案是否正确、是否符合法律/道德等。
    • 运用组合拳,如 Tree of Thoughts、Algorithm of Thoughts、Graph of Thoughts 等。
    • 学会使用工具,如搜索引擎(警惕“幻觉”)、RAG(提供资料库/让其上网搜)、写公式 Program of Thought 、上千个工具等,并自己学习使用工具。
Content generated by AI large model, please carefully verify (powered by aily)

References

为了在医疗保健中产生真正的改变,AI 需要像我们一样学习

毫无疑问,AI将不可逆转地改变我们如何预防和治疗疾病。医生将把文档工作交给AI书记员;初级医疗服务提供者将依赖聊天机器人进行分诊;几乎无穷无尽的预测蛋白结构库将极大地加速药物开发。然而,为了真正改变这些领域,我们应该投资于创建一个模型生态系统——比如说,“专家”AI——它们像我们今天最优秀的医生和药物开发者那样学习。成为某个领域顶尖人才通常以多年的密集信息输入开始,通常是通过正规的学校教育,然后是某种形式的学徒实践;数年时间都致力于从该领域最出色的实践者那里学习,大多数情况下是面对面地学习。这是一个几乎不可替代的过程:例如,医学住院医生通过聆听和观察高水平的外科医生所获取的大部分信息,是任何教科书中都没有明确写出来的。通过学校教育和经验,获得有助于在复杂情况下确定最佳答案的直觉特别具有挑战性。这一点对于人工智能和人类都是如此,但对于AI来说,这个问题因其当前的学习方式以及技术人员当前对待这个机会和挑战的方式而变得更加严重。通过研究成千上万个标记过的数据点(“正确”和“错误”的例子)——当前的先进神经网络架构能够弄清楚什么使一个选择比另一个选择更好。我们应该通过使用彼此堆叠的模型来训练AI,而不是仅仅依靠大量的数据,并期望一个生成模型解决所有问题。例如,我们首先应该训练生物学的模型,然后是化学的模型,在这些基础上添加特定于医疗保健或药物设计的数据点。预医学生的目标是成为医生,但他们的课程从化学和生物学的基础开始,而不是诊断疾病的细微差别。如果没有这些基础课程,他们未来提供高质量医疗保健的能力将受到严重限制。同样,设计新疗法的科学家需要经历数年的化学和生物学学习,然后是博士研究,再然后是在经验丰富的药物设计师的指导下工作。这种学习方式可以帮助培养如何处理涉及细微差别的决策的直觉,特别是在分子层面,这些差别真的很重要。例如,雌激素和睾酮只有细微的差别,但它们对人类健康的影响截然不同。

问:如何部署和训练自己的AI开源模型

根据搜索结果,以下是部署和训练自己的大模型的主要步骤:1.选择合适的部署方式本地环境部署云计算平台部署分布式部署模型压缩和量化公共云服务商部署根据自身的资源、安全和性能需求选择合适的部署方式。2.准备训练所需的数据和计算资源确保有足够的训练数据覆盖目标应用场景准备足够的计算资源,如GPU服务器或云计算资源3.选择合适的预训练模型作为基础可以使用开源的预训练模型如BERT、GPT等作为基础也可以自行训练一个基础模型4.针对目标任务进行模型微调训练根据具体应用场景对预训练模型进行微调训练优化模型结构和训练过程以提高性能5.部署和调试模型将训练好的模型部署到生产环境对部署的模型进行在线调试和性能优化6.注意安全性和隐私保护大模型涉及大量数据和隐私信息,需要重视安全性和合规性总的来说,部署和训练自己的大模型需要综合考虑多方面因素,包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。内容由AI大模型生成,请仔细甄别

学习笔记:《生成式AI导论2024》 李宏毅

1.拆解复杂的任务,你要先想清楚如何拆解1.1.拆解任务:一步步思考1.1.自我反省,能检查出来自己的错误,比如“幻觉”-文字接龙,而非真实记忆1.1.1.答案是否正确1.1.2.是否符合法律/道德1.1.3.仍然是当年那个少年哈哈哈哈哈哈哈1.1.每次答案都不同:文字接龙是概率答题,掷骰子给答案(没有资料库)2.组合拳Tree of Thoughts(ToT)Algorithm of ThoughtsGraph of Thoughts3.使用工具搜索引擎(警惕“幻觉”)+RAG(给资料库/让它上网搜)写公式Program of Thought(PoT)还能自己执行-GPT4数学题Python文字生图AI(DALL-E)留个作业promptPlug-in上千个工具自己学习使用工具留个作业4.记得,语言模型只会一件事,文字接龙

Others are asking
目前最强大的AI工具
目前较为强大的 AI 工具包括以下几类: 绘制逻辑视图、功能视图、部署视图的工具: 1. Lucidchart:流行的在线绘图工具,支持多种视图创建,操作便捷。 2. Visual Paradigm:全面的 UML 工具,功能丰富。 3. ArchiMate:开源建模语言,与 Archi 工具配合使用。 4. Enterprise Architect:强大的建模、设计和代码生成工具。 5. Microsoft Visio:广泛使用,提供丰富模板。 6. draw.io(diagrams.net):免费在线图表软件。 7. PlantUML:文本到 UML 转换工具。 8. Gliffy:基于云的绘图工具。 9. Archi:免费开源,支持逻辑视图创建。 10. Rational Rose:IBM 的 UML 工具。 辅助编程的工具: 1. GitHub Copilot:由 GitHub 联合 OpenAI 和微软 Azure 团队推出,支持多种语言和 IDE。 2. 通义灵码:阿里巴巴团队推出,提供多种编程辅助能力。 3. CodeWhisperer:亚马逊 AWS 团队推出,提供实时代码建议。 4. CodeGeeX:智谱 AI 推出的开源免费工具,可快速生成代码。 5. Cody:Sourcegraph 推出,借助强大的代码分析能力。 6. CodeFuse:蚂蚁集团支付宝团队推出的免费 AI 代码助手。 7. Codeium:提供代码建议等帮助,提高编程效率和准确性。 辅助写邮件的工具: 1. Grammarly:提供语法检查、拼写纠正等功能,多平台适用。 2. Hemingway Editor:简化句子结构,提高可读性。 3. ProWritingAid:全面的语法和风格检查,提供详细报告。 4. Writesonic:基于 AI 生成多种文本,速度快。 5. Lavender:专注邮件写作优化,提供个性化建议和模板。
2025-01-23
那些AI可以免费进行视频创作
以下是一些可以免费进行视频创作的 AI 工具: 1. Pika:是一个 AI 视频平台,能让任何人将创意愿景变为现实,通过先进的视频基础模型和易用的创作产品重新定义视频制作和编辑方式。 2. Chat.DID:是首个允许人们以人类方式与 AI 进行视频聊天的 APP,处于测试阶段。 3. Bard(免费):由谷歌推出,是谷歌的对话应用语言模型(LaMDA)提供支持。 此外,还有一些在视频创作方面表现出色的工具: 1. Dora AI:可以通过一个 prompt,借助 AI 3D 动画生成强大网站,支持文字转网站、生成式 3D 互动、高级 AI 动画。 2. Runway v2:用于从文本创建视频,创建了 4 秒的短剪辑,是对未来发展的展示。 在营销领域,以下 AI 工具常用于视频创作或相关方面: 1. Synthesia:允许用户创建由 AI 生成的高质量视频,包括数字人视频,提供多种定价计划,有免费选项。 2. HeyGen:基于云的 AI 视频制作平台,用户可从 100 多个 AI 头像库中选择,并通过输入文本生成数字人视频。 更多的营销产品可以查看 WaytoAGI 网站:https://www.waytoagi.com/sites?tag=8 。需要注意的是,以上内容由 AI 大模型生成,请仔细甄别。
2025-01-23
AI视频制作广告
以下是关于 AI 视频制作广告的相关内容: 1. 校园 AI 创投活动中包含了 AI 视频创作的课程和回放,如 10 月 16 日 20:00 的“AI 视频创作指南 商业片制作”课程回放,相关资料有老师课件、视频制作项目表等。 2. 关于如何做出商业级的 AI 视频广告,有 8000 字保姆级教程。其中提到脚本和分镜创作的重要性,比如一个 30 秒时长的奔驰 GLE300L 广告脚本,要突出其豪华感和特点,包括动力、配置等,脚本内容需包含时长、内容、音乐、台词、道具、景别、运镜等结构。 3. 对于脚本创作,可以借助大模型,如 Kimi、Claude、Chatgpt 等,不同模型有各自特点,可按需选择。脚本提示词的结构包括要做什么样的视频、视频要包含的关键元素、对脚本输出的要求等。
2025-01-23
AI视频如何创作
将小说制作成 AI 视频通常包括以下步骤,并涉及多种工具: 工具与网址: 1. Stable Diffusion(SD):一种 AI 图像生成模型,可基于文本描述生成图像。网址:https://github.com/StabilityAI 2. Midjourney(MJ):适用于创建小说中的场景和角色图像。网址:https://www.midjourney.com 3. Adobe Firefly:Adobe 的 AI 创意工具,可生成图像和设计模板。网址:https://www.adobe.com/products/firefly.html 4. Pika AI:文本生成视频的 AI 工具,适合动画制作。网址:https://pika.art/waitlist 5. Clipfly:一站式 AI 视频生成和剪辑平台。网址:https://www.aihub.cn/tools/video/clipfly/ 6. VEED.IO:在线视频编辑工具,具有 AI 视频生成器功能。网址:https://www.veed.io/zhCN/tools/aivideo 7. 极虎漫剪:结合 Stable Diffusion 技术的小说推文视频创作提效工具。网址:https://tiger.easyartx.com/landing 8. 故事 AI 绘图:小说转视频的 AI 工具。网址:https://www.aihub.cn/tools/video/gushiai/ 制作流程: 1. 小说内容分析:使用 AI 工具(如 ChatGPT)分析小说内容,提取关键场景、角色和情节。 2. 生成角色与场景描述:根据小说内容,使用工具(如 Stable Diffusion 或 Midjourney)生成角色和场景的视觉描述。 3. 图像生成:使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作:将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作:利用 AI 配音工具(如 Adobe Firefly)将小说文本转换为语音,添加背景音乐和音效。 6. 视频编辑与合成:使用视频编辑软件(如 Clipfly 或 VEED.IO)将图像、音频和文字合成为视频。 7. 后期处理:对生成的视频进行剪辑、添加特效和转场,以提高视频质量。 8. 审阅与调整:观看生成的视频,根据需要进行调整,比如重新编辑某些场景或调整音频。 9. 输出与分享:完成所有编辑后,输出最终视频,并在所需平台上分享。 请注意,具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外,AI 工具的可用性和功能也可能会随时间而变化,建议直接访问上述提供的工具网址获取最新信息和使用指南。 在 Adobe Firefly 的 Advanced 部分,您可以使用 Seed 选项添加种子编号(https://helpx.adobe.com/firefly/generatevideo/generatevideoclips/generatevideofaq.htmlwhatisaseed),以帮助启动流程并控制 AI 创建的内容的随机性。如果使用相同的种子、提示和控制设置,则可以重新生成类似的视频剪辑。选择 Generate(生成)。
2025-01-23
ai微电影 最新的AI短片
以下是为您提供的一些最新的 AI 短片相关信息: 前 Sora 时代的 AI 短片,使用了 Pika、Pixverse、Runway、SVD 四大 AI 视频工具,涵盖了多种类型,如奇幻片中有一群奇幻生物在森林中追逐,精灵和矮人并肩奔跑等场景;科幻片中有太空舰队在星系间交战等画面;战争片中有士兵们在战壕中准备迎击等情景。 11Labs AI 音效深度评测的相关短片,如“一条由气泡制成的龙,完美渲染 8k”“一只透明的景观乌龟在沙滩爬行”“一个与纽约市自然融合的外星人,偏执惊悚风格,35 毫米电影”等,这些视频画面真实,脑洞大开,但存在音效缺失的问题。
2025-01-23
ai微电影
以下是关于 AI 微电影的相关内容: 综合应用 AI 工具制作短片和电影的过程包括: 1. 使用 ChatGPT 撰写脚本、分镜、人物设定和旁白。例如,为主角形象进行设计(18 岁左右),并给出如“Travel through the ages, explore the unknown——beneath the neon lights of cyberpunk, ancient mythical beasts awaken. Join our adventurers, unveil the mysterious veil of the 'Classic of Mountains and Seas. 'the Cyber Shanhai'——a strange journey across time and space awaits you to discover!”这样的内容。同时,ChatGPT 还给出了其他建议,如视觉风格要确保赛博朋克的视觉元素与《山海经》中神兽的古典形象相协调,使用先进特效技术创造神兽逼真神秘外观;音效与配乐要融合传统东方乐器和现代电子音乐;叙事节奏需紧凑流畅,每个场景都要有效推进故事并保持观众兴趣;角色设计要与赛博朋克环境和神兽神秘感相协调,服装、装备体现未来科技特点,在与神兽互动中显示好奇和敬畏;文化元素融合要在尊重《山海经》文化精髓基础上巧妙融入赛博朋克元素;考虑加入悬念或互动元素鼓励观众讨论猜测;后期制作要精心调整色彩、光影和特效,注重细节营造引人入胜的世界。 2. 使用 Midjourney 生成静态分镜图片。 3. 使用 Runway 生成动态分镜片段。 4. 使用 AI 配音软件制作旁白。 影片详情: 名字:《赛博山海》The Cyberpunk Shanhai 上映时间:2024 年 1 月 1 日 另外,还有前 Sora 时代想做的 AI 短片,使用 Pika、Pixverse、Runway、SVD 四大 AI 视频工具,可制作不同类型的影片,如奇幻风格影片中一群奇幻生物在森林中追逐,精灵和矮人并肩奔跑,树木和花朵随动作摇曳;特写一只小精灵的翅膀在阳光下闪耀光芒,眼睛好奇观察周围世界。纪录片中如壮丽山脉在晨曦中苏醒,阳光透过云层洒在山谷间;特写一朵野花在微风中摇曳,露珠在花瓣上闪烁。美食片中如厨师在厨房熟练切割食材,展现食材新鲜色彩和质感;特写刚出炉蛋糕表面细腻纹理,糖霜在热力作用下微微融化。
2025-01-23
大模型训练方式
大模型的训练方式如下: 1. 通俗来讲,大模型是输入大量语料,让计算机获得类似人类的“思考”能力,能进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比其训练和使用过程: 找学校:训练大模型需要大量计算,GPU更合适,只有购买得起大量GPU的才有资本训练。 确定教材:大模型需要大量数据,几千亿序列(Token)的输入基本是标配。 找老师:即选择合适算法讲述“书本”内容,让大模型更好理解Token之间的关系。 就业指导:为让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 搬砖:就业指导完成后,进行如翻译、问答等工作,在大模型里称之为推导(infer)。Token被视为模型处理和生成的文本单位,能代表单个字符、单词等,在将输入进行分词时,会形成词汇表。 2. 100基础训练大模型的步骤: 步骤一·创建数据集:进入厚德云模型训练数据集(https://portal.houdeyun.cn/sd/dataset),在数据集一栏中点击右上角创建数据集,输入数据集名称。zip文件可以是包含图片+标签txt,也可以只有图片没有打标文件,也可以一张一张单独上传照片,但建议提前把图片和标签打包成zip上传。Zip文件里图片名称与标签文件应当匹配,例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传zip以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,可预览到数据集的图片以及对应的标签。 步骤二·Lora训练:点击Flux,基础模型会默认是FLUX 1.0D版本,选择数据集,点击右侧箭头,会跳出所有上传过的数据集。触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数,如果不知道如何设置,可以默认20重复次数和10轮训练轮数,可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力,然后等待训练,会显示预览时间和进度条,训练完成的会显示出每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三·Lora生图:点击预览模型中间的生图会自动跳转到相应页面。模型上的数字代表模型强度,可在0.61.0之间调节,也可以自己添加lora文件,点击后会显示训练过的所有lora的所有轮次。VAE不需要替换,正向提示词输入写的提示词,可以选择基于这个提示词一次性生成几张图,选择生成图片的尺寸,横板、竖版、正方形。采样器和调度器新手小白可以默认,迭代步数可以在2030之间调整,CFG可以在3.57.5之间调整,随机种子1代表随机生成图。所有设置都好了以后,点击开始生态,生成的图会显示在右侧。如果有哪次生成结果觉得很不错,想要微调或者高分辨率修复,可以点开那张图,往下滑,划到随机种子,复制下来,粘贴到随机种子这里,这样下次生成的图就会和这次的结果近似。如果确认了一张很合适的种子和参数,想要搞清放大,则点开高清修复,可以选择想放大的倍数,新手小白可以就默认这个算法,迭代步数建议在2030之间,重回幅度根据需求调整,正常在0.30.7之间调整。 3. 今日作业:按照比赛要求,收集六个主题中一个主题的素材并且训练出lora模型后提交lora模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd
2025-01-23
FLUX模型训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 1. 模型准备: 下载所需模型,包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时模型存放位置不限,但要知晓路径;训练时建议使用 flux1dev.safetensors 和 t5xxl_fp16.safetensors 版本。 2. 下载脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 3. 数据集准备: 建议使用自然语言,与之前 SDXL 的训练类似。 数据集存放位置:.Flux_train_20.4\\train\\qinglong\\train 。 若未准备数据集,此路径中有试验数据集可直接使用。 4. 运行训练:约 1 2 小时即可完成训练。 5. 验证和 lora 跑图:若有 comfyUI 基础,在原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点,自行选择 Lora 并调节参数。 6. 修改脚本路径和参数: 若显卡为 16G,右键 16G 的 train_flux_16GLora 文件;若显卡为 24G 或更高,右键 24G 的 train_flux_24GLora 文件。 用代码编辑器打开,理论上只需修改红色部分,包括底模路径、VAE 路径、数据集路径、clip 路径和 T5xxl 路径。注意路径格式,避免错误。蓝色部分为备注名称,可改可不改。建议经验丰富后再修改其他深入参数,并做好备份管理。
2025-01-20
Flux 的lora模型训练教程
以下是 Flux 的 Lora 模型训练教程: 1. 模型准备: 下载所需模型,如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意: 不使用时模型存放位置随意,只要知晓路径,后续会引用。 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载训练脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 3. 训练步骤: 进入厚德云模型训练数据集:https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集: 在数据集一栏中,点击右上角创建数据集。 输入数据集名称。 可以提前将图片和标签打包成 zip 上传,zip 文件里图片名称与标签文件应当匹配,如图片名"1.png",对应的达标文件就叫"1.txt"。也可以一张一张单独上传照片。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 步骤二·Lora 训练: 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 触发词可有可无,取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 然后等待训练,会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 4. 低配置方案: 开源社区对低配置方案进行了优化,NF4 来自 controlnet 的作者,GGUF 则包含多个版本可以使用。 NF4 模型下载:https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors ,放置在 ComfyUI/models/checkpoint/中(不像其他 Flux 模型那样放置在 UNET 中),NF4 配套节点插件:git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git GGUF 模型下载:Flux GGUF 模型:https://huggingface.co/city96/FLUX.1devgguf/tree/main ,GGUF 配套节点插件:GGUF 节点包:https://github.com/city96/ComfyUIGGUF 。 值得一提的是在最新版本的 ComfyUI 中 GGUF 的节点插件可以在 Manager 管理器中搜到下载安装,NF4 的配套节点插件则搜不到。 注意使用精度优化的低配模型的话,工作流和原版是不一样的。此处没有专门列举。 自己改的话就是把上面官方的 fp8 的工作流,只需把底模的节点换成 NF4 的或者 GUFF 的即可。 相关生态发展很快,有 Lora、Controlnet、IPadpter 相关生态建设非常速度,以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。
2025-01-19
我想训练一个专属Agent该怎么做?
要训练一个专属 Agent,以下是一些关键步骤和要点: 1. 明确目标:确定您希望 Agent 实现的特定目标,这将为训练提供方向。 2. 理解智能体的定义:智能体是能够感知环境并采取行动以实现特定目标的实体,可以是软件程序或硬件设备。 3. 规划:将大型任务分解为更小、可管理的子目标,以有效处理复杂任务。 4. 反思和完善:让 Agent 能够对过去的行为进行自我批评和反思,从错误中吸取教训,并针对未来步骤进行完善,提高最终结果质量。 5. 记忆管理:包括短期记忆,利用模型的短期记忆进行学习;长期记忆,通过外部向量存储和快速检索实现长时间信息保留和回忆。 6. 工具使用:训练 Agent 学习调用外部 API 来获取模型权重中缺失的额外信息,包括当前信息、代码执行能力、对专有信息源的访问等。 7. 评估工具使用能力:从调用 API 的能力、检索 API 的能力以及计划 API 超越检索和调用的能力这三个层面进行评估。 在训练过程中,还需要注意模型的上下文窗口长度有限,输入的剧集应足够短以构建多剧集历史,2 4 个剧集的多剧集上下文对于学习近乎最优的上下文强化学习算法是必要的,且上下文强化学习的涌现需要足够长的上下文。
2025-01-17
如何创建和训练自己的智能体
创建和训练自己的智能体可以参考以下步骤: 1. 知识库创建: 在线知识库:点击创建知识库,创建一个如画小二课程的 FAQ 知识库。飞书在线文档中每个问题和答案以分割,选择飞书文档、自定义的自定义,输入,可编辑修改和删除,添加 Bot 后可在调试区测试效果。 本地文档:对于本地 word 文件,注意不能将所有内容一股脑放进去训练。例如画小二 80 节课程分为 11 个章节,应先放入大章节名称内容,章节内详细内容按固定方式人工标注和处理,然后选择创建知识库自定义清洗数据。 2. 发布应用:点击发布,确保在 Bot 商店中能够搜到,只有通过发布才能获取到 API。 在创建智能体之前,还需要了解智能体的相关知识: 智能体大多建立在大模型之上,从基于符号推理的专家系统逐步演进而来。基于大模型的智能体具有强大的学习能力、灵活性和泛化能力。其核心在于有效控制和利用大型模型,提示词的设计直接影响智能体的表现和输出结果。 动手实践创建智能体时,可以基于公开的大模型应用产品(如 Chat GLM、Chat GPT、Kimi 等),尝试开发属于自己的智能体。具体步骤包括: 1. 点击“浏览 GPTs”按钮。 2. 点击“Create”按钮创建自己的智能体。 3. 使用自然语言对话或手工设置进行具体设置。 4. 开始调试智能体并发布。 此外,在创建和使用智能体的过程中,还应注意以下几点: 1. 把工作单元切割开,建设属于自己的智能体,并根据结果反馈不断调整。 2. 定期审视工作流程,看哪个部分可以更多地用上 AI。 3. 注重个人素质的提升,尤其是学习能力和创造能力,培养好奇心和持续学习的习惯,将想法转化为具体行动。
2025-01-16
怎么训练AI数字人说话的语气和语调
训练 AI 数字人说话的语气和语调可以从以下几个方面入手: 1. AI Agent:要让数字人像人一样思考,需要编写一个类似人的 Agent,工程实现所需的记忆模块、工作流模块、各种工具调用模块的构建具有挑战性。 2. 驱动躯壳的实现:灵魂部分通过定义接口由躯壳部分通过 API 调用,调用方式有 HTTP、webSocket 等。但包含情绪的语音表达以及保证躯壳的口型、表情、动作和语音的同步及匹配方面,目前主流方案只能做到预设一些表情动作,再做一些逻辑判断来播放预设,语音驱动口型相对成熟但多为闭源,效果可参考 Nvidia 的 Audio2Face 或 Live Link Face + Face AR Sample。 3. 实时性:由于数字人的算法部分组成庞大,几乎不能单机部署,算法一般部署到额外的集群或调用提供的 API,会涉及网络耗时和模型推理耗时,低延时是亟需解决的问题。 4. 多元跨模态:不仅要有语音交互,还可根据实际需求添加其他感官交互,如通过添加摄像头数据获取视觉信息,再通过 CV 算法做图像解析。 5. 拟人化场景:正常与人交流并非线性对话,插话、转移话题等情景需通过工程进行丝滑处理。 此外,对于数字人说话相关的算法开源代码有很多,如 ASR 语音识别方面有 openai 的 whisper、wenet、speech_recognition 等;AI Agent 方面大模型有 ChatGPT、Claude、ChatGLM 等,Agent 部分可使用 LangChain 的模块自定义;TTS 方面有微软的 edgetts、VITS、sovitssvc 等。 如果都要自建代码实现各模块,开发工作量巨大,迭代难度高,个人开发者可借助开源社区的力量,如 dify、fastgpt 等成熟的高质量 AI 编排框架,通过这些框架快速编排出自己的 AI Agent。在开源项目中,使用 dify 框架可利用其编排和可视化交互任意修改流程,构造不同的 AI Agent,实现相对复杂的功能。同时,Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口,基于此可将数字人的语音识别和语音生成都交由 Dify 控制。使用 Dify 接口时需注意必须在应用编排功能中打开文字转语音和语音转文字功能,且只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商,才会在功能板块中展示出来。
2025-01-14