Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

主流的LORA 训练工具是什么？

Answer

主流的 LORA 训练工具包括：

  1. B 站 UP 主“朱尼酱”的赛博丹炉，其界面友好、美观，适合新手入门。
  2. T2ITrainer训练器，支持 Kolors 开源模型。
  3. Kolors+Refiner，由 AI-KSK 开发的工作流应用。
  4. Kolors-可图大模型-XL 精修工作流，由@AiARTiST 非人类开发。
  5. kolors+SDXL 细节修复+instant+ipa，由@谷尘 DesignDog 开发。
  6. kolors 一键设计中文海报，由亦诚视觉开发。
  7. Kolors·模型库，魔搭社区官方模型。
  8. InstantID-Kolors 专属模型，由 InstantX 开发。
Content generated by AI large model, please carefully verify (powered by aily)

References

【Lora炼丹术】从零开始，炼制你的第一个LoRA（1）

作者：白马少年｜公众号：【白马与少年】介绍：SD实践派，出品精细教程发布时间：2023-08-15 20:01原文网址：https://mp.weixin.qq.com/s/NUvEBvdGTQNCfxSKCwV_gw从接触SD到现在，相信大家一定使用过各种各样的lora，包括人物的、建筑的、画风的等等，那么你有没有想过炼制一款属于自己的lora模型呢。我们先来了解一下炼丹的基础概念，它的关键原理就是——等价交换法则！不好意思，说错了。重新来，Lora全称Low-Rank Adaptation Models，中文翻译为低阶自适应模型。它的作用在于影响和微调画面。通过lora的帮助，可以再现人物或物品的特征。大模型的训练通常是非常复杂且需要很高的电脑配置的，LoRA采用的方式就是在原有的模型中插入新的数据处理层，这样就避免了修改原有模型的参数。LORA模型训练，其实就是用一些特定特征来替换大模型中的对应元素，比如一个固定的人物相貌、特定的服装或者是特定的风格，这样就可以生成不同于底模的图片。所以，lora训练是比较轻量化的，需要的显存也少了很多，硬件门槛显存达到6G就可以开启训练了。我们今天要使用的是B站UP主“朱尼酱”的赛博丹炉，他的这款丹炉，界面更加友好、美观，适合新手入门。废话不多说，我们就正式开始吧。

AI梦：一丹一世界（下） 2025年2月8日 副本

[heading2]总结AI炼丹直播共学课第二节课比赛要求说明：参加由麦乐园和摩达社区发起的AI梦一单一世界比赛，须用摩搭平台和麦橘超然模型作为底膜训练Lora，提交训练好的Lora及用其生成的六张以上高质量、展现完整世界观的作品。作图思路分享：作图分三步，一是明确创作主题即锚点，根据Lora风格确定创作方向；二是确定主体，联想主体的角色设定；三是增加叙事感，让画面有一到两个及以上角色，制造反差和联想。图片构成因素：好看的图片的构成因素包括构图、色彩以及光影。创作有趣作品：通过运用反差制造有冲击力的画面，创作出有叙事感和趣味性的作品。关于构图的介绍与分析构图概念：构图指在框架或空间内元素的摆放位置、形状、物体形状及纹理等，好的构图能引导观看者并创造和谐平衡。构图分类：包括景别（远景、全景、中景、近景、特写）和拍摄视角（俯视、平视、仰视，正面、侧面、背面）。构图要素：有主体、陪体、前景、背景、点线面，合理运用可丰富画面。构图方式：如点中心构图、九宫格构图、三分法构图、对称构图、对角线构图、曲线构图、框架构图、三角形构图等。AI绘图应用：在AI绘图中，推荐中景及以上景别，全身景别可能需开AD跳以确保作图质量。

工具教程：Kolors 开源模型

|资源名称|作者|类型|链接|备注|父记录||-|-|-|-|-|-||[T2ITrainer](https://github.com/lrzjason/T2ITrainer)训练器支持Kolors|@[小志Jason](https://space.bilibili.com/443010)|Kolors训练器|[lrzjason/T2ITrainer:Practice Code for text to image trainer(github.com)](https://github.com/lrzjason/T2ITrainer)|📝模型训练（FT/LoRA）|||Kolors+Refiner|AI-KSK|工作流应用|[Kolors+Refiner-Other-AIKSK-LiblibAI](https://www.liblib.art/modelinfo/71f028d67567496d8d6bb3922de8f7f2?from=search)|📒整合工作流|||Kolors-可图大模型-XL精修工作流|@AiARTiST非人类|工作流应用|[https://www.liblib.art/modelinfo/2889f094c12b45fba2981da403d1614d](https://www.liblib.art/modelinfo/2889f094c12b45fba2981da403d1614d)|📒整合工作流|||kolors+SDXL细节修复+instant+ipa|@谷尘DesignDog|工作流应用|[https://www.liblib.art/modelinfo/f7f7fce0628e4db4840583cee5ca10fe](https://www.liblib.art/modelinfo/f7f7fce0628e4db4840583cee5ca10fe)|📒整合工作流|||kolors一键设计中文海报|亦诚视觉|工作流应用|[https://www.liblib.art/modelinfo/b98b7206019a4deea006d7448b882a00](https://www.liblib.art/modelinfo/b98b7206019a4deea006d7448b882a00)|📒应用工作流|||[Kolors·模型库(modelscope.cn)](https://modelscope.cn/models/Kwai-Kolors/Kolors)|Modelscope|社区模型|[Kolors·模型库(modelscope.cn)](https://modelscope.cn/models/Kwai-Kolors/Kolors)|🔥魔搭社区官方模型页|||🔥InstantID-Kolors专属模型|InstantX|社区模型|[InstantX(InstantX)(huggingface.co)](https://huggingface.co/InstantX)|📒InstantID for[Kolors](https://huggingface.co/Kwai-Kolors/Kolors-diffusers)||

Others are asking
LORA是什么
LoRA 全称 LowRank Adaptation Models，中文翻译为低阶自适应模型。它的作用在于影响和微调画面，通过其帮助，可以再现人物或物品的特征。 大模型的训练通常复杂且对电脑配置要求高，而 LoRA 采用在原有的模型中插入新的数据处理层的方式，避免了修改原有模型的参数。LORA 模型训练是用一些特定特征来替换大模型中的对应元素，比如一个固定的人物相貌、特定的服装或者是特定的风格，这样就可以生成不同于底模的图片。 所以，lora 训练比较轻量化，需要的显存较少，硬件门槛显存达到 6G 就可以开启训练。
2025-02-17
有没有lora怎么使用的教程
以下是关于 Lora 使用的教程： 1. 港风胶片 Lora 模型使用方法： 方法 1：利用上一期活动图片反推工作流，使用唯美港风图片进行反推提示词，在大模型后接一个墨悠_胶片 Lora。上一期活动链接：。胶片 Lora 链接：https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 方法 2：利用抱脸的 joycaption 图片反推提示词，然后在哩布上跑 flux 文生图工作流。 joycaption 链接（需要魔法）：https://huggingface.co/spaces/fancyfeast/joycaptionprealpha 文生图工作流： 在哩布上跑文生图：https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 2. Comfyui SDXLLightning 中 Lora 的使用： SDXLLightning 是字节跳动推出的高速文本生成图像模型，包含完整的 UNet 和 LoRA 检查点。用户可以使用 Diffusers 和 ComfyUI 等框架进行配置。模型地址：https://huggingface.co/ByteDance/SDXLLightning/tree/main 。 实际使用时，拿 Lora 的使用来做介绍，使用方法和平常的 Lora 用法一样，但需要注意 CFG 值需要调小，一般设置为 1，另外步数设置根据使用的 Lora 步数为准。 3. Stable Diffusion 中 Lora 的使用： 当想要生成多张同一张脸的照片时，需要用到 Lora 模型。Lora 可以固定照片的特征，如人物特征、动作特征、照片风格。 点击“生成”下面的第三个按钮，弹出新的选项框，找到 Lora，就会出现下载保存到电脑的 Lora 模型。 点击要用的 Lora，会自动添加到关键词的文本框里面。Lora 可以叠加使用，但建议新手不要使用太多 Lora，每个 Lora 后面的数字用于调整权重，一般只会降低权重。 选择 Lora 时，要根据最开始想要生成的照片类型来选择，比如想生成真人模特，对应的 Lora 也要选用真人模特。
2025-02-17
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤： 模型准备： 1. 下载所需模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意：不使用时存放位置不限，只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本： 1. 网盘链接： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 安装虚拟环境： 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件，右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”，然后等待 1 2 小时的下载过程。下载完成后会提示是否下载 hunyuan 模型，选择“n”不用下载。 数据集准备： 1. 进入厚德云 模型训练 数据集：https://portal.houdeyun.cn/sd/dataset 2. 创建数据集：在数据集一栏中，点击右上角创建数据集，输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件，也可以上传只有图片的文件（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片。建议提前将图片和标签打包成 zip 上传，Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间，确认创建数据集。返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，可预览到数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 6. 等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置：.Flux_train_20.4\\train\\qinglong\\train 运行训练：约 1 2 小时即可训练完成。 验证和 lora 跑图：有 ComfyUI 基础的话，直接在原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点就可以，自行选择您的 Lora 和调节参数。
2025-02-17
lora是什么
Lora 全称 LowRank Adaptation Models，中文翻译为低阶自适应模型。它的作用在于影响和微调画面，通过其帮助，可以再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高，而 LoRA 采用在原有的模型中插入新的数据处理层的方式，避免了修改原有模型的参数。LORA 模型训练是用一些特定特征来替换大模型中的对应元素，比如固定的人物相貌、特定的服装或者特定的风格，这样就可以生成不同于底模的图片。所以，lora 训练比较轻量化，需要的显存较少，硬件门槛显存达到 6G 就可以开启训练。例如，有利用新版 SDXL 生成的 lora——针线娃娃，它可以把一些常见的形象制作成毛线编制的样子，这个 lora 需要使用 SDXL1.0 的模型才可以运行，触发词是 BJ_Sewing_doll。还有如“KIDS ILLUSTRATION”这样的风格 lora ，可以搭配不同的大模型生成儿童绘本风格的插画。
2025-02-10
lora是什么
Lora 全称 LowRank Adaptation Models，中文翻译为低阶自适应模型。它的作用在于影响和微调画面，通过其帮助，可以再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高，而 LoRA 采用在原有的模型中插入新的数据处理层的方式，避免了修改原有模型的参数。LORA 模型训练是用一些特定特征来替换大模型中的对应元素，比如固定的人物相貌、特定的服装或者特定的风格，这样就可以生成不同于底模的图片。所以，lora 训练比较轻量化，需要的显存较少，硬件门槛显存达到 6G 就可以开启训练。例如，有利用新版 SDXL 生成的 lora——针线娃娃，它可以把一些常见的形象制作成毛线编制的样子，需要使用 SDXL1.0 的模型，触发词是 BJ_Sewing_doll。还有如“KIDS ILLUSTRATION”这样的风格 lora ，可以搭配不同的大模型生成儿童绘本风格的插画。
2025-02-08
我想用自己训练的卡通形象lora生成一张元宵节放孔明灯的海报，应该怎么制作
以下是用自己训练的卡通形象 lora 生成元宵节放孔明灯海报的制作方法： 1. 关键词： 模型：dreamshaper_8 正关键词：,white,white_background,CGposterrender bsw <lora:电商新年海报 2024_v1.0:0.4>,gold,<lora:新年红包封面_v1.0:0.6>,new year,<lora:gcbottle:0.3> 中文的关键词：（杰作，高分辨率，高品质，高分辨率）中国建筑，红色主题，剪纸，中国结,纸灯笼，中国图案，金色，中国元素，红色背景 2. ControlNet 设置： 预处理器：depth_leres 模型:control_v11f1p_sd15_depth 权重：0.75 预处理器：softedge_pidinet 模型:control_v11p_sd15_softedge 权重：0.3 3. lora 资源： https://www.liblib.ai/modelinfo/bddf824e232f4124991c05a26027504d https://www.liblib.ai/modelinfo/983703dd48134e43983b84abfcb44308 第三个东方瓷器 lora 已经下架（请至 AGI 之路百度云下载） 链接:https://pan.baidu.com/s/10hYM8i2y2Li9OlT2oD1qOQ 密码:asub 您可以参考以上步骤进行制作，同时您还可以访问以下链接获取更多相关信息： 作者小红书：https://www.xiaohongshu.com/user/profile/5cfd0e600000000016029764?wechatWid=803c253b00ed4224d3a2adcd80b46ed7&wechatOrigin=menu 通往 AGI 之路小红书教程：http://xhslink.com/OOeHsy AI 春晚阶段性纪实：https://waytoagi.feishu.cn/wiki/MI0UwhfXJiRH9ak4dwxcwqPVnIh
2025-02-08
有哪些主流的大模型？介绍一下每个大模型的具体信息，用英文回答
Some of the mainstream large models and their specific information are as follows: BERT: It is an encoderonly model commonly used in natural language understanding tasks such as classification and sentiment analysis. T5: An encoderdecoder model from Google, used for tasks like translation and summarization. GPT3: It has a large number of parameters and can complete tasks based on user input descriptions or examples. ChatGPT: Users can complete tasks by having conversations with it like with a human. The "large" in large models refers to the large amount of pretraining data, often from the Internet, including papers, code, and public web pages, usually at the terabyte level. Also, they have a large number of parameters. For example, GPT3 has 170 billion parameters.
2025-02-13
有哪些主流的大模型？用英文回答
The mainstream large models include: OpenAI: GPT3.5 and GPT4. GPT3.5 initiated the current AI boom in November, and GPT4 was first released in spring with more powerful functions. A new variant uses plugins to connect to the internet and other applications. Microsoft's Bing uses a mixture of GPT4 and GPT3.5 and is often the first to introduce new features in the GPT4 family. Google: Bard, driven by various base models, recently a model named PaLM 2. Anthropic: Claude 2, which is notable for having a very large context window.
2025-02-13
有哪些主流的大模型？
目前主流的大模型主要包括以下几类： 1. 大型语言模型：专注于处理和生成文本信息，例如 GPT3 等。通过分析大量的文本数据来理解和生成自然语言，拥有海量的参数和训练数据。 2. 大型多模态模型：能够处理包括文本、图片、音频等多种类型的信息。 3. 基于 Transformer 架构的模型： Encoderonly 模型：通常适用于自然语言理解任务，例如分类和情感分析，最知名的代表模型是 BERT。 Encoderdecoder 模型：同时结合了 Transformer 架构的 encoder 和 decoder 来理解和生成内容，例如翻译和摘要，代表是 Google 的 T5。 Decoderonly 模型：更擅长自然语言生成任务，典型使用包括故事写作和博客生成，如 ChatGPT 等。 大模型的特点包括： 1. 预训练数据量大，往往来自于互联网上的论文、代码、公开网页等，一般用 TB 级别的数据进行预训练。 2. 参数众多，如 GPT3 拥有 1750 亿参数。
2025-02-13
开发agent有哪些主流的方案，并从功能性，开发难易程度，适用场景进行对比
以下是一些主流的 Agent 开发方案，并从功能性、开发难易程度、适用场景进行对比： 1. Coze： 功能性：集成丰富插件工具，拓展 Bot 能力边界。 开发难易程度：相对较易。 适用场景：适用于构建基于 AI 模型的各类问答 Bot。 2. Microsoft 的 Copilot Studio： 功能性：外挂数据、定义流程、调用 API 和操作，部署到各种渠道。 开发难易程度：适中。 适用场景：适用于多种场景。 3. 文心智能体： 功能性：基于文心大模型，支持开发者打造产品能力。 开发难易程度：适中。 适用场景：多种场景。 4. MindOS 的 Agent 平台： 功能性：允许用户定义 Agent 的个性、动机、知识，访问第三方数据和服务或执行工作流。 开发难易程度：适中。 适用场景：多种场景。 5. 斑头雁： 功能性：基于企业知识库构建专属 AI Agent，提供多种成熟模板，功能强大且开箱即用。 开发难易程度：相对较易。 适用场景：客服、营销、销售等。 6. 钉钉 AI 超级助理： 功能性：依托钉钉优势，提供环境感知和记忆功能，在高频工作场景表现出色。 开发难易程度：适中。 适用场景：销售、客服、行程安排等。 Copilot 和 Agent 的区别： 1. 核心功能： Copilot：辅助驾驶员，更多依赖人类指导和提示，功能局限于给定框架。 Agent：主驾驶，具有更高自主性和决策能力，能自主规划和调整处理流程。 2. 流程决策： Copilot：依赖人类确定的静态流程，参与局部环节。 Agent：自主确定动态流程，能自行规划和调整任务步骤。 3. 应用范围： Copilot：主要处理简单、特定任务，作为工具或助手。 Agent：能处理复杂、大型任务，在 LLM 薄弱阶段使用工具或 API 增强。 4. 开发重点： Copilot：依赖 LLM 性能，重点在于 Prompt Engineering。 Agent：依赖 LLM 性能，重点在于 Flow Engineering，把外围流程和框架系统化。 搭建工作流驱动的 Agent 简单情况分为 3 个步骤： 1. 规划： 制定任务关键方法。 总结任务目标与执行形式。 分解任务为子任务，确立逻辑顺序和依赖关系。 设计子任务执行方法。 2. 实施： 在 Coze 上搭建工作流框架，设定节点逻辑关系。 详细配置子任务节点，验证可用性。 3. 完善： 整体试运行 Agent，识别卡点。 反复测试和迭代，优化至达到预期水平。
2025-02-08
什么ai好用，目前主流ai有什么特点
目前主流的 AI 工具各有特点和用途： 邮件写作方面： Grammarly：提供语法检查、拼写纠正、风格建议和语气调整等功能，易于使用，支持多种平台和语言，网站是 https://www.grammarly.com/ 。 Hemingway Editor：简化句子结构，提高可读性，标记复杂句和冗长句，界面简洁，重点突出，网站是 http://www.hemingwayapp.com/ 。 ProWritingAid：全面的语法和风格检查，提供详细的写作报告和建议，功能强大，支持多种平台和集成，网站是 https://prowritingaid.com/ 。 Writesonic：基于 AI 生成各种类型的文本，包括电子邮件、博客文章、广告文案等，生成速度快，网站是 https://writesonic.com/ 。 Lavender：专注于邮件写作优化，提供个性化建议和模板，帮助提高邮件打开率和回复率。 大语言模型方面： OpenAI 系统：包括 3.5 和 4.0 版本，3.5 模型在 11 月启动了当前的 AI 热潮，4.0 模型功能更强大。新的变种使用插件连接到互联网和其他应用程序，Code Interpreter 是一个强大的 ChatGPT 版本，可以运行 Python 程序。未为 OpenAI 付费只能使用 3.5 版本。微软的 Bing 使用 4 和 3.5 的混合，通常是 GPT4 家族中首个推出新功能的模型，连接到互联网。 谷歌：一直在测试自己的人工智能 Bard，由各种基础模型驱动，最近是 PaLM 2 模型。 Anthropic：发布了 Claude 2，其有一个非常大的上下文窗口，不太可能恶意行事。 对于刚入坑 AI 的学习路径： 第一步是带着好奇心去尝试，记住“生成”两个字。现在大部分人说的 AI 本质上是“生成式人工智能”Generative AI。可以随便找一个国产 AI 聊聊，比如小学奥数题、写演讲稿、对 996 的看法等，看看其擅长和不擅长的地方，有没有能帮助到自己的地方，哪些地方做得不够好。如果条件允许，也可以直接使用 ChatGPT 或者 Claude 处理复杂任务。
2025-01-24
目前在各个应用领域,主流的AI工具有哪些,请分别介绍.
以下是一些主流的 AI 工具及其应用领域的介绍： 1. AI 菜谱口味调整工具：如“下厨房口味调整功能”，使用自然语言处理和数据分析技术，市场规模达数亿美元。它能根据用户反馈调整菜谱口味，例如增加甜度、减少辣味等。 2. AI 语言学习纠错平台：像“英语流利说纠错功能”，运用自然语言处理和机器学习，市场规模达数十亿美元。可帮助语言学习者纠正发音、语法等错误，并提供纠正建议和练习。 3. AI 电影剧情分析系统：例如“豆瓣电影剧情分析工具”，借助数据分析和自然语言处理，市场规模达数亿美元。能够分析电影剧情，为用户提供深度解读。 4. AI 办公文件分类系统：比如“腾讯文档分类功能”，采用数据分析和机器学习，市场规模达数亿美元。可自动分类办公文件，方便管理。 5. AI 美容护肤方案定制平台：“美丽修行定制方案功能”，利用图像识别和数据分析，市场规模达数亿美元。能根据用户肤质定制护肤方案，包括产品推荐和使用顺序。 6. AI 游戏道具推荐系统：在一些游戏中的“游戏内商城推荐功能”，通过数据分析和机器学习，市场规模达数亿美元。可根据玩家需求推荐游戏道具，如武器、装备等。 7. AI 天气预报分时服务：“彩云天气分时预报”，运用数据分析和机器学习，市场规模达数亿美元。提供精准的分时天气预报，帮助用户更好地安排出行和活动。 8. AI 医疗病历分析平台：“医渡云病历分析系统”，借助数据分析和自然语言处理，市场规模达数十亿美元。可分析医疗病历，为医生提供辅助诊断建议。 9. AI 会议发言总结工具：“讯飞听见会议总结功能”，使用自然语言处理和机器学习，市场规模达数亿美元。能够自动总结会议发言内容，方便回顾和整理。 10. AI 书法作品临摹辅助工具：“书法临摹软件”，利用图像识别和数据分析，市场规模达数亿美元。帮助书法爱好者进行临摹，提供临摹指导和评价。 11. 超级简历优化助手：“AI 简历优化工具”，运用自然语言处理，市场规模达数亿美元。帮助用户优化简历，提高求职成功率。 12. 酷家乐等设计软件：“AI 室内设计方案生成”，借助图像生成和机器学习，市场规模达数十亿美元。能快速生成个性化室内设计方案。 13. Amper Music：“AI 音乐创作辅助工具”，采用机器学习和音频处理，市场规模达数亿美元。协助音乐创作者进行创作，可根据用户需求生成旋律和编曲。 14. 松果倾诉智能助手：“AI 情感咨询助手”，通过自然语言处理和情感分析，市场规模达数亿美元。为用户提供情感支持和建议，通过文字或语音交流。 15. 小佩宠物智能设备：“AI 宠物健康监测设备”，利用传感器数据处理和机器学习，市场规模达数十亿美元。可实时监测宠物健康状况，提供健康预警。 16. 马蜂窝智能行程规划：“AI 旅游行程规划器”，借助数据分析和自然语言处理，市场规模达数十亿美元。能根据用户需求生成个性化旅游行程。
2025-01-20
agent训练
在人工智能领域中，AI Agent 的训练具有以下特点： 传统强化学习中，Agent 训练往往需大量样本和时间，且泛化能力不足。 为突破瓶颈，引入了迁移学习：通过促进不同任务间知识和经验迁移，减轻新任务学习负担，提升学习效率和性能，增强泛化能力，但当源任务与目标任务差异大时，可能无法发挥效果甚至出现负面迁移。 探索了元学习：核心是让 Agent 学会从少量样本中迅速掌握新任务最优策略，能利用已有知识和策略调整学习路径适应新任务，减少对大规模样本集依赖，但需要大量预训练和样本构建学习能力，使开发通用高效学习策略复杂艰巨。 时间：21 世纪初至今 特点：迁移学习是将一个任务学到的知识迁移到其他任务；元学习是学习如何学习，快速适应新任务。 技术：迁移学习如领域自适应；元学习如 MAML、MetaLearner LSTM。 优点：提高学习效率，适应新任务。 缺点：对源任务和目标任务的相似性有一定要求。 此外，智谱 AI 开源的语言模型中与 Agent 相关的有： AgentLM7B：提出了 AgentTuning 方法，开源了包含 1866 个高质量交互、6 个多样化真实场景任务的 Agent 数据集 AgentInstruct，基于上述利用 Llama2 微调而成，上下文 token 数为 4K。 AgentLM13B：上下文 token 数为 4K。 AgentLM70B：上下文 token 数为 8K。
2025-02-18
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
LLM 训练推理模型有哪些
以下是一些常见的 LLM 训练推理模型： 1. FengshenbangLM： 地址： 简介：是 IDEA 研究院认知计算与自然语言研究中心主导的大模型开源体系，开源了姜子牙通用大模型 V1，是基于 LLaMa 的 130 亿参数的大规模预训练模型，具备翻译、编程、文本分类、信息抽取、摘要、文案生成、常识问答和数学计算等能力。除姜子牙系列模型之外，还开源了太乙、二郎神系列等模型。 2. BiLLa： 地址： 简介：开源了推理能力增强的中英双语 LLaMA 模型。较大提升 LLaMA 的中文理解能力，并尽可能减少对原始 LLaMA 英文能力的损伤；训练过程增加较多的任务型数据，利用 ChatGPT 生成解析，强化模型理解任务求解逻辑；全量参数更新，追求更好的生成效果。 3. Moss： 地址： 简介：支持中英双语和多种插件的开源对话语言模型，MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。 此外，Andrej Karpathy 的相关介绍中提到了 LLM 训练的一些情况，如训练过程涉及大约 10TB 的文本，通常来源于互联网的抓取，需要大量的互联网资源和一个 GPU 集群，费用大约 200 万美元。Karpathy 的视频还详细介绍了 LLM 训练的全部过程，包括预训练、有监督微调和强化学习等。
2025-02-16
RVC声音模型训练
RVC 声音模型训练是将输入音频转换为训练的声音，即变声。它对训练素材量级要求较高，最少需要 20 分钟的素材才能达到理想效果，并且可以选择是否关联音高，以区分说话和唱歌两个不同场景。 在节目《马上封喉》中，负责马季老师语音生成部分的人员提到，AI 语音主要涉及 TTS（文本转语音）和 RVC 两项技术。此次的 AI 马季主要以 gptsovits 为主。 在 AI 春晚《西游不能停》的创作过程中，尝试了用 RVC 进行 vocal 变声的两种办法，但效果均不理想。第一种方法是训练声音模型后直接变声，存在变声后 AI 味儿太重、丢失原有强调的问题；第二种方法是训练声音模型，自己录 rap 后再变声，但需要在录音时尽量模仿还原出特点和感觉，这涉及到专业配音技巧，超出了能力范围。此外，八戒和沙僧声音的训练文件丢失，效果也不理想。
2025-02-13
图片提示词反推工具
以下是关于图片提示词反推工具的相关信息： LayerStyle 副本：根据图片反推提示词，可设置替换词。使用 Google Gemini API 作为后端服务，需在申请 API key，并填到插件根目录下的 api_key.ini 文件中（默认名字为 api_key.ini.example，初次使用需将后缀改为.ini，用文本编辑软件打开，在 google_api_key=后面填入 API key 并保存）。节点选项包括：api（目前只有"geminiprovision"一个选项）、token_limit（生成提示词的最大 token 限制）、exclude_word（需要排除的关键词）、replace_with_word（替换 exclude_word 的关键词）。 PromptEmbellish：输入简单的提示词，输出经过润色的提示词，支持输入图片作为参考。使用 Google Gemini API 作为后端服务，同样需申请并填写 API key。节点选项包括：image（可选项，输入图像作为提示词参考）、api（目前只有"googlegemini"一个选项）、token_limit（生成提示词的最大 token 限制）、discribe（在这里输入简单的描述，支持中文）。 【SD】真人转二次元：图生图功能除文本提词框外还有图片框输入口，可通过图片给与 AI 创作灵感。有两个反推提示词的按钮：CLIP 可通过图片反推出完整含义的句子；DeepBooru 可反推出关键词组。但生成的提示词可能有瑕疵，需手动补充信息。调整宽度和高度使红框匹配图片，同时注意提示词相关性和重绘幅度这两个参数。 第二十一期港风胶片： 活动介绍：墨悠大佬的胶片 lora 模型搭配 flux1 dev 大模型，文艺复兴，唯美胶片复古。lora 模型链接：https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 教程： 方法 1：利用上一期活动图片反推工作流，使用唯美港风图片进行反推提示词，在大模型后接一个墨悠_胶片 lo。上一期活动链接： 胶片 lora 链接：https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 方法 2：利用抱脸的 joycaption 图片反推提示词，然后在哩布上跑 flux 文生图工作流。joycaption 链接（需要魔法）：https://huggingface.co/spaces/fancyfeast/joycaptionprealpha 文生图工作流： 在哩布上跑文生图：https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page
2025-02-18
图片提示词提取工具
以下是一些图片提示词提取工具： MidLibrary：Midjourney 最全面的流派、艺术技巧和艺术家风格库，网址： MidJourney Prompt Tool：类型多样的 prompt 书写工具，点击按钮就能生成提示词修饰部分，网址： OPS 可视化提示词：这个网站有 Mid Journey 的图片风格、镜头等写好的词典库，方便快速可视化生成自己的绘画提示词，网址： AIart 魔法生成器：中文版的艺术作品 Prompt 生成器，网址： IMI Prompt：支持多种风格和形式的详细的 MJ 关键词生成器，网址： Prompt Hero：好用的 Prompt 搜索，Search prompts for Stable Diffusion,ChatGPT&Midjourney，网址： OpenArt：AI 人工智能图像生成器，网址： img2prompt：根据图片提取 Prompt，网址： MidJourney 提示词工具：专门为 MidJourney 做的提示词工具，界面直观易用，网址： PromptBase：Prompt 交易市场，可以购买、使用、销售各种对话、设计 Prompt 模板，网址： AiTuts Prompt：精心策划的高质量 Midjourney 提示数据库，提供了广泛的不同风格供选择，网址： 关于悠船工具的基础使用教程： 进入官网，可以选择桌面端下载和浏览器使用。为方便选择浏览器使用，第一次使用需注册，选择企业用户注册，输入对应名称和手机号即可注册成功（目前不需要填写企业信息）。注册完成后进入具体操作页面。 基础操作：点击开始想象按钮，将生成的提示词粘贴在下面，回车等待几十秒生成 4 张图片，可选择喜欢的图片进行对应操作。 创作调整： 风格化：数字越大，越艺术，但并非越大越好，取决于创作，人像不用调整过高。 怪异化：数字越大越奇怪，可不碰。 多样化：数字越大，结果越意想不到，越低越接近提示词。建议新手一开始不用怪异和多样化，可做实验测试。 模式：默认标准，朴实 raw 会让图片质感更好，个人喜爱。 版本：默认最高 V6，建议最高，二次元可选 NIJI。 生成图片的速度：默认快速，越快对支付套餐要求越高。 “城市狂想”直接上手操作的教程中关于图片提示词生成： 提供了猫叔写的一段提示词的 prompt 并生成了三条，还为大家直接生成了 1 组共 12 段提示词，可直接使用。注意提示词在悠船和 MJ 中可直接用，在其他平台工具请复制后删除包含“”以后的部分。拿到提示词后可进入喜欢的 AI 绘画工具界面，例如悠船，点击开始想象按钮粘贴提示词。
2025-02-18
有哪些在企业内部落地应用AI大模型工具的实践案例？不要营销文案生成、代码开发助手、智能客服问答机器人这种太常见的
以下是一些在企业内部落地应用 AI 大模型工具的实践案例： 1. 阿里云百炼： 智能体应用：能够弥补大模型的不足，如回答私有领域问题、获取实时信息、回答专业问题等。适用于有企业官网、钉钉、微信等渠道，期望为客户提供产品咨询服务，以及缺少技术人员开发大模型问答应用的场景。典型场景包括私有领域知识问答、个性化聊天机器人、智能助手等。 内部业务助手：通过企业内部规章制度、部门结构、产品介绍等文档构建知识库，并借助 RAG 智能体实现内部知识问答功能。系统支持多源异构数据，并通过复杂文档解析和视觉增强技术，提升文档理解的准确性与深度。目前该功能已灰度上线，需提供 UID 并通过白名单进行开启。 2. 达摩院： AI 模特（虚拟换装）：支持虚拟换装、姿态编辑。 3. 电商零售： 推广文案写作：通过内置的多样化营销场景的文体模板，基于用户输入的创作主题以及参考素材，大模型即可为您生成对应的营销文案，为营销活动和宣传文案提供灵感和文案写作支持。 4. 泛企业： VOC 挖掘：是一个面向各类企业的 VOC 标签挖掘的工具。不论是用户的长短评论、帖子、还是用户和客服/销售的聊天记录、通话记录，都可以使用。通过选中或自定义标签，即可让大模型针对海量非结构化的 VOC 数据快速打标。相比于人工打标或规则打标准确率更高；对于业务标签变动频繁的情况，也能更敏捷、快速地影响。 5. 通义晓蜜：基于深度调优的对话大模型，为营销服类产品提供智能化升级所需的生成式摘要总结、质检、分析等能力应用。
2025-02-18
多模态的AI工具有哪些
以下是一些多模态的 AI 工具： GPT4VAct：这是一个多模态 AI 助手，能够模拟人类通过鼠标和键盘进行网页浏览。它可以识别网页上的元素并理解其功能，目的是自动完成一些人工操作任务以提高效率。主要特点包括有限的视觉处理能力、自动标记、鼠标和键盘操作等，但目前存在一些功能暂不支持。 Sora：是第一个能够根据人类指令生成长达一分钟视频的模型，标志着在生成式 AI 研究和开发中的重大突破。 DiT：能将视频分解为一帧帧图像并逐帧去噪生成流畅连贯的视频，不仅能生成高质量逐帧图像，还能在时间维度上保持一致性。 Topview.ai：是一款面向海外市场的多模态转换工具，作为 AI 驱动的营销视频生成工具，可自动实现模态转换，帮助社交媒体达人将素材一键转换为爆款商业短视频。
2025-02-18
文本打标工具
以下是关于文本打标工具的相关信息： OpenAI API 可应用于多种自然语言、代码或图像任务，提供不同能力级别的模型，可微调自定义模型，适用于内容生成、语义搜索和分类等领域。模型通过将文本分解为标记（Token）来理解和处理，Token 可以是单词或字符块，在给定的 API 请求中处理的 Token 数量取决于输入和输出长度，可查看分词器工具了解更多。 对于某些文本打标任务，如根据问题的主要主题为文本打标签，有相应的指示和选项，如根据问题围绕的对象选择不同的标签类别。 在语音合成中，标注是常见问题，一般利用文本前端产生基线的音素序列和音素时长，再由人类参与检查，包括音素层级、单词层级、句子层级等方面，标注人员可采用 Praat 进行可视化标注和检查，不同场景的标注可能有细微变化。
2025-02-18
请给出目前比较火的各垂类AI工具名称
以下是目前比较火的各垂类 AI 工具： 图像生成器：有 14 个工具，如 Midjourney 等。 AI 聊天机器人：有 8 个工具，如 Claude、ChatGPT、Bing Chat 等。 AI 写作生成器：有 7 个工具，如 Rytr、Copy AI 等。 视频生成器：有 5 个工具。 语音和音乐：有 5 个工具。 设计：有 4 个工具，如 Canva 等。 其他：有 7 个工具。 此外，还有以下一些热门的 AI 工具： AI 研究工具：Claude、ChatGPT、Bing Chat、Perplexity 等。 图片处理：DallE、Leonardo、BlueWillow 等。 版权写作：Rytr、Copy AI、Wordtune、Writesonic 等。 网站搭建：10Web、Framer、Hostinger、Landingsite 等。 视频处理：Klap、Opus、Invideo、Heygen 等。 音频处理：Murf、LovoAI、Resemble、Eleven Labs 等。 SEO 优化：Alli AI、BlogSEO、Seona AI、Clearscope 等。 Logo 设计：Looka、LogoAI、Brandmark、Logomaster 等。 聊天机器人：Droxy、Chatbase、Voiceflow、Chatsimple 等。 自动化工具：Make、Zapier、Bardeen、Postman 等。
2025-02-18