直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

Florence节点和模型下载方法

回答

Florence 节点和模型的下载方法如下:

  • 节点下载:
    • 方法一:从节点管理器中安装(注意结尾是 -V-2.6-int4 的那个)。
    • 方法二:在秋叶包中安装(注意结尾是 -V-2.6-int4 的那个)。
    • 方法三:直接下载下面文件解压,复制 ComfyUI_MiniCPM-V-2_6-int4 文件夹到您的“\ComfyUI\custom_nodes”目录下。注意 ComfyUI_MiniCPM-V-2_6-int4 文件夹里面直接就是多个文件不能再包文件夹了。
      • 夸克网盘:链接:https://pan.quark.cn/s/bc35e6c7e8a6
      • 百度网盘:链接:https://pan.baidu.com/s/1sq9e2dcZsLGMDNNpmuYp6Q?pwd=jdei 提取码:jdei
  • 模型下载:
    • 模型下载地址(解压后大小 5.55G,压缩包大小 4.85G):
      • 夸克网盘:链接:https://pan.quark.cn/s/98c953d1ec8b
      • 百度网盘:链接:https://pan.baidu.com/s/1y4wYyLn511al4LDEkIGEsA?pwd=bred 提取码:bred

此外,Joy_caption 相关模型下载:

  • 从 https://huggingface.co/unsloth/Meta-Llama-3.1-8B-bnb-4bit 下载并放到 Models/LLM/Meta-Llama-3.1-8B-bnb-4bit 文件夹内。
  • 必须手动下载: https://huggingface.co/spaces/fancyfeast/joy-caption-pre-alpha/tree/main/wpkklhc6 ,存放文件夹:models/Joy_caption 。
  • MiniCPMv2_6 - 提示生成器 + CogFlorence:
    • https://huggingface.co/pzc163/MiniCPMv2_6-prompt-generator
    • https://huggingface.co/thwri/CogFlorence-2.2-Large

TheMisto.ai 的 MistoLine 版相关:

  • 节点:
    • MistoControlNet-Flux-dev ,在您的 \ComfyUI\custom_nodes 文件夹里面右键终端命令行,复制相关代码即可下载,或者通过以下网盘下载:
      • 夸克网盘:链接:https://pan.quark.cn/s/ad43dd5152a6
      • 百度网盘:链接:https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码:lpvc
  • 模型:
    • 夸克网盘:链接:https://pan.quark.cn/s/5551e813db21
    • 百度网盘:链接:https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码:zhfq
  • 处理:将模型放到您的 ComfyUI\models\TheMisto_model 文件夹中,并导入官方工作流 example_workflow.json
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

郑敏轩 :Flux与MiniCPM、Joy Caption的强强联合

[title]郑敏轩:Flux与MiniCPM、Joy Caption的强强联合[heading2]MiniCPM-V1.话不多说,我们上节点:MiniCPM-V-2.6-int4方法一:最简单的可以从节点管理器中安装(注意结尾是-V-2.6-int4的那个):方法二:或在秋叶包中安装(注意结尾是-V-2.6-int4的那个):方法三:或者直接下载下面文件解压,复制ComfyUI_MiniCPM-V-2_6-int4文件夹到你的“\ComfyUI\custom_nodes”目录下。注意ComfyUI_MiniCPM-V-2_6-int4文件夹里面直接就是如下图的多个文件不能再包文件夹了。夸克网盘:链接:https://pan.quark.cn/s/bc35e6c7e8a6百度网盘:链接:https://pan.baidu.com/s/1sq9e2dcZsLGMDNNpmuYp6Q?pwd=jdei提取码:jdei1.节点安装好后,还需要模型,模型下载地址(解压后大小5.55G,压缩包大小4.85G):夸克网盘:我用夸克网盘分享了MiniCPM-V-2_6-int4.rar链接:https://pan.quark.cn/s/98c953d1ec8b百度网盘:通过百度网盘分享的文件:MiniCPM-V-2_6-int4.rar链接:https://pan.baidu.com/s/1y4wYyLn511al4LDEkIGEsA?pwd=bred提取码:bred

19、自动打标joy_caption 副本

D:\ComfyUI\ComfyUI_windows_portable\ComfyUI\custom_nodes[heading1]四、安装步骤[content]1、(Comfyui evn python.exe)python -m pip install -rrequirements.txt或点击install_req.bat注意:transformers版本不能太低(注:transformers版本不能太低)2、下载模型或者运行comfyui自动下载模型到合适文件夹(Download the model or run Comfyui to automatically download the model to the appropriate folder)下载模型或者运行comfyui自动下载模型到合适的文件夹(下载模型或者运行Comfyui自动下载模型到合适的文件夹)3、模型安装(Install model)1).Joy_caption.运行自动下载模型(推荐手动下载)Run automatic download model(manual download recommended)从https://huggingface.co/unsloth/Meta-Llama-3.1-8B-bnb-4bit下载并放到Models/LLM/Meta-Llama-3.1-8B-bnb-4bit文件夹内网盘链接:3.必须手动下载:https://huggingface.co/spaces/fancyfeast/joy-caption-pre-alpha/tree/main/wpkklhc6存放文件夹:models/Joy_caption网盘链接:2).MiniCPMv2_6-提示生成器+CogFlorence[https://huggingface.co/pzc163/MiniCPMv2_6-prompt-generator](https://huggingface.co/pzc163/MiniCPMv2_6-prompt-generator)[https://huggingface.co/thwri/CogFlorence-2.2-Large](https://huggingface.co/thwri/CogFlorence-2.2-Large)运行:flux1-dev-Q8_0.gguf报错解决办法:

郑敏轩 :Flux的controlnet系列

[title]郑敏轩:Flux的controlnet系列[heading2]TheMisto.ai的MistoLine版注意:该ControlNet与Flux1.dev的fp16/fp8以及使用Flux1.dev量化的其他模型兼容。1.需要节点(可以git clone方式下载或下面准备了压缩包)MistoControlNet-Flux-dev在你的\ComfyUI\custom_nodes文件夹里面右键终端命令行,复制下面代码即可下载或者我准备了网盘:夸克网盘:链接:https://pan.quark.cn/s/ad43dd5152a6百度网盘:链接:https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc提取码:lpvc1.模型夸克网盘:链接:https://pan.quark.cn/s/5551e813db21百度网盘:链接:https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq提取码:zhfq1.处理将模型放到你的ComfyUI\models\TheMisto_model文件夹中1.导入官方工作流[example_workflow.json](https://bytedance.feishu.cn/space/api/box/stream/download/all/B2yWbnwd4oyyDcxgOtCc9FJAn3g?allow_redirect=1)所需要的两个模型:

其他人在问
coze工作流中的消息节点如何在bot中使用
在 Coze 工作流中,消息节点在 Bot 中的使用如下: 1. 消息节点支持在工作流执行过程中返回响应内容,可解决回复消息内容多或工作流长导致用户无法及时收到响应的问题。它支持流式和非流式两种消息模式。 2. 一个消息节点包含以下配置: 输出变量:配置输出变量,可将其添加到下方的回答内容区域中,Bot 调用工作流时只会回复设定的“回答内容”,这些变量也可在配置卡片时使用。 回答内容:工作流运行时,Bot 将直接用这里指定的内容回复对话,可使用{{变量名}}的方式引用输出参数中的变量。 流式输出: 默认关闭,即采用非流式输出,待接收到全部消息内容后,再一次性输出全部消息内容。 开启流式输出后,上一节点一边生成回复内容,一边通过消息节点进行输出,不需要等待全部内容都加载完后再返回,类似于打字机的效果。 3. 在 Coze 中,消息组件是常用的工作流节点,用于实现工作流在执行途中与用户之间的交互。默认情况下,消息组件的流式输出功能是关闭的,当面对长文本或希望优化用户体验时,可以启用流式输出,以提升用户体验,例如在实时聊天 Agent 中,能显著提高用户的参与度和满意度。
2024-09-18
人工智能发展的流程图上面有相关人物与重要时间节点或重大事件
以下是人工智能发展的流程图相关内容,包含重要人物与重要时间节点或重大事件: 二十世纪中叶,人工智能领域开启。最初符号推理流行,带来专家系统等重要进展,但因提取知识成本高等问题,20 世纪 70 年代出现“人工智能寒冬”。 近现代,计算机科学发展为人工智能研究奠定基础,人们尝试用机器模拟人类思维。 1950 年,英国数学家阿兰·图灵提出著名的“图灵测试”。 1956 年,人工智能一词被提出,达特茅斯会议举行。 1997 年,深蓝在国际象棋比赛中击败卡斯帕罗夫。 2016 年,AlphaGo 在围棋比赛中战胜李世石。 2020 年,GPT3 发布。 2022 年,DALLE 发布。 2023 年,GPT4 发布。 2024 年,预计发布 GPT5 。 随着时间推移,计算资源变便宜、数据增多,神经网络方法在计算机视觉、语音理解等领域展现出色性能,过去十年中“人工智能”常被用作“神经网络”的同义词。
2024-09-16
coze工作流的开始节点 输入参数一般怎么使用?
在 Coze 工作流中,开始节点的输入参数使用方式如下: 开始节点就像生产线的入口,负责定义启动工作流所需的输入参数,收集用户的输入。可以为每种输入取变量名并说明类型,以便后续分类识别与加工。 其中,{{BOT_USER_INPUT}}是默认变量,用于接收用户在外层 Bot 中的输入文本。在工作流模式下,通常应只保留 BOT_USER_INPUT 节点。 例如在记账案例中,开始节点定义一个{{prompt}},把用户在 bot 输入的记账内容传入进来。在本案例中,不需要在开始节点配置额外变量,用户初始输入将通过{{BOT_USER_INPUT}}直接传入工作流启动后续环节。
2024-09-13
COMFYUI 翻译节点 速度慢
ComfyUI 共学中提到了翻译节点的相关内容。其中提到翻译节点速度慢的情况,同时介绍了两个可将中文翻译为英文的节点,一个是 Web UI 中的,另一个是 Max live 开发团队的,后者还能补充提示词。此外,还讲解了 ComfyUI 在运行速度上的优势,比如与 webUI 相比,出图质量基本一样但运行速度更高效。
2024-08-23
能够同时读取多个文档的BOT的工作流的节点该如何搭建
以下是搭建能够同时读取多个文档的 BOT 工作流节点的相关内容: 首先,我们的 Bot 获得了「掘金 x 扣子 Hackathon 活动 深圳站」的总冠军。 对于一种工作流,其步骤如下: 1. 开始节点:接收用户选择的小说人物角色名称。 2. 知识库节点:将输入的小说角色名称作为 query 去知识库检索该角色的性格特点和经典台词。 3. 大模型节点:让大模型对信息进行筛选,并采用 json 格式输出。 4. 代码节点:对上游的输入数据进行规整,格式化输出。 5. text2image:引用上一步输出的 feature(用于描述人物性格和特点),作为 prompt,生成人物的角色照。 6. 结束节点:输出人物台词和角色照。工作流图参考:第 3 个工作流是 ask_character,当用户向小说角色提问时,Bot 会调用此工作流获取结果,本质上是一个根据用户 query 进行 RAG(Retrieval Augmented Generation,检索增强生成)的任务,这是非常重要的一个工作流,关系到用户和小说人物角色对话时 Bot 的回答质量。 工作流拆解步骤: 1. 开始节点:接收用户向小说人物角色提问的问题。 2. 知识库节点:将问题作为 query 去小说内容中进行语义检索和全文检索。 3. 大模型节点:让大模型根据问题和检索到的上下文信息,生成答案。 4. 结束节点:输出答案,作为小说人物的回答。工作流图参考: 另外,在每个工作流里面,都嵌入了一个知识库节点,维护了如下 3 个知识库: 1. 小说合集:包含了 4 本小说。 2. 小说台词:包含了小说主要人物角色和经典台词。 3. 小说简介:包含小说简介和主要的人物角色。 以“首席组织官 组织管理专家”bot 为例,在 bot 里面创建数据库的教程: 1. 创建一个 bot,并在 bot 编排页面新增数据库;如果是新建一个 bot 操作也是一样的。 2. 选择自定义数据表。 3. 点击自定义数据表以后,按照需要设置数据表信息。 4. 若工作流需要,可以创建两个数据表。
2024-08-08
coze的工作流开始节点需要输入什么
在 coze 的工作流中,起始节点(Start)用于包含用户输入信息。每个工作流默认都有 Start 节点,它是工作流的开始。在 Start 节点,你可以定义一个输入变量,例如“question”,question 会在启动工作流时由 Bot 从外部获取信息传递过来。
2024-06-21
如何下载使用本AGI?
以下是关于下载使用 AGI 的相关信息: 飞书&微信交流群: 扫描二维码或点击入群,群内会分享最新 AI 信息、社区活动。 加入群后欢迎积极分享,飞书群内置 AI 智能机器人,可回复任何与 AI 相关的问题。 1017 新建的微信群,欢迎加入。 入门工具推荐: 新手推荐使用 Kimi 入门学习和体验 AI,上手体验好、不用付费、支持实时联网。 它是国内最早支持 20 万字无损上下文的 AI,也是目前对长文理解做的最好的 AI 产品。 能一次搜索几十个数据来源,无广告,能定向指定搜索源(如小红书、学术搜索)。 PC 端: 移动端 Android/ios: 友情推荐: 如需下载研究报告,诚邀您加入知识星球: OpenAI 新模型 9.12 发布: ChatGPT Enterprise 和 Edu 用户从下周开始可访问两种模型。 符合。 计划为所有 ChatGPT Free 用户提供 o1mini 访问权限。
2024-10-20
GPT 如何下载
以下是在苹果系统下载 ChatGPT 的步骤: 1. 在 AppleStore 下载 ChatGPT:中国区正常无法下载,需切换到美区。美区 AppleID 注册教程可参考知乎链接:。最终在 AppleStore 搜到 ChatGPT 结果后下载安装,注意别下错。 2. 支付宝购买苹果礼品卡并充值以订阅付费 App:打开支付宝,地区切换到【美区任意区】,往下滑,找到【品牌精选 折扣礼品卡】,点击进去,可看到【大牌礼品卡】,往下滑找到【App Store & iTunes US】礼品卡,按需要的金额购买,建议先买 20 刀。具体操作包括: 支付宝购买礼品卡。 在 apple store 中兑换礼品卡。 在 chatgpt 中购买订阅 gpt plus,若中途不想继续订阅,可到订阅列表中取消订阅。 完成上述步骤后,即可开始使用 ChatGPT 4o: 1. 开启对话:打开 ChatGPT 应用或网页,点击开始对话。会员不管在苹果还是安卓手机上购买的,电脑上都能登录。 2. 体验最新语音对话功能:版本切到 ChatGPT 4o,点击右下角“耳机🎧”图标,选择一个声音,即可体验流畅的语音对话。
2024-10-17
在哪可以下载sd
以下是关于下载 SD 的详细步骤: 1. 确保您的整合包版本是最新的秋叶 4.2 整合包(6 月 23 号更新),下载包已更新至云盘,后台回复【SD】即可下载。在插件包里面下载相关文件。 2. 将 sdwebuiroop 文件夹拖放到“……\\sdwebuiakiv4.2\\extensions”目录下。 3. 解压 python 压缩包,替换掉根目录下的相应文件。 4. 更改到您想要安装的位置,点击右下角的安装。安装时间较长,请耐心等待。 5. 安装好之后,打开 SD 文件目录下的相关文件夹,在地址栏输入“cmd”,然后回车。在打开的 dos 界面里面,将“python m pip install insightface==0.7.3 user”粘贴进来,会自动开始安装 insightface。如果此阶段出现错误,建议去下载使用最新的秋叶 4.2 整合包(6 月 23 号更新),下载包已更新至云盘,后台回复【SD】即可下载。 6. 安装完成后,重新打开启动器,后台会继续下载一些模型,此时一定要保证全程科学上网。 此外,如果不会科学上网,也可以去启动器的界面直接下载模型,将下载的大模型放在根目录的【……\\models\\Stablediffusion】文件夹下,在左上角的模型列表中进行选择(看不到就点旁边的蓝色按钮刷新一下)。旁边的 VAE 可直接在启动器里面下载,下载的 VAE 放在根目录的【……\\models\\VAE】文件夹下。Embedding 可在 C 站通过右上角的筛选 Textual Inversion 找到,放在根目录下的 embeddings 文件夹里。
2024-10-17
苹果手机下载Chatgbt
在苹果手机下载 ChatGPT 的步骤如下: 1. 在 Apple Store 下载 ChatGPT :中国区正常下载不了,需要切换到美区才可以下载。美区 Apple ID 注册教程可参考知乎链接: 。最终在 Apple Store 搜到 ChatGPT 结果后下载安装,注意别下错。 2. 支付宝 购买苹果礼品卡 充值 订阅付费 App :打开支付宝,地区切换到【美区任意区】,往下滑,找到【品牌精选 折扣礼品卡】,点击进去,可以看到【大牌礼品卡】,往下滑找到【App Store & iTunes US】礼品卡,按需要的金额购买即可,建议先买 20 刀。具体包括: 支付宝购买礼品卡。 在 apple store 中兑换礼品卡。 在 chatgpt 中购买订阅 gpt plus,如果中途不想继续订阅了,可到订阅列表中取消订阅。 完成上述步骤后,即可开始使用 ChatGPT 4o : 1. 开启对话:打开 ChatGPT 应用或网页,点击开始对话。会员不管是在苹果还是安卓手机上购买的,电脑上都能登录。 2. 体验最新语音对话功能:版本切到 ChatGPT 4o,点击右下角“耳机🎧”图标,选择一个声音,就可以体验流畅的语音对话。
2024-10-12
Chatgbt下载
以下是安卓和苹果系统下载 ChatGPT 的方法: 安卓系统: 1. 安装 Google Play:到小米自带的应用商店搜索 Google Play 进行安装,安装好后打开,按照提示一步步操作登录。 2. 下载安装 ChatGPT:到谷歌商店搜索“ChatGPT”进行下载安装(开发者是 OpenAI,别下错)。可能会遇到“google play 未在您所在的地区提供此应用”的问题,解决方法如下:在 google play 点按右上角的个人资料图标,依次点按:设置>常规>帐号和设备偏好设置>国家/地区和个人资料。如果账号没有地区,可以“添加信用卡或借记卡”,国内的双币信用卡就行,填写信息时地区记得选美。如果回到 google play 首页还搜不到 chatgpt,可以卸载重装 google play,操作过程保持梯子的 IP 一直是美,多试几次。 3. 体验 ChatGPT:如果只想体验 ChatGPT 3.5 版本,不升级 GPT4,直接登录第二部注册好的 ChatGPT 账号即可。 4. 订阅 GPT4 Plus 版本:先在 Google play 中的【支付和订阅】【支付方式】中绑定好银行卡,然后在 ChatGPT 里订阅 Plus。 苹果系统: 1. 在 Apple Store 下载 ChatGPT:中国区正常下载不了,需要切换到美区才可以下载。美区 Apple ID 注册教程参考知乎链接: 。最终在 Apple Store 搜到 ChatGPT 结果如下,下载安装即可,注意别下错。 2. 支付宝 购买苹果礼品卡 充值 订阅付费 App:打开支付,地区切换到【美区任意区】,往下滑,找到【品牌精选 折扣礼品卡】,点击进去,可以看到【大牌礼品卡】,往下滑找到【App Store & iTunes US】礼品卡,按需要的金额购买即可,建议先买 20 刀。 支付宝购买礼品卡。 在 apple store 中兑换礼品卡。 在 chatgpt 中购买订阅 gpt plus,如果中途不想继续订阅了,可到订阅列表中取消订阅即可。 使用 ChatGPT 4o: 1. 开启对话:打开 ChatGPT 应用或网页,点击开始对话。会员不管是在苹果还是安卓手机上购买的,电脑上都能登录。 2. 体验最新语音对话功能:版本切到 ChatGPT 4o,点击右下角“耳机🎧”图标,选择一个声音,就可以体验流畅的语音对话。
2024-10-12
如何下载ChatGPT App版并成功登录
以下是下载 ChatGPT App 版并成功登录的方法: Mac 客户端 1. 下载地址:persistent.oaistatic.com/sidekick/public/ChatGPT_Desktop_public_latest.dmg 2. 使用 Proxyman、Charles 或您喜欢的网络代理来进行以下操作(以 ProxyMan 为例): 登录一次以触发 API 调用。 对 ChatGPT 的 App 启用 SSL 代理(需要配置好 ProxyMan 证书)。 再登录一次以触发 API 调用。 然后右键点击 ab.chatgpt.com/v1/initialize 选择本地映射,并将所有的 false 替换为 true。 再尝试一次,您就应该能顺利登录了。 安卓系统 1. 安装 Google Play: 到小米自带的应用商店搜索 Google Play 进行安装。 安装好后,打开 Google Play,按照提示一步步操作,登录 Google Play。 2. 下载安装 ChatGPT: 到谷歌商店搜索“ChatGPT”进行下载安装,开发者是 OpenAI,别下错了。 注:这步骤可能遇到“google play 未在您所在的地区提供此应用”的问题。经过各种方法测试,找到路径如下:在 google play 点按右上角的个人资料图标。依次点按:设置>常规>帐号和设备偏好设置>国家/地区和个人资料。在这里看到账号没有地区,可以“添加信用卡或借记卡”,国内的双币信用卡就行,填写信息时地区记得选美。如果回到 google play 首页还搜不到 chatgpt,可以卸载重装 google play,操作过程保持梯子的 IP 一直是美,多试几次。 3. 体验 ChatGPT: 如果只想体验 ChatGPT 3.5 版本,不升级 GPT4,直接登录第二部注册好的 ChatGPT 账号即可。 4. 订阅 GPT4 Plus 版本: 先在 Google play 中的【支付和订阅】【支付方式】中绑定好银行卡。 然后在 ChatGPT 里订阅 Plus。 详细版图文教程:
2024-10-11
大模型评测标准
大模型的评测标准通常包括以下方面: 1. 多维度、多视角的综合性测评方案: 如中文大模型基准测评 2023 年度报告中,采用了由多轮开放问题 SuperCLUEOPEN 和三大能力客观题 SuperCLUEOPT 组成的评测集,共 4273 题,包括 1060 道多轮简答题(OPEN)和 3213 道客观选择题(OPT)。 在确定的评估标准指导下,OPEN 基准使用超级模型作为评判官,对比待评估模型与基准模型,计算胜和率作为 OPEN 得分,最终 SuperCLUE 总分由 0.7OPEN 分+0.3OPT 分计算得出,且经过人工校验。 OPT 主要测评选择题,包括基础能力、中文特性、专业与学术能力,构造统一 prompt 供模型使用,要求选取唯一选项。多轮简答题 OPEN 更能反映模型真实能力,故权重设置较高。 2. 特定的评测体系及开放平台: FlagEval(天秤)大模型评测体系及开放平台,旨在建立科学、公正、开放的评测基准、方法、工具集,创新构建了“能力任务指标”三维评测框架,细粒度刻画基础模型的认知能力边界,可视化呈现评测结果。 CEval 构造了一个覆盖多个方向和学科,共 13948 道题目的中文知识和推理型测试集,并给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb 是中文通用大模型匿名对战评价基准,以众包方式提供匿名、随机的对战,并发布了初步结果和基于 Elo 评级系统的排行榜。 3. 基于业务目标和特定场景的测评: 例如在开发基于 LangChain Chatchat 框架的产品时,基于业务目标和政策咨询场景,对回答的内容生成质量进行测评,主要包括是否理解问题、是否匹配正确政策原文、基于政策原文的回答是否准确全面、是否生成政策原文以外的内容、回答是否可靠以及不同轮次回答是否差异大、是否支持追问等方面。
2024-10-23
Lora模型训练数据集
以下是关于 Lora 模型训练数据集的相关内容: 创建数据集: 1. 进入厚德云模型训练数据集(https://portal.houdeyun.cn/sd/dataset)。 2. 在数据集一栏中,点击右上角创建数据集,输入数据集名称。 3. 可以上传包含图片+标签 txt 的 zip 文件,也可以只有图片(之后可在 c 站使用自动打标功能),还可以一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。 4. Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 5. 上传 zip 以后等待一段时间,确认创建数据集。返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,能预览到数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。然后等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 用 SD 训练一套贴纸 LoRA 模型的工作流: 1. 原始形象:MJ 初步产出符合设计想法的贴纸原始形象。 2. 二次加工:完成贴纸的白色边线等细节加工。 3. 处理素材:给训练集图片打 tag,修改 tag。 4. 训练模型:将上述处理好的数据集做成训练集,进行训练。 用 SD 训练一套贴纸 LoRA 模型的原始形象:MJ 关键词: A drawing for a rabbit stickers,in the style of hallyu,screenshot,mori kei,duckcore plush doll art exaggerated poses,cry/happy/sad/...ar 3:4 niji 5 style cute s 180 。会得到不同风格的贴图,我们可以先看看自己喜欢哪一种。出图过程可以有意识地总结这一类贴图的特征,比如都是可爱的兔子,有不同的衣服和头饰,都有一双大大的卡通眼睛,会有不同的面部表情。 注意事项: 1. 关键词中限制了颜色,因此 MJ 生成的图片会一种情绪对应一种颜色,所以同一种情绪最好多生成几张不同色系的,可以减少后续训练中模型把情绪和颜色做挂钩(如果需要这样的话,也可以反其道而行之)。 2. 数据集中正面情绪与负面情绪最好比例差不多,如果都是正面积极的,在出一些负面情时(sad,cry)的时候,可能会出现奇怪的问题(如我们训练的是兔子形象,但 ai 认知的 sad 可能是人的形象,可能会出现人物特征)。 3. 如果训练 256266 大小的表情包,这样的素材就已经够用了。如果要训练更高像素的图片,则需要进一步使用 MJ 垫图和高清扩展功能。 高清化: 左(256)→右(1024),输入左图,加入内容描述,加入风格描述,挑选合适的,选出新 30 张图片(卡通二次元类型的 lora 训练集 30 张差不多,真人 60100 张)。
2024-10-22
Lora模型训练
以下是关于 Lora 模型训练的相关内容: 一、用 SD 训练一套贴纸 LoRA 模型的要点 1. 训练数据集准备:包括训练素材处理、图像预处理、打标优化。 2. 训练环境参数配置:选择本地或云端训练环境,进行训练环境配置和训练参数配置。 3. 模型训练:基于 kohyass 训练模型。 4. 模型测试:通过 XYZ plot 测试模型。 二、郑敏轩:Flux 的 Lora 模型训练 1. 所需模型下载:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意事项: 不使用时,模型放置位置不限,只要知道路径即可。 训练时,建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 三、100 基础训练大模型 1. 步骤一·创建数据集 进入厚德云模型训练数据集:https://portal.houdeyun.cn/sd/dataset 在数据集一栏中,点击右上角创建数据集,输入数据集名称。 可以上传包含图片+标签 txt 的 zip 文件,也可以只有图片(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配,例如:图片名"1.png",对应的达标文件就叫"1.txt"。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 2. 步骤二·Lora 训练 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 选择数据集,点击右侧箭头,选择上传过的数据集。 触发词可有可无,取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数可调节重复次数与训练轮数,厚德云会自动计算训练步数,若不知如何设置,可默认 20 重复次数和 10 轮训练轮数。 可按需求选择是否加速,点击开始训练,会显示所需要消耗的算力,然后等待训练,会显示预览时间和进度条。 训练完成后会显示每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。
2024-10-22
你是基于什么大模型做的知识库
以下是关于大模型和知识库的相关知识: 1. RAG(检索增强生成)技术:利用大模型搭建知识库是 RAG 技术的应用。大模型训练数据有截止日期,当需要依靠不在训练集中的数据时,可通过 RAG 实现。RAG 包括文档加载、文本分割、存储(包括嵌入和向量数据存储到向量数据库)、检索、输出(把问题及检索出的嵌入片提交给 LLM 生成答案)等 5 个过程。文档加载可从多种来源加载不同类型的文档,文本分割将文档切分为指定大小的块。 2. 硬件配置要求:运行大模型需要较高的机器配置。生成文字大模型最低配置为 8G RAM + 4G VRAM,建议配置为 16G RAM + 8G VRAM,理想配置为 32G RAM + 24G VRAM(跑 GPT3.5 差不多性能的大模型);生成图片大模型最低配置为 16G RAM + 4G VRAM,建议配置为 32G RAM + 12G VRAM;生成音频大模型最低配置为 8G VRAM,建议配置为 24G VRAM。 3. 实例:在一个设定中,使用阿里千问模型,设定角色为“美嘉”,知识库为《爱情公寓》全季剧情,实现问答。
2024-10-22
图片问答相关的大模型产品有哪些
以下是一些与图片问答相关的大模型产品: 国内免费的 APP 有 Kimi 智能助手、文心一言、通义千问。 Kimi 智能助手:由 Moonshot AI 出品,具有超大“内存”,能读长文和上网。 文心一言:百度出品的 AI 对话产品,可写文案、想点子、聊天和答疑。 通义千问:由阿里云开发,能与人交互、回答问题及协作创作。 好用的图生图产品有: Artguru AI Art Generator:在线平台,生成逼真图像,为设计师提供灵感。 Retrato:将图片转换为非凡肖像,有 500 多种风格选择,适合制作个性头像。 Stable Diffusion Reimagine:通过稳定扩散算法生成精细、具细节的全新视觉作品。 Barbie Selfie Generator:将上传照片转换为芭比风格,适合喜欢梦幻童话风格的人。 此外,2023 年大模型关键进展包括: 百度发布文心一言 1.0 并不断升级。 OpenAI 发布 GPT4 等。 复旦开源 MOSS 等。 需注意,内容由 AI 大模型生成,请仔细甄别。
2024-10-22
如何用大模型做销量预测
用大模型做销量预测可以从以下几个方面考虑: 1. 数据收集:销量预测需要大量相关数据,包括历史销售数据、市场趋势、经济指标、消费者行为等。 2. 模型选择:选择适合的大模型,例如基于深度学习的神经网络模型。 3. 特征工程:对收集到的数据进行处理和特征提取,以便模型能够更好地理解和学习。 4. 训练与优化:使用合适的算法和技术对模型进行训练,并不断优化模型参数以提高预测准确性。 5. 考虑国情和政策:不同国家和地区的国情和政策会对销售情况产生影响,模型应进行相应的优化和调整。 6. 可解释性:追求模型的可解释性,以便更好地理解预测结果和做出决策。 关于大模型相关的模型下载和安装: 1. 模型下载: Civitai(C 站):https://civitai.com/ ,可通过点击右上角筛选按钮找到所需模型类型,如 Checkpoint=大模型、LoRA=Lora 等,还可通过点击左上角“Images”查看他人已做好的图片并获取相关模型。 2. 模型安装: 大模型(Ckpt):放入 models\\Stablediffusion VAE 模型:一些大模型需要配合 vae 使用,对应的 vae 同样放置在 models\\Stablediffusion 或 models\\VAE 目录,然后在 webui 的设置栏目选择。 Lora/LoHA/LoCon 模型:放入 extensions\\sdwebuiadditionalnetworks\\models\\lora,也可以在 models/Lora 目录 Embedding 模型:放入 embeddings 目录 若下载的模型不知类型,可使用秋叶的模型解析工具 https://spell.novelai.dev/ ,将模型拖动到空白处即可查看模型信息。
2024-10-22