直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

图片对话模型有哪些

回答

以下是一些常见的图片对话模型：

  • ChatGLM：
    • 地址：https://github.com/THUDM/ChatGLM-6B
    • 简介：中文领域效果最好的开源底座模型之一，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持。
  • VisualGLM-6B：
    • 地址：https://github.com/THUDM/VisualGLM-6B
    • 简介：一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM-6B，具有 62 亿参数；图像部分通过训练 BLIP2-Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。依靠来自于 CogView 数据集的 30M 高质量中文图文对，与 300M 经过筛选的英文图文对进行预训练。
  • Chinese-LLaMA-Alpaca：

智谱·AI 开源的图片对话模型有：

  • CogAgent-18B：基于 CogVLM-17B 改进的开源视觉语言模型。拥有 110 亿视觉参数和 70 亿语言参数，支持 1120*1120 分辨率的图像理解，在 CogVLM 功能的基础上，具备 GUI 图像的 Agent 能力。
  • CogVLM-17B：强大的开源视觉语言模型（VLM）。基于对视觉和语言信息之间融合的理解，CogVLM 可以在不牺牲任何 NLP 任务性能的情况下，实现视觉语言特征的深度融合。是目前多模态权威学术榜单上综合成绩第一的模型，在 14 个数据集上取得了 state-of-the-art 或者第二名的成绩。
  • Visualglm-6B：一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM-6B，具有 62 亿参数；图像部分通过训练 BLIP2-Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。

智谱·AI 开源的 Chat 模型有：

  • ChatGLM-6B-int4：ChatGLM-6B 的 Int4 版本。最低只需 6GB 显存即可部署，最低只需 7GB 显存即可启动微调（P-Tuning v2）
    • 上下文 token 数：2K
    • 代码链接：Huggingface
    • 模型权重下载链接：魔搭社区、始智社区、启智社区
  • ChatGLM-6B-int8：ChatGLM-6B 的 Int8 版本
    • 上下文 token 数：2K
    • 代码链接：Huggingface
    • 模型权重下载链接：魔搭社区、始智社区、启智社区
  • AgentLM-7B：
    • 简介：1. 提出了一种 AgentTuning 的方法；2. 开源了包含 1866 个高质量交互、6 个多样化的真实场景任务的 Agent 数据集 AgentInstruct；3. 基于上述方法和数据集，利用 Llama2 微调了具备超强 Agent 能力的 AgentLM-7B、AgentLM-13B、AgentLM-70B。
    • 上下文 token 数：4K
    • 代码链接：AgentTuning
    • 模型权重下载链接：🤗Huggingface Repo
  • AgentLM-13B：
  • AgentLM-70B：
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

LLM开源中文大语言模型及数据集集合

ChatGLM：地址：[https://github.com/THUDM/ChatGLM-6B](https://github.com/THUDM/ChatGLM-6B)简介：中文领域效果最好的开源底座模型之一，针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持VisualGLM-6B地址：[https://github.com/THUDM/VisualGLM-6B](https://github.com/THUDM/VisualGLM-6B)简介：一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于ChatGLM-6B，具有62亿参数；图像部分通过训练BLIP2-Qformer构建起视觉模型与语言模型的桥梁，整体模型共78亿参数。依靠来自于CogView数据集的30M高质量中文图文对，与300M经过筛选的英文图文对进行预训练。Chinese-LLaMA-Alpaca：地址：[https://github.com/ymcui/Chinese-LLaMA-Alpaca](https://github.com/ymcui/Chinese-LLaMA-Alpaca)简介：中文LLaMA&Alpaca大语言模型+本地CPU/GPU部署，在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练

智谱·AI 开源模型列表

��模态的模型。|模型|介绍|代码链接|模型下载|<br>|-|-|-|-|<br>|CogAgent-18B|基于CogVLM-17B改进的开源视觉语言模型。CogAgent-18B拥有110亿视觉参数和70亿语言参数，支持1120*1120分辨率的图像理解，在CogVLM功能的基础上，具备GUI图像的Agent能力。|[CogVLM & CogAgent](https://github.com/THUDM/CogVLM)|[Huggingface](https://huggingface.co/THUDM/CogVLM)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/cogagent-chat/summary)|[Swanhub](https://swanhub.co/ZhipuAI/cogagent-chat-hf)|始智社区|<br>|CogVLM-17B|强大的开源视觉语言模型（VLM）。基于对视觉和语言信息之间融合的理解，CogVLM可以在不牺牲任何NLP任务性能的情况下，实现视觉语言特征的深度融合。我们训练的CogVLM-17B是目前多模态权威学术榜单上综合成绩第一的模型，在14个数据集上取得了state-of-the-art或者第二名的成绩。||[Huggingface](https://huggingface.co/THUDM/cogvlm-chat-hf)|[魔搭社区](https://modelscope.cn/models/AI-ModelScope/cogvlm-chat/summary)|<br>|Visualglm-6B|VisualGLM-6B是一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于[ChatGLM-6B](https://github.com/THUDM/ChatGLM-6B)，具有62亿参数；图像部分通过训练[BLIP2-Qformer](https://arxiv.org/abs/2301.12597)构建起视觉模型与语言模型的桥梁，整体模型共78亿参数。|[VisuaGLM](https://github.com/THUDM/VisualGLM-6B)|[Huggingface](https://huggingface.co/THUDM/visualglm-6b)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/visualglm-6b/summary)|<br>|RDM|Relay Diffusion Model：级联扩散模型，可以从任意给定分辨率的图像快速生成，而无需从白噪声生成。|[RDM](https://github.com/THUDM/RelayDiffusion)||

智谱·AI 开源模型列表

��语言模型列表|模型|介绍|上下文token数|代码链接|模型权重下载链接|<br>|-|-|-|-|-|<br>|ChatGLM-6B-int4|ChatGLM-6B的Int4版本。最低只需6GB显存即可部署，最低只需7GB显存即可启动微调（[P-Tuning v2](https://github.com/THUDM/P-tuning-v2)）|2K||[Huggingface](https://huggingface.co/THUDM/chatglm-6b-int4)|魔搭社区|始智社区|启智社区|<br>|ChatGLM-6B-int8|ChatGLM-6B的Int8版本|2K||[Huggingface](https://huggingface.co/THUDM/chatglm-6b-int8)|魔搭社区|始智社区|启智社区|<br>|AgentLM-7B|1.我们提出了一种AgentTuning的方法；2.我们开源了包含1866个高质量交互、6个多样化的真实场景任务的Agent数据集AgentInstruct3.基于上述方法和数据集，我们利用Llama2微调了具备超强Agent能力的AgentLM-7B、AgentLM-13B、AgentLM-70B。|4K|[AgentTuning](https://github.com/THUDM/AgentTuning)|[🤗Huggingface Repo](https://huggingface.co/THUDM/agentlm-7b)|<br>|AgentLM-13B||4K||[🤗Huggingface Repo](https://huggingface.co/THUDM/agentlm-13b)|<br>|AgentLM-70B||8K||[🤗Huggingface Repo](https://huggingface.co/THUDM/agentlm-70b)|

其他人在问
多轮对话训练中你如何训练模型掌握情感需求
在多轮对话训练中，让模型掌握情感需求可以通过以下几种方式： 1. 利用相关数据集进行训练，例如： Guanaco：地址为，是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集。 chatgptcorpus：地址为，开源了由 ChatGPT3.5 生成的 300 万自问自答数据，包括多个领域，可用于训练大模型。 SmileConv：地址为，数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话，含有 56k 个多轮对话，其对话主题、词汇和篇章语义更加丰富多样，更符合长程多轮对话的应用场景。 2. 在创建提示时采用结构化模式，为模型提供一些情感需求的示例，如： |输入|输出| ||| |一部制作精良且有趣的电影|积极的| |10 分钟后我睡着了|消极的| |电影还行|中性的| 然后单击页面右侧的提交按钮。该模型现在可为输入文本提供情绪。还可以保存新设计的提示。 3. 在多轮次对话中，定期总结关键信息，重申对话的目标和指令，有助于模型刷新记忆，确保准确把握对话的进展和要点。 4. 进行意图识别和分类，特别关注在单一模型或情境中处理多个小逻辑分支的情况。例如在客户服务场景中，快速确定用户提出咨询、投诉、建议等多种类型请求的意图，并分类到相应处理流程中。
2024-11-11
在车载语音多轮对话训练中你如何训练模型掌握情感需求
目前知识库中暂时没有关于在车载语音多轮对话训练中如何训练模型掌握情感需求的相关内容。但一般来说，要训练模型掌握情感需求，可以从以下几个方面考虑： 1. 数据收集：收集包含丰富情感表达的车载语音对话数据，包括不同情感状态下的语音样本和对应的文本描述。 2. 特征提取：从语音和文本数据中提取能够反映情感的特征，如语音的语调、语速、音量，文本中的词汇、句式、语义等。 3. 模型选择：选择适合处理情感分析任务的模型架构，如基于深度学习的循环神经网络（RNN）、长短时记忆网络（LSTM）或门控循环单元（GRU）等。 4. 情感标注：对收集的数据进行准确的情感标注，以便模型学习不同情感的模式。 5. 多模态融合：结合语音和文本等多模态信息，提高情感识别的准确性。 6. 优化算法：采用合适的优化算法来训练模型，调整模型的参数，以提高模型的性能。 7. 模型评估：使用合适的评估指标来评估模型在情感需求掌握方面的性能，并根据评估结果进行调整和改进。
2024-11-11
提供“与知识库对话”的产品服务
以下是关于“与知识库对话”的产品服务相关内容： 如果想要对知识库进行更加灵活的掌控，可以使用额外的软件 AnythingLLM。其安装地址为：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。 AnythingLLM 中有 Workspace 的概念，可创建独有的 Workspace 与其他项目数据隔离。构建本地知识库时，首先创建工作空间，然后上传文档并在工作空间中进行文本嵌入，接着选择对话模式，包括 Chat 模式（大模型根据训练数据和上传的文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案），最后进行测试对话。 在商业化问答场景中，以一个问答机器人界面为例，其配置包括 AI 模型、提示词和知识库。模型好比是学习过无数知识的人，提示词是告诉模型扮演的角色和专注的技能，知识库则是给模型的工作手册。例如设定 AI 模型为阿里千问模型，提示词设定角色为“美嘉”，知识库放置《爱情公寓》全季剧情。 看十遍不如实操一遍，实操十遍不如分享一遍。如果对 AI Agent 技术感兴趣，可以联系相关人员或者加入免费知识星球（备注 AGI 知识库）。
2024-11-08
提供“与知识库对话”的产品服务
以下是关于“与知识库对话”的产品服务相关内容： 如果想要对知识库进行更加灵活的掌控，需要使用额外的软件 AnythingLLM。其安装地址为：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。 AnythingLLM 中有 Workspace 的概念，可以创建独有的 Workspace 与其他项目数据隔离。构建本地知识库时，首先创建工作空间，然后上传文档并进行文本嵌入，接着选择对话模式，包括 Chat 模式（大模型根据训练数据和上传的文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案），最后进行测试对话。 在商业化问答场景中，以一个问答机器人界面为例，其左侧有三处配置：AI 模型、提示词、知识库。模型可以想象成学习过无数知识的人；提示词是告诉模型扮演的角色和专注的技能；知识库则相当于给模型发放的工作手册。例如设定 AI 模型为阿里千问模型，提示词设定角色为“美嘉”，知识库为《爱情公寓》全季剧情。
2024-11-08
寻找中文AI 可以对话
以下为您推荐一些可以进行中文对话的 AI 工具： 1. Character.ai：更注重人格属性，试图满足社交、情感、陪伴等需求。 2. TXYZ：是一个帮助大家搜索、查询专业文献并可以进行对话的 AI 工具，提供从搜索获取、查询对话获取知识再到管理知识的一站式服务。它是唯一和预印本文库 arxiv.org 官方合作的 AI 工具，ArXiv 的每篇论文下面都有直达 TXYZ 的按钮。用户可以自己上传 PDF 论文或者链接，通过它来在专业文献中迅速找到自己想要的答案和内容，在对话中还能提供论文参考，给出可信的背书。但内容由 AI 大模型生成，请仔细甄别。 此外，关于创建能够进行对话的聊天机器人，API 非常擅长与人类甚至自己进行对话。关键在于告诉 API 它应该如何行事，然后提供一些例子。还可以给 API 赋予一个身份，例如让其作为 AI 助手、生物学研究科学家等回答。API 作为一种语言模型，还能够进行文本补全、转换和翻译。
2024-11-04
寻找能人机对话的AI工具
以下为您推荐一些能人机对话的 AI 工具： 1. Eleven Labs：https://elevenlabs.io/ ，是一款功能强大且多功能的 AI 语音软件，能生成逼真、高品质的音频，可高保真地呈现人类语调和语调变化，并能根据上下文调整表达方式。 2. Speechify：https://speechify.com/ ，是一款人工智能驱动的文本转语音工具，可作为多种应用程序使用，能将文本转换为音频文件。 3. Azure AI Speech Studio：https://speech.microsoft.com/portal ，是一套服务，提供了支持 100 多种语言和方言的语音转文本和文本转语音功能，还提供了自定义的语音模型。 4. Voicemaker：https://voicemaker.in/ ，可将文本转换为各种区域语言的语音，并允许创建自定义语音模型，易于使用，适合为视频制作画外音或帮助视障人士。 此外，在游戏领域，也有一些与生成式 AI 相关的应用： 1. 许多初创公司正考虑使用生成性 AI 来创建可互动的可信角色，如 Charisma.ai（https://charisma.ai/）、Convai.com（https://convai.com/）、Inworld.ai（https://inworld.ai/）等，旨在为具有情感和自主权的完全渲染的 3D 角色提供动力，并提供工具以便创作者给角色设定目标。 2. 目前成功的生成性 AI 工具之一是 Runwayml.com（https://runwayml.com/），它在一个单一的软件包中汇集了一系列广泛的创作者工具。但目前还没有专为视频游戏服务的类似一体化平台。 内容由 AI 大模型生成，请仔细甄别。
2024-11-04
大模型排名以及排名的评测标准维度是什么
以下是一些常见的大模型排名及评测标准维度： FlagEval（天秤）大模型评测体系及开放平台： 地址： 简介：旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用 AI 方法实现对主观评测的辅助，大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval： 地址： 简介：构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代…），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb： 地址： 简介：中文通用大模型匿名对战评价基准，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 斯坦福发布的大模型排行榜 AlpacaEval： 项目链接：https://github.com/tatsulab/alpaca_eval 排行榜链接：https://tatsulab.github.io/alpaca_eval/ 该研究团队选择了目前在开源社区很火的开源模型，还有 GPT4、PaLM 2 等众多「闭源」模型，甚至还开设了一个「准中文」排行榜。 AlpacaEval 分为以 GPT4 和 Claude 为元标注器的两个子榜单。 在斯坦福的这个 GPT4 评估榜单中： GPT4 稳居第一，胜率超过了 95%；胜率都在 80%以上的 Claude 和 ChatGPT 分别排名第二和第三，其中 Claude 以不到 3%的优势超越 ChatGPT。 值得关注的是，获得第四名的是一位排位赛新人——微软华人团队发布的 WizardLM。在所有开源模型中，WizardLM 以仅 130 亿的参数版本排名第一，击败了 650 亿参数量的 Guanaco。 而在开源模型中的佼佼者 Vicuna 发挥依然稳定，凭借着超过 70%的胜率排在第六，胜率紧追 Guanaco 65B。 最近大火的 Falcon Instruct 40B 表现不佳，仅位居 12 名，略高于 Alpaca Farm 7B。 AlpacaEval 的技术细节： 人类一致性：标注者与交叉标注集中人类多数票之间的一致性。 价格：每 1000 个标注的平均价格。 时间：计算 1000 个标注所需的平均时间。相对于人工标注，全自动化的 AlpacaEval 仅需花费约 1/22 的经济成本和 1/25 的时间成本。 AlpacaEval 评估模型的方式： alpaca_eval：直接根据目标模型输出的响应来评估模型。 alpaca_eval evaluate_from_model：根据 HuggingFace 已注册模型或这 API 提供商来端到端评测模型。 评测过程分为以下 3 步： 1. 选择一个评估集，并计算指定为 model_outputs 的输出。默认情况下，使用来自 AlpacaEval 的 805 个示例。 2. 计算 golden 输出 reference_outputs。默认情况下，在 AlpacaEval 上使用 textdavinci003 的输出。 3. 通过 annotators_config 选择指定的自动标注器，它将根据 model_outputs 和 reference_outputs 计算胜率。这里建议使用 alpaca_eval_gpt4 或 claude。根据不同的标注器，使用者还需要在环境配置中设定 API_KEY。
2024-11-12
从0到1学习大模型知识
以下是从 0 到 1 学习大模型知识的相关内容： 什么是大模型： 通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要大量数据，几千亿序列（Token）的输入基本是标配。 3. 找老师：用合适算法让大模型更好理解 Token 之间的关系。 4. 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，正式干活，比如进行翻译、问答等，在大模型里称之为推导（infer）。在 LLM 中，Token 被视为模型处理和生成的文本单位，会对输入进行数字化形成词汇表。 大模型如何运作： 打个比方，“我今天吃了狮子头和蔬菜”这句话，在 transformer 中，会由 attention 层对其加入更多信息补充，如“狮子头是一道菜”“今天是星期六”等，这些补充信息会作为输入给到下一个 attention 层，最终哪些信息补充、保留、传递由模型自主学习。层与层之间就像人阅读文章时的连贯性注意力过程，大模型以词向量和 transformer 模型学习海量知识，把知识作为向量空间中的关系网存储，接受输入时通过向量空间中的匹配进行输出。这个过程像人脑阅读学习，记忆的不是逐字逐句，而是按相关性、重要程度结合历史经验，比如看到红色会觉得代表温暖、强烈。 大模型的整体架构： 从整体分层角度，大模型架构可分为以下几层： 1. 基础层：为大模型提供硬件支撑、数据支持，如 A100、数据服务器等。 2. 数据层：分为静态的知识库和动态的三方数据集，不是用于基层模型训练的数据基集，而是企业根据自身特性维护的垂域数据。 3. 模型层：包括 LLm（largelanguagemodel，如 GPT，一般使用 transformer 算法实现）或多模态模型（如文生图、图生图等，训练数据与 llm 不同，用图文或声音等多模态数据集）。 4. 平台层：如大模型的评测体系或 langchain 平台等，提供模型与应用间的组成部分。 5. 表现层：即应用层，是用户实际看到的地方。
2024-11-12
在comyui中，使用flux1-dev模型24g显存够吗
在 ComfyUI 中使用 Flux1dev 模型，24G 显存是可以的，但建议内存尽量高于 32G 以避免意外情况的发生。如果您的显卡是 24G 或更高，右键 24G 那个 train_flux_24GLora 的文件。修改脚本路径和参数时，要注意底模路径、VAE 路径、数据集路径，还有下面的 clip 路径和 T5xxl 路径的正确填写。ae.safetensors 和 flux1dev.safetensors 的下载地址为：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。flux 相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608b ，百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 。如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。最后下载 dev 的工作流： ，或者使用官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，打开 ComfyUI 把工作流或图片拖拽到其中即可。
2024-11-12
在comyui中，使用flux1-dev模型需要多少显存
在 ComfyUI 中使用 flux1dev 模型所需的显存情况如下： 相关模型的下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 对于 GPU 性能不足、显存不够的情况，底模可以使用 fp8 的量化版模型，下载地址为：https://huggingface.co/Kijai/fluxfp8/tree/main 。 低显存方案（8G 以下）：flux1devbnbnf4.safetensors ，放入 ComfyUI\\models\\checkpoints 文件夹内，下载链接为 https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 。 此外，还提供了以下相关资源链接： BitsandBytes Guidelines and Flux ：https://github.com/lllyasviel/stablediffusionwebuiforge/discussions/981 ComfyUI_bitsandbytes_NF4 节点：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4
2024-11-12
怎么训练自己的小说大纲模型
训练自己的小说大纲模型可以参考以下步骤： 步骤一：创建数据集 1. 进入厚德云模型训练数据集，网址为：https://portal.houdeyun.cn/sd/dataset 。 2. 在数据集一栏中，点击右上角创建数据集。 3. 输入数据集名称。 4. 可以上传包含图片+标签的 zip 文件，也可以只有图片没有打标文件（之后可在 c 站使用自动打标功能）。 5. 也可以一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 6. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 7. 上传 zip 以后等待一段时间。 8. 确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，可预览到数据集的图片以及对应的标签。 步骤二：Lora 训练 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 5. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 6. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 7. 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三：Lora 生图 1. 点击预览模型中间的生图会自动跳转到这个页面。 2. 模型上的数字代表模型强度，可以调节大小，正常默认为 0.8，建议在 0.6 1.0 之间调节。 3. 也可以自己添加 lora 文件，点击后会显示训练过的所有 lora 的所有轮次。 4. VAE 不需要替换。 5. 正向提示词输入写的提示词，可以选择基于这个提示词一次性生成几张图。 6. 选择生成图片的尺寸，横板、竖版、正方形。 7. 采样器和调度器新手小白可以默认不换。 8. 迭代步数可以按照需求在 20 30 之间调整。 9. CFG 可以按照需求在 3.5 7.5 之间调整。 10. 随机种子 1 代表随机生成图。 11. 所有设置都好了以后，点击开始生态，生成的图会显示在右侧。 12. 如果有哪次生成结果觉得很不错，想要微调或者高分辨率修复，可以点开那张图，往下滑，划到随机种子，复制下来，粘贴到随机种子这里，这样下次生成的图就会和这次的结果近似。 13. 如果确认了一张很合适的种子和参数，想要高清放大，则点开高清修复，可以选择想放大的倍数。新手小白可以就默认这个算法，迭代步数也是建议在 20 30 之间，重回幅度根据需求调整，正常来说在 0.3 0.7 之间调整。 今日作业 按照比赛要求，收集六个主题中一个主题的素材并且训练出 lora 模型后提交 lora 模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd 。 另外，直接在 Comfy UI 中训练 LoRA 模型的步骤如下： 1. 确保后面有一个空格。然后将 requirements_win.txt 文件拖到命令提示符中（如果在 Windows 上；否则，选择另一个文件 requirements.txt）。拖动文件将在命令提示符中复制其路径。 2. 按 Enter 键，这将安装所有所需的依赖项，使其与 ComfyUI 兼容。请注意，如果为 Comfy 使用了虚拟环境，必须首先激活它。 3. 教程： 图像必须放在一个以命名的文件夹中。那个数字很重要：LoRA 脚本使用它来创建一些步骤（称为优化步骤…但别问我是什么^^’）。它应该很小，比如 5。然后，下划线是必须的。 对于 data_path，必须写入包含数据库文件夹的文件夹路径。例如：C:\\database\\5_myimages ，必须写 C:\\database 。 对于参数，在第一行，可以从 checkpoint 文件夹中选择任何模型。据说必须选择一个基本模型进行 LoRA 训练。但也可以尝试使用微调。
2024-11-12
怎么训练自己的模型
训练自己的模型可以参考以下内容： 基于百川大模型： 选择 Baichuan27BChat 模型作为底模，配置模型本地路径和提示模板。 在 Train 页面里，选择 sft 训练方式，加载定义好的数据集（如 wechat 和 self_cognition）。 注意学习率和训练轮次的设置，要根据数据集大小和收敛情况来调整。 使用 FlashAttention2 可减少显存需求，加速训练速度。 显存小的情况下，可以减少 batch size 并开启量化训练，内置的 QLora 训练方式好用。 需要用到 xformers 的依赖。 显存占用约 20G 左右，训练时间根据聊天记录规模大小而定，少则几小时，多则几天。 训练自己的 AI 绘画模型（Stable Diffusion）： 样本采样器（sample_sampler）：可选择，默认是“ddim”。 保存模型格式（save_model_as）：可选择，SD WebUI 兼容"ckpt"和"safetensors"格式模型。 训练流程主要包括： 训练集制作：数据质量评估、标签梳理、数据清洗、标注、标签清洗、增强等。 训练文件配置：预训练模型选择、训练环境配置、训练步数及其他超参数设置等。 模型训练：运行训练脚本，使用 TensorBoard 监控。 模型测试：用于效果评估与消融实验。 训练资源： Rocky 整理优化过的 SD 完整训练资源 SDTrain 项目，可通过关注公众号 WeThinkIn，后台回复“SDTrain”获取。
2024-11-12
ai生成图片
以下是关于如何判断一张图片是否为 AI 生成的相关内容： 首先，要培养鉴别 AI 生成图片的技能，需要训练自己的大脑模型。对于不善于此的朋友，可以借助一些网站，如 ILLUMINARTY（https://app.illuminarty.ai/），通过对大量图片数据的抓取和分析来给出画作属性的判断可能性。但在测试中可能存在问题，比如结构严谨的真实摄影作品可能会被误判为 AI 作图，这是因为鉴定 AI 自身的逻辑算法不能像人类一样综合考虑各种不符合逻辑的表现。 此外，还可以通过画面风格、物品 bug 等细节来辨别。就在我们总结这些方法的同时，AI 也在飞速修正作图 bug，所以这些方法可能随时失效。 我们曾在小红书、B 站等自媒体平台上以“ AIGC 鉴别”为话题发布图文，让大家判别真迹与 AI 仿品。在这个过程中发现，大家对判断哪幅图是 AI 生成的往往有一种直觉感受，但进一步询问如何看出时，多半难以迅速给出一套章程来描述或解释。所以我们系统地总结了“AIGC 鉴别”经验帖，帮助大家学会如何一眼盯真，两眼打假。
2024-11-12
好用的图片无损高清放大
以下是关于图片无损高清放大的相关内容： 图像修复放大的流程分为三部分： 1. 图像输入：添加 Load Image 节点加载图像，不建议上传大分辨率图片，因其处理时间长。 2. 图像高清修复：使用 Iceclear/StableSR 等模型进行高清修复并 2 倍放大，提示词应包含想要达到的目的内容，如正向：（masterpiece），（best quality），（realistic），（very clear），反向：3d，cartoon，anime，sketches，（worst quality），（low quality）等。全程采取两次高清修复，第一次修复原始图像分辨率并放大。 3. 图像高清放大：针对第一次放大修复后的图像进行二次修复，用 realisticVision 底膜，使用提示词反推 node 对图像进行画面提示词提取，搭配 tile ControlNet 提升画面细节感，用合适的高清放大模型进行二次放大。 【SD】超清无损放大器 StableSR： 作者为白马少年，发布于 2023 年 6 月 10 日 20:01，原文网址：https://mp.weixin.qq.com/s/J0HIF2U1siAen6FWNA67A 。 之前讲过在 Stable Diffusion 中绘制高清大图的方式，主要用到“脚本”和“后期处理”，其中脚本以“Ultimate SD upscale”为主，会改变原图细节；“后期处理”是 Stable Diffusion 自带的扩图功能，适用于所有图片，可按原图内容扩图，但无法还原原图不清晰的地方。 今天讲的 StableSR 可算作“后期处理”的上位替代品，能在尽可能保留原图的情况下更精致地还原原图。安装方式：在扩展面板中搜索 StableSR 直接安装，或将下载好的插件放在“……\\sdwebuiakiv4\\extensions”文件夹下，安装完成后重启 webUI 即可在脚本中找到。 修复需使用 StabilityAI 官方的 Stable Diffusion V2.1 512 EMA 模型，放入 stablediffusionwebui/models/StableDiffusion/文件夹；StableSR 模块（约 400M 大小）放入 stablediffusionwebui/extensions/sdwebuistablesr/models/文件夹；VQVAE（约 750MB 大小）放在 stablediffusionwebui/models/VAE 中。 测试：用一张网上找的分辨率为 512x768 的神仙姐姐照片，“Ultimate SD upscale”脚本放大哪怕重绘幅度只开到 0.1，人物细节有变化但磨皮严重，重绘幅度开到 0.4 则变化很大；“后期处理”放大 3 倍，眼神变锐利但头发仍模糊；StableSR 放大时，先调整大模型和 VAE，打开脚本下拉选择“StableSR”，模型选择对应模型，放大倍数为 3，勾选“pure noise”。
2024-11-12
幻海映月字体设计文字生成图片
以下是关于幻海映月字体设计文字生成图片的相关内容： Ideogram 2.0 工具教程： 1. 生成图像设置：将魔法提示设置为“关闭”，使用模型 v2.0。 2. 字体版权问题：Ideogram 的 AI 在生成图像时并非使用真实字体，而是通过学习大量文字图像及其外观和风格来生成类似特定风格或字体的文字。 3. 字体生成错误处理： 多次重新生成提示，看是否得到想要的文本。 使用编辑器修改文本、添加或删除部分，然后重新混合图像。 将较长、较复杂的单词更改为较短的同义词。 上传包含所需文本的图像，作为重新混合创建图像的起点和合成源。 4. 版本选择：使用 0.2 或 1.0 版本可能会更稳定。
2024-11-11
有什么特别好的AI识别图片的大模型API
以下是一些关于 AI 识别图片的大模型 API 相关的信息： 学习笔记《【这就是 ChatGPT】了解原理让大语言模型 AI 成为你的打工人》中提到，对于识别印刷体图片，会先将图片变成黑白、调整大小为固定尺寸，然后与数据库中的内容进行对比得出结论。但这种基于规则的方法存在多种局限，而神经网络专门处理未知规则的情况，在图片识别中具有优势。 搭建 OneAPI 可以汇聚整合多种大模型接口，方便后续更换使用各种大模型。 0 基础手搓的“AI 拍立得”概念旨在简化操作流程，提升效率。用户可以选择拍摄场景类型并立即拍照，AI 会自动识别和分析照片中的内容信息，依据预设场景规则迅速生成符合情境的反馈。其实现场景包括图片转成文本和图片转绘图片等。例如，图片转成文本时，大模型会根据选择的场景生成与内容相关的文字描述或解说文本。
2024-11-11
我希望用即梦来生成一张图片，我想要实现的效果是：空中有悬浮的大理石加金子材质的悬浮台。请协助我生成提示词
以下是为您生成的使用即梦生成空中悬浮的大理石加金子材质悬浮台图片的提示词相关步骤： 1. 工具选择：即梦、可灵、Runway、Suno、剪映。 即梦：是最简单易用的图片重绘工具，云端访问且无需付费。 可灵：具有极强的运动笔刷控制力。 Runway：能很好地实现泼墨和画面上色。 Suno：可尝试新的使用视频制作歌曲的效果。 2. 即梦使用步骤： 使用即梦的图片生成功能，上传同一张图片 2 次，一次选择边缘轮廓，一次选择人物姿势（或者单独使用边缘轮廓也可以）。 在此场景下，不要添加景深，否则会出现“文物感”效果，而非所需的写实风。 可稍微提升精细度，由于原图是竖版，选择竖版切割，所得图片更适合用作首尾帧。 3. Runway 提示词：Static shot:colorful paint splashed onto canvas,transforming into a vibrant,lifelike display 4. 可灵提示词：一个帅气地老头从鹿背上跳下来，释放法术，漂浮在空中，非常自信，非常帅气。鹿向左走出了画面（鹿没有走出画面，但漂浮效果不错，决定不再抽卡，保留这个版本）。 希望这些信息对您有所帮助。
2024-11-10
用AI怎么制作美女图片
以下是关于用 AI 制作美女图片以及判断图片是否为 AI 生成的相关内容： 用 AI 制作美女图片： 使用 AI 工具绘制好看的人像需要弥补相关知识。例如，麦橘的工作流包括使用聚片等工具进行微调，出图时要进行选择，且要有后期修图的思路。关键是要在脑海中形成对人体结构和妆容效果的概念，追求极致效果需要在细节处进行细化。此外，麦乐园举办了 AI 人像设计比赛，旨在发掘大家在 AI 人像方面的技能，并为优秀者提供机会。 判断一张图片是否 AI 生成： 1. 依赖艺术知识储备：对于名画，如果熟悉其风格、画质与笔触的表现力，能调用基础知识储备做出判断。 2. 细节决定成败：单纯判断一幅作品是否出自 AI 算法时，往往是“细节决定成败”。比如，在某些 AI 生成的图片中，人物主体的肢体可能存在异常，或者在特定风格的图片中，如穆夏的作品，真迹才能表现出严谨连续的背景花纹和顺次排列的底纹文字信息。 3. 参考著名画家的风格：列宾、穆夏等艺术史上著名画家的作品风格鲜明突出，很适合用作 AI 生图的风格参考。例如，基于列宾的真迹“伏尔加河上的纤夫”，让 AI 生成了相关仿画；挑选穆夏的代表作生成了多幅仿画。
2024-11-10