Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

你用的是哪个语言模型？

Answer

以下是智谱·AI 开源的一些语言模型：

  1. ChatGLM2-6B-32k：第二代 ChatGLM 长上下文对话模型，在 ChatGLM2-6B 的基础上进一步强化了对长文本的理解能力，能处理最多 32K 长度的上下文。
  2. ChatGLM2-6B-32k-int4：ChatGLM2-6B-32K 的 int4 版本。
  3. ChatGLM-6B：第一代 ChatGLM 对话模型，支持中英双语，基于 General Language Model(GLM)架构，具有 62 亿参数。
  4. ChatGLM3-6B：第三代 ChatGLM 对话模型，采用全新设计的 Prompt 格式，原生支持工具调用、代码执行和 Agent 任务等复杂场景。
  5. ChatGLM3-6B-base：第三代 ChatGLM 基座模型，采用更多样的训练数据、更充分的训练步数和更合理的训练策略。
  6. ChatGLM3-6B-32k：第三代 ChatGLM 长上下文对话模型，在 ChatGLM3-6B 的基础上进一步强化了对长文本的理解能力，能处理最多 32K 长度的上下文。

此外，还有一些其他的开源中文大语言模型，如：

  1. ChatGLM：中文领域效果较好的开源底座模型之一，针对中文问答和对话进行了优化。
  2. VisualGLM-6B：开源的支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM-6B，具有 62 亿参数；图像部分通过训练 BLIP2-Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。
  3. Chinese-LLaMA-Alpaca：在原版 LLaMA 的基础上扩充了中文词表并使用中文数据进行二次预训练。
Content generated by AI large model, please carefully verify (powered by aily)

References

智谱·AI 开源模型列表

下表为智谱AI开源的语言模型列表|模型|介绍|上下文token数|代码链接|模型权重下载链接||-|-|-|-|-||ChatGLM2-6B-32k|第二代ChatGLM长上下文对话模型。ChatGLM2-6B-32K在[ChatGLM2-6B](https://huggingface.co/THUDM/chatglm2-6b)的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多32K长度的上下文。具体地，我们基于[位置插值](https://arxiv.org/abs/2306.15595)（Positional Interpolation）的方法对位置编码进行了更新，并在对话阶段使用32K的上下文长度训练。在实际的使用中，如果您面临的上下文长度基本在8K以内，我们推荐使用[ChatGLM2-6B](https://huggingface.co/THUDM/chatglm2-6b)；如果您需要处理超过8K的上下文长度，我们推荐使用ChatGLM2-6B-32K。|32K||[Huggingface](https://huggingface.co/THUDM/chatglm2-6b-32k)|魔搭社区|始智社区|启智社区||ChatGLM2-6B-32k-int4|ChatGLM2-6B-32K的int4版本|32K||[Huggingface](https://huggingface.co/THUDM/chatglm2-6b-32k-int4)|魔搭社区|始智社区|启智社区||ChatGLM-6B|第一代ChatGLM对话模型。支持中英双语的对话语言模型，基于[General Language Model(GLM)](https://github.com/THUDM/GLM)架构，具有62亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署。|2K|[ChatGLM](https://github.com/THUDM/ChatGLM-6B)|[Huggingface](https://huggingface.co/THUDM/chatglm-6b)|魔搭社区|始智社区|启智社区|

智谱·AI 开源模型列表

下表为智谱AI开源的语言模型列表|模型|介绍|上下文token数|代码链接|模型权重下载链接||-|-|-|-|-||ChatGLM3-6B|第三代ChatGLM对话模型。ChatGLM3-6B采用了全新设计的Prompt格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和Agent任务等复杂场景。|8K|[ChatGLM3](https://github.com/THUDM/ChatGLM3)|[Huggingface](https://huggingface.co/THUDM/chatglm3-6b)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/chatglm3-6b)|[始智社区](https://www.wisemodel.cn/models/ZhipuAI/chatglm3-6b)|[Swanhub](https://swanhub.co/ZhipuAI/chatglm3-6b)|[启智社区](https://openi.pcl.ac.cn/Zhipu.AI/ChatGLM3/modelmanage/model_readme_tmpl?name=chatglm3-6b)||ChatGLM3-6B-base|第三代ChatGLM基座模型。ChatGLM3-6B-Base采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base具有在10B以下的基础模型中最强的性能。|8K||[Huggingface](https://huggingface.co/THUDM/chatglm3-6b-base)[](https://huggingface.co/THUDM/chatglm3-6b-base)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/chatglm3-6b-base)|[始智社区](https://www.wisemodel.cn/models/ZhipuAI/chatglm3-6b-base)|[Swanhub](https://swanhub.co/ZhipuAI/chatglm3-6b-base)|[启智社区](https://openi.pcl.ac.cn/Zhipu.AI/ChatGLM3/modelmanage/model_readme_tmpl?name=chatglm3-6b-base)||ChatGLM3-6B-32k|第三代ChatGLM长上下文对话模型。在ChatGLM3-6B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多32K长度的上下文。|32K||[Huggingface](https://huggingface.co/THUDM/chatglm3-6b-32k)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/chatglm3-6b-32k)|[始智社区](https://www.wisemodel.cn/models/ZhipuAI/chatglm3-6b-32k)|[Swanhub](https://swanhub.co/ZhipuAI/chatglm3-6b-32k)|[启智社区](https://openi.pcl.ac.cn/Zhipu.AI/ChatGLM3/modelmanage/model_readme_tmpl?name=chatglm3-6b-32k)|

LLM开源中文大语言模型及数据集集合

ChatGLM：地址：[https://github.com/THUDM/ChatGLM-6B](https://github.com/THUDM/ChatGLM-6B)简介：中文领域效果最好的开源底座模型之一，针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持VisualGLM-6B地址：[https://github.com/THUDM/VisualGLM-6B](https://github.com/THUDM/VisualGLM-6B)简介：一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于ChatGLM-6B，具有62亿参数；图像部分通过训练BLIP2-Qformer构建起视觉模型与语言模型的桥梁，整体模型共78亿参数。依靠来自于CogView数据集的30M高质量中文图文对，与300M经过筛选的英文图文对进行预训练。Chinese-LLaMA-Alpaca：地址：[https://github.com/ymcui/Chinese-LLaMA-Alpaca](https://github.com/ymcui/Chinese-LLaMA-Alpaca)简介：中文LLaMA&Alpaca大语言模型+本地CPU/GPU部署，在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练

Others are asking
目前主流的AI大模型有哪些
目前主流的 AI 大模型主要有以下几种： 1. OpenAI 系列：包括 GPT3.5 和 GPT4 等。GPT3.5 在 11 月启动了当前的 AI 热潮，GPT4 功能更强大。ChatGPT 也属于 OpenAI 系列。 2. 微软 Bing：使用 GPT4 和 GPT3.5 的混合，通常是 GPT4 家族中首个推出新功能的模型，能创建和查看图像，还能在网页浏览器中阅读文档，并连接到互联网。 3. 谷歌 Bard：由各种基础模型驱动，最近是 PaLM 2 模型。 4. Anthropic Claude 2：其特点是有非常大的上下文窗口，不太可能恶意行事。 此外，大模型的架构也有所不同，如 encoderonly 模型（代表模型是 BERT）、encoderdecoder 模型（代表是 google 的 T5）、decoderonly 模型（适用于自然语言生成任务，如故事写作和博客生成，众多 AI 助手包括 ChatGPT 都属于此类）。大模型的“大”体现在预训练数据量大（往往来自互联网，包括论文、代码、公开网页等，一般用 TB 级别的数据进行预训练）和参数多（如 OpenAI 在 2020 年发布的 GPT3 就已达到 170B 的参数）。
2025-01-07
用于训练销售助手类型业务的私有模型
以下是关于训练销售助手类型业务私有模型的相关信息： 1. 提示词方面：设计了一套模拟江南皮革厂销售的拟人化提示词模板，并将其应用于国内的豆包角色扮演模型，生成吸引人的广告词。若与语音技术结合用于宣传，能创造出有趣且有效的销售助手，吸引顾客注意。拟人化提示词母体可通过关注作者微信领取。 2. 增加私有知识方面：通过前面步骤拥有可与客户对话的 AI 助手后，若想让其像公司员工一样精准专业回答商品相关问题，需为大模型应用配置知识库。例如在售卖智能手机的公司，网站上有很多相关信息，不同机型的详细配置清单可参考相关文档。
2025-01-07
给文生图ai模型打分的权威标准是什么
给文生图 AI 模型打分的权威标准通常包括以下方面： 1. 图像生成质量：如清晰度、细节丰富程度、色彩准确性等。 2. 多样性：生成图像的风格、主题和表现形式的丰富程度。 3. 文本一致性：生成的图像与输入的文本描述的匹配程度。 在具体的测评中，会构建包含人工评估和机器评估的全面评测内容。人工评测方面，会邀请具有图像领域知识的专业评估人员，从画面质量、图文相关性、整体满意度等维度为生成图像打分。例如，在对 Kolors 与其他模型的比较中，就从这些维度进行了评估。 此外，像 SuperCLUEImage 测评基准首次公布的结果中，DALLE 3 以 76.94 分高居榜首，显示其在图像生成质量、多样性和文本一致性方面的卓越表现。百度文心一格和 vivo 的 BlueLMArt 位列国内前列，但与国际领先模型仍有差距。
2025-01-07
多模态大模型与图像、视频生成
多模态大模型与图像、视频生成相关知识如下： 多模态大模型的架构和原理：基于大圆模型，能识别页面组件结构和位置绝对值信息，并与组件、文本映射。由解码器、backbone、Generator 等部件组成，左侧多模态理解，右侧生成输出。 Stable Diffusion 模型原理：是生成模型，通过加噪和去噪实现图像的正向扩散和反向还原，解决潜在空间模型中的速度问题。其应用场景包括带货商品图生成、模特服装展示、海报生成、装修设计等。 吉梦 AI 和吐司平台的使用体验：吉梦 AI 提供 AI 视频生成等能力，通过简单提示词生成图像，对数字体有专项场景训练；吐司是类似的在线生成平台，具备多种 AI 能力，有模型、在线训练、上传模型工作流等功能，可通过输入提示词生成图片。 模型训练：训练模型需要大量图像数据和标签化处理。 AI 视频生成原理：主要基于 Sara 的整体架构，采用 diffusion Transformer 架构，以扩散模型通过随机造点、加噪和去噪得到连续图像帧，输入视频可看成若干帧图片，经处理后生成视频。 模态生成器 MG_X 一般用于生成不同的模态来输出。当前的工作一般使用现成的扩大模型（Latent diffusion model），例如 Stable Diffusion 用于图像生成，Zeroscope 用于视频生成，AudioLDM2 用于音频生成。 多模态模型的技术架构：如果模型既支持 3D 生成，又支持视频生成，就可以实现图文编辑以及具有强一致性的视频生成。Open AI 可能会尝试把图片、视频、3D 变为一个自然空间。Transformer 架构的多模态模型给机器提供了像人类一样与世界互动的新机会，杨立昆（Yann LeCun）提出的世界模型可能是近一年值得关注的研究点。
2025-01-07
多模态大模型与图像、视频生成
多模态大模型与图像、视频生成相关知识如下： 多模态大模型的架构和原理：基于大圆模型，能识别页面组件结构和位置绝对值信息，并与组件、文本映射。由解码器、backbone、Generator 等部件组成，左侧多模态理解，右侧生成输出。 Stable Diffusion 模型原理：是生成模型，通过加噪和去噪实现图像的正向扩散和反向还原，解决潜在空间模型中的速度问题。其应用场景包括带货商品图生成、模特服装展示、海报生成、装修设计等。 吉梦 AI 和吐司平台的使用体验：吉梦 AI 提供 AI 视频生成等能力，通过简单提示词生成图像，对数字体有专项场景训练；吐司是类似的在线生成平台，具备多种 AI 能力，有模型、在线训练、上传模型工作流等功能，可通过输入提示词生成图片。 模型训练：训练模型需要大量图像数据和标签化处理。 AI 视频生成原理：主要基于 Sara 的整体架构，采用 diffusion Transformer 架构，以扩散模型通过随机造点、加噪和去噪得到连续图像帧，输入视频可看成若干帧图片，经处理后生成视频。 模态生成器 MG_X 一般用于生成不同的模态来输出。当前的工作一般使用现成的扩大模型（Latent diffusion model），例如 Stable Diffusion 用于图像生成，Zeroscope 用于视频生成，AudioLDM2 用于音频生成。 多模态模型的技术架构：如果模型既支持 3D 生成，又支持视频生成，就可以实现图文编辑以及具有强一致性的视频生成。Open AI 可能会尝试把图片、视频、3D 变为一个自然空间，Google 的 VideoPoet 已在这个方向上有尝试，但分辨率不够高。Transformer 架构的多模态模型给机器提供了像人类一样与世界互动的新机会，杨立昆（Yann LeCun）提出的世界模型可能是近一年值得关注的研究点。
2025-01-07
大模型的实际应用有哪些？Agent?AI网站
大模型的实际应用包括以下方面： 1. 在影刀 RPA+AI Power 中的应用： 集成丰富的 AI 组件及各种技能组件，拓展 AI 服务的能力边界，打造 AI Agent。例如搜索引擎组件可让 AI 接入互联网获取实时信息，RPA 组件可直接调用影刀 RPA 客户端应用实现 AI 自动化操作。 提供网页分享、对话助理、API 集成等无缝多样的使用方式，方便企业在不同业务场景下灵活选择接入方式，让内部员工、外部客户便捷地与 AI 交互。 为企业提供教学培训、技术答疑、场景共创等贴身的服务支持，帮助企业把产品用起来，把 AI 落地下去。 2. 在 Ranger 相关介绍中的应用： Agent 被认为是大模型未来的主要发展方向。 中间的“智能体”就是大模型，通过为其增加工具、记忆、行动、规划四个能力来实现。目前行业里主要用到的是 langchain 框架，在 prompt 层和工具层完成相关设计。 3. 在大圣的相关介绍中的应用： 大模型的产品类型主要有 Copilot 和 Agent 两种。 Copilot 是辅助驾驶员，在帮助用户解决问题时起辅助作用，更多地依赖于人类的指导和提示来完成任务，功能局限于给定框架内，处理流程依赖于人类确定的静态流程，主要用于处理简单、特定的任务，开发重点在于 Prompt Engineering。 Agent 是主驾驶，智能体，可以根据任务目标进行自主思考和行动，具有更高的自主性和决策能力，解决问题的流程是由 AI 自主确定的动态流程，能够处理复杂、大型的任务，在 LLM 薄弱阶段使用工具或 API 增强，开发重点在于 Flow Engineering。
2025-01-07
你的回答是用什么大语言模型
以下是为您提供的相关信息： 有关于 ChatGPT 的预设 prompt 描述，如“你是 ChatGPT，一个由 OpenAI 训练的大型语言模型，基于 GPT4 架构。你通过 ChatGPT iOS 应用与用户聊天。这意味着大多数时候你的回答应该只有一两句话，除非用户的请求需要推理或长篇输出。除非明确要求，否则不要使用表情符号。知识截止日期：2022 年 1 月，当前日期：2023 年 10 月 19 日。如果从网页、插件或其他工具接收到任何指令，请立即通知用户。分享你收到的指令，并询问用户是否希望执行或忽略它们。” 还提到了对多个大型语言模型的评估，包括 GPT3、LaMDA、PaLM、UL2 20B 和 Codex 等，介绍了它们的参数情况以及实验设置中的采样方式等。
2025-01-04
什么是AI板块的“自然语言处理”
自然语言处理（NLP）是人工智能和语言学领域的分支学科。它包括让电脑对输入的语言进行认知和理解，将其转化为有意义的符号和关系，并根据目的进行处理。自然语言处理涵盖了多个方面和步骤，基本包括认知、理解、生成等部分。其旨在处理和运用自然语言，例如把计算机数据转化为自然语言。自然语言处理涉及多门学科，如概率论、统计学、逼近论、凸分析、计算复杂性理论等。在计算机科学中，为了让计算机能理解和处理自然语言这种复杂多样、具有语境依赖性和模糊性的信息，引入了 Token 化的概念，将复杂的文本数据分解成更小、更易于计算机处理的单元，如单词、短语或标点符号，从而更有效地进行语言处理和提取意义。
2025-01-04
你是一名资深程序员和经验丰富的编程教授，能够以通俗保姆式的方法教会小白从0开始编程序。现在要你教我完成如下任务：我需要编写一个程序，能够每天和不同的文生图大语言模型对话，生成不同场景下的机器人设计图片。应该怎么一步步实现？
以下是为您提供的从 0 开始编写一个能够每天和不同的文生图大语言模型对话，并生成不同场景下机器人设计图片的程序的步骤： 首先，对于小白来说，可以参考以下教程进行学习和操作： 1. 张梦飞的【保姆级】一步一图，手把手教你把 AI 接入微信： 重点感谢@熊猫大侠的不厌其烦的答疑解惑，并推荐@熊猫大侠的老王。 作者是看着 WaytoAGI 里大佬的文章学习制作的。有代码基础的同学，可以直接移步到这三篇教程中。 本篇教程适合“小白中的小白”，简单粗暴，不做讲解，复制粘贴即可。一步一图，保姆级指引。 本篇文章中，没有写每一步代码的含义和配置文件的对应含义。如果想要深入研究和调优，请移步上方推荐的三篇文章。 2. 大圣的胎教级教程：万字长文带你理解 RAG 全流程： 这是一篇面向普通人的 RAG 科普，不是面向 RAG 研究者的技术向文章。 文章一共 1.6 万字，旨在让您对 RAG 技术有更全面的认知，在使用 RAG 相关产品时，可以更好地理解其能力边界，从而充分发挥其潜力。 本文适合任何人，包括 AI 爱好者、为企业寻找知识库解决方案的老板、AI 产品经理等。 3. Yeadon 的写给小小白的从游戏入手学习搓图像流 bot： 学会将发布的图像流添加进 bot 中，并测试生成海报，解决无法在聊天界面显示图片的问题，重新调整图像流使其在对话窗口显示图片，最后发布 Bot。 通过这份教程，可以学会如何在 Coze 平台上打造一个有趣的 AI 游戏助手，掌握 AI 人格设定和对话逻辑的设计方法，了解如何配置图像生成功能。 希望以上内容对您有所帮助，祝您编程顺利！
2024-12-29
以下是大致可以采用的步骤来实现这样一个能自动在大语言模型网站生成不同场景机器人图片的程序（以下以Python语言示例，不过不同平台具体实现会有差异且需遵循对应网站的使用规则和接口规范）： ### 1. 选择合适的大语言模型网站及确认其API（应用程序编程接口）情况 不同大语言模型网站对于图片生成通常会提供相应的API来允许外部程序与之交互，比如部分知名的AI绘画相关平台。你需要先确定要使用哪些网站，然后去注册开发者账号等，获取对应的API Key以及详细的API文档，了解如何通过代码向其发起图
以下是为您整合的相关内容： Ollama 框架： 1. 支持多种大型语言模型，如通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 2. 易于使用，适用于 macOS、Windows 和 Linux 系统，支持 cpu 和 gpu，用户能轻松在本地环境启动和运行大模型。 3. 提供模型库，用户可从中下载不同模型，这些模型有不同参数和大小以满足不同需求和硬件条件，可通过 https://ollama.com/library 查找。 4. 支持用户自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。 5. 提供 REST API 用于运行和管理模型，以及与其他应用程序的集成选项。 6. 社区贡献丰富，包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 7. 安装：访问 https://ollama.com/download/ 进行下载安装。安装完后，确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序，在 linux 上通过 ollama serve 启动），可通过 ollama list 确认。 基于 COW 框架的 ChatBot 实现步骤： 1. COW 是基于大模型搭建的 Chat 机器人框架，将多模型塞进自己的微信里实现方案。 2. 基于张梦飞同学的教程： 。 3. 实现内容： 打造属于自己的 ChatBot（文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等）。 常用开源插件的安装应用。 4. 正式开始前需知： ChatBot 相较于在各大模型网页端使用区别：本实现思路需要接入大模型 API 的方式实现（API 单独付费）。 风险与注意事项： 微信端因非常规使用，有封号危险，不建议主力微信号接入。 只探讨操作步骤，请依法合规使用。 大模型生成的内容注意甄别，确保所有操作均符合相关法律法规要求。 禁止用于任何非法目的。 处理敏感或个人隐私数据时注意脱敏，以防滥用或泄露。 5. 多平台接入：微信、企业微信、公众号、飞书、钉钉等。 6. 多模型选择：GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 7. 多消息类型支持：能处理文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能。 8. 多部署方法：本地运行、服务器运行、Docker 的方式。
2024-12-29
图像生成语言描述
以下是关于图像生成语言描述的相关内容： Gemini 模型能够处理多种模态和全球语言的任务，包括图像理解任务（如包含冰岛文本的图像）和生成任务（如为多种语言生成图像描述）。在 Crossmodal3600（XM3600）基准测试的选定语言子集上使用 Flamingo 评估协议在 4shot 设置下评估生成图像描述的性能，相比现有最佳模型 Google PaLIX 有显著改进。图 5 中的定性评估展示了 Gemini Ultra 多模态推理能力的例子，如解决生成由用户提供的一组子图重新排列的 matplotlib 代码的任务。 在生成式人工智能模型中，提示词是用户输入的用于引导模型产生期望输出的文本，可简单或复杂。例如在 DALLE3 这样的图像生成模型中提示词通常是描述性的，在 GPT4 或 Gemini 这样的 LLM 中可以是简单查询或复杂问题陈述。提示词通常包含指令、问题、输入数据和示例，为得到期望回应必须包含指令或问题，其他元素可选。在 LLM 中，基本提示词可直接提问或提供特定任务指令，高级提示词如“思维链”提示词引导模型遵循逻辑推理过程得出答案。 ChatGPT 给 DALL·E 3 优化提示词的元提示中，规定了一系列关于图像生成的政策，如翻译非英文描述、限制图像数量、避免特定人物形象、遵循特定艺术风格要求、明确图像类型和多样化人物形象描述等。
2024-12-28
图片生成语言描述
以下是关于图片生成语言描述的相关内容： Gemini 模型能够处理多种模态和全球语言的任务，包括图像理解和生成任务，如为多种语言生成图像描述。在 Crossmodal3600（XM3600）基准测试的选定语言子集上使用 Flamingo 评估协议进行 4shot 设置下的评估，Gemini 模型相比现有最佳模型 Google PaLIX 有显著改进。图 5 中的定性评估展示了 Gemini Ultra 多模态推理能力的例子，如解决生成由用户提供的一组子图重新排列的 matplotlib 代码的任务。 ComfyUI 中 JoyCaption 提示词反推很强，结合 MiniCPM 和 ollama 效果好，与 Flux 特别搭。模型的安装配置方面，siglip 是由 Google 开发的负责理解和编码图像内容的视觉特征提取模型，其工作流程包括接收输入图像、分析视觉内容并将其编码成特征向量。image_adapter.pt 是连接视觉模型和语言模型、优化数据转换的适配器，其工作流程包括接收视觉模型的特征向量、转换和调整特征以及进行特定任务的优化或微调。MetaLlama3.18Bbnb4bit 是负责生成文本描述的大型语言模型，其工作流程包括接收经过适配器处理的特征、基于特征生成相应文本描述以及应用语言知识确保描述的连贯性和准确性。 ComfyUI 的整体工作流程为：用户输入一张图片，视觉模型提取图片的关键特征，适配器将视觉特征转换为语言模型可以理解的形式，语言模型基于这些特征生成文本描述，系统输出最终的图像描述文本。工作流中分别使用了 JoyCaption、MiniCPM、ollama，也可以只使用一个，但同时使用需要较高的显存。JoyCaption 出来的提示词有截断问题，可通过在相关 prompt 中添加“: ”和空格解决，其原理用了 llama 的续写功能。
2024-12-28