企业微信个人账户接入大模型

以下是关于微信机器人的相关信息： 【入门级】教你用最简单的方式搭建微信机器人 测试和重新配置： 登录成功后，找另一个人私聊或者在群中@您，就可以看到机器人的正常回复。若未成功，可检查 config.json 文件中的配置或跳到“第四章，第 3 步”重启服务。 可为 AI 赋予不一样的提示词，返回“第三章，第 7 步”更改设置。 进行任何更改后，需“返回首页 右上角 点击重启，重启一下服务器”。熟悉 Linux 操作也可通过重启进程的方式来重启服务。 然后，在“文件”的【终端】里，输入“nohup python3 app.py & tail f nohup.out”重新扫码登录。 若想退出机器人，在手机微信上找到桌面版已登录的信息，点击退出桌面版即可。 帮助：若遇到问题，可先查询社区知识库，或加“通往 AGI 之路”群，社区小伙伴们会尽力帮助。也可加 Stuart 个人微信询问。 零基础模板化搭建 AI 微信聊天机器人 纯 GPT 大模型能力的微信聊天机器人搭建 配置腾讯云轻量应用服务器 配置部署 COW 组件 在复制的 dockercompose.yml 文件中修改配置串联微信号和已创建好的 AI 机器人，配置参考来源：https://docs.linkai.tech/cow/quickstart/config 。 配置参数中，名称的全大写描述对应编排模板，如 open_ai_api_key 对应 OPEN_AI_API_KEY 等。私聊或群交流时最好加上前缀触发机器人回复，如配置的，群组里对应配置参数是 GROUP_CHAT_PREFIX，机器人只会回复群里包含@bot 的消息。GROUP_NAME_WHITE_LIST 用来配置哪些群组的消息需要自动回复。 【保姆级】基于 Hook 机制的微信 AI 机器人，无需服务器，运行更稳定，风险更小 本教程基于 Hook 机制，与之前的 COW 机器人方式不同。 优势：Hook 有相对更高的稳定性和安全性，更简单，易上手。 劣势：目前插件相对较少，且仅支持 Windows 系统。 此项目在 Windows 系统上运行，无需服务器，对小白更友好。能结合 FastGPT 使用，且对群发功能进行了优化和二开，目前在内测中。 此机器人功能：基于知识库的 AI 回复、支持积分系统、支持自动拉人、检测广告、自动群发，还有安全新闻定时推送、Kfc 文案、星座查询、天气查询等有趣小功能。教程以 Windows10 系统为例。

以下是关于微信机器人的相关信息： 【入门级】教你用最简单的方式搭建微信机器人 测试和重新配置： 登录成功后，找另一个人私聊或者在群中@您，就可以看到机器人的正常回复。若未成功，可检查 config.json 文件中的配置或跳到“第四章，第 3 步”重启服务。 可为 AI 赋予不一样的提示词，返回“第三章，第 7 步”更改设置。 进行任何更改后，需“返回首页 右上角 点击重启，重启一下服务器”。熟悉 Linux 操作也可通过重启进程的方式来重启服务。 然后，在“文件”的【终端】里，输入“nohup python3 app.py & tail f nohup.out”重新扫码登录。 若想退出机器人，在手机微信上找到桌面版已登录的信息，点击退出桌面版即可。 帮助：若遇到问题，可先查询社区知识库，或加“通往 AGI 之路”群，社区小伙伴们会尽力帮助。也可加 Stuart 个人微信询问。 零基础模板化搭建 AI 微信聊天机器人 纯 GPT 大模型能力的微信聊天机器人搭建 配置腾讯云轻量应用服务器 配置部署 COW 组件 在复制的 dockercompose.yml 文件中修改配置串联微信号和已创建好的 AI 机器人，配置参考来源：https://docs.linkai.tech/cow/quickstart/config 。 配置参数中，名称的全大写描述对应编排模板，如 open_ai_api_key 对应 OPEN_AI_API_KEY 等。私聊或群交流时最好加上前缀触发机器人回复，如配置的，群组里对应配置参数是 GROUP_CHAT_PREFIX，机器人只会回复群里包含@bot 的消息。GROUP_NAME_WHITE_LIST 用来配置哪些群组的消息需要自动回复。 【保姆级】基于 Hook 机制的微信 AI 机器人，无需服务器，运行更稳定，风险更小 本教程基于 Hook 机制，与 COW 机器人方式不同。 优势：Hook 有相对更高的稳定性和安全性，更简单，易上手。 劣势：目前插件相对较少，且仅支持 Windows 系统。 此项目在 Windows 系统上运行，无需服务器，对小白更友好。能结合 FastGPT 使用，完善了群发功能，目前在内测中。 此机器人功能：基于知识库的 AI 回复、支持积分系统、支持自动拉人、检测广告、自动群发，还有安全新闻定时推送、Kfc 文案、星座查询、天气查询等有趣小功能。教程以 Windows10 系统为例。

以下是借鉴“决战拜年之巅”实现一个工作场合游戏的相关要点： 1. 开发背景：“决战拜年之巅”是参加 Globalgamejam 游戏比赛时，在 48 小时内开发的，主题源于“make me laugh”，产品负责人谐音想到江浙沪孝子排行榜的“孝”，结合春节想到做类似拜年的东西。 2. 火爆情况：在参赛群发布半成品后，在 QQ、微信迅速火爆，两天内有 200 万用户，最高峰同时在线 6 万人，服务器一度支持不了，凌晨才做好调整，后续有厂商赞助服务器，上线约一周。 3. 游戏特点：基于 GLM 大模型开发，又称过年模拟器，玩家在 10 个 AI 角色组成的家人群里，面对“七大姑八大姨”的连环拷问自由对话打出结局。 4. 借鉴要点： 明确创新主题和玩法，结合特定场景和需求。 注重用户体验，及时应对服务器等技术支持问题。 利用 AI 技术实现角色互动和自由对话。 需要注意的是，“决战拜年之巅”被认为可能是一个 chatbot 而非严格意义上的游戏。在设计工作场合的游戏时，要明确以下三个点：（具体要点未在提供的内容中明确）

要让大模型自动读取到微信上的聊天内容，可以参考以下几种方法： 1. 搭建，用于汇聚整合多种大模型接口，方便后续更换使用各种大模型，并可白嫖大模型接口。 2. 搭建，这是一个知识库问答系统，将知识文件放入，并接入上面的大模型作为分析知识库的大脑，最后回答问题。若不想接入微信，搭建完成即可使用其问答界面。 3. 搭建，其中的cow插件能进行文件总结、MJ绘画等。 此外，还有作者张梦飞的方法，即把自己微信中的聊天记录导出，用自己的聊天记录去微调一个模型，最终将这个微调后的模型接入微信中替您回复消息。 另外，在创作方面，鉴于聊天记录属于绝对的个人隐私，不适合接入第三方大模型提取信息，可本地化部署LLM。例如采用百川2的国产大模型开源，如Baichuan2作为底模，先用提示工程对聊天记录进行信息提取，并在此基础上使用自有数据进行模型微调。

要使用豆包读取微信里的内容，可参考以下步骤： 1. 抓取公众号内容： 先在平台搜索现成的插件，如 Coze 平台，但部分插件已荒废无法使用。 可考虑自己写爬虫抓取，或者寻找现成的服务通过 API 方式调用。例如“瓦斯阅读”可以抓取部分公众号内容，但存在公众号不全的问题。还可以尝试 GitHub 上的 WeWe RSS 工具，通过微信读书的方式订阅公众号。 2. 公众号内容总结： 主要依靠大模型的能力，如字节的豆包大模型可以胜任。涉及批量对抓取到的公众号内容进行总结，可使用“批处理”功能。 3. 定时推送到微信： 定时方面，Coze 平台的触发器可以实现。 推送到微信方面，Coze 平台没有这类插件，可寻找第三方 API 的方案，如“server 酱”，通过服务号的模板消息将自定义内容推送到微信。 另外，关于将 AI 接入微信，还可参考以下步骤： 1. 登录成功后，找另一个人私聊或者在群中@您，就可以看到机器人的正常回复。 2. 若想为 AI 赋予提示词，可返回“目录 4 里的第 17 步”进行更改。 3. 此后进行任何更改，都需要“返回首页 右上角 点击重启，重启一下服务器”。 4. 然后，重新在“文件”的【终端】里，直接输入“nohup python3 app.py & tail f nohup.out”重新扫码登录。 5. 关于添加插件，可参考。 6. 接入机器人的步骤： 回到宝塔，选择 Docker（若未安装则进行安装，安装完成后刷新页面确认安装成功）。 回到宝塔终端，粘贴代码并回车。 去文件列表，到根目录/data/cozediscordproxy 新建文件并命名为 dockercompose.yml，粘贴代码并替换相关 ID 和 token 后保存。 在文件位置的上方点击终端，粘贴相关代码。若启动失败，可能是 docker 拒绝代理访问问题，可先关掉 clash 再执行代码。 进入相关文件夹和文件进行替换和修改，最后在文件顶部的“终端”内粘贴执行。 使用微信扫码（建议使用小号）完成。

要让微信 bot 以语音条格式回复消息，您可以参考以下步骤： 1. 找到高级下开场白，点击展开，填写开场白文案、开场白预置问题。 2. 勾选用户问题建议：在 Bot 回复后，根据 Prompt 提供最多 3 条用户提问建议。 3. 添加语音选择：让 Bot 不仅会写，还会通过语音跟您交流。 4. 点击“发布”，选择发布平台，其中包括 Bot Store、豆包、飞书、微信客服、微信公众号（服务号）、微信公众号（订阅号）、掘金等。微信客服是重点部分，相比其他平台发布到微信客服稍微复杂一些。 另外，对于零基础模板化搭建 AI 微信聊天机器人，还需注意： 1. 配置腾讯云轻量应用服务器。 2. 登录微信绑定 COW 组件，建议使用闲置微信号，避免使用日常使用的微信号，以免造成不必要的麻烦。按照以下操作进行登录：找到刚刚部署成功的 COW 服务对应的容器，点击日志按钮进入日志界面，将日志输出的界面滚动到最下面的位置，会看到登录微信的二维码，用闲置微信号扫码登录。若扫描二维码出现问题，可退回到容器配置处重启容器服务，再重新扫码登录。若想修改 COW 组件的配置，进入对应的编排模板的配置界面，点击模板编辑，修改对应的配置参数，保存后回到容器编排界面重新部署新的容器编排。

以下是一些可以简化在应用中接入 AI 大模型能力的工具和库： 1. 您可以搭建 ，用于汇聚整合多种大模型接口，方便后续更换使用各种大模型。 2. 搭建 ，这是一个知识库问答系统，您可以将知识文件放入，并接入大模型作为分析知识库的大脑，它也有问答界面。 3. 搭建 ，其中的 cow 插件能进行文件总结、MJ 绘画等。 另外，基于 LangChain 平台提供的 LLM 基础模型，也能完成任意模型接口的封装。LLM（语言逻辑模型）是 LangChain 平台与各种大模型进行交互的核心模型，是一个抽象概念，可理解为处理语言输入和输出的黑盒。其输入是字符串表示的用户请求或问题，输出也是字符串表示的模型回答或结果。LLM 能根据不同输入调用不同大模型完成不同语言任务，具有无需关心大模型细节和复杂性、灵活选择切换大模型、可自行封装实现语言逻辑和功能等优势。 在基础通识课中，还提到了一些相关内容，如流式训练方式提升训练速度和质量，多种 AI 生成工具（如 so no 音频生成工具、能创建个人 AI 智能体的豆包、输入文本可生成播客的 Notebook LN），端侧大模型的特点，AI 工程平台（如 define、coach 等），模型社区（如魔搭社区）等。

大模型接入企业数据库的相关内容如下： 原理介绍： 从文档处理角度来看，实现流程包括配置要求。 配置要求： ChatGLM6B 模型硬件需求： 模型文件下载至本地需要 15GB 存储空间。 量化等级不同，最低 GPU 显存（推理）和最低 GPU 显存（高效参数微调）要求不同： FP16（无量化）：分别为 13GB 和 14GB。 INT8：分别为 8GB 和 9GB。 INT4：分别为 6GB 和 7GB。 MOSS 模型硬件需求： 模型文件下载至本地需要 70GB 存储空间。 量化等级不同，最低 GPU 显存（推理）和最低 GPU 显存（高效参数微调）要求不同： FP16（无量化）：分别为 68GB 和 。 INT8：分别为 20GB 和 。 Embedding 模型硬件需求：默认选用的 Embedding 模型约占用显存 3GB，也可修改为在 CPU 中运行。 项目启动： Web 启动：运行 web.py，若显存不足则调整 configs/model_config.py 文件中 LLM_MODEL 参数更换模型，若连接无法连接修改 web.py 文件末尾 lauch 中 0.0.0.0 为 127.0.0.1，点击 URL 进入 UI 界面。 API 模式启动。 命令行模式启动。 上传知识库： 左侧知识库问答中选择新建知识库，可传输 txt、pdf 等。可以调整 prompt，匹配不同的知识库，让 LLM 扮演不同的角色。例如上传公司财报，充当财务分析师；上传客服聊天记录，充当智能客服；上传经典 Case，充当律师助手；上传医院百科全书，充当在线问诊医生等等，MOSS 同理。 使用数据表： 通过在工作流中添加数据库节点对数据表进行操作。在工作流中可通过 NL2SQL 方式和代码方式进行调用，支持完整读写模式。参考以下操作，在工作流中添加并配置工作流节点。在工作流中配置数据库节点前，确保已经搭建了一个 Bot，并在这个 Bot 中创建好了数据表。 1. 单击页面顶部的工作流页签，然后单击创建工作流。 2. 输入工作流名称和工作流的使用描述，然后单击确认。工作流名称和描述可以帮助大语言模型理解什么场景下需要调用该工作流。 1. 在基础节点页签下，将数据库节点拖入到工作流配置画布区域。 2. 根据以下信息配置数据库节点。 输入：添加 SQL 执行中需要的参数，可以是一个变量，也可以是一个固定值。 SQL:输入要执行的 SQL 语句，可以直接使用输入参数中的变量。可单击自动生成使用大模型生成 SQL。在弹出的页面中，选择这个数据库工作流生效的 Bot 和数据表，然后使用自然语言描述要执行的操作，单击自动生成生成 SQL 语句，最后单击使用。 注意：不支持 Select语法，不支持多表 Join 操作，最多返回 100 行数据。

要让 Coze 接入微信，您可以按照以下步骤进行操作： 1. 获取机器人 ID：在个人空间中找到要接入微信的机器人，比如画小二智能小助手。点击对应的机器人进入机器人编辑界面，在浏览器地址栏“bot/”之后的数据就是该机器人的 Bot ID，此 ID 是唯一编号的。 2. Docker 中配置 COW 组件： 登录宝塔面板，在宝塔面板当中可视化地控制云服务器，部署 docker 容器，启动 COW 项目与微信取得关联。 chatgptonwechat（简称 CoW）项目是基于大模型的智能对话机器人，可以接入微信公众号、企业微信应用、飞书、钉钉等，能处理文本、语音和图片，通过插件访问操作系统和互联网等外部资源。 点击“Docker”中的“项目模板”中的“添加”按钮，将编译好的内容复制进来，在容器中创建容器，选择容器编排，填入模板和名称，确定。运行成功后，点击容器，可以看到运行的是两个服务。 点击“wcandyaibot”后面的日志按钮，在弹出层中用提前预备好的微信进行扫码。此界面不会实时更新显示，需要手动刷新一下。点击“刷新日志”，如果看到“WeChat login success”，就成功将 Bot 接入微信中了。 3. 绑定微信：需要提前准备一个闲置的微信，因为这种方法是非官方接口，有可能微信号会受到官方限制。点击容器，可以看到运行的是两个服务。点击“wcandyaibot”后面的日志按钮，在弹出层中用提前预备好的微信进行扫码。这个界面不会实时显示，为了验证是否成功，需要手动刷新一下。点击“刷新日志”，就能看到“WeChat login success”，提示微信登录成功。为了确保微信是否实时在线，点击“日志管理”的“wcandyaibot”的“刷新日志”。如果显示“wechat login seccess”则表示微信正常登录中。

Bot 接入微信机器人可以实现语音聊天。具体步骤如下： 1. 登录宝塔面板，在宝塔面板中可视化控制云服务器，部署 docker 容器，启动 COW 项目与微信取得关联。 2. 点击“Docker”中的“项目模板”中的“添加”按钮。 3. 项目模板代码示例如下：将编译好的内容复制进来。 4. 在容器中创建容器，选择容器编排，填入模板和名称，确定。 5. 现实运行成功后，点击容器，可以看到运行的是两个服务。 6. 点击“wcandyaibot”后面的日志按钮，在弹出层中用提前预备好的微信进行扫码。此界面不会实时更新显示，需要手动刷新一下。点击“刷新日志”，如果看到“WeChat login success”，就成功将 Bot 接入微信中了。 7. 如果扫描二维码出现预料之外的情况，可以退回到容器配置处，重启容器服务，然后重新扫码登录。 8. 若想修改 COW 组件的配置，比如修改机器人回复的前缀或开启语音识别等，进入对应的编排模板的配置界面，点击模板编辑，修改对应的配置参数，点击保存，然后回到容器编排界面重新部署新的容器编排即可。 至此，完成 COW 组件的部署和微信号的绑定，就可以开始与机器人微信号进行语音聊天了。

以下是将扣子搭建的 agent 接入微信的一般步骤： 1. 在 Dify 的官网，可找到手把手教您将 Dify 应用接入微信生态的教程： 创建聊天助手应用：在 Dify 平台创建基础编排聊天助手应用，获取 API 密钥和 API 服务器地址。 下载 Dify on WeChat 项目：下载并安装依赖。 填写配置文件：在项目根目录创建 config.json 文件，填写 API 密钥和服务器地址。 把基础编排聊天助手接入微信：快速启动测试，扫码登录，进行对话测试，可以选择源码部署或 Docker 部署。 把工作流编排聊天助手接入微信：创建知识库，导入知识库文件，创建工作流编排聊天助手应用，设置知识检索节点和 LLM 节点，发布更新并访问 API。 把 Agent 应用接入微信：创建 Agent 应用，设置对话模型和添加工具，生成 API 密钥，填写配置文件，启动程序并进行测试。更多内容请访问原文：https://docs.dify.ai/v/zhhans/learnmore/usecases/difyonwechat 2. 零成本、零代码搭建智能微信客服的实操步骤： 注意：目前需要企业认证，才可以进行接入微信客服。如果企业没有进行认证，则会在配置回调 URL 时报错：回调域名校验失败。另外，之前未进行企业认证就发布过微信客服的不受影响。 第一次设置成功后，后面再修改的页面操作： 到微信客服的客服账号，创建一个客服账号，复制客服账号名称，到 coze 的页面粘贴，点击保存。 保存后，在 coze 发布页面的发布平台的微信客服这里，显示“已配置”，剩下的就是勾选，点击发布。 发布成功后，接下来就是体验了，可以点击微信客服旁边的立即对话、复制 Bot 链接，会弹出来该微信客服的二维码，扫码即可立即体验。

要将 Coze 接入微信机器人，您可以参考以下步骤： 1. 获取机器人 ID：在个人空间中找到要接入微信的机器人，点击进入机器人编辑界面，浏览器地址栏“bot/”之后的数据即为该机器人的 Bot ID。 2. Docker 中配置 COW 组件： 登录宝塔面板，在上面部署 docker 容器，启动 COW 项目与微信取得关联。 点击“Docker”中的“项目模板”中的“添加”按钮。 将编译好的内容复制进来。 在容器中创建容器，选择容器编排，填入模板和名称，确定。 查看运行状态，点击容器后，可看到运行的服务。点击“wcandyaibot”后面的日志按钮，用微信扫码。手动刷新查看是否显示“WeChat login success”，若显示则接入成功。 3. 其他准备步骤： 回到宝塔，选择 Docker，若显示未安装则进行安装，安装完成后刷新页面确认安装成功。 回到宝塔终端，粘贴代码并回车。 去文件列表，到根目录/data/cozediscordproxy 文件夹。 新建文件 dockercompose.yml，双击打开并粘贴代码，替换相关的 ID 和 token 后保存。 在文件位置上方点击终端，一行一行粘贴相关代码。若启动失败，可能是 docker 拒绝代理访问问题，可先关掉 clash 再执行代码。 进入相关文件夹和文件进行配置和替换。

以下是一些常见的大模型排名及评测标准维度： FlagEval（天秤）大模型评测体系及开放平台： 地址： 简介：旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用 AI 方法实现对主观评测的辅助，大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval： 地址： 简介：构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代…），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb： 地址： 简介：中文通用大模型匿名对战评价基准，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 斯坦福发布的大模型排行榜 AlpacaEval： 项目链接：https://github.com/tatsulab/alpaca_eval 排行榜链接：https://tatsulab.github.io/alpaca_eval/ 该研究团队选择了目前在开源社区很火的开源模型，还有 GPT4、PaLM 2 等众多「闭源」模型，甚至还开设了一个「准中文」排行榜。 AlpacaEval 分为以 GPT4 和 Claude 为元标注器的两个子榜单。 在斯坦福的这个 GPT4 评估榜单中： GPT4 稳居第一，胜率超过了 95%；胜率都在 80%以上的 Claude 和 ChatGPT 分别排名第二和第三，其中 Claude 以不到 3%的优势超越 ChatGPT。 值得关注的是，获得第四名的是一位排位赛新人——微软华人团队发布的 WizardLM。在所有开源模型中，WizardLM 以仅 130 亿的参数版本排名第一，击败了 650 亿参数量的 Guanaco。 而在开源模型中的佼佼者 Vicuna 发挥依然稳定，凭借着超过 70%的胜率排在第六，胜率紧追 Guanaco 65B。 最近大火的 Falcon Instruct 40B 表现不佳，仅位居 12 名，略高于 Alpaca Farm 7B。 AlpacaEval 的技术细节： 人类一致性：标注者与交叉标注集中人类多数票之间的一致性。 价格：每 1000 个标注的平均价格。 时间：计算 1000 个标注所需的平均时间。相对于人工标注，全自动化的 AlpacaEval 仅需花费约 1/22 的经济成本和 1/25 的时间成本。 AlpacaEval 评估模型的方式： alpaca_eval：直接根据目标模型输出的响应来评估模型。 alpaca_eval evaluate_from_model：根据 HuggingFace 已注册模型或这 API 提供商来端到端评测模型。 评测过程分为以下 3 步： 1. 选择一个评估集，并计算指定为 model_outputs 的输出。默认情况下，使用来自 AlpacaEval 的 805 个示例。 2. 计算 golden 输出 reference_outputs。默认情况下，在 AlpacaEval 上使用 textdavinci003 的输出。 3. 通过 annotators_config 选择指定的自动标注器，它将根据 model_outputs 和 reference_outputs 计算胜率。这里建议使用 alpaca_eval_gpt4 或 claude。根据不同的标注器，使用者还需要在环境配置中设定 API_KEY。

以下是从 0 到 1 学习大模型知识的相关内容： 什么是大模型： 通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要大量数据，几千亿序列（Token）的输入基本是标配。 3. 找老师：用合适算法让大模型更好理解 Token 之间的关系。 4. 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，正式干活，比如进行翻译、问答等，在大模型里称之为推导（infer）。在 LLM 中，Token 被视为模型处理和生成的文本单位，会对输入进行数字化形成词汇表。 大模型如何运作： 打个比方，“我今天吃了狮子头和蔬菜”这句话，在 transformer 中，会由 attention 层对其加入更多信息补充，如“狮子头是一道菜”“今天是星期六”等，这些补充信息会作为输入给到下一个 attention 层，最终哪些信息补充、保留、传递由模型自主学习。层与层之间就像人阅读文章时的连贯性注意力过程，大模型以词向量和 transformer 模型学习海量知识，把知识作为向量空间中的关系网存储，接受输入时通过向量空间中的匹配进行输出。这个过程像人脑阅读学习，记忆的不是逐字逐句，而是按相关性、重要程度结合历史经验，比如看到红色会觉得代表温暖、强烈。 大模型的整体架构： 从整体分层角度，大模型架构可分为以下几层： 1. 基础层：为大模型提供硬件支撑、数据支持，如 A100、数据服务器等。 2. 数据层：分为静态的知识库和动态的三方数据集，不是用于基层模型训练的数据基集，而是企业根据自身特性维护的垂域数据。 3. 模型层：包括 LLm（largelanguagemodel，如 GPT，一般使用 transformer 算法实现）或多模态模型（如文生图、图生图等，训练数据与 llm 不同，用图文或声音等多模态数据集）。 4. 平台层：如大模型的评测体系或 langchain 平台等，提供模型与应用间的组成部分。 5. 表现层：即应用层，是用户实际看到的地方。

在 ComfyUI 中使用 Flux1dev 模型，24G 显存是可以的，但建议内存尽量高于 32G 以避免意外情况的发生。如果您的显卡是 24G 或更高，右键 24G 那个 train_flux_24GLora 的文件。修改脚本路径和参数时，要注意底模路径、VAE 路径、数据集路径，还有下面的 clip 路径和 T5xxl 路径的正确填写。ae.safetensors 和 flux1dev.safetensors 的下载地址为：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。flux 相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608b ，百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 。如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。最后下载 dev 的工作流： ，或者使用官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，打开 ComfyUI 把工作流或图片拖拽到其中即可。

在 ComfyUI 中使用 flux1dev 模型所需的显存情况如下： 相关模型的下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 对于 GPU 性能不足、显存不够的情况，底模可以使用 fp8 的量化版模型，下载地址为：https://huggingface.co/Kijai/fluxfp8/tree/main 。 低显存方案（8G 以下）：flux1devbnbnf4.safetensors ，放入 ComfyUI\\models\\checkpoints 文件夹内，下载链接为 https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 。 此外，还提供了以下相关资源链接： BitsandBytes Guidelines and Flux ：https://github.com/lllyasviel/stablediffusionwebuiforge/discussions/981 ComfyUI_bitsandbytes_NF4 节点：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4

训练自己的小说大纲模型可以参考以下步骤： 步骤一：创建数据集 1. 进入厚德云模型训练数据集，网址为：https://portal.houdeyun.cn/sd/dataset 。 2. 在数据集一栏中，点击右上角创建数据集。 3. 输入数据集名称。 4. 可以上传包含图片+标签的 zip 文件，也可以只有图片没有打标文件（之后可在 c 站使用自动打标功能）。 5. 也可以一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 6. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 7. 上传 zip 以后等待一段时间。 8. 确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，可预览到数据集的图片以及对应的标签。 步骤二：Lora 训练 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 5. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 6. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 7. 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三：Lora 生图 1. 点击预览模型中间的生图会自动跳转到这个页面。 2. 模型上的数字代表模型强度，可以调节大小，正常默认为 0.8，建议在 0.6 1.0 之间调节。 3. 也可以自己添加 lora 文件，点击后会显示训练过的所有 lora 的所有轮次。 4. VAE 不需要替换。 5. 正向提示词输入写的提示词，可以选择基于这个提示词一次性生成几张图。 6. 选择生成图片的尺寸，横板、竖版、正方形。 7. 采样器和调度器新手小白可以默认不换。 8. 迭代步数可以按照需求在 20 30 之间调整。 9. CFG 可以按照需求在 3.5 7.5 之间调整。 10. 随机种子 1 代表随机生成图。 11. 所有设置都好了以后，点击开始生态，生成的图会显示在右侧。 12. 如果有哪次生成结果觉得很不错，想要微调或者高分辨率修复，可以点开那张图，往下滑，划到随机种子，复制下来，粘贴到随机种子这里，这样下次生成的图就会和这次的结果近似。 13. 如果确认了一张很合适的种子和参数，想要高清放大，则点开高清修复，可以选择想放大的倍数。新手小白可以就默认这个算法，迭代步数也是建议在 20 30 之间，重回幅度根据需求调整，正常来说在 0.3 0.7 之间调整。 今日作业 按照比赛要求，收集六个主题中一个主题的素材并且训练出 lora 模型后提交 lora 模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd 。 另外，直接在 Comfy UI 中训练 LoRA 模型的步骤如下： 1. 确保后面有一个空格。然后将 requirements_win.txt 文件拖到命令提示符中（如果在 Windows 上；否则，选择另一个文件 requirements.txt）。拖动文件将在命令提示符中复制其路径。 2. 按 Enter 键，这将安装所有所需的依赖项，使其与 ComfyUI 兼容。请注意，如果为 Comfy 使用了虚拟环境，必须首先激活它。 3. 教程： 图像必须放在一个以命名的文件夹中。那个数字很重要：LoRA 脚本使用它来创建一些步骤（称为优化步骤…但别问我是什么^^’）。它应该很小，比如 5。然后，下划线是必须的。 对于 data_path，必须写入包含数据库文件夹的文件夹路径。例如：C:\\database\\5_myimages ，必须写 C:\\database 。 对于参数，在第一行，可以从 checkpoint 文件夹中选择任何模型。据说必须选择一个基本模型进行 LoRA 训练。但也可以尝试使用微调。

训练自己的模型可以参考以下内容： 基于百川大模型： 选择 Baichuan27BChat 模型作为底模，配置模型本地路径和提示模板。 在 Train 页面里，选择 sft 训练方式，加载定义好的数据集（如 wechat 和 self_cognition）。 注意学习率和训练轮次的设置，要根据数据集大小和收敛情况来调整。 使用 FlashAttention2 可减少显存需求，加速训练速度。 显存小的情况下，可以减少 batch size 并开启量化训练，内置的 QLora 训练方式好用。 需要用到 xformers 的依赖。 显存占用约 20G 左右，训练时间根据聊天记录规模大小而定，少则几小时，多则几天。 训练自己的 AI 绘画模型（Stable Diffusion）： 样本采样器（sample_sampler）：可选择，默认是“ddim”。 保存模型格式（save_model_as）：可选择，SD WebUI 兼容"ckpt"和"safetensors"格式模型。 训练流程主要包括： 训练集制作：数据质量评估、标签梳理、数据清洗、标注、标签清洗、增强等。 训练文件配置：预训练模型选择、训练环境配置、训练步数及其他超参数设置等。 模型训练：运行训练脚本，使用 TensorBoard 监控。 模型测试：用于效果评估与消融实验。 训练资源： Rocky 整理优化过的 SD 完整训练资源 SDTrain 项目，可通过关注公众号 WeThinkIn，后台回复“SDTrain”获取。