如何将私有模型部署到微信

以下是一些适用于写微信小程序的 AI 代码助手推荐： 1. DIN： 搭建 OneAPI 以汇聚整合多种大模型接口。 搭建 FastGpt 作为知识库问答系统。 搭建 chatgptonwechat 接入微信，并配置 FastGpt 把知识库问答系统接入到微信。 2. Cursor： 可通过任意 AI 工具获得代码，专业代码模型表现更优。 网址：https://www.cursor.com/ 3. Deepseek（新手推荐）： 网址：https://www.deepseek.com/zh 方便获取游戏代码，国内能访问，网页登录方便，目前完全免费。 4. 通义灵码： 在 Pytharm 中，“文件”“设置”“插件”红色框位置搜索“通义灵码”进行安装（目前免费）。 5. JetBrains 自身的助手插件： 在 Pytharm 中，“文件”“设置”“插件”红色框位置搜索“Jetbrains AI assistant”进行安装（收费，目前有 7 天免费试用）。 6. Marscode 及 Tencent cloud AI code Assistant 等。 7. 无影的晓颖 AI 助手： 内置在云电脑里，使用流畅，但需要在无影的云电脑中。 需要注意的是，不同的 AI 代码助手在生成特定代码时可能有不同的表现，您可以根据自己的需求和实际使用体验进行选择。

以下是关于将 AI 接入微信、钉钉聊天的相关信息： 基于 COW 框架的 ChatBot 实现步骤： 作者为熊猫大侠，COW 是基于大模型搭建的 Chat 机器人框架，可将多模型塞进微信。 张梦飞同学写了更适合小白的使用教程： 。 可实现打造属于自己的 ChatBot（文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等）和常用开源插件的安装应用。 正式开始前需知：ChatBot 相较于在各大模型网页端使用区别在于需要接入大模型 API（API 单独付费）。 风险与注意事项：微信端因非常规使用有封号危险，不建议主力微信号接入；只探讨操作步骤，请依法合规使用，大模型生成的内容注意甄别，禁止用于非法目的，处理敏感或个人隐私数据时注意脱敏。 支持多平台接入，如微信、企业微信、公众号、飞书、钉钉等；多模型选择，如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等；多消息类型支持，能处理文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能；多部署方法，如本地运行、服务器运行、Docker 的方式。 零基础模板化搭建 AI 微信聊天机器人： COW 全称 Chatgptonwechat，可在微信、飞书、钉钉等主流社交平台上实现对接各种大模型的功能。 在刚买的腾讯云服务器上通过 Docker 运行 COW，并将之前在极简未来平台创建的 API 信息填入其中。 使用 Docker 服务部署 COW 组件，宝塔面板可让技术小白以图形交互方式运维服务器，手动配置部署容器编排模板。

以下是为您生成的适用于使用 DeepSeek 写微信公众号文章的提示词： 我要写一篇关于软件分享或技术分享的微信公众号文章，文章标题要足够吸引人，以便能广泛传播。文章内容要详细且有条理，先介绍分享的软件或技术的基本情况，包括其功能、特点和优势；然后结合实际案例或个人使用体验，阐述其在实际应用中的效果和价值；最后总结并展望其未来的发展前景。请为我生成这样一篇完整的文章。

目前微信尚未直接接入 DeepSeek。但学而思已表示将接入 DeepSeek“深度思考模式”，预计在 2 月内陆续于相关机型上线；钉钉已经全面接入 DeepSeek 系列模型；扣子现已支持满血版 Deepseek 全家桶，R1 模型现支持所有用户免费体验，每个用户每日限 20 条对话。 如果您想使用 DeepSeek，可按以下步骤操作： 1. 搜索 www.deepseek.com，点击“开始对话”。 2. 将装有提示词的代码发给 Deepseek。 3. 认真阅读开场白之后，正式开始对话。 关于 DeepSeek 提示词的设计思路： 1. 将 Agent 封装成 Prompt，将 Prompt 储存在文件，保证最低成本的人人可用的同时，减轻调试负担。 2. 通过提示词文件，让 DeepSeek 实现同时使用联网功能和深度思考功能。 3. 在模型默认能力的基础上优化输出质量，并通过思考减轻 AI 味，增加可读性。 4. 照猫画虎参考大模型的 temperature 设计了阈值系统，但是可能形式大于实质，之后根据反馈可能会修改。 5. 用 XML 来进行更为规范的设定，而不是用 Lisp（有难度）和 Markdown（运行不稳定）。 完整提示词版本为 v 1.3，特别鸣谢李继刚的【思考的七把武器】在前期为其提供了很多思考方向，以及 Thinking Claude（这个项目是现在最喜欢使用的 Claude 提示词，也是设计 HiDeepSeek 的灵感来源）和 Claude 3.5 Sonnet（最得力的助手）。 如有任何问题请联系后台，电子邮箱：alolg@163.com

要将 Dify 的 API 接入微信小程序，您可以参考以下内容： 1. GitHub 上的相关项目：https://github.com/zhayujie/chatgptonwechat 和 https://github.com/hanfangyuan4396/difyonwechat 。 2. API 扩展说明：https://docs.dify.ai/zhhans/guides/extension/apibasedextension ，但 0.8.3 版本可能不再使用（使用时可能需要自行修改或提交 PR）。 3. 接入企业微信的步骤： 创建聊天助手应用：在 Dify 平台创建基础编排聊天助手应用，获取 API 密钥和 API 服务器地址。 下载 Dify on WeChat 项目：下载并安装依赖。 填写配置文件：在项目根目录创建 config.json 文件，填写 API 密钥和服务器地址。 把基础编排聊天助手接入微信：快速启动测试，扫码登录，进行对话测试，可以选择源码部署或 Docker 部署。 把工作流编排聊天助手接入微信：创建知识库，导入知识库文件，创建工作流编排聊天助手应用，设置知识检索节点和 LLM 节点，发布更新并访问 API。 把 Agent 应用接入微信：创建 Agent 应用，设置对话模型和添加工具，生成 API 密钥，填写配置文件，启动程序并进行测试。更多内容请访问原文：https://docs.dify.ai/v/zhhans/learnmore/usecases/difyonwechat

以下是关于微信机器人搭建和使用的相关内容： 测试和重新配置： 登录成功后，找另一个人私聊或者在群中@您，就可以看到机器人的正常回复。若未成功，可检查 config.json 文件中的配置或跳到“第四章，第 3 步”重启服务。 为机器人设置不一样的提示词，可返回“第三章，第 7 步”修改双引号内的 value 部分。 进行任何更改后，需“返回首页 右上角 点击重启，重启一下服务器”。熟悉 linux 操作也可通过重启进程的方式来重启服务。 然后，在“文件”的【终端】里，直接输入“nohup python3 app.py&tail f nohup.out”重新扫码登录。 若想退出机器人，在手机微信上找到桌面版已登录的信息，点击退出桌面版即可。 帮助：若遇到问题，可先查询社区知识库，或加“通往 AGI 之路”群，社区小伙伴们会尽力帮助。也可加 Stuart 个人微信询问。 纯 GPT 大模型能力的微信聊天机器人搭建： 重点是在复制的 dockercompose.yml 文件中修改具体配置来串联微信号和已创建好的 AI 机器人，配置参考来源为 https://docs.linkai.tech/cow/quickstart/config 。 配置中的每个参考名称的全大写描述，如 open_ai_api_key 对应编排模板的 OPEN_AI_API_KEY，model 对应编排模板的 MODEL 等。 私聊或群交流时，最好加上前缀才触发机器人回复，如配置的，即对应的配置参数 SINGLE_CHAT_PREFIX，在群组里对应配置参数是 GROUP_CHAT_PREFIX，机器人只会回复群里包含@bot 的消息。 参数 GROUP_NAME_WHITE_LIST 用来配置哪些群组的消息需要自动回复。 【共学最全版本】微信机器人共学教程第四天教程：FastGPT 教学部署项目： 打开相关页面，把 Administrators 改成“wxid_dna83ykqawl222”。 若已有 FastGPT 或 OpenAI 的 key，可把 Ai_Lock 修改成“1”，并在 OpenAI 处添加模型 key，填写格式参照原有格式；若暂时没有，可保持 Ai_Lock 是 0。 修改后点击保存，返回 NGCbot 文件夹下，找到 main.py 文件双击开始运行。 运行后会弹出微信登录框，正常登录微信（若显示版本过低登录失败，看解决方法）。 进入微信后系统会自动初始化必备文件，等待完成。 运行成功后，用“大号”给机器人发一条消息，拿到 wxid 返回到之前的步骤进行替换。 添加完后，建议使用小号登录，然后用大号对小号发指令，如“美女图片、美女视频、备案查询、归属查询、whois 查询、摸鱼日历、KFC 文案、周公解梦、天气查询、舔狗日记、星座查询、早安寄语、早报、晚报、Help”。

部署私有大语言模型通常包括以下步骤： 1. 部署大语言模型： 下载并安装 Ollama：根据您的电脑系统，从 https://ollama.com/download 下载 Ollama。下载完成后，双击打开，点击“Install”。安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/。 下载模型：如 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车。等待下载完成。 2. 部署 Google Gemma： 进入 ollama.com，下载程序并安装（支持 windows，linux 和 macos）。 查找 cmd 进入命令提示符，输入 ollama v 检查版本，安装完成后版本应该显示 0.1.26，cls 清空屏幕。 直接输入 ollama run gemma 运行模型（默认是 2b），首次需要下载，需要等待一段时间，如果想用 7b，运行 ollama run gemma:7b 。完成以后就可以直接对话。 3. 关于 Ollama 的其他特点： 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 cpu 和 gpu。 提供模型库，用户可从中下载不同模型，满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。 支持自定义模型，可修改模型的温度参数等。 提供 REST API，用于运行和管理模型，以及与其他应用程序的集成选项。 社区贡献丰富，包括多种集成插件和界面。 总的来说，Ollama 是一个方便用户在本地运行和管理大型语言模型的框架，具有良好的可扩展性和多样的使用场景。安装完之后，确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序即可，在 linux 上可以通过 ollama serve 启动）。可以通过 ollama list 进行确认。

以下是关于训练销售助手类型业务私有模型的相关信息： 1. 提示词方面：设计了一套模拟江南皮革厂销售的拟人化提示词模板，并将其应用于国内的豆包角色扮演模型，生成吸引人的广告词。若与语音技术结合用于宣传，能创造出有趣且有效的销售助手，吸引顾客注意。拟人化提示词母体可通过关注作者微信领取。 2. 增加私有知识方面：通过前面步骤拥有可与客户对话的 AI 助手后，若想让其像公司员工一样精准专业回答商品相关问题，需为大模型应用配置知识库。例如在售卖智能手机的公司，网站上有很多相关信息，不同机型的详细配置清单可参考相关文档。

以下是关于 Dify 私有化部署的相关信息： 1. 部署步骤： 通过云服务器进行部署，相关命令在宝塔面板的终端安装，例如在/root/dify/docker 目录下的 dockercompose 文件。 检查运行情况，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 在浏览器地址栏输入公网 IP（去掉宝塔面板地址栏后的:8888），随便填写邮箱密码建立知识库并进行设置。 2. 模型选择与配置： 可以选择国内有免费额度的模型，如智谱 AI。 以智谱 AI 为例，在其官网用手机号注册，添加 API keys 并查看免费额度，将钥匙复制保存。 随便创建应用，可先选择智谱 glm4 测试，然后点发布。 创建并复制 api 秘钥。 3. Dify 特点： 作为开源应用，易用性出色且功能强大，安装过程简单快捷，熟练用户约 5 分钟可在本地完成部署。 支持本地部署和云端应用，能应对工作流、智能体、知识库等。 本地部署需自行处理模型接入等问题，包括购买 API、接入不同类型模型，构建个人知识库时还需考虑数据量、嵌入质量和 API 费用等因素。

部署私有大模型对显卡的要求如下： 显存是显卡选择的第一要素，生成速度优先级相对较低。 SD1.5 版本的底模 6G 显存能勉强跑，8G 显存可较流畅生成图片和炼制 lora，12G 能流畅使用 Dreambooth 微调大模型。 即将到来的 SDXL 对显卡性能要求更高，8G 显存起步，建议 16G 显存，微调大模型可能需要 20G 以上的显存，只有 4090 和 3090 能较好应对。 预算不足时，可选择 30 系显卡或二手显卡。但不建议选择 P40 之类超大显存但速度超级慢的卡。 常见显卡中，4090 生成 512 的图可跑进 1 秒内。 对于一些垂直场景的专有技能模型，极端情况下单机单卡，如消费级显卡 3090、3080、RTX 显卡也可以使用。 综合多方评测结论，4090 是用于 SD 图像生成综合性价比最高的显卡。如果有打算进行 Dream booth 微调大模型，硬盘空间要准备充足，一次训练可能会产生几十 G 的文件。同时，其他电脑配件只要不太差即可，内存建议 32GB 以上。硬盘方面，不建议考虑机械盘，可选择国产固态。

以下是为您提供的私有化部署大模型的相关教材： 张梦飞：【全网最细】从 LLM 大语言模型、知识库到微信机器人的全本地部署教程 一、部署大语言模型 1. 下载并安装 Ollama 点击进入，根据您的电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型） 如果您是 windows 电脑，点击 win+R，输入 cmd，点击回车。 如果您是 Mac 电脑，按下 Command（⌘）+ Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制以下命令行，粘贴进入，点击回车。 回车后，会开始自动下载，等待完成（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了） 下载完成后您会发现，大模型已经在本地运行了。输入文本即可进行对话。 【SD】向未来而生，关于 SDXL 您要知道事儿 SDXL 的大模型分为两个部分： 1. 第一部分，base+refiner 是必须下载的，base 是基础模型，我们使用它进行文生图的操作；refiner 是精炼模型，我们使用它对文生图中生成的模型进行细化，生成细节更丰富的图片。 2. 第二部分，是 SDXL 还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 这三个模型，您可以关注我的公众号【白马与少年】，然后回复【SDXL】获取下载链接。 想要在 webUI 中使用 SDXL 的大模型，首先我们要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。接下来，将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，我们启动 webUI，就可以在模型中看到 SDXL 的模型了。我们正常的使用方法是这样的：先在文生图中使用 base 模型，填写提示词和常规参数，尺寸可以设置为 10241024，进行生成。 基于多模态大模型给现实世界加一本说明书 大模型应用的利弊： 优点： 适应性极好，通过提示词工程，方便「适应各种奇葩需求」。 对算法的要求降低了不少，大部分功能由大模型提供，特别是非结构化信息的处理。 大模型的 API 访问方式简化了边缘设备的要求，无论在 Android、iOS、HarmonyOS或各种嵌入式设备上都能方便适配。「AGI 终将到来，拥抱未来，虽然路途艰难但相信方向是正确的。」 缺点： 大模型的推理时长目前仍是最大的障碍，传统目标检测或人脸识别优化后能达到 100~300ms，而大模型动则需要 10 秒的延时，限制了许多场景。 模型的幻象和错误率仍然较高，导致上述推理时长问题，在多链路的复杂应用中迅速变得不可行。 在大多数生产模式下，仍然需要使用云服务数据中心，提交的画面不可避免地涉及到隐私问题。 商业私有化部署是刚需，当下的开源模型离 GPT4 代差在半年以上，技术人员任重道远的。

以下是关于使用 LLM 分析企业私有化数据及工具推荐的相关内容： RAG 加速器提供了数据抽取服务，这是基于 LLM 的解决方案。在利用 LLM 进行信息抽取时，需要了解构建抽取服务的基本组件和要点。 实现过程中，有两个简单但强大的思路可以提升性能： 1. 确保 LLM 以正确的格式回应。函数调用已成为确保 LLM 严格输出特定格式的新且相对靠谱的方法，可参考结构化输出文档，其中高层次的 LangChain API 展示了不同 LLM 如何调用工具和函数。 2. 使用参考样例。尽管没有样例也能设置抽取问题，但实际操作中，将输入和对应输出的样例纳入其中通常大有裨益，有时这些样例比指示本身更能有效指导 LLM 处理特定情况。在提取用例文档中，可以找到更多细节，助您从 LLMs 中提取更好的性能。

以下是用大模型构建属于自己的助手的几种方法： 1. 在网站上构建： 创建百炼应用获取大模型推理 API 服务： 进入百炼控制台的，在页面右侧点击新增应用，选择智能体应用并创建。 在应用设置页面，模型选择通义千问Plus，其他参数保持默认，也可以输入一些 Prompt 来设置人设。 在页面右侧提问验证模型效果，点击右上角的发布。 获取调用 API 所需的凭证： 在我的应用>应用列表中查看所有百炼应用 ID 并保存到本地。 在顶部导航栏右侧，点击人型图标，点击 APIKEY 进入我的 APIKEY 页面，创建新 APIKEY 并保存到本地。 2. 微信助手构建： 搭建，用于汇聚整合多种大模型接口，并获取白嫖大模型接口的方法。 搭建，作为知识库问答系统，将大模型接入用于回答问题，若不接入微信，搭建完成即可使用其问答界面。 搭建接入微信，配置 FastGpt 将知识库问答系统接入微信，建议先用小号以防封禁风险。 3. 基于 COW 框架构建： COW 是基于大模型搭建的 Chat 机器人框架，可将多模型塞进微信。 基于张梦飞同学的更适合小白的使用教程：。 实现功能包括打造属于自己的 ChatBot（文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等）、常用开源插件的安装应用。 注意事项： 微信端因非常规使用有封号危险，不建议主力微信号接入。 只探讨操作步骤，请依法合规使用。 大模型生成的内容注意甄别，确保操作符合法律法规要求。 禁止用于非法目的，处理敏感或个人隐私数据时注意脱敏，以防滥用或泄露。 支持多平台接入，如微信、企业微信、公众号、飞书、钉钉等。 支持多模型选择，如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型，能处理文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能。 支持多部署方法，如本地运行、服务器运行、Docker 的方式。

以下是用大模型构建属于自己的助手的几种方法： 1. 在网站上构建： 创建百炼应用获取大模型推理 API 服务： 进入百炼控制台的，在页面右侧点击新增应用，选择智能体应用并创建。 在应用设置页面，模型选择通义千问Plus，其他参数保持默认，也可以输入一些 Prompt 来设置人设。 在页面右侧提问验证模型效果，点击右上角的发布。 获取调用 API 所需的凭证： 在我的应用>应用列表中查看所有百炼应用 ID 并保存到本地。 在顶部导航栏右侧，点击人型图标，点击 APIKEY 进入我的 APIKEY 页面，创建新 APIKEY 并保存到本地。 2. 微信助手构建： 搭建，用于汇聚整合多种大模型接口，并获取白嫖大模型接口的方法。 搭建，作为知识库问答系统，将大模型接入用于回答问题，若不接入微信，搭建完成即可使用其问答界面。 搭建接入微信，配置 FastGpt 将知识库问答系统接入微信，建议先用小号以防封禁风险。 3. 基于 COW 框架构建： COW 是基于大模型搭建的 Chat 机器人框架，可将多模型塞进微信。 基于张梦飞同学的更适合小白的使用教程：。 实现功能包括打造属于自己的 ChatBot（文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等）、常用开源插件的安装应用。 注意事项： 微信端因非常规使用有封号危险，不建议主力微信号接入。 只探讨操作步骤，请依法合规使用。 大模型生成的内容注意甄别，确保操作符合法律法规要求。 禁止用于非法目的，处理敏感或个人隐私数据时注意脱敏，以防滥用或泄露。 支持多平台接入，如微信、企业微信、公众号、飞书、钉钉等。 支持多模型选择，如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型，能处理文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能。 支持多部署方法，如本地运行、服务器运行、Docker 的方式。

在语文教学中使用大模型，可以参考以下方面： 1. 提示词设置： Temperature：参数值越小，模型返回结果越确定；调高参数值，可能带来更随机、多样化或具创造性的产出。对于质量保障等任务，可设置低参数值；对于诗歌生成等创造性任务，可适当调高。 Top_p：与 Temperature 类似，用于控制模型返回结果的真实性。需要准确答案时调低参数值，想要更多样化答案时调高。一般改变其中一个参数即可。 Max Length：通过调整控制大模型生成的 token 数，有助于防止生成冗长或不相关的响应并控制成本。 Stop Sequences：指定字符串来阻止模型生成 token，控制响应长度和结构。 Frequency Penalty：对下一个生成的 token 进行惩罚，减少响应中单词的重复。 2. 了解大模型： 大模型通俗来讲是输入大量语料，让计算机获得类似人类的“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。 训练和使用大模型可类比上学参加工作：找学校（需要大量 GPU 计算）、确定教材（大量数据）、找老师（算法）、就业指导（微调）、搬砖（推导）。 Token 是模型处理和生成的文本单位，在将输入进行分词时会形成词汇表。 需要注意的是，在实际应用中，可能需要根据具体的教学需求和场景进行调整和实验，以找到最适合的设置和方法。

利用大模型写教案可以参考以下要点： 1. 输入的重要性：要输出优质的教案，首先要有高质量的输入。例如，写商业分析相关的教案，如果没有读过相关权威书籍，输入的信息缺乏信息量和核心概念，大模型给出的结果可能就很平庸。所以，脑海中先要有相关的知识概念，这来自于广泛的阅读和学习。 2. 对大模型的理解：大模型通过输入大量语料获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。其训练和使用过程可以类比为上学参加工作，包括找学校（需要大量计算资源）、确定教材（大量数据）、找老师（合适的算法）、就业指导（微调）、搬砖（推导）等步骤。 3. 与大模型的交互： 提示词工程并非必须学习，不断尝试与大模型交互是最佳方法。 交互时不需要遵循固定规则，重点是是否达成目的，未达成可锲而不舍地尝试或更换模型。 用 Markdown 格式清晰表达问题，它具有结构清晰、能格式化强调关键部分、适用性广等优点，有助于大模型更好地理解用户意图。

以下是关于大模型评测的相关信息： FlagEval（天秤）大模型评测体系及开放平台： 地址： 简介：旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用 AI 方法实现对主观评测的辅助，大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval：构造中文大模型的知识评估基准： 地址： 简介：构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代…），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb：SuperCLUE 琅琊榜 地址： 简介：中文通用大模型匿名对战评价基准，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 此外，还有小七姐对文心一言 4.0、智谱清言、KimiChat 的小样本测评，测评机制包括： 测评目标：测评三家国产大模型，以同组提示词下 ChatGPT 4.0 生成的内容做对标参照。 能力考量：复杂提示词理解和执行（结构化提示词）、推理能力（CoT 表现）、文本生成能力（写作要求执行）、提示词设计能力（让模型设计提示词）、长文本归纳总结能力（论文阅读）。 测评轮次：第一轮是复杂提示词理解和执行，包括 Markdown+英文 title 提示词测试、Markdown+中文 title 提示词测试、中文 title+自然段落提示词测试；第二轮是推理能力（CoT 表现）；第三轮是文本生成能力（写作要求执行）；第四轮是提示词设计能力（让模型设计提示词）；第五轮是长文本归纳总结能力（论文阅读）。 测试大模型质量好坏时，常用的问题包括检索和归纳、推理性、有日期相关历史事件等。以下是几个专业做模型测评的网站：

AI 大模型是一个复杂但重要的概念。以下为您详细介绍： 1. 概念：生成式 AI 生成的内容称为 AIGC。 2. 概念与关系： AI 即人工智能。 机器学习是电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习使用有标签的训练数据，目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习的数据没有标签，算法自主发现规律，经典任务如聚类。 强化学习从反馈中学习，以最大化奖励或最小化损失，类似训小狗。 深度学习是一种参照人脑有神经网络和神经元的方法（因层数多而称深度），神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解（不擅长文本生成），像上下文理解、情感分析、文本分类。 3. 技术里程碑：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出 Transformer 模型，它完全基于自注意力机制处理序列数据，不依赖循环神经网络或卷积神经网络。

以下是关于本地部署的一些原因： 对于只有特定设备（如只有一台 Mac 设备），且想灵活学习 AI 生图的情况，本地部署是最方便的。 如果电脑是 M 芯片的 Mac 电脑（Intel 芯片出图速度慢不建议）或者 2060Ti 及以上显卡的 Windows 电脑，可以选择本地部署，强烈建议在配有 N 卡的 Windows 电脑上进行。 本地部署测试方便，还可以尝试让其控制家里的智能家居。

如果您遇到 DeepSeek 老是显示“服务器繁忙，请稍后再试”且无法提升的情况，可以尝试以下方法： 1. 使用网页聊天： 安装插件：使用 Chrome 或 Microsoft Edge 浏览器，点击此链接安装浏览器插件并添加到拓展程序：https://chromewebstore.google.com/detail/pageassist%E6%9C%AC%E5%9C%B0ai%E6%A8%A1%E5%9E%8B%E7%9A%84web/jfgfiigpkhlkbnfnbobbkinehhfdhndo 打开聊天页面：点击右上角的插件列表，找到 Page Assist 插件，点击打开。 配置“DeepSeekR1”模型的 API key：基础 URL 为 https://ark.cnbeijing.volces.com/api/v3，填好之后点击保存，关掉提醒弹窗。 添加“DeepSeekR1”模型。 2. 完成上述操作后，您就可以愉快玩耍，无需担心“服务器繁忙”了，打开联网功能，还可以支持联网搜索使用 R1。

以下是关于 ComfyUI 本地部署安装的相关信息： ComfyUI 相比 WebUI，配置更低，系统资源占用更少，出图速度更快，最低可在小于 3G 的 GPU 上运行，甚至没有 GPU 光用 CPU 也可以运行，但速度极慢。SDXL 出来后提高了运行配置，最低需要 8GB 显存+32GB 运行内存，12GB 流畅运行，推荐 16GB 以上。运行内存最低 32GB，越高越好，最低配会经常爆显存。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上显存的 NVIDIA 显卡（N 卡），内存在 16G 以上。硬盘会影响加载模型的速度，最好把软件和模型部署在 SSD 上。如果电脑能顺畅清晰地玩 3A 游戏，那玩 webui 和 ComfyUI 也没问题。配置上不封顶，根据自己的需求和预算来即可。 安装地址：https://github.com/comfyanonymous/ComfyUI 。可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ，或者下载安装包 file:ComfyUI.zip ，下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 节点存放目录：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 模型存放目录： 大模型：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae：D:\\COMFYUI\\ComFYUI_windows_portable\\ComfyUI\\models\\vae 。 已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可，这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。 您的电脑配置为 GPU：RX6600 8G，CPU：R5 5600，内存：DDR4 8G2，可能需要注意内存方面可能不太满足推荐配置，可能会影响运行效果。

以下是在电脑本地部署 DeepSeek 的步骤： 1. 拥有扣子专业版账号：如果您还是普通账号，请自行升级或注册专业号后使用。开通成功的样子如相关说明。 2. 开通 DeepSeek R1 大模型：访问地址：https://console.volcengine.com/cozepro/overview?scenario=coze 。打开火山方舟，找到开通管理，找到 DeepSeek R1 模型，点击开通服务。添加在线推理模型，添加后在扣子开发平台才能使用，具体添加过程包括添加模型和完成接入。 3. 创建智能体：点击创建，先完成一个智能体的创建。 此外，您还可以参考以下文章获取更详细的教程：《张梦飞：15 分钟零基础个人电脑部署 DeepSeekR1（无限制版）智能助手保姆级教程！》（https://waytoagi.feishu.cn/wiki/NjKBw4n8HikDZBkeyB4cDQVynKh?useEs6=0 ），该教程适用于完全没有 AI 部署经验的小白，详细介绍了如何在个人电脑上快速搭建 DeepSeekR1 本地 AI 助手，包括 Ollama 安装、DeepSeekR1 模型下载与运行、显存检查、终端指令操作、网页插件使用等环节，并提供了清晰的步骤图，确保 15 分钟内完成部署。

Coze 可以调用用户自己部署的大模型。例如： 在 Coze 上搭建工作流框架时，可通过“个人空间工作流创建工作流”进行操作，在编辑面板中拖入对应的大模型节点来实现各项文本内容的生成。 当在 COW 中直接调用千问的某一个大模型时，需要更改 key 和 model 等配置。获取 key 可参考相关的视频和图文教程，同时需要完成实名认证，否则可能出现报错。 在使用 Coze 做智能报表助手的过程中，也涉及到对大模型的运用，如将用户问题转换为 SQL 等。

以下是关于 DeepSeek 部署的相关信息： DeepSeek R1 大模型成为国民刚需，但官网卡顿且存在不能联网等问题。 实现联网版 R1 大模型的核心路径是通过工作流+DeepSeek R1 大模型。 部署步骤包括： 拥有扣子专业版账号，若为普通账号需自行升级或注册专业号。 开通 DeepSeek R1 大模型，访问地址：https://console.volcengine.com/cozepro/overview?scenario=coze ，在火山方舟中找到开通管理，开通服务并添加在线推理模型，添加后在扣子开发平台才能使用。 创建智能体，点击创建完成智能体的创建。 DeepSeek 大模型具有以下突出特点： 强大：比肩 O1 的推理能力。 便宜：参数少，训练开销与使用费用小。 开源：任何人均可自行下载与部署，提供论文详细说明训练步骤与窍门，甚至有可运行在手机上的 mini 模型。 免费：官方目前提供的服务完全免费，任何人随时随地可用。 联网：暂时唯一支持联网搜索的推理模型（o1 还不支持）。 本土：由没有海外经历甚至没有资深从业经验的本土团队开发完成。 看到相关微博的您可以： 直接访问网页链接马上用起来，也有移动 APP。 使劲用，疯狂用，尝试用它基本取代传统搜索，把各种问题拿去问它。 去看看别人是怎么用的，去试试其他大模型，了解 AI 擅长与不擅长的方面，以及如何调教，继续解锁与迭代属于自己的用法与更多工具。 希望 DeepSeek R1 能让您对当前最先进的 AI 祛魅，让 AI 逐渐变成生活中的水和电。