如何在本地服务器上微调LLM

以下是为您推荐的入门 LLM 的相关资源： 1. 《皇子：LLM 经典论文速读版，看完感觉自己通透了》：包含 31 篇 LLM 的经典论文速读版，涵盖大语言模型架构、RAG、预训练、微调、提示词等内容。阅读前可安装浏览器插件“沉浸式翻译”方便中文阅读，将 arxiv PDF 论文原地址域名中的 x 更换成 5 可调整为 HTM 版本方便阅读。 2. 课程学习： 首先学习大语言模型（LLM）入门者的课程，这是了解 LLM 的基础。 进一步学习面向开发者的课程，帮助更好地应用 LLM 于实际项目中。 3. AI 大神 Karpathy 再发的 LLM 入门介绍视频：时长三个半小时，详细介绍 LLM 训练的全部过程，包括预训练、有监督微调和强化学习。即使没有技术背景也能看懂，将提供对 ChatGPT 等 LLM 完整训练流程的直观理解，包含许多示例，并可能帮助思考当前的能力、所处的位置以及未来的发展方向。

以下是关于在 Coze 上实现 NotebookLLM 的相关信息： LLM 作为知识问答工具有缺陷，如无法实时获取最新信息、存在“幻觉”问题、无法给出准确引用来源等。搜索引擎虽体验不够简便直接，但加上 LLM 可能带来更优信息检索体验。 在生成标题、导语、大纲时，因为涉及文本理解与创作，这是 LLM 节点的工作，需要对其进行配置。为减少 token 消耗和节省模型调度费用，在满足预期情况下，应尽量减少大模型处理环节。经过实测，豆包·function call 32k 模型能在一轮对话中稳定生成相关内容。每个大模型节点配置项丰富，入门用户主要关注一些方面，如在“标题、导语、大纲”节点中，希望 LLM 接收原文信息后一次性生成所需内容，还需视实际情况调大模型的最大回复长度，并设计填入用户提示词。

NotebookLM 是谷歌推出的一款工具，具有以下特点和用途： 有人称它为笔记工具、AI 学习工具或播客生成器。 只要上传文档、音频或网页链接（如 YouTube 等），就能生成专业的播客，其中主持人对话生动自然，包含各种人类语气和行为。 可以将公众号文章等内容变成双人对谈播客。 是 Google AI Lab 开发的笔记应用，基于 Gemini 1.5 Pro 的长文本理解和多模态能力。 用户可通过上传文件或链接快速生成笔记和音频内容，适合教育和研究等场景。 支持协作，适合整理公众号文章、编写书稿等多种用途。 体验地址：https://notebooklm.google/

目前没有明确的信息表明 waytoagi 的知识库基于哪个 LLM 创建。但以下信息可能对您有所帮助： AnythingLLM 包含了所有 Open WebUI 的能力，并且额外支持选择文本嵌入模型、选择向量数据库等。安装地址为：https://useanything.com/download 。安装完成后配置主要分为三步，包括选择大模型、选择文本嵌入模型、选择向量数据库。AnythingLLM 中有 Workspace 的概念，可创建自己独有的 Workspace 跟其他项目数据进行隔离，包括创建工作空间、上传文档并进行文本嵌入、选择对话模式（Chat 模式和 Query 模式）等。 GitHubDaily 开源项目列表中提到了 AnythingLLM，它是一个可打造成企业内部知识库的私人专属 GPT，可以将任何文档、资源或内容转换为大语言模型（LLM）知识库。

以下是关于如何用低代码工具构建 AI 智能体和 LLM 应用的一些建议： 在构建基于 LLM 的应用时，Anthropic 建议先寻找最简单的解决方案，只在必要时增加复杂度。智能系统通常会以延迟和成本为代价来换取更好的任务表现，开发者需要考虑这种权衡是否合理。当需要更复杂的解决方案时，工作流适合需要可预测性和一致性的明确任务，而智能体则更适合需要灵活性和模型驱动决策的大规模场景。不过，对于许多应用来说，优化单个 LLM 调用（配合检索和上下文示例）通常就足够了。 目前有许多框架可以简化智能系统的实现，例如： 1. LangChain 的 LangGraph。 2. 亚马逊 Bedrock 的 AI Agent 框架。 3. Rivet（一个拖放式 GUI 的 LLM 工作流构建器）。 4. Vellum（另一个用于构建和测试复杂工作流的 GUI 工具）。 这些框架通过简化标准的底层任务（如调用 LLM、定义和解析工具、链接调用等）使入门变得容易，但它们往往会创建额外的抽象层，可能会使底层提示词和响应变得难以调试，也可能诱使开发者在简单设置就足够的情况下增加不必要的复杂性。建议开发者先直接使用 LLM API，许多模式只需要几行代码就能实现。如果确实要使用框架，请确保理解底层代码。 此外，还有以下相关工具和应用： 1. VectorShift：能在几分钟内构建和部署生成式人工智能应用程序，利用大型语言模型（例如 ChatGPT）构建聊天机器人、文档搜索引擎和文档创建工作流程，无需编码。 2. Unriddle：帮助更快阅读、写作和学习的工具，能简化复杂的主题，找到信息，提问并立即获得答案。 工具使用或函数调用通常被视为从 RAG 到主动行为的第一个半步，为现代人工智能栈增加了一个新的层。一些流行的原语如网页浏览（Browserbase、Tiny Fish）、代码解释（E2B）和授权+认证（Anon）已经出现，它们使 LLM 能够导航网络、与外部软件（如 CRM、ERP）交互并运行自定义代码。Omni 的计算 AI 功能体现了这种方法，它利用 LLM 直接输出适当的 Excel 函数到电子表格中，然后执行计算并自动生成复杂查询供用户使用。 详细示例请参考：https://github.com/anthropics/anthropiccookbook/tree/main/patterns/agents

以下是类似于 ollama 和 vllm 的 LLM 框架： 1. Encoderonly 框架（也叫 AutoEncoder），典型代表如 BERT 等。 2. Encoderdecoder 框架，典型代表如 T5 和 GLM 等。 3. Decoderonly 框架（也叫 AutoRegressive），典型代表如 GPT 系列、LLaMa、PaLM 等。 此外，还有一些在 LLM 应用中发挥重要作用的框架，如： 1. LangChain：是当前大模型应用开发的主流框架之一，提供了一系列工具和接口，其核心在于“链”概念，包括 Model I/O、Retrieval、Chains、Agents、Memory 和 Callbacks 等组件，生态系统还包括 LangSmith、LangGraph 和 LangServe 等工具。 2. LlamaIndex：在促进 LLM 和整合上下文数据方面表现出色，抽象出许多提示链的细节，与外部 API 的接口，从向量数据库检索上下文数据，并在多个 LLM 调用中维持内存。

以下是一些解决 DeepSeek 服务器繁忙的方案： 1. 尝试以下搜索网站： 秘塔搜索：https://metaso.cn 360 纳米 AI 搜索：https://www.n.cn/ 硅基流动：https://siliconflow.cn/zhcn/ 字节跳动火山擎：https://console.partner.volcengine.com/auth/login?redirectURI=%2Fpartner%2F 百度云千帆：https://login.bce.baidu.com/ 英伟达：https://build.nvidia.com/deepseekai/deepseekr1 Groq：https://groq.com/ Chutes：https://chutes.ai/app 阿里云百炼：https://api.together.ai/playground/chat/deepseekai/DeepSeekR1 Github：https://github.com/marketplace/models/azuremldeepseek/DeepSeekR1/playground POE：https://poe.com/DeepSeekR1 Cursor：https://cursor.sh/ Monica：https://monica.im/invitation?c=ACZ7WJJ9 Lambda：https://lambdalabscom/6 Cerebras：https://cerebras.ai Perplexity：https://www.perplexity.ai 阿里云百炼：https://api.together.ai/playground/chat/deepseekai/DeepSeekR1 2. 可以通过以下步骤使用网页聊天解决： 安装插件：使用 Chrome 或 Microsoft Edge 浏览器，点击此链接，安装浏览器插件，添加到拓展程序：https://chromewebstore.google.com/detail/pageassist%E6%9C%AC%E5%9C%B0ai%E6%A8%A1%E5%9E%8B%E7%9A%84web/jfgfiigpkhlkbnfnbobbkinehhfdhndo 打开聊天页面：点击右上角的插件列表，找到 Page Assist 插件，点击打开。 配置“DeepSeekR1”模型的 API key：基础 URL：https://ark.cnbeijing.volces.com/api/v3 ，填好之后，点击保存，关掉提醒弹窗。 添加“DeepSeekR1”模型。 3. 还可以使用以下网站（部分需要魔法，不做教学支持）： 秘塔搜索：https://metaso.cn 360 纳米 AI 搜索：https://www.n.cn/（bot.n.cn) 硅基流动：https://cloud.siliconflow.cn/i/RjJgQqae AskManyAI：https://dazi.co/login?i=7db38e6e 字节跳动火山引擎：https://console.volcengine.com/ark/region:ark+cnbeijing/experience 百度云千帆：https://console.bce.baidu.com/qian3an/modelcenter/model/buildIn/list 英伟达 NIM Groq：https://groq.com/ Fireworks：https://fireworks.ai/models/fireworks/deepseekr1 Chutes：https://chutes.ai/app/chute/ Github：https://github.com/marketplace/models/azuremldeepseek/DeepSeekR1/playground POE：https://poe.com/DeepSeekR1 Cursor：https://cursor.sh/ Monica：https://monica.im/invitation?c=ACZ7WJJ9 Lambda：https://lambdalabs.com/ Cerebras：https://cerebras.ai Perplexity：https://www.perplexity.ai 阿里云百炼：https://api.together.ai/playground/chat/deepseekai/DeepSeekR1

如果您遇到 DeepSeek 老是显示“服务器繁忙，请稍后再试”且无法提升的情况，可以尝试以下方法： 1. 使用网页聊天： 安装插件：使用 Chrome 或 Microsoft Edge 浏览器，点击此链接安装浏览器插件并添加到拓展程序：https://chromewebstore.google.com/detail/pageassist%E6%9C%AC%E5%9C%B0ai%E6%A8%A1%E5%9E%8B%E7%9A%84web/jfgfiigpkhlkbnfnbobbkinehhfdhndo 打开聊天页面：点击右上角的插件列表，找到 Page Assist 插件，点击打开。 配置“DeepSeekR1”模型的 API key：基础 URL 为 https://ark.cnbeijing.volces.com/api/v3，填好之后点击保存，关掉提醒弹窗。 添加“DeepSeekR1”模型。 2. 完成上述操作后，您就可以愉快玩耍，无需担心“服务器繁忙”了，打开联网功能，还可以支持联网搜索使用 R1。

以下是在服务器进行 DeepSeek 本地部署的相关步骤： 1. 安装 AnythingLLM 软件：其安装地址为 https://useanything.com/download 。安装完成后进入配置页面，主要分为三步： 第一步：选择大模型。 第二步：选择文本嵌入模型。 第三步：选择向量数据库。 2. 构建本地知识库： 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据进行隔离。 首先创建一个工作空间。 上传文档并且在工作空间中进行文本嵌入。 选择对话模式，AnythingLLM 提供了两种对话模式： Chat 模式：大模型会根据自己的训练数据和上传的文档数据综合给出答案。 Query 模式：大模型仅仅会依靠文档中的数据给出答案。 测试对话。 3. 实现联网版的 DeepSeek R1 大模型的核心路径：通过工作流 + DeepSeek R1 大模型。 4. 拥有扣子专业版账号：如果是普通账号，请自行升级或注册专业号后使用。 5. 开通 DeepSeek R1 大模型：访问地址 https://console.volcengine.com/cozepro/overview?scenario=coze ，打开火山方舟，找到开通管理，找到 DeepSeek R1 模型，点击开通服务，添加在线推理模型，添加后在扣子开发平台才能使用。 6. 创建智能体：点击创建，先完成一个智能体的创建。 需要注意的是，看十遍不如实操一遍，实操十遍不如分享一遍，如果您对 AI Agent 技术感兴趣，可以联系相关人员或者加免费知识星球（备注 AGI 知识库）。

DeepSeek 一直提示服务器繁忙，可能是由于服务器资源紧张。以下为您提供一些可能的解决办法： 1. 您可以尝试使用以下搜索工具： 秘塔搜索:https://metaso.cn 360 纳米 Al 搜索:https://www.n.cn/ 硅基流动:https://siliconflow.cn/zhcn/ 字节跳动火山擎:https://console.partner.volcengine.com/auth/login?redirectURI=%2Fpartner%2F 百度云千帆:https://login.bce.baidu.com/ 英伟达:https://build.nvidia.com/deepseekai/deepseekr1 Groq:https://groq.com/ Chutes:https://chutes.ai/app 阿里云百炼:https://api.together.ai/playground/chat/deepseekai/DeepSeekR1 Github:https://github.com/marketplace/models/azuremldeepseek/DeepSeekR1/playground POE:https://poe.com/DeepSeekR1 Cursor:https://cursor.sh/ Monica:https://monica.im/invitation?c=ACZ7WJJ9 Lambda:https://lambdalabscom/6 Cerebras:https://cerebras.ai Perplexity:https://www.perplexity.ai 阿里云百炼:https://api.together.ai/playground/chat/deepseekai/DeepSeekR1 另外，需要注意的是，DeepSeek 已暂停 API 充值服务，服务器资源紧张，官方宣布暂停 API 充值，已充值金额可继续使用。DeepSeekchat 模型优惠期至 2025 年 2 月 8 日 24:00，之后按每百万输入 tokens 2 元，每百万输出 tokens 8 元计费。Deepseekreasoner 模型上线即按每百万输入 tokens 4 元，每百万输出 tokens 16 元计费。详情可参考：

如果 DeepSeek 服务器繁忙，您可以尝试以下替代方案： 1. 秘塔搜索：https://metaso.cn 2. 360 纳米 AI 搜索：https://www.n.cn/ 3. 硅基流动：https://cloud.siliconflow.cn/i/P677W6Hz 4. 字节跳动火山引擎：https://console.volcengine.com/ark/region:ark+cnbeijing/experience 5. 百度云千帆：https://console.bce.baidu.com/qianfan/modelcenter/model/buildIn/list 6. 英伟达 NIM：https://build.nvidia.com/deepseekai/deepseekr1 7. Groq：https://groq.com/ 8. Fireworks：https://fireworks.ai/models/fireworks/deepseekr1 9. Chutes：https://chutes.ai/app/chute/ 10. Github：https://github.com/marketplace/models/azuremldeepseek/DeepSeekR1/playground（需要魔法） 11. POE：https://poe.com/DeepSeekR1（需要魔法） 12. Cursor：https://cursor.sh/（需要魔法） 13. Monica：https://monica.im/invitation?c=ACZ7WJJ9（需要魔法） 14. Lambda：https://lambdalabs.com/（需要魔法） 15. Cerebras：https://cerebras.ai（需要魔法） 16. Perplexity：https://www.perplexity.ai（需要魔法） 17. 阿里云百炼：https://api.together.ai/playground/chat/deepseekai/DeepSeekR1

目前提供的知识库内容中，没有直接针对“deepseek 访问老是提示‘服务器繁忙，请稍后再试’”这一问题的明确解决办法。但从相关信息可知： DeepSeek 曾暂停 API 充值服务，服务器资源紧张。 DeepSeekchat 模型和 Deepseekreasoner 模型有相应的计费规则。 建议您可以尝试以下操作： 1. 稍后再试，可能是当前访问量过大导致服务器繁忙。 2. 检查网络连接是否稳定。 3. 确认您的账号状态和权限是否正常。

对于本地部署 DeepSeek 的微调，以下是一些相关信息： 对于企业级部署，首先要根据实际业务场景评估所需部署的模型规格以及所需的服务器资源，预估完服务器资源后，还需评估业务场景是否需要二次开发模型。如果只是简单微调模型就能符合业务需求，使用 Ollama、LM Studio、GTP4All 或许可以满足诉求；若需要定制化开发模型，则要考虑进行模型的原生部署。 关于微调的方法，LoRA/QLoRA 论文指出其是对模型进行廉价微调的可行方法，如 。 另外，DeepSeek 模型如 JanusPro 有特别的训练法，先进行预训练，然后老师手把手教（监督微调），最后用“精华浓缩法”保存最好的学习成果。

模型微调是一种迁移学习技术，常用于深度学习中。其基本思路是先有一个在大量数据上预训练的模型，已学会一些基本模式和结构，然后在特定任务数据上继续训练以适应新任务。 以下是关于模型微调的具体实现步骤： 1. 准备和上传训练数据。 2. 训练新的微调模型： LoRA 微调： 脚本见：。 具体实现代码见。 单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调： 脚本见：。 具体实现代码见。 3. 加载微调模型： LoRA 微调：基于 LoRA 微调的模型参数见基于 Llama2 的中文微调模型，LoRA 参数需和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数。 全量参数微调：调用方式同模型调用代码示例，只需修改其中的模型名称或保存路径。 微调的优点包括： 1. 比即时设计更高质量的结果。 2. 能够训练比提示中更多的例子。 3. 由于更短的提示而节省了 Token。 4. 更低的延迟请求。 微调目前仅适用于以下基础模型：davinci、curie、babbage 和 ada。 以下是两个帮助理解微调概念的例子： 1. 情感分类：先使用大量语料库预训练模型，使其学会基本语法和单词语义，再收集标注过的电影评论（积极或消极）继续训练模型，使其学会判断评论情感。 2. 图像分类：先使用大量图片（如 ImageNet 数据集）预训练模型，使其学会识别图片中的基本形状和纹理，再收集标注过的猫和狗的图片继续训练模型，使其学会区分猫和狗。

RAG（RetrievalAugmented Generation，检索增强生成）是解决大语言模型在实际应用中存在的一些问题的有效方案。 大语言模型存在以下问题： 1. 知识的局限性：模型自身的知识完全源于训练数据，对于实时性、非公开或离线的数据无法获取。 2. 幻觉问题：基于数学概率的文字预测导致可能提供虚假、过时或通用的信息。 3. 数据安全性：企业担心私域数据上传第三方平台训练导致泄露。 RAG 可以让大语言模型从权威的、预先确定的知识来源中检索、组织相关信息，更好地控制生成的文本输出，用户也能深入了解模型如何生成最终结果。它类似于为模型提供教科书，适用于回答特定询问或解决特定信息检索任务，但不适合教模型理解广泛领域或学习新的语言、格式或样式。 微调类似于让学生通过广泛学习内化知识。这种方法在模型需要复制特定结构、样式或格式时非常有用。微调可以提高非微调模型的性能，使交互更有效率，特别适合强调基础模型中的现有知识，修改或自定义模型的输出，并向模型提供复杂的指令。然而，微调不适合合并模型中的新知识或需要新用例的快速迭代。 参考资料：《RetrievalAugmented Generation for Large Language Models:A Survey》（https://arxiv.org/pdf/2312.10997.pdf）

以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。

以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。

构建自己领域的微调数据集可以参考以下步骤： 1. 确定目标领域和应用需求：明确您希望模型在哪个细分领域进行学习和优化。 2. 数据收集：广泛收集与目标领域相关的数据。例如，若要训练二次元模型，需收集二次元优质数据；若要微调 Llama3 ，可参考相关文档获取数据集。 3. 数据标注：对收集的数据进行准确标注，以便模型学习到有效的特征。 4. 数据清洗：去除无效或错误的数据，提高数据质量。 5. 特殊处理：如为数据添加特殊 tag 等。 以 Stable Diffusion 为例，可收集如 833 张宝可梦数据，并按照特定步骤进行清洗、标注和添加特殊 tag 。对于 Llama3 ，获取数据集后上传到服务器，编写并执行微调代码即可进行微调。 在微调过程中，还需注意一些问题，如大型语言模型微调可能面临训练时间长、成本高等挑战，此时可考虑参数有效调优等创新方法。