Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

anythingLLM和RAG Flow哪个部署更容易

Answer

RAG Flow 和 LLM 的部署难易程度如下：

  • RAG Flow：
    • 公网 MaaS：通常只需要一个 API key 即可对接，默认提供了通义千问。比较特殊的是 OpenAI 的接口上提供了修改 endpoint，也就是支持中间商。
    • 本地部署：目前仅支持 Xinference 和 Ollama 方式部署。但是实际上只要是 API 接口一致，对接方式一致都可以用该方式对接。此处基础 Url 只需要写到 v1 为止，不需要写 embeddings 的二级接口。添加模型后需要在“系统模型配置”中设置，方能让模型生效。
  • LLM：关于 LLM 的部署难易程度，上述内容中未给出直接对比信息。但 Dify.AI 作为一个开源的大规模语言模型应用开发平台，具有快速部署等特点，用户可以在 5 分钟内部署定制化的聊天机器人或 AI 助手。

综合来看，仅根据所提供的信息，难以确切判断 RAG Flow 和 LLM 哪个部署更容易，还需结合更多具体的技术细节和实际需求进行评估。

Content generated by AI large model, please carefully verify (powered by aily)

References

RAGflow 能力拆解

原创:Stuart[heading2]支持的embedding模型[content]RAGflow支持配置上LLM,embedding,STT,img2text,和内容审核Moderation模型.配置方式大同小异.[heading3]公网MaaS[content]通常只需要一个API key即可对接,默认提供了通义千问.比较特殊的是OpenAI的接口上提供了修改endpoint,也就是支持中间商.(下图中Ollma之外的都是公网模型)实际上RAGflow悄悄的对接了更多公网模型,在创建数据集时能看到:实际测试选择这些模型后,RAGflow会尝试从huggingface下载对应的模型.[heading3]本地部署[content]目前仅支持Xinference和Ollama方式部署.但是实际上只要是API接口一致,对接方式一致都可以用该方式对接.此处基础Url只需要写到v1为止,不需要写embeddings的二级接口.PS:添加模型后需要在“系统模型配置”中设置,方能让模型生效.

大模型的快思慢想：适配自己的LLM使用场景II--在Mac/Edge设备及微信上运行Flux

以下实例，依赖环境：CPU：Intel 13th Gen 13900KFRAM:64GB显卡：nVidia RTX 4900 24GBOS：win11 pro+WSL2+Ubuntu 20.04DifyDify.AI是一个开源的大规模语言模型（LLM）应用开发平台，它允许用户编排从代理到复杂AI工作流的LLM应用，并且配备了一个RAG引擎（Retrieval-Augmented Generation）。Dify.AI旨在为特定行业提供聊天机器人和AI助手，这些助手可以嵌入领域知识，以促进人与AI的合作。以下是Dify.AI的一些关键特性和优势：1.快速部署：用户可以在5分钟内部署定制化的聊天机器人或AI助手。2.创意文档生成：Dify.AI能够从知识库生成清晰、逻辑性强的文档，并且没有长度限制。3.长文档摘要：它能够轻松地对长文档进行摘要。4.自定义API：Dify.AI提供自定义API，可以安全地连接业务知识，解锁更深层次的LLM洞察。5.连接全球LLM：它能够连接到全球的LLM（Large Language Models）。6.生产就绪：Dify.AI比LangChain更接近生产环境。7.开源：Dify.AI是一个开源项目，这意味着它可以被社区广泛地使用和改进。可以从Dify.AI的GitHub仓库https://github.com/langgenius/dify.gi t和https://docs.dify.ai/获取开发者和用户可以找到项目的源代码、文档、安装指南、使用说明和贡献指南等资源。

AIGC Weekly #66

LocalSearch一个开源的完全本地化的AI搜索工具，无需OpenAI或Google API密钥。过去24小时增长了一千颗星星。感兴趣的话可以部署一下试试。项目特点：完全本地化运行，不需要连接到外部API，因此无需API密钥。适用于性能相对较低的大型语言模型硬件，例如在演示视频中使用的是7b模型。提供详细的进度日志，这有助于用户更好地理解搜索和处理过程。支持用户提出后续问题，以便深入探讨或解决问题。界面对移动设备友好，适合在手机或平板电脑上使用。使用Docker Compose工具，可以快速且轻松地部署此服务。提供网络界面，使用户可以从任何设备轻松访问和使用。该服务提供精心设计的用户界面，支持浅色和深色模式，满足不同用户的视觉偏好。[heading2][RAG Flow：新的RAG开源框架](https://github.com/infiniflow[content]InfiniFlow开源的项目叫RAG Flow，有下面这些特点：RAGFlow的核心功能是文档的智能解析和管理，支持多种格式，并允许用户使用任何大型语言模型查询他们上传的文档。RAGFlow提供了多种智能文档处理模板，以满足不同行业和角色的需求，如会计、人力资源专业人员和研究人员。它还强调了智能文档处理的可视化和可解释性，允许用户查看文档处理结果，进行比较、修改和查询。RAGFlow的一个关键优势是它允许LLM以受控方式回答问题，提供了一种理性和基于证据的方法来消除幻觉。

Others are asking
ragflow
RAGflow 能力拆解： 文档拆分方式： 通用模式：主要参考每个块的 token 数量，同时考虑语意完整性，切分段落点通常在句号或叹号等完整句子结束处。拆分结果和 langchain 的拆分大同小异。 Q&A 问答对：将左边内容加上“问题:”，右边内容加上“回答:”组成一个 block，数据清洗工作量大。 简历：解析容易失败，需要匹配关键词才能解析，建议官方给出简历模板。 手册：一整段文字提取，分割处在页面分页、段落分段处，块大小通常较大。 表格：拆分后每一行被当成一个块，第一行的表头插入到每一块头部。对没有特殊字符的表格信息处理较好，对图片内的公式做了 OCR 检测。 数据清洗：RAGflow 提供分段后的数据处理，可自行添加、修改数据或为数据加标签。测试发现，RAGflow 召回会同时使用向量相似度和关键词相似度并加权得到混合相似度，关键词相似度不仅匹配文本段内容还匹配关键词标签内容，单个实体在关键词中出现即为 100%。但需注意，检索获得的内容块需同时包含“问题信息”和“答案信息”，大模型才能解答。此外，RAGflow 没提供对外接口，做聊天或其他应用时不方便。 大模型 RAG 问答行业最佳案例及微调、推理双阶段实现模式：基于模块化RAG 自定义 RAG Flow 原创作者为刘焕勇，发表于 2024 年 1 月 29 日北京。在上一篇文章中介绍了模块化RAG 的相关工作，本文将从三个方面深入探讨 RAG Flow 的设计思路，分别是典型的 RAG Flow 模式、特定的 RAG 流实现以及最佳的行业案例。在典型的 RAG Flow 模式方面，将介绍 3 种微调阶段模式和 4 种推理阶段模式。
2025-02-26
siliconflow可以搭建rag知识库吗
SiliconFlow 本身并不能直接搭建 RAG 知识库。但一般搭建 RAG 知识库的步骤通常包括以下方面： 1. 准备数据：收集需要纳入知识库的文本数据，包括文档、表格等格式，并对数据进行清洗、分段等预处理，确保数据质量。 2. 创建知识库： 访问相关平台的知识库索引，如阿里云百炼，单击创建知识库。在创建知识库界面填入知识库名称与描述。 选择文件，类目位置单击默认类目，文件名称选择准备好的数据文件。 进行数据处理，使用默认的智能切分或根据需求选择合适的处理方式。 3. 配置相关设置：如在 Dify 中提供了三种索引方式供选择，包括高质量模式、经济模式和 Q&A 分段模式，可根据实际需求选择合适的索引方式。 4. 集成至应用：将创建好的数据集集成到相应的应用中，作为应用的上下文知识库使用，并在应用设置中配置数据集的使用方式。 5. 持续优化：收集用户反馈，对知识库内容和索引方式进行持续优化和迭代，定期更新知识库，增加新的内容以保持时效性。 需要注意的是，不同的平台和工具在具体操作上可能会有所差异。
2025-02-24
ragflow
RAGflow 能力拆解： 文档拆分方式： 通用模式：主要参考每个块的 token 数量，同时考虑语意完整性，切分段落点通常在句号或叹号等完整句子结束处。拆分结果和 langchain 的拆分大同小异。 Q&A 问答对：将左边内容加上“问题:”，右边内容加上“回答:”，数据清洗工作量大。 简历：解析容易失败，需要匹配关键词才能解析，建议官方给出简历模板。 手册：一整段文字提取，分割处在页面分页、段落分段处，块大小通常较大。 表格：拆分后每一行被当成一个块，第一行的表头插入到每一块头部。对没有特殊字符的表格信息处理较好，对图片内的公式做了 OCR 检测。 数据清洗：RAGflow 提供分段后的数据处理，可自行添加、修改数据或为数据加标签。测试发现，RAGflow 召回会同时使用向量相似度和关键词相似度并加权得到混合相似度，关键词相似度不仅匹配文本段内容还匹配关键词标签内容，单个实体在关键词中出现即为 100%。需要在检索获得的内容块中同时包含“问题信息”和“答案信息”，大模型才能解答。RAGflow 没提供对外接口，做聊天或其他应用时不方便。 大模型 RAG 问答行业最佳案例及微调、推理双阶段实现模式：基于模块化RAG 自定义 RAG Flow： 原创刘焕勇老刘说 NLP 于 2024 年 1 月 29 日 18:31 发表于北京。在上一篇文章中介绍了模块化RAG 的相关工作，重点论述了每个模块中的构成细节。本文将从三个方面深入探讨 RAG Flow 的设计思路，分别是典型的 RAG Flow 模式、特定的 RAG 流实现以及最佳的行业案例。在典型的 RAG Flow 模式方面，将介绍 3 种微调阶段模式和 4 种推理阶段模式供大家参考思考。
2025-02-22
flowith 2.0与refly的区别具体在哪里？
Flowith 2.0 与 Refly 的区别主要体现在以下方面： 功能定位：Refly 是一款国产应用，是全站式的文本创作工具，集成了“知识库+自由画布+AI 搜索+内容编辑”等功能，覆盖主题搜索、思维拓展、在线文档、文本优化等完整创作链条的每一个环节。Flowith 2.0 是一款出海应用，有成为订阅制 AI 知识社区的野心。 知识库：Flowith 2.0 的知识库允许自行上传制作并发布，还可以自由添加（或购买）他人已经发布的知识库，这是其作为 AI 付费订阅知识社区的基本雏形，而 Refly 没有此功能。 内容编辑器：Flowith 2.0 的内容编辑器有 Markdown、图片编辑器、代码编辑器、实时语音聊天等几种不同的模式，Refly 未提及有此多样的模式。 交互设计：Flowith 2.0 继承并优化了 1.0 版本的交互设计，尤其是 Agent 功能设计（包括 Project 功能、Oracle 模式、Agent Community 等）得到了强化，以及依旧流畅酷炫的对话模式（包括插件模式、比较模式、图片/视频生成模式等），Refly 未提及相关内容。 团队协作：Flowith 2.0 支持团队协作，允许邀请外部协作者评论、共同编辑当前 Flow，Refly 未提及此功能。
2025-02-13
介绍一下flowith
Flowith 是一款创新的 AI 交互式搜索和对话工具： 基于节点式交互方式，支持多种 AI 模型和图像生成技术，提供插件系统和社区功能。 作为一款出海应用，上周发布了 2.0 版本，展现出成为订阅制 AI 知识社区的野心。 具备 Refly 几乎所有功能，并有独特设计，如允许自行上传制作并发布知识库，还能自由添加或购买他人的知识库，这是 AI 付费订阅知识社区的雏形。 内容编辑器有多种模式，包括 Markdown、图片编辑器、代码编辑器、实时语音聊天等。 继承并优化了 1.0 版本的交互设计，强化了 Agent 功能，包括 Project 功能、Oracle 模式、Agent Community 等，对话模式也依旧流畅酷炫，包括插件模式、比较模式、图片/视频生成模式等。 支持团队协作，可邀请外部协作者评论、共同编辑当前 Flow。
2025-01-21
flowith这个网站怎么样？
Flowith 是一款表现出色的 AI 相关网站。 它是一款创新的 AI 交互式搜索和对话工具，基于节点式交互方式，支持多种 AI 模型和图像生成技术，还提供插件系统和社区功能。 在生成式 UI 的探索上较为领先，很好地结合了无线画布和思维导图的优势，用卡片来承接不同数据格式的展示，卡片样式适配多，输入时会利用光效对用户进行引导。 同时，它也是一个不错的 Prompt 网站，在 AI 原生产品的 UI 和交互方面有深入思考。
2025-01-16
基础搭建的知识库效果很差，模型答案的幻觉很严重，我应该怎么改进？（Deepseek调用api接入本地faiss的rag库）
以下是一些改进基础搭建的知识库效果、减轻模型答案幻觉问题的建议： 1. 更换大模型：例如从 ChatGLM26B 替换成 baichuan213b，针对您的场景，后者的性能可能提升一倍左右。 2. 更换 embedding 模型：将 embedding 模型从 LangChain Chatchat 默认的 m3ebase 替换为 bgelargezh，后者可能更优。 3. 测试不同 Top k 的值：比较 Top 5、Top 10、Top 15 的结果，发现 Top 10 时效果可能最优。 4. 对文档名称进行处理：人工对文件进行重命名，上传相同文件构建知识库，同时在构建知识库时勾选【开启中文标题加强】选项，虽然重命名文件对结果的提升效果不明显，但勾选该选项后，回答的无关信息可能减少，效果有所提升。 RAG（RetrievalAugmented Generation）即检索增强生成，由检索器和生成器两部分组成。检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息制作精确连贯的答案，适合处理需要广泛知识的任务。 在大模型中，向量可想象成空间中的点位，每个词或短语对应一个点。系统通过查看词在虚拟空间中点的位置，寻找直线距离最近的点来检索语义上接近的词语或信息。理解向量后，当收到一个对话时，RAG 的完整工作流程为：检索器从外部知识中检索相关信息，生成器利用这些信息生成答案。 要优化幻觉问题和提高准确性，需要了解从“问题输入”到“得到回复”的过程，针对每个环节逐个调优，以达到最佳效果。
2025-02-27
企业建立私有大模型时候，采用什么工具进行RAG,高效实习企业知识文档、表格和pdf图纸的向量化
企业建立私有大模型进行 RAG 并实现企业知识文档、表格和 PDF 图纸向量化时，可参考以下工具和方法： 1. 本地部署资讯问答机器人： 导入依赖库，如 feedparse 用于解析 RSS 订阅源，ollama 用于在 Python 程序中跑大模型（使用前需确保 ollama 服务已开启并下载好模型）。 从订阅源获取内容，通过专门的文本拆分器将长文本拆分成较小的块，并附带相关元数据，最终合并成列表返回。 为文档内容生成向量，可使用文本向量模型 bgem3，从 hf 下载好模型后，假设放置在某个路径 /path/to/bgem3，通过函数利用 FAISS 创建高效的向量存储。 2. 开发：LangChain 应用开发指南 大模型的知识外挂 RAG 加载数据，根据数据源类型选择合适的数据加载器，如网页可使用 WebBaseLoader。 将文档对象分割成较小的对象，根据文本特点选择合适的文本分割器，如博客文章可用 RecursiveCharacterTextSplitter。 将文档对象转换为嵌入并存储到向量存储器中，根据嵌入质量和速度选择合适的文本嵌入器和向量存储器，如 OpenAI 的嵌入模型和 Chroma 的向量存储器。 创建检索器，使用向量存储器检索器，传递向量存储器对象和文本嵌入器对象作为参数创建检索器对象。 创建聊天模型，根据性能和成本选择合适的聊天模型，如 OpenAI 的 GPT3 模型。 以下是使用 LangChain 构建 RAG 应用的示例代码。
2025-02-27
智能RAG客服系统搭建
搭建智能 RAG 客服系统主要包括以下方面： 1. RAG 全貌概览： RAG 的流程分为离线数据处理和在线检索两个过程。 离线数据处理的目的是构建知识库，知识会按照某种格式及排列方式存储在其中等待使用。 在线检索是利用知识库和大模型进行查询的过程。 2. 应用场景： 以构建智能问答客服为例，了解 RAG 所有流程中的“What”与“Why”。 3. 客服系统的要求： 具备结构清晰、全面的 FAQ 库，覆盖常见问题并根据实际场景动态更新。 例如订票平台，可基于用户信息提前呈现可能遇到的问题及解答。 4. 企业客户实践案例： 内部业务助手：通过企业内部规章制度、部门结构、产品介绍等文档构建知识库，并借助 RAG 智能体实现内部知识问答功能。 5. RAG 提示工程： 在利用 RAG 架构构建智能问答系统时，“指代消解”是关键挑战之一，特别是在多轮对话场景中。 目前采用 Prompt 方法解决指代消解问题，会增加计算资源消耗和系统响应延迟，需权衡推理负荷、Token 消耗和问答准确性等因素，根据具体应用环境和需求做出合理选择。
2025-02-26
RAG
RAG（RetrievalAugmented Generation，检索增强生成）是一种结合检索和生成能力的自然语言处理架构。 通用语言模型通过微调可完成常见任务，而更复杂和知识密集型任务可基于语言模型构建系统，访问外部知识源来完成。Meta AI 研究人员引入 RAG 来完成这类任务，它把信息检索组件和文本生成模型结合，可微调且内部知识修改高效，无需重新训练整个模型。 RAG 会接受输入并检索相关支撑文档，给出来源（如维基百科），这些文档作为上下文与原始提示词组合给文本生成器得到最终输出，能适应事实随时间变化，让语言模型获取最新信息并生成可靠输出。 大语言模型（LLM）存在一些缺点，如无法记住所有知识（尤其是长尾知识）、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且不影响原有知识。 3. 数据库内容明确结构化，降低大模型输出出错可能。 4. 便于管控用户隐私数据。 5. 可降低大模型训练成本。 在 RAG 系统开发中存在 12 大痛点及相应的解决方案。
2025-02-26
基于大模型的RAG应用开发与优化
基于大模型的 RAG 应用开发与优化具有以下特点： 优势： 1. 灵活性：可根据需求和数据源选择不同组件和参数，还能使用自定义组件，只要遵循 LangChain 的接口规范。 2. 可扩展性：能利用 LangChain 的云服务部署和运行应用，无需担心资源和性能限制，也能使用分布式计算功能加速应用。 3. 可视化：通过 LangSmith 可视化工作流程，查看输入输出及组件性能状态，还能用于调试和优化，发现解决问题和瓶颈。 应用场景： 1. 专业问答：构建医疗、法律或金融等专业领域的问答应用，从专业数据源检索信息帮助大模型回答问题。 2. 文本摘要：构建新闻或论文等的摘要应用，从多个数据源检索相关文本帮助大模型生成综合摘要。 3. 文本生成：构建诗歌、故事等生成应用，从不同数据源检索灵感帮助大模型生成更有趣和创意的文本。 调优实践： 1. 更换大模型：从 ChatGLM26B 替换成 baichuan213b，针对特定场景，后者性能提升一倍左右。 2. 更换 embedding 模型：将 embedding 模型从 LangChain Chatchat 默认的 m3ebase 替换为 bgelargezh，后者更优。 3. 测试不同 Top k 的值：比较 Top 5、Top 10、Top 15 的结果，发现 Top 10 时效果最优。 4. 对文档名称进行处理：人工重命名文件对结果提升不明显，但勾选【开启中文标题加强】选项后，回答的无关信息减少，效果有所提升。目前效果虽有提升，但仍未达到可用水平，后续将尝试其他调优策略。
2025-02-25
anythingllm安装包
以下是关于 AnythingLLM 安装包的相关信息： 安装地址：https://useanything.com/download 。 安装完成后会进入配置页面，主要分为三步： 第一步：选择大模型。 第二步：选择文本嵌入模型。 第三步：选择向量数据库。 在 AnythingLLM 中有 Workspace 的概念，可以创建自己独有的 Workspace 与其他项目数据进行隔离。配置流程包括： 首先创建一个工作空间。 上传文档并且在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式和 Query 模式。Chat 模式大模型会根据训练数据和上传的文档数据综合给出答案，Query 模式大模型仅依靠文档中的数据给出答案。 完成上述配置后，即可与大模型进行对话。 此外，在 GitHubDaily 开源项目列表 2023 年复盘的 AIGC 部分中， 是一个可打造成企业内部知识库的私人专属 GPT，能将任何文档、资源或内容转换为大语言模型（LLM）知识库，在对话中引用其中内容。
2025-02-06
AnythingLLM 怎么用，好用吗
AnythingLLM 是一款功能强大的软件，具有以下特点和使用方法： 功能：包含了所有 Open WebUI 的能力，并且额外支持选择文本嵌入模型和向量数据库。 安装和配置：安装地址为 https://useanything.com/download 。安装完成后进入配置页面，主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。 构建本地知识库：其中有 Workspace 的概念，可以创建自己独有的 Workspace 与其他项目数据隔离。首先创建工作空间，然后上传文档并进行文本嵌入，接着选择对话模式，提供了 Chat 模式（大模型根据训练数据和上传文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案），最后进行测试对话。 相关评价：被认为是一个可打造成企业内部知识库的私人专属 GPT，能将任何文档、资源或内容转换为大语言模型（LLM）知识库，支持多用户使用，可设权限，兼容多种 LLM 和数据库。 总的来说，AnythingLLM 的使用效果因人而异，需要您亲自实践和体验来判断其是否好用。
2025-02-04
个人有没有必要本地部署deepseek模型
个人是否有必要本地部署 DeepSeek 模型取决于多种因素。 DeepSeek 模型的权重文件开源，可本地部署。其公司名为“深度求索”，网页和手机应用目前免费，但 API 调用收费。 在云端模型部署方面，有实操演示和使用方法讲解，包括登录 Pad 控制台、选择框架、资源、出价等，还介绍了查看部署状态和日志的方法，以及用 Postman 在线调试模型获取名称及后续使用方式。 在模型部署相关内容中，部署时使用 V1 chat completion s 接口，要注意模型名称、大小写等。同时布置了作业为成功部署大语言模型并调试，提交带钉钉昵称的截图。还讲解了 API 调用方法、费用、停止服务方式等，提醒注意保密 API key，若竞不到价可加价尝试进行本地蒸馏模型部署。 模型蒸馏方面，先介绍云平台部署情况，接着讲解模型蒸馏概念、方式，阐述其应用场景及修复模型幻觉的作用，并进行了实操演示。 综合来看，如果您对数据隐私有较高要求、需要定制化的模型服务、有足够的技术能力和资源来进行本地部署和维护，或者在网络不稳定的情况下使用，那么本地部署可能是有必要的。但如果您的需求相对简单，且不具备相关技术条件和资源，使用云端服务可能更为便捷。
2025-02-27
如果不是英伟达显卡，可以本地部署SD吗？
如果不是英伟达显卡，一般不建议本地部署 SD。 SD 的安装要求如下： 1. 系统需为 Win10 或 Win11。 2. 查看电脑配置： 查看电脑系统：在桌面上找到“我的电脑”，鼠标右键点击，点击“属性”，查看 Windows 规格。 查看电脑配置：检查自己的电脑配置能否带动 SD（Stable Diffusion），需要满足 3 个要求（推荐）：电脑运行内存 8GB 以上，是英伟达（NVIDA）的显卡，显卡内存 4GB 以上。 查看电脑运行内存：打开任务管理器（同时按下 ctrl+shift+esc），8GB 运行内存可以勉强运行 SD，推荐 16GB 以上运行内存。 查看电脑显卡内存（显存）：4GB 显存可运行 SD，推荐 8GB 以上显存。 3. 配置达标可跳转至对应安装教程页： 。 4. 配置不够可选择云端部署（Mac 也推荐云端部署）： 。 5. 备选：SD 好难，先试试简单的无界 AI： 。 另外，Fooocus 是 SD 的相关产品，其使用的是最新推出的 SDXL 1.0 模型，对 stable diffusion 和 Midjourney 做了结合升级。Fooocus 本地部署的配置要求为：需要不低于 8GB 的内存和 4GB 的英伟达显卡。Fooocus 介绍/安装包下载：https://github.com/lllyasviel/Fooocus（文末领取软件+模型整合包：16G） ，使用指南：https://github.com/lllyasviel/Fooocus/discussions/117 ，大模型（base 和 Refiner）默认放在这里：\\Fooocus_win64_1110\\Fooocus\\models\\checkpoints 。 SD 云端部署的流程如下： 1. 安装和配置基础环境：浏览器上按照腾讯云>控制台>云服务器的路径找到购买的实例，点击启动，会新开一个远程访问的窗口，输入购买时设置的密码进入，这样就有了一个远程的 Windows 系统环境，接下来安装显卡驱动、配置环境变量即可。 2. 安装显卡驱动：用内置的 IE（也可下载 Chrome），打开英伟达的网站，找到驱动下载，选择购买机器时选定的显卡型号、Windows 版本号，下载对应的驱动，然后安装上。 3. 配置环境变量：驱动安装完成后，开始配置环境变量。首先找到驱动安装所在的目录，如果没有特殊设定，一般是在「C:\\Program Files\\NCIDIA Corporation」，复制这个路径，找到环境变量配置入口（控制面板>系统和安全>系统），选择「高级系统设置」，弹窗设置环境变量，找到「系统变量」里的 Path 环境变量，点击「编辑...」，然后「新建」，将刚才复制的 nvidia 驱动安装地址粘贴进去，保存即可。
2025-02-27
ai在档案领域的部署
目前关于 AI 在档案领域的部署，知识库中暂时没有相关内容。但一般来说，AI 在档案领域的部署可能包括利用自然语言处理技术对档案内容进行智能检索和分类，通过机器学习算法对档案的重要性和价值进行评估，以及运用图像识别技术对档案中的图片、图表等进行数字化处理等方面。
2025-02-27
高校如何自己本地部署DEEPSEEK
高校本地部署 DEEPSEEK 可以参考以下内容： 1. 了解相关平台服务差异，如 DLC、DSW 和 EAS 等模型部署平台服务的不同。 2. 如果拥有云服务器，可以进行本地部署，但要注意满血版本地部署的实际情况。 3. 在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 4. 登录 Pad 控制台，通过 model gallery 进行部署，如 Deepseek R1 模型，可选择 SG 浪或 Vim 推理框架，根据资源出价，部署后可在模型在线服务 EAS 查看状态。 5. 模型试用可以使用 postman，通过修改接口和复制文档中的内容进行在线调试，发送请求查看状态码，根据模型名称和相关要求输入内容进行试用。 6. 会带着大家复现模型的蒸馏和微调，并讲解相关知识。 7. 实战演练 DeepSeek R1 满血版快速部署和蒸馏训练。 以上信息仅供参考，具体操作可能会因实际情况有所不同。
2025-02-27
Deepseek本地化部署
以下是关于 DeepSeek 本地化部署的相关信息： 在“智能纪要：0225|最新的 DeepSeek 玩法教学 2025 年 2 月 25 日”中提到，明天（02/26 20:00）将教授 DeepSeek 本地部署。 在“第三期「AI 实训营」手把手学 AI【第三期：尝鲜阿里云上的 DeepSeek 玩法】”中，02/26 20:00 的课程主题为“人工智能平台 PAI 篇：本地部署满血版 DeepSeek”，课程内容包括 DeepSeek R1 技术原理、解锁 DeepSeek 的不同玩法（问答助手、蒸馏、微调）以及实战演练 DeepSeek R1 满血版快速部署和蒸馏训练。相关课程文档为
2025-02-26
通义千问私有化部署方案
以下是关于通义千问私有化部署的相关方案： 1. 在 FastGPT+OneAPI+COW 框架下的部署： 回到宝塔，选择 Docker（若显示“当前未安装”则进行安装，否则无需此步）。 点击确定，等待安装完成，完成后刷新页面确认安装成功。 打开左侧【终端】，粘贴两行命令验证 Docker 是否可用。 一条一条复制并粘贴相关命令完成安装。 访问 OneAPI，地址为：http://这里改成你自己宝塔左上角的地址:3001/（举例：http://11.123.23.454:3001/），账号默认 root，密码 123456。 点击【渠道】，类型选择阿里通义千问，名称随意。 将千问里创建的 API Key 粘贴到秘钥里，点击确认。 点击【令牌】【添加新令牌】，名称随意，时间设为永不过期、额度设为无限额度，点击【提交】。 点击【令牌】，复制出现的 key 并保存。 2. 在 Langchain+Ollama+RSSHub 框架下的部署： Ollama 支持包括通义千问在内的多种大型语言模型，适用于多种操作系统，同时支持 cpu 和 gpu。 可通过 https://ollama.com/library 查找模型库，通过简单步骤自定义模型，还提供了 REST API 用于运行和管理模型及与其他应用程序的集成选项。 访问 https://ollama.com/download/ 进行下载安装，安装完之后确保 ollama 后台服务已启动。 3. 在 0 基础手搓 AI 拍立得框架下的部署： 可以选择通义千问作为模型供应商，其指令灵活性比较丰富，接口调用入门流程长一些，密钥安全性更高。接口调用费用为：调用：¥0.008/千 tokens，训练：¥0.03/千 tokens。可参考 。
2025-02-26