直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

如何在个人电脑中部署本地RAG

回答

在个人电脑中部署本地 RAG 可以按照以下步骤进行：

  1. 加载所需的库和模块：
    • 确保 ollama 服务已开启并下载好模型，ollama 用于在 python 程序中跑大模型。
    • feedparse 用于解析 RSS 订阅源。
  2. 从订阅源获取内容：
    • 函数用于从指定的 RSS 订阅 url 提取内容，如需接收多个 url 可稍作改动。
    • 通过专门的文本拆分器将长文本拆分成较小的块，并附带相关元数据，如标题、发布日期和链接。最终，这些文档被合并成一个列表并返回，用于进一步的数据处理或信息提取任务。
  3. 为文档内容生成向量：
    • 使用文本向量模型 bge-m3，从 hf 下载好模型后放置在指定路径，如 /path/to/bge-m3，通过函数利用 FAISS 创建一个高效的向量存储。
  4. 创建 Python 虚拟环境：
    • 创建 python 虚拟环境，并安装相关库，版本如下：
      • ollama：0.1.8
      • langchain：0.1.14
      • faiss-cpu：1.8.0（有 gpu 则安装 gpu 版本）
      • gradio：4.25.0
      • feedparser：6.0.11
      • sentence-transformers：2.6.1
      • lxml：5.2.1
  5. 导入依赖库。
  6. 基于用户的问题，从向量数据库中检索相关段落，并根据设定的阈值进行过滤，最后让模型参考上下文信息回答用户的问题，从而实现 RAG。
  7. 创建网页 UI：通过 gradio 创建网页 UI，并进行评测。
  8. 问答测试：对于同样的问题和上下文，基于 Qwen-7b、Gemma、Mistral、Mixtral 和 GPT-4 分别进行多次测试。 总结：
  9. 本文展示了如何使用 Langchain 和 Ollama 技术栈在本地部署一个资讯问答机器人，同时结合 RSSHub 来处理和提供资讯。
  10. 上下文数据质量和大模型的性能决定了 RAG 系统性能的上限。
  11. RAG 通过结合检索技术和生成模型来提升答案的质量和相关性，可以缓解大模型幻觉、信息滞后的问题，但并不意味着可以消除。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG

[title]本地部署资讯问答机器人：Langchain+Ollama+RSSHub实现RAG加载所需的库和模块。其中，feedparse用于解析RSS订阅源ollama用于在python程序中跑大模型，使用前请确保ollama服务已经开启并下载好模型|从订阅源获取内容下面函数用于从指定的RSS订阅url提取内容，这里只是给了一个url，如果需要接收多个url，只要稍微改动即可。然后，通过一个专门的文本拆分器将长文本拆分成较小的块，并附带相关的元数据如标题、发布日期和链接。最终，这些文档被合并成一个列表并返回，可用于进一步的数据处理或信息提取任务。|为文档内容生成向量这里，我们使用文本向量模型bge-m3。https://huggingface.co/BAAI/bge-m3bge-m3是智源研究院发布的新一代通用向量模型，它具有以下特点：支持超过100种语言的语义表示及检索任务，多语言、跨语言能力全面领先（M ulti-Lingual）最高支持8192长度的输入文本，高效实现句子、段落、篇章、文档等不同粒度的检索任务（M ulti-Granularity）同时集成了稠密检索、稀疏检索、多向量检索三大能力，一站式支撑不同语义检索场景（M ulti-Functionality）从hf下载好模型之后，假设放置在某个路径/path/to/bge-m3，通过下面函数，利用FAISS创建一个高效的向量存储。|实现RAG

本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG

[title]本地部署资讯问答机器人：Langchain+Ollama+RSSHub实现RAG在这种情况下，我们可能会把网站添加到书签栏，然后时不时就会打开看一下，这种做法无疑是比较低效的，一旦网站变多，更是不现实。如果我们能把真正想要关注的信息汇聚在同一个平台上，并且一旦有更新，就能第一时间在各种终端（如电脑、手机、Kindle等）收到提醒，那岂不是美哉。这里，我给大家推荐一个宝藏项目：RSSHubhttps://docs.rsshub.app/zh/感谢RSSHub这个开源项目，它给各种各样的网站生成了RSS源，堪称「万物皆可RSS 」。你能想到的大部分社交媒体（如微博、Twitter、知乎等）、传统媒体（如央视新闻、路透社等）和金融媒体（如财联社、东方财富、格隆汇等），都能够配合RSSHub，进行订阅。通过RSSHub以及其他渠道，我个人维护了一个订阅源，如下：感兴趣的读者，关注本公众号，然后发送rss，即可下载我打包好的RSS订阅源。那么，有了RSS订阅源，我们就可以通过Python解析RSS订阅源来实时获取相关数据。流程拆解有了数据，就意味着成功了一半。|创建Python虚拟环境创建python虚拟环境，并安装相关库，我安装的是当前最新的库，版本如下：ollama：0.1.8langchain：0.1.14faiss-cpu：1.8.0（如果有gpu，则安装gpu版本）gradio：4.25.0feedparser：6.0.11sentence-transformers：2.6.1lxml：5.2.1|导入依赖库

本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG

[title]本地部署资讯问答机器人：Langchain+Ollama+RSSHub实现RAG基于用户的问题，从向量数据库中检索相关段落，并根据设定的阈值进行过滤，最后让模型参考上下文信息回答用户的问题，从而实现RAG。|创建网页UI最后，通过gradio创建网页UI，并进行评测。生成的Web UI如下：需要上述完整代码的读者，关注本公众号，然后发送fin，即可获取github仓库代码链接。问答测试对于同样的问题和上下文，我基于Qwen-7b、Gemma、Mistral、Mixtral和GPT-4分别进行了多次测试。下面是一些case：qwengemmamistralmixtralgpt4主要结论（只是针对有限的几次测试，个人主观评判）如下：👍 GPT-4表现最好，指令遵循能力很强，在回答的时候能附上引用段落编号✌️ Mixtral表现第二，但没有在回答的时候附上引用💪 Qwen-7b表现第三，也没有在回答的时候附上引用😅 Gemma表现一般，而且回答里面有一些幻觉😅 Mistral表现一般，使用英文回复，不过在回答的时候附上了引用段落编号总结1.本文展示了如何使用Langchain和Ollama技术栈在本地部署一个资讯问答机器人，同时结合RSSHub来处理和提供资讯。2.上下文数据质量和大模型的性能决定了RAG系统性能的上限。3.RAG通过结合检索技术和生成模型来提升答案的质量和相关性，可以缓解大模型幻觉、信息滞后的问题，但并不意味着可以消除。

其他人在问
RAG
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构。 大模型需要 RAG 进行检索优化，是因为大模型存在一些缺点： 1. 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. 知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. 输出难以解释和验证，存在内容黑盒、不可控及受幻觉问题干扰的情况。 4. 容易泄露隐私训练数据。 5. 规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且不影响原有知识。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt 中，提交给大模型，此时大模型的回答会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 RAG 由一个“检索器”和一个“生成器”组成，检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息来制作精确和连贯的答案，非常适合处理需要广泛知识的任务，如问答系统，能够提供详细而准确的回答。
2024-12-19
如何搭建一个RAG应用？
搭建一个 RAG 应用可以使用 LangChain 平台，以下是相关步骤和组件： 1. 数据加载器（DocumentLoader）：这是一个对象，能从数据源加载数据并转换为包含 page_content（文本内容）和 metadata（元数据，如标题、作者、日期等）的文档对象。 2. 文本分割器（DocumentSplitter）：可将文档对象分割成多个较小的文档对象，方便后续检索和生成，因为大模型输入窗口有限，短文本更易找到相关信息。 3. 文本嵌入器（Embeddings）：能将文本转换为高维向量的嵌入，用于衡量文本相似度以实现检索功能。 4. 向量存储器（VectorStore）：可存储和查询嵌入，通常使用 Faiss 或 Annoy 等索引技术加速检索。 5. 检索器（Retriever）：能根据文本查询返回相关文档对象，常见实现是向量存储器检索器，利用向量存储器的相似度搜索功能检索。 6. 聊天模型（ChatModel）：可根据输入序列生成输出消息，通常基于大模型如 GPT3 实现文本生成功能。 使用 LangChain 构建 RAG 应用的一般流程如下： 首先，使用合适的数据加载器根据数据源类型加载数据。例如，数据源是网页可用 WebBaseLoader 加载和解析网页得到文档对象。 然后，用合适的文本分割器将文档对象分割成较小的符合要求的文档对象。如文本是博客文章，可用 RecursiveCharacterTextSplitter 分割。 接下来，用文本嵌入器将文档对象转换为嵌入，并存储到向量存储器中。可根据嵌入质量和速度选择合适的嵌入器和存储器，如 OpenAIEmbeddings 和 ChromaVectorStore。 之后，创建向量存储器检索器，传递向量存储器对象和文本嵌入器对象作为参数。 最后，创建聊天模型，根据性能和成本选择合适的模型，如 OpenAIChatModel。 以下是一个使用 LangChain 构建 RAG 应用的示例代码。
2024-12-15
RAG 如何测评？
RAG（检索增强生成）的测评方法如下： 1. 可以使用 TruLens 来实现 RAG 三角形的评估方法，具体步骤为： 在 LangChain 中，创建一个 RAG 对象，使用 RAGPromptTemplate 作为提示模板，指定检索系统和知识库的参数。 在 TruLens 中，创建一个 TruChain 对象，包装 RAG 对象，指定反馈函数和应用 ID。反馈函数可以使用 TruLens 提供的 f_context_relevance、f_groundness、f_answer_relevance，也可以自定义。 使用 with 语句来运行 RAG 对象，并记录反馈数据。输入一个问题，得到一个回答，以及检索出的文档。 查看和分析反馈数据，根据 RAG 三角形的评估指标，评价 RAG 的表现。 2. 评估 RAG 生成的文本质量，常用的评估方法包括自动评估指标（如 BLEU、ROUGE 等）、人工评估和事实验证，以衡量生成文本的流畅性、准确性和相关性。 3. 评估 RAG 检索的效果，包括检索的准确性、召回率和效率，其好坏直接影响生成文本的质量。 4. 通过用户调查、用户反馈和用户交互数据来实现用户满意度评估。 5. 对于生成多模态内容的 RAG 系统，需要通过多模态评估指标来评估不同模态之间的一致性和相关性。 6. 对于需要实时更新的 RAG 任务，要考虑信息更新的及时性和效率进行实时性评估。 7. 为了进行客观的评估，通常会使用基准测试集来进行实验和比较不同的 RAG 系统。这些基准测试集包含了多样化的任务和查询，以涵盖不同的应用场景。 评估方法和指标的选择取决于具体的任务和应用场景。综合使用多种评估方法可以更全面地了解 RAG 系统的性能和效果，评估结果可以指导系统的改进和优化，以满足用户的需求。
2024-12-13
RAG 案例
以下是为您提供的关于 RAG 案例的相关内容： 在商业化问答场景中，存在大模型根据知识库回复不准确的情况，如回答牛头不对马嘴、未依据正确内容回答等错误场景，这凸显了优化大模型根据知识库回答准确性的重要性，而在 AI 领域中，此优化过程称为 RAG。 RAG（RetrievalAugmented Generation）即检索增强生成，由检索器和生成器两部分组成。检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息制作精确连贯的答案，适合处理需要广泛知识的任务，如问答系统。 在案例研究中： 案例 B 中，用户查询特定研究论文中的“表格 8”及所列因变量，ChatDOC 能有效检索整个表格，包括标题和内容，准确响应查询，而 Baseline 模型未检索到真正的“表格 8”。 OpenAI 在提升 RAG 准确率方面，从 45%开始，尝试多种方法，如假设性文档嵌入和精调嵌入等效果不理想，通过调整信息块大小、嵌入不同内容部分、Reranking、对不同类别问题特别处理、提示工程、查询扩展等方法，最终达到 98%的准确率，强调了模型精调和 RAG 结合使用的潜力。
2024-12-12
rag调优
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合信息检索和文本生成能力的技术，由检索器和生成器两部分组成。检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息来制作精确和连贯的答案，非常适合处理需要广泛知识的任务，如问答系统，能够提供详细而准确的回答。 LLM 需要 RAG 进行检索优化的原因在于 LLM 存在一些缺点： 1. 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. 知识容易过时且不好更新，微调模型的接受能力不高且慢，甚至有丢失原有知识的风险。 3. 输出难以解释和验证，最终输出内容黑盒且不可控，可能受到幻觉等问题干扰。 4. 容易泄露隐私训练数据。 5. 规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在学不会的风险。 2. 数据库的数据更新敏捷，增删改查可解释，对原有知识无影响。 3. 数据库内容明确、结构化，加上模型本身的理解能力，大模型输出出错的可能大大降低。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 性能提升的策略和方法包括： 1. 优化索引： 按照子部分索引，将文本块再拆分为较小的文本（例如单句），然后对这些小块进行多次索引，适用于有多个主题、有冲突信息的复杂长文本信息。 按照文本框可以回答的问题索引，让 LLM 生成与拆分的文本块相关的假设性问题，并将这些问题用于索引，适用于用户没有提出非常明确问题的情况，可减少模糊性。 按照文本块的摘要进行索引，适用于文本框中有多余信息或者与用户查询无关细节的情况。 2. 重排 rerank：搜到相似信息后选择合适的信息，大部分场景下选择最相似的即可。
2024-12-05
RAG
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构。 其旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息，通过检索模式为大语言模型的生成提供帮助，使大模型生成的答案更符合要求。 LLM 需要 RAG 进行检索优化的原因在于 LLM 存在一些缺点： 1. 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. 知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. 输出难以解释和验证，存在内容黑盒、不可控及受幻觉问题干扰的情况。 4. 容易泄露隐私训练数据。 5. 规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，增删改查可解释，对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，可降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt 中，提交给大模型，此时大模型的回答会充分考虑到“包含答案的内容”。其最常见应用场景为知识问答系统。在商业化问答场景中，优化 AI 更准确回答问题的过程称为 RAG，它由“检索器”和“生成器”两部分组成，检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息制作精确和连贯的答案，非常适合处理需要广泛知识的任务，如问答系统，能够提供详细而准确的回答。
2024-11-30
有没有一款AI可以管理个人电脑上存储的各类文件，并且根据这些文件形成个人知识库，方便用户进行搜索、总结、创新等工作？
是的，市面上存在一些AI工具，它们可以帮助管理个人电脑上存储的各类文件，并将这些文件组织成个人知识库，以便于搜索、总结和创新。以下是一些具有这些功能的AI工具或软件： 1. Evernote（印象笔记）： 一个流行的笔记应用，支持跨平台同步，可以存储文本、图片、网页和语音等多种形式的内容。 2. Notion： 一个强大的工作区管理工具，支持笔记、数据库、看板、日历等，可以用来组织个人知识库。 3. Obsidian： 一款基于Markdown的知识管理和笔记应用，支持链接思维和网络化知识结构。 4. Zettlr： 一个面向研究人员和作家的笔记工具，支持引用管理和知识图谱。 5. Devonthink： 一款专业的信息管理软件，支持文档索引、全文搜索和AI辅助的自动分类。 6. OneNote（微软OneNote）： 微软提供的数字笔记本，支持笔记、绘图和文档整理。 7. Trello： 一个看板式的项目管理工具，也可以用来管理个人知识库。 8. Airtable： 一个灵活的数据库工具，结合了电子表格和数据库的功能，支持丰富的字段类型和自定义视图。 9. Google Keep（谷歌便签）： 一个简单的笔记应用，支持文本、图片和语音笔记，可以快速记录想法。 10. Bear： 一款美观的笔记应用，支持Markdown和标签系统，适合个人知识管理。 11. RemNote： 一个专注于学习和记忆的笔记应用，支持双向链接和间隔重复学习。 12. Nuclear： 一个知识管理和搜索工具，支持全文搜索、标签和自定义元数据。 这些工具通常具备强大的搜索功能、标签系统、引用管理、自动分类和AI辅助的整理功能，可以帮助用户高效地管理和利用个人知识库。选择合适的工具时，需要考虑个人的需求、使用习惯和偏好。随着AI技术的发展，这些工具的功能也在不断增强，为用户提供更加智能化的知识管理体验。
2024-06-23
怎么部署dify到ecs
部署 Dify 到 ECS 有以下几种方法： 方法一：通过云服务器、Dify 和智能微秘书免费搭建微信机器人 参考链接：https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose 这些命令在宝塔面板的终端安装。dockercompose 文件在 /root/dify/docker 目录下，可修改和学习其中文件的含义。 检查运行情况，使用 docker compose ps 命令，如果 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 来解决。 在浏览器地址栏输入公网 IP（可在腾讯云服务器或宝塔面板地址栏查看，去掉后面的:8888），随便填邮箱密码建立知识库，选择模型（如智谱 AI，获取钥匙并复制保存），创建应用进行测试和发布。 方法二：腾讯云一键部署 打开腾讯云官网，在左上角【最新活动】进入，新老用户均可享受优惠。 Dify 社区版官方要求 2 核 4G，可根据需求选择境内或境外服务器。境内服务器 159 一年。 选好后创建服务器，选择【使用应用模板创建】【AI】，初始化完成后，在控制台服务器中复制公网 IP 到浏览器（加上 /apps），进入 Dify 安装页面，设置管理员账号密码，正常情况下即可进入 Dify 网站配置模型服务。 方法三：云服务器 Docker 部署 左侧菜单栏文件打开终端，根据 Dify 官方的部署文档操作。 敲入 git 命令（把 Dify 的代码复制到服务器），显示 100%即复制完成。 依次敲下面三个命令，出现相应结果即为成功。 使用方法与方案一相同。 更新时根据官方文档，在 BT 页面的文件中打开终端，按顺序执行命令。同时注意同步环境变量配置，如果.env.example 文件有更新，务必同步修改本地的.env 文件，检查并确保配置项与实际运行环境相匹配。
2024-12-18
如何部署本地的智能数据库
以下是关于如何部署本地智能数据库的详细步骤： 1. 引言： 作者是致力于使用 AI 工具将自己打造为超级个体的程序员，目前沉浸于 AI Agent 研究。 本文将分享如何部署本地大模型以及搭建个人知识库，让您了解相关流程和技术。 2. 本地知识库进阶： 若要更灵活掌控知识库，可使用额外软件 AnythingLLM，它包含所有 Open WebUI 的能力，并额外支持选择文本嵌入模型和向量数据库。 安装地址：https://useanything.com/download 。 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型。 第二步：选择文本嵌入模型。 第三步：选择向量数据库。 AnythingLLM 中有 Workspace 的概念，可创建独有 Workspace 与其他项目数据隔离。 构建本地知识库的步骤： 首先创建一个工作空间。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，包括 Chat 模式（大模型根据训练数据和上传文档综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 完成配置后即可进行测试对话。 3. 写在最后： 作者推崇“看十遍不如实操一遍，实操十遍不如分享一遍”。 若对 AI Agent 技术感兴趣，可联系作者或加入其免费知识星球（备注 AGI 知识库）。
2024-12-02
你的知识库是怎么部署的
部署个人知识库需要考虑硬件配置和相关技术原理。 硬件方面： 生成文字大模型，最低配置为 8G RAM + 4G VRAM，建议配置为 16G RAM + 8G VRAM，理想配置为 32G RAM + 24G VRAM（如果要跑 GPT3.5 差不多性能的大模型）。 生成图片大模型（比如跑 SD），最低配置为 16G RAM + 4G VRAM，建议配置为 32G RAM + 12G VRAM。 生成音频大模型，最低配置为 8G VRAM，建议配置为 24G VRAM。 技术原理方面： 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。 RAG 应用包括文档加载、文本分割、存储、检索和输出这 5 个过程。 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 文本分割：把 Documents 切分为指定大小的块。 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 检索：通过某种检索算法找到与输入问题相似的嵌入片。 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 此外，搭建基于 GPT API 的定制化知识库，涉及给 GPT 输入（投喂）定制化的知识。GPT3.5 一次交互（输入和输出）只支持最高 4096 个 Token。为了处理大量领域知识，OpenAI 提供了 embedding API 解决方案。embeddings 是一个浮点数字的向量（列表），两个向量之间的距离衡量它们的关联性，小距离表示高关联度。
2024-11-11
本地部署的AI工具
以下是关于本地部署的 AI 工具的相关信息： 目前市面上的 AI 工具分为线上和线下本地部署两种： 线上的优势：出图速度快，不依赖本地显卡配置，无需下载大型模型，能查看其他创作者的作品，但出图分辨率受限，一般最高支持 1024×1024 左右，制作横板、高清图片会受影响。 线下部署的优势：可以添加插件，不卡算力，出图质量高。但使用时电脑基本处于宕机状态，配置不高可能会出现爆显存导致出图失败的情况。 具体的部署步骤（以 windows10 系统为例，mac 系统步骤类似，命令有所不同）： 1. 安装环境： 点击电脑“系统”，输入“cmd”，回车打开命令窗口。 在命令窗口中，粘贴代码确认是否有 python 和 pip。 若没有，需安装：先安装 python，安装包可通过下载，按照步骤安装，关闭窗口再次运行命令确认。 2. 部署项目： 下载 COW 机器人项目并解压缩。 回到 chatgptonwechat/文件路径下，空白处右键，打开 Powershell 复制粘贴“python app.py”，弹出二维码扫码登录。 注意事项： 1. 程序在本地运行，关闭窗口进程结束，若要持续使用需保持窗口打开和运行。 2. 若突然不管用，可点击窗口并按空格。 3. 配置时，在 config.json 中的 OpneAi_Api 填“http://localhost:3000/api/v1/chat/completions”。 对于游戏截图升级到 KV 品质的应用，可充分发挥线上和线下平台的优势：线上找参考、测试模型，线下作为主要出图工具。先在线上绘图网站的绘图广场发现想要的画风，点击创作获取模型 lora 和 tag，截取游戏人物底图将线上算力集中在人物身上，多批次尝试不同画风得出合适模型+lora 组合，最后在 C 站（）下载对应模型到本地加载部署后正式生图。
2024-11-10
Mac部署stable diffusion
在 Mac 上部署 Stable Diffusion 存在一定限制，功能可能不全且出错率偏高，严重影响使用体验。个人建议升级设备或者采用云服务器玩耍。 如果您仍想在 Mac 上部署，可以参考以下步骤： 1. 电脑硬件要求： 系统：无明确针对 Mac 的特定系统要求。 显卡：未明确针对 Mac 的显卡要求。 硬盘：留有足够的空间，最低 100G 起步（包括模型）。 2. 环境安装： 未提供 Mac 系统下的具体环境安装步骤。 由于 Mac 系统的特殊性，更推荐您采用云端部署的方式，相关教程可参考：https://qa3dhma45mc.feishu.cn/wiki/A6WYw1Nm0ikGplkuO9Ecwomqnnd
2024-11-06
联想异能者配置i5-12450八核，32GB内存,1TB固态硬盘，用于本地部署开源大模型可以部署哪些开源大模型
以下是一些您的联想异能者配置（i512450 八核，32GB 内存，1TB 固态硬盘）可部署的开源大模型及相关信息： ComfyUI 相比 WebUI 配置更低，系统资源占用更少，出图速度更快。ComfyUI 最低可在小于 3G 的 GPU 上运行，甚至没有 GPU 光用 CPU 也可以运行，但速度极慢。SDXL 出来后提高了运行配置，最低需要 8GB 显存+32GB 运行内存，12GB 流畅运行，推荐 16GB 以上。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上的显存的 NVIDIA 显卡（N 卡），内存在 16G 以上。硬盘会影响加载模型的速度，所以最好把软件和模型部署在 SSD（固态硬盘）上。 截止 2024 年 5 月，主流的 AI 笔记本电脑主要是一些专门为人工智能和深度学习设计的高性能移动工作站。一些知名品牌包括微软第 11 代 Surface Pro、微星 Creator/Workstation 系列、技嘉 Aero/Aorus 系列、戴尔 Precision 移动工作站、惠普 ZBook 移动工作站、联想 ThinkPad P 系列。这些笔记本通常配备强大的 GPU（如 NVIDIA RTX 系列）、大容量内存（32GB 以上）和高速固态硬盘，还通常预装了 NVIDIA CUDA、cuDNN 等深度学习框架，以及各种 AI 开发工具。但这类高端 AI 笔记本价格相对较高，通常在 2000 美元以上。用户可根据自身需求和预算选择合适型号，并关注散热、续航等实际使用体验。 请注意，配置上不封顶，您可根据自己的需求和预算来选择。
2024-11-04