Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

能够本地化部署的AI文字助手

Answer

以下是关于本地化部署的 AI 文字助手以及相关排版和润色工具的信息：

本地化部署的 AI 文字助手： 在让 AI 助手能准确回答问题之前，可先快速将其集成到网站中。

  1. 搭建示例网站：
    • 创建应用：点击这里打开函数计算应用模板，参考相关选择直接部署、填写百炼应用 ID 以及 API-KEY，其他表单项保持默认，点击创建并部署默认环境，等待项目部署完成（预计耗时 1 分钟）。
    • 访问网站：应用部署完成后，在应用详情的环境信息中找到示例网站的访问域名，点击查看确认部署成功。
  2. 为网站增加 AI 助手：
    • 增加 AI 助手相关代码：回到应用详情页，在环境详情底部找到函数资源，点击函数名称进入函数详情页，在代码视图中找到 public/index.html 文件，取消相关位置的代码注释，最后点击部署代码等待完成。
    • 验证网站上的 AI 助手：重新访问示例网站页面查看最新效果，会发现网站右下角出现 AI 助手图标，点击唤起。

AI 文章排版工具： 主要用于自动化和优化文档布局和格式，特别是处理学术论文和专业文档。一些流行的工具包括：

  1. Grammarly：不仅是语法和拼写检查工具，还提供排版功能，改进文档风格和流畅性。
  2. QuillBot：AI 驱动的写作和排版工具，改进文本清晰度和流畅性。
  3. Latex：广泛用于学术论文排版，使用标记语言描述格式，有许多 AI 辅助的编辑器和插件简化排版过程。
  4. PandaDoc：文档自动化平台，使用 AI 帮助创建、格式化和自动化文档生成，适合商业和技术文档。
  5. Wordtune：AI 写作助手，重新表述和改进文本，使其更清晰专业。
  6. Overleaf：在线 Latex 编辑器，提供丰富模板和协作工具，适合学术写作和排版。

选择合适的工具取决于具体需求，如文档类型、出版标准和个人偏好。对于学术论文，Latex 和 Overleaf 受欢迎；对于一般文章和商业文档，Grammarly 和 PandaDoc 等可能更适用。

文章润色工具： 常见的有：

  1. Wordvice AI：集校对、改写转述和翻译等功能于一体，基于大型语言模型提供全面的英文论文润色服务。
  2. ChatGPT：由 OpenAI 开发的大型语言模型，可用于多方面写作辅助。
  3. Quillbot：人工智能文本摘要和改写工具，可用于快速筛选和改写文献资料。
  4. HyperWrite：基于 AI 的写作助手和大纲生成器，帮助写作前头脑风暴和大纲规划。
  5. Wordtune：AI 驱动的文本改写和润色工具，优化文章语言表达。
  6. Smodin：提供 AI 驱动的论文撰写功能，可根据输入生成符合要求的学术论文。

这些 AI 工具涵盖文章润色的各个环节，可提高写作效率和质量，科研人员和学生可根据自身需求选择。

请注意，以上内容由 AI 大模型生成，请仔细甄别。

Content generated by AI large model, please carefully verify (powered by aily)

References

10分钟在网站上增加一个AI助手

在让AI助手能准确回答问题之前，我们可以先尝试快速将AI助手集成到网站中。您可以通过我们提前准备好的应用模板，快速搭建一个空白的示例网站，用于模拟您的企业官网或者其他站点。详细步骤如下：[heading3]2.1创建应用[content]请点击[这里](https://fcnext.console.aliyun.com/applications/create?template=web-chatbot&from=solution)打开我们提供的函数计算应用模板，参考下图选择直接部署、并填写前面获取到的百炼应用ID以及API-KEY。然后其他表单项保持默认，点击页面左下角的创建并部署默认环境，等待项目部署完成即可（预计耗时1分钟）。[heading3]2.2访问网站[content]应用部署完成后，您可以在应用详情的环境信息中找到示例网站的访问域名，点击即可查看，确认示例网站已经部署成功。[heading2]3.为网站增加AI助手[content]在网站中增加AI助手非常简单，您只需要在网站的html文件中插入几行代码。[heading3]3.1增加AI助手相关代码[content]示例工程中包含了被注释的引入AI助手代码，您需要找到并解除注释。详细操作步骤如下：1.回到应用详情页，在环境详情的最底部找到函数资源，点击函数名称，进入函数详情页。1.2.在代码视图中找到public/index.html文件，然后取消③所在位置的代码注释即可。1.2.最后点击部署代码，等待部署完成即可。[heading3]3.2验证网站上的AI助手[content]现在，您可以重新访问示例网站页面以查看最新效果。此时您会发现网站的右下角出现了AI助手图标，点击即可唤起AI助手。

问：AI文章排版工具，论文排版

AI文章排版工具主要用于自动化和优化文档的布局和格式，特别是在处理学术论文和专业文档时。这些工具可以帮助作者和研究人员自动格式化文档，确保符合特定的出版标准或学术规范。以下是一些流行的AI文章排版工具：1.Grammarly:Grammarly不仅是一个语法和拼写检查工具，它还提供了一些排版功能，可以帮助改进文档的整体风格和流畅性。2.QuillBot:QuillBot是一个AI驱动的写作和排版工具，可以帮助用户改进文本的清晰度和流畅性，同时保持原有的意义。3.Latex:尽管不是纯粹的AI工具，Latex是一个广泛用于学术论文排版的软件，它使用标记语言来描述文档的格式。有许多AI辅助的Latex编辑器和插件可以帮助简化排版过程。4.PandaDoc:PandaDoc是一个文档自动化平台，它使用AI来帮助创建、格式化和自动化文档生成，适合商业和技术文档。5.Wordtune:Wordtune是一个AI写作助手，可以重新表述和改进文本，使其更加清晰和专业，同时保持原始意图。6.Overleaf:Overleaf是一个在线Latex编辑器，提供了丰富的模板和协作工具，非常适合学术写作和排版。选择合适的AI文章排版工具取决于你的具体需求，如文档类型、出版标准和个人偏好。对于学术论文，Latex和Overleaf是非常受欢迎的选择，因为它们提供了强大的排版功能和广泛的学术支持。对于一般的文章和商业文档，Grammarly和PandaDoc等工具可能更适用。内容由AI大模型生成，请仔细甄别。

问：文章润色工具有哪些？

以下是一些常见的文章润色AI工具：1.Wordvice AI集校对、改写转述和翻译等功能于一体的AI写作助手基于大型语言模型提供全面的英文论文润色服务2.ChatGPT由OpenAI开发的大型语言模型可用于学生和写作人员的多方面写作辅助3.Quillbot人工智能文本摘要和改写工具可用于快速筛选和改写文献资料4.HyperWrite基于AI的写作助手和大纲生成器可帮助用户在写作前进行头脑风暴和大纲规划5.WordtuneAI驱动的文本改写和润色工具可以帮助用户优化文章的语言表达6.Smodin提供AI驱动的论文撰写功能可以根据输入生成符合要求的学术论文总的来说，这些AI工具涵盖了文章润色的各个环节，包括校对、改写、大纲生成、内容生成等，可以有效提高写作效率和质量。科研人员和学生可以根据自身需求选择合适的工具进行使用。内容由AI大模型生成，请仔细甄别

Others are asking
大模型的实际应用有哪些？Agent?AI网站
大模型的实际应用包括以下方面： 1. 在影刀 RPA+AI Power 中的应用： 集成丰富的 AI 组件及各种技能组件，拓展 AI 服务的能力边界，打造 AI Agent。例如搜索引擎组件可让 AI 接入互联网获取实时信息，RPA 组件可直接调用影刀 RPA 客户端应用实现 AI 自动化操作。 提供网页分享、对话助理、API 集成等无缝多样的使用方式，方便企业在不同业务场景下灵活选择接入方式，让内部员工、外部客户便捷地与 AI 交互。 为企业提供教学培训、技术答疑、场景共创等贴身的服务支持，帮助企业把产品用起来，把 AI 落地下去。 2. 在 Ranger 相关介绍中的应用： Agent 被认为是大模型未来的主要发展方向。 中间的“智能体”就是大模型，通过为其增加工具、记忆、行动、规划四个能力来实现。目前行业里主要用到的是 langchain 框架，在 prompt 层和工具层完成相关设计。 3. 在大圣的相关介绍中的应用： 大模型的产品类型主要有 Copilot 和 Agent 两种。 Copilot 是辅助驾驶员，在帮助用户解决问题时起辅助作用，更多地依赖于人类的指导和提示来完成任务，功能局限于给定框架内，处理流程依赖于人类确定的静态流程，主要用于处理简单、特定的任务，开发重点在于 Prompt Engineering。 Agent 是主驾驶，智能体，可以根据任务目标进行自主思考和行动，具有更高的自主性和决策能力，解决问题的流程是由 AI 自主确定的动态流程，能够处理复杂、大型的任务，在 LLM 薄弱阶段使用工具或 API 增强，开发重点在于 Flow Engineering。
2025-01-07
解释AI大模型和各种AI网站的关系
AI 大模型是一种具有大规模参数和强大能力的模型。 AI 网站通常会提供各种与 AI 相关的服务和工具，例如： 1. 提供多种 AI 生成工具，如输入简单提示词就能创作音乐的 so no 音频生成工具，能创建个人 AI 智能体的豆包，输入文本可生成播客的 Notebook LN 等。 2. 包含模型社区，为大模型提供数据、企业模型和算力服务，有按任务划分的模型库、数据集和在线应用供体验。 3. 拥有 AI 工程平台，对模型和应用有要求，像 define 是典型的工程平台，涉及数据清洗管道、数据存储和检索、编辑生成平台、构建 prompt 技巧、智能体概念、插件调用、运维平台、模型层和缓存机制等，还能接入多家大模型。 总之，AI 网站是展示和应用 AI 大模型的平台，通过这些网站，用户可以接触和使用到基于 AI 大模型开发的各种功能和服务。
2025-01-07
AI智能数据库查询助手
以下是关于您提出的“AI 智能数据库查询助手”的相关信息： 能联网检索的 AI： 存在能联网检索的 AI，它们通过连接互联网实时搜索、筛选并整合所需数据，为用户提供更精准和个性化的信息。例如： ChatGPT Plus 用户现在可以开启 web browsing 功能，实现联网功能。 Perplexity 结合了 ChatGPT 式的问答和普通搜索引擎的功能，允许用户指定希望聊天机器人在制定响应时搜索的源类型。 Bing Copilot 作为 AI 助手，旨在简化您的在线查询和浏览活动。 还有如 You.com 和 Neeva AI 等搜索引擎，提供基于人工智能的定制搜索体验，并保持用户数据的私密性。 AI 新产品｜网站精选推荐： AIHelperBot 自动生成 SQL Queries，支持数据库一键链接或导入。当前收费$5 每月，可免费试用 7 天。链接：https://skybox.blockadelabs.com/ ChartGPT by CadLabs 由 CadLabs 开发工具，基于 GPT3.5，可以根据数据生成图表并回答问题。链接：https://chartgpt.cadlabs.org/ Embedding Store 功能如其名，是一站式 Embedding Marketplace，支持公开、私有及第三方数据，用于发现、评估和访问相关的嵌入（embeddings），产品还未上线。链接：https://www.embedding.store/ AI 在医疗药品零售领域的应用： AI 在医疗药品零售领域有着多方面的应用前景： 药品推荐系统：利用机器学习算法分析用户购买记录、症状描述等数据，为用户推荐合适的非处方药品和保健品，提升销售转化率。 药品库存管理：通过分析历史销售数据、天气、疫情等因素，AI 系统可以预测未来某段时间内的药品需求量，优化药店的库存管理策略，降低成本。 药品识别与查询：借助计算机视觉技术，用户可以用手机拍摄药品图像，AI 系统自动识别药名并提供说明、用法、禁忌等信息查询服务。 客户服务智能助手：基于自然语言处理技术，AI 虚拟助手可以回答顾客关于购药、用药、保健等常见问题，减轻人工客服的工作压力。 药店运营分析：AI 可以分析药店的销售、顾客流量、库存等大数据，发现潜在的运营问题和优化空间，为决策提供参考。 药品质量监控：通过机器视觉、图像识别等技术，AI 能够自动检测药品的包装、标签、颜色等是否合格，及时发现问题。 药品防伪追溯：利用区块链等技术，AI 可以实现全流程的药品溯源，确保药品供应链的安全性和真实可信度。 总之，AI 技术在药品零售领域可以提升购药体验、优化库存管理、降低运营成本、保障药品质量安全，是一个值得重视的发展方向。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-01-07
AI翻译
以下是关于 AI 翻译的相关内容： 吴恩达开源了一个基于 AI 原理的翻译项目，项目地址是 https://github.com/andrewyng/translationagent 。通过该项目所采用的反思优化机制，可以显著提升 AI 翻译的质量。普通用户可在 Coze 平台上尝试复刻此项目，按照教程简单操作就能打造出属于自己的高质量 AI 翻译助手，也可直接使用已发布好的翻译器 Bot 。 吴恩达的 AI 翻译项目核心流程分为三个步骤：初始翻译、识别可优化点、对初始结果进行优化。 Coze 的 AI 应用与网页应用架构类似，包括前端页面用于用户输入或上传，数据处理端处理前端数据，处理完成的数据有展示在前端或保存到数据库/知识库供查询两种路径。搭建 Coze 的 AI 应用需关注前端页面构建、页面数据传递给工作流或插件、工作流处理数据返回前端展示这三个方面。以 AI 翻译应用为例，应掌握前端的基本结构，如页面、组件、Form 表单、Div 容器、文本框等及相关事件，还有表单向工作流传递数据、工作流数据返回前端组件展示的方法。 此外，还有骏老师关于如何用 AI 学习英语的分享，包括实战心得直播及相关文档地址。同时也提到了一些关于文案写作和自用长文本中译英 Prompt 的实例。
2025-01-07
各种AI概念
以下是关于各种 AI 概念的介绍： 基础概念： 人工智能（AI）：一种目标，让机器展现智慧，Artificial Intelligence，简称 AI。 生成式人工智能（GenAI）：一种目标，让机器产生复杂有结构的内容，Generative AI 简称 GenAI。 机器学习：一种手段，让机器自动从资料中找到公式。 深度学习：一种更厉害的手段，类神经网络 非常大量参数的函数。 大语言模型：是一类具有大量参数的“深度学习”模型，Large Language Models，简称 LLMs。 ChatGPT：一个应用实例，通过投喂大量资料预训练后，会通过聊天玩“文字接龙游戏”。英文解释：Chat 聊天，G:Generative 生成，P:Pretrained 预训练，T:Transformer 类神经网络模型。 相关概念： AIGC（Artificial Intelligence Generated Content）：是利用人工智能技术生成内容的新型生产方式，包括文本、图像、音频和视频等内容。ChatGPT 是 AIGC 技术的一个应用实例，代表了 AIGC 在文本生成领域的进展。 概念之间的关系：可参考相关图示。 区别与理解：AGI、GenAI、AIGC 几个概念的区别与理解可参考相关图示。 更多概念：可问 Kimi、通义千问、文心一言等大模型。 国内主要模型公司及地址：（未给出具体内容） AI 的应用场景： 医疗保健：医学影像分析、药物研发、个性化医疗、机器人辅助手术等。 金融服务：风控和反欺诈、信用评估、投资分析、客户服务等。 零售和电子商务：产品推荐、搜索和个性化、动态定价、聊天机器人等。 制造业：预测性维护、质量控制、供应链管理、机器人自动化等。 交通运输：（未给出具体内容）
2025-01-07
如何理解AI网站和AI大模型的关系
AI 网站和 AI 大模型之间存在着密切的关系。 首先，AI 大模型是人工智能领域的核心技术之一。它是基于深度学习等方法构建的具有大规模参数和强大能力的模型，例如能够处理自然语言、生成文本、进行语义理解等。 生成式 AI 生成的内容称为 AIGC。相关技术名词包括： 1. AI 即人工智能。 2. 机器学习是电脑找规律学习，涵盖监督学习（有标签的训练数据，学习输入和输出之间的映射关系，包括分类和回归）、无监督学习（学习的数据无标签，算法自主发现规律，如聚类）、强化学习（从反馈中学习，最大化奖励或最小化损失，类似训小狗）。 3. 深度学习参照人脑，有神经网络和神经元，因层数多被称为深度，神经网络可用于多种学习方式。 4. LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不属于大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解（如上下文理解、情感分析、文本分类），但不擅长文本生成。 技术方面，2017 年 6 月谷歌团队发表的《Attention is All You Need》论文首次提出了 Transformer 模型，它基于自注意力机制处理序列数据，比 RNN 更适合处理文本的长距离依赖性。 AI 网站通常是展示和应用 AI 大模型的平台。通过网站，用户可以与 AI 大模型进行交互，获取其提供的服务和功能，例如进行文本生成、问答、翻译等。同时，AI 网站也为 AI 大模型的推广、应用和改进提供了渠道。
2025-01-07
如何本地化部署一个ai助手
本地化部署一个 AI 助手可以参考以下几种方式： 1. 在网站上增加 AI 助手： 搭建示例网站： 创建应用：点击打开函数计算应用模板，参考相关选择直接部署、填写百炼应用 ID 以及 APIKEY，其他表单项保持默认，点击创建并部署默认环境，等待项目部署完成（预计耗时 1 分钟）。 访问网站：应用部署完成后，在应用详情的环境信息中找到示例网站的访问域名，点击即可查看，确认示例网站已经部署成功。 为网站增加 AI 助手： 增加 AI 助手相关代码：回到应用详情页，在环境详情的最底部找到函数资源，点击函数名称，进入函数详情页。在代码视图中找到 public/index.html 文件，取消相关位置的代码注释。最后点击部署代码，等待部署完成。 验证网站上的 AI 助手：重新访问示例网站页面以查看最新效果，网站的右下角会出现 AI 助手图标，点击即可唤起 AI 助手。 2. 从 LLM 大语言模型、知识库到微信机器人的全本地部署（以 windows10 系统为例）： 本地 Hook 或 COW 机器人（二选一，建议先选择 COW）： 注意：本教程完成后，程序将在您的电脑本地运行，假如关掉了窗口，进程也就结束。所以，如果想让 AI 持续使用，就必须保持窗口打开和运行，也就是电脑不能关。 安装环境： 点击电脑“系统”，直接输入“cmd”，点击回车，打开命令窗口。 在命令窗口中，粘贴入相关代码，确认是否有 python 和 pip。 如果没有，先进行 python 的安装，可点击下载：。 部署项目：下载 COW 机器人项目，解压缩。 3. 把大模型接入小米音箱（node.js）： 第四步：填写 API 服务： 智普：接口地址：https://open.bigmodel.cn/api/paas/v4，模型：glm4flash。 硅基：选择 AI 服务为自定义，接口地址：https://api.siliconflow.cn/v1。 其他模型的 API 端口请参考官方文档：https://migptgui.com/docs/apply/。 第五步：语音服务：官方说明：https://migptgui.com/docs/faqs/tts。 第六步：启动服务：在最上方可导出编辑的内容，格式为 json 格式，如果改错了可以导入之前保存的配置。单击启动，回到 powshell 界面。每次调整设置都需要重置后重新启动。建议回答完毕后增加结束的提示语，可以提高连续对话的稳定性。官方常见问题文档：https://migptgui.com/docs/faqs/noreply。
2025-01-05
能够本地化部署的AI助手
以下是关于能够本地化部署的 AI 助手的相关信息： 聊天对话类 AI 产品 ChatGPT： 由 OpenAI 开发，是国际 AI 领域的明星产品，家喻户晓。 开创性强，是首批向公众开放的大规模商用 AI 对话系统之一，掀起 AI 革命，改变人们对 AI 认知，为技术发展指明方向。 用户体验精心设计，界面简洁直观，交互流畅自然，新手也能轻松上手，降低使用门槛，普及 AI。 技术实力强，背后的 GPT 系列模型性能和能力领先，语言理解深度和生成内容质量高，能应对复杂任务和挑战。 局限性：不再是市场唯一顶级选择，其他产品在特定领域超越其表现；国内用户使用可能有网络连接问题，影响体验。 AI 工具使用方法： 市面上有线上和线下本地部署两种 AI。 线上优势：出图速度快，不吃本地显卡配置，无需下载大模型，能看他人作品，但出图最高 1024×1024 左右，制作横板、高清图片受限。 线下优势：可添加插件，不卡算力，出图质量高，但使用时电脑基本宕机，配置不高可能爆显存导致出图失败。 充分发挥线上和线下平台优势：线上找参考、测试模型，线下作为主要出图工具。 在线上绘图网站绘图广场找想要的画风，点击创作会自动匹配模型、lora 和 tag。 截取游戏人物底图，将线上有限算力堆在人物身上，多批次、多数量尝试不同画风，得出符合游戏的模型+lora 组合，在 C 站下载对应模型到本地加载部署后正式生图。 本地部署资讯问答机器人： 对于期望在本地环境利用 AI 技术搭建 RAG 系统的用户，有实际操作价值的参考方案。
2025-01-05
本地化的AI助手有哪些
以下是一些本地化的 AI 助手： 在移动端，人工智能助手 Luzia 首次亮相排名第 25 位，该公司声称在全球拥有 4500 万用户，主要为西班牙语使用者。Luzia 最初是基于 WhatsApp 的聊天机器人，于 2023 年 12 月推出了独立的移动应用程序。 字节跳动的产品： 教育科技平台 Gauth，排名第 44 位。 机器人构建器 Coze，排名第 45 位。 通用助手豆包，在移动榜单上排名第 26 位，其网站为 doubao.com 。 照片和视频编辑器 Hypic，第 19 名。 助手 Cici，第 34 名，在移动端是豆包的英文版。 此外，还有一些与编程相关的 AI 工具： GitHub Copilot：由 GitHub 联合 OpenAI 和微软 Azure 团队推出，支持多种语言和 IDE，能为程序员快速提供代码建议。 通义灵码：阿里巴巴团队推出，提供多种编程辅助能力。 CodeWhisperer：亚马逊 AWS 团队推出，由机器学习技术驱动，为开发人员实时提供代码建议。 CodeGeeX：智谱 AI 推出的开源免费 AI 编程助手，基于 130 亿参数的预训练大模型。 Cody：代码搜索平台 Sourcegraph 推出，借助强大的代码语义索引和分析能力了解开发者的整个代码库。 CodeFuse：蚂蚁集团支付宝团队为国内开发者提供智能研发服务的免费 AI 代码助手。 Codeium：一个由 AI 驱动的编程助手工具，旨在提高编程效率和准确性。 更多辅助编程 AI 产品，可查看：https://www.waytoagi.com/category/65 。 每个工具的功能和适用场景可能不同，您可以根据自身需求选择最适合的工具。
2025-01-05
本地化搭建问答机器人流程
本地化搭建问答机器人的流程如下： 1. 加载所需的库和模块：包括用于解析 RSS 订阅源的 feedparse，用于在 Python 程序中跑大模型的 ollama（使用前需确保 ollama 服务已开启并下载好模型）。 2. 从订阅源获取内容：通过函数从指定的 RSS 订阅 url 提取内容，如需接收多个 url 稍作改动即可。然后使用专门的文本拆分器将长文本拆分成较小的块，并附带相关元数据，最终合并成列表返回用于后续处理或提取。 3. 为文档内容生成向量：使用文本向量模型 bgem3（从 hf 下载好模型后假设放置在某个路径，通过函数利用 FAISS 创建高效的向量存储）。 4. 推荐 RSSHub 项目：可将关注的信息汇聚在同一平台，一旦有更新能在各种终端收到提醒。其为各种网站生成 RSS 源，大部分社交媒体、传统媒体和金融媒体都能配合订阅。 5. 流程拆解： 创建 Python 虚拟环境，并安装相关库，如 ollama（0.1.8）、langchain（0.1.14）、faisscpu（1.8.0，有 gpu 则安装 gpu 版本）、gradio（4.25.0）、feedparser（6.0.11）、sentencetransformers（2.6.1）、lxml（5.2.1）。 6. 了解 ollama： 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同场景。 易于使用，适用于 macOS、Windows 和 Linux 系统，支持 cpu 和 gpu。 提供模型库，用户可从中下载不同模型，满足不同需求和硬件条件，模型库可通过 https://ollama.com/library 查找。 支持自定义模型，可修改温度参数等。 提供 REST API 用于运行和管理模型及与其他应用集成。 社区贡献丰富，有多种集成插件和界面。 先安装 ollama，访问 https://ollama.com/download/ 下载安装。安装完确保 ollama 后台服务已启动（在 mac 上启动应用程序，在 linux 上通过 ollama serve 启动），可通过 ollama list 确认，未下载模型时正常显示空，可通过 ollama 命令下载模型。
2024-12-21
可不可以提供一个本地化的大模型方法，让我建立这个合规法律的知识库
以下是为您提供的本地化大模型及搭建合规法律知识库的方法： 一、通过 Open WebUI 使用大模型 1. 首先访问相关网址。打开页面时需使用邮箱注册账号。 2. 登陆成功后，若您使用过类似 ChatGPT 的大模型对话网站，对该页面不会陌生。 3. Open WebUI 一般有两种使用方式： 聊天对话。 RAG 能力，即让模型根据文档内容回答问题，这是构建知识库的基础之一。 4. 如果要求不高，此时已搭建本地大模型，并通过 Web UI 实现对话功能。 5. ChatGPT 访问速度快且回答效果好的原因： 速度快是因为 GPT 大模型部署的服务器配置高。 效果好是因为 GPT 大模型的训练参数多、数据更优及训练算法更好。 二、您的硬件达标了么 运行大模型需要很高的机器配置，个人玩家大多负担不起。以下是不同类型大模型的配置要求： 1. 生成文字大模型： 最低配置：8G RAM + 4G VRAM 建议配置：16G RAM + 8G VRAM 理想配置：32G RAM + 24G VRAM（如果要跑 GPT3.5 差不多性能的大模型） 2. 生成图片大模型（比如跑 SD）： 最低配置：16G RAM + 4G VRAM 建议配置：32G RAM + 12G VRAM 3. 生成音频大模型： 最低配置：8G VRAM 建议配置：24G VRAM 最低配置运行非常慢，不建议使用。但这不妨碍我们亲自实操一遍，以加深对大模型构建知识库底层原理的了解。若想要更顺滑的体验知识库，可以参考文章： 三、本地知识库进阶 若要更灵活掌控知识库，需额外软件 AnythingLLM。它包含 Open WebUI 的所有能力，并额外支持以下能力： 1. 选择文本嵌入模型。 2. 选择向量数据库。 AnythingLLM 安装和配置 安装地址：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步： 1. 第一步：选择大模型。 2. 第二步：选择文本嵌入模型。 3. 第三步：选择向量数据库。 构建本地知识库 AnythingLLM 中有 Workspace 的概念，可创建独有的 Workspace 与其他项目数据隔离。具体步骤： 1. 首先创建一个工作空间。 2. 上传文档并在工作空间中进行文本嵌入。 3. 选择对话模式。AnythingLLM 提供两种对话模式： Chat 模式：大模型会根据自己的训练数据和上传的文档数据综合给出答案。 Query 模式：大模型仅依靠文档中的数据给出答案。 4. 测试对话。完成上述配置后，即可与大模型进行对话。 四、写在最后 “看十遍不如实操一遍，实操十遍不如分享一遍”。若您对 AI Agent 技术感兴趣，可以联系我或者加我的免费知识星球（备注 AGI 知识库）。
2024-12-18
本地化单机版问答AI怎样创建，需要详细操作代码步骤
以下是创建本地化单机版问答 AI 的一般步骤： 1. 基于用户的问题，从向量数据库中检索相关段落，并根据设定的阈值进行过滤，最后让模型参考上下文信息回答用户的问题，从而实现 RAG。 2. 创建网页 UI，通过 gradio 创建网页 UI，并进行评测。 3. 对于同样的问题和上下文，基于 Qwen7b、Gemma、Mistral、Mixtral 和 GPT4 分别进行多次测试。 4. 主要结论（只是针对有限的几次测试，个人主观评判）： GPT4 表现最好，指令遵循能力很强，在回答的时候能附上引用段落编号。 Mixtral 表现第二，但没有在回答的时候附上引用。 Qwen7b 表现第三，也没有在回答的时候附上引用。 Gemma 表现一般，而且回答里面有一些幻觉。 Mistral 表现一般，使用英文回复，不过在回答的时候附上了引用段落编号。 总结： 1. 本文展示了如何使用 Langchain 和 Ollama 技术栈在本地部署一个资讯问答机器人，同时结合 RSSHub 来处理和提供资讯。 2. 上下文数据质量和大模型的性能决定了 RAG 系统性能的上限。 3. RAG 通过结合检索技术和生成模型来提升答案的质量和相关性，可以缓解大模型幻觉、信息滞后的问题，但并不意味着可以消除。 需要上述完整代码的读者，关注本公众号，然后发送 fin，即可获取 github 仓库代码链接。
2024-11-28
开发简单的 Agent 助手
开发简单的 Agent 助手可以参考以下内容： 基于结构化数据来 RAG 实战：以餐饮生活助手为例，它是基于结构化数据 RAG 方法的应用，能从大规模餐饮数据集中检索合适餐厅并提供信息服务。实现餐饮生活助手 RAG 的 Langchain 代码实战需完成以下步骤：定义餐饮数据源，将其转化为 Langchain 可识别和操作的形式并注册；定义 LLM 的代理，通过 Langchain 的代理根据用户问题提取信息、形成查询语句、检索数据源并生成答案。 从基础案例入门： 三分钟捏 Bot： 登录控制台：登录扣子控制台（coze.cn），使用手机号或抖音注册/登录。 在我的空间创建 Agent：在扣子主页左上角点击“创建 Bot”，选择空间名称为“个人空间”、Bot 名称为“第一个 Bot”并确认。 编写 Prompt：填写 Prompt，即 Bot 功能说明，第一次可用简短词语作为提示词。 优化 Prompt：点击“优化”进行优化。 设置开场白及其他环节。 发布到多平台&使用。 进阶之路： 15 分钟：查看其他 Bot 获取灵感。 1 小时：找到与兴趣、工作方向结合的 Bot 深入沟通，阅读相关文章。 一周：了解基础组件，寻找不错的扣子借鉴复制，加入 Agent 共学小组，尝试在群里问第一个问题。 一个月：合理安排时间，参与 WaytoAGI Agent 共学计划，创建 Agent 并分享经历心得。 《执笔者》：基于多 Agent 模式的全能写手： 操作步骤： 多 agent 模式切换：在 bot 编排页面点选多 agent 模式，页面自动切换，相比单 agent 多了中间的 agent 连接区。 添加合适节点：有两种方式选择，用已发布的 bot 或创建新的 agent，按需选取并连接在默认总管 agent 后面，无结束节点。 添加合适的 prompt：为每个 agent 填写合适 prompt，外围人设填写主要功能，内部 bot 填写应用场景。 调试与美化：经过以上三步基本搭建完成，后续需调试，调整提示词优化交互。
2025-01-07
一个好玩的车载语音助手应该是什么样子的?
一个好玩的车载语音助手可以有以下特点和形式： Glowby Basic：能够让用户搭建一个拥有自己声音的 AI 语音助手，您可以通过 🔗https://github.com/glowbom/glowby 了解更多。 Dreamkeeper：在 AI 的帮助下记录并了解梦境。它使用多个 Gen AI 模型，具体流程为：由 ChatGPT 驱动的助手向用户提问以记住用户的梦，并根据回答调整内容；通过 Stable Diffusion 模型提取 ChatGPT 生成的关于用户梦境的摘要描述中的关键词来生成图像；将图像传输至图生视频模型创建基于用户梦境的动画；用 GPT 进行嵌入处理，将用户想要保留的梦保留在一个画廊中。您可以访问 🔗https://thedreamkeeper.co/ 进一步了解。 Andrej Karpathy 开发的 Awesome movies：这是一个电影搜索与推荐平台，搭建该网站共分三步，包括抓取自 1970 年以来的所有 11,768 部电影，从维基百科上抓取每部电影的简介和情节，并使用 OpenAI API（ada002）进行嵌入处理，最后将所有信息整合成一个电影搜索/推荐引擎网站。您可以通过 🔗https://awesomemovies.life/ 查看。
2025-01-06
如何搭建一个本地的ai助手，通过学习本地文档进行训练
搭建一个本地的 AI 助手并通过学习本地文档进行训练，可参考以下步骤： 1. 设计 AI 机器人： 编写【prompt】提示词，设定 Bot 的身份和目标。 2. 创建知识库： 整理“关键字”与“AI 相关资料链接”的对应关系，并将信息存储起来。 创建知识库路径：个人空间 知识库 创建知识库。 知识库文档类型支持本地文档、在线数据、飞书文档、Notion 等，本次使用【本地文档】。 按照操作指引上传文档、分段设置、确认数据处理。 小技巧：在内容中加上特殊分割符“”，以便于自动切分数据。分段标识符号选择“自定义”，内容填“”。 同一颜色代表同一个数据段，如果内容有误需要编辑，可以点击具体内容，鼠标右键会看到“编辑”和“删除”按钮，可以编辑或删除。 3. 创建工作流： 告诉 AI 机器人应该按什么流程处理信息。 创建工作流路径：个人空间 工作流 创建工作流。 工作流设计好后，先点击右上角“试运行”，测试工作流无误后，就可以点击发布。 如果任务和逻辑复杂，可以结合左边“节点”工具来实现。比如：可以在工作流中再次调用【大模型】，总结分析知识库内容；可以调用【数据库】存储用户输入的信息；可以调用【代码】来处理复杂逻辑等。 个人建议：工作流不必复杂，能实现目的即可，所以在设计 Bot 前“确定目的”和“确定功能范围”很重要。 另外，您还可以参考以下 10 分钟在网站上增加一个 AI 助手的方法： 1. 搭建示例网站： 点击打开提供的函数计算应用模板，参考下图选择直接部署、并填写前面获取到的百炼应用 ID 以及 APIKEY。 其他表单项保持默认，点击页面左下角的创建并部署默认环境，等待项目部署完成（预计耗时 1 分钟）。 2. 为网站增加 AI 助手： 增加 AI 助手相关代码：回到应用详情页，在环境详情的最底部找到函数资源，点击函数名称，进入函数详情页。在代码视图中找到 public/index.html 文件，然后取消③所在位置的代码注释即可。最后点击部署代码，等待部署完成。 验证网站上的 AI 助手：重新访问示例网站页面以查看最新效果。此时您会发现网站的右下角出现了 AI 助手图标，点击即可唤起 AI 助手。
2025-01-06
我想学习创建自己的AI助手
以下是创建自己的 AI 助手的相关内容： 使用 Coze 免费打造微信 AI 机器人 搭建步骤： 1. 创建好 Bot 后，从“个人空间”入口找到自己的机器人。 2. 设计环节：在 Coze 里称为“编排”。 常用概念和功能： 提示词：设定 Bot 的身份和目标。 插件：通过 API 连接集成各种平台和服务。 工作流：设计复杂的多步骤任务。 触发器：创建定时任务。 记忆库：保留对话细节，支持外部知识库。 变量：保存用户个人信息。 数据库：存储和管理结构化数据。 长期记忆：总结聊天对话内容。 3. 设计步骤（以“AI 前线”Bot 为例）： 确定目的：比如“AI 前线”，目的是成为一个 AI 学习助手，帮助职场专业人士提升在人工智能领域的知识和技能，提供高效的站内信息检索服务。 注：Coze 官方使用指南见链接：https://www.coze.cn/docs/guides/welcome ，遇到疑问可查官方指南。 在网站上增加一个 AI 助手（以百炼为例） 1. 创建大模型问答应用： 进入百炼控制台的，在页面右侧点击新增应用，在对话框选择智能体应用并创建。 在应用设置页面，模型选择通义千问Plus，其他参数保持默认。也可以输入一些 Prompt 来设置人设以引导大模型更好地应对客户咨询。 在页面右侧提问验证模型效果，点击右上角的发布。 2. 获取调用 API 所需的凭证： 在我的应用>应用列表中查看所有百炼应用 ID，保存到本地用于后续配置。 在顶部导航栏右侧，点击人型图标，点击 APIKEY 进入我的 APIKEY 页面。在页面右侧，点击创建我的 APIKEY，在弹出窗口中创建一个新 APIKEY，保存到本地用于后续配置。
2025-01-05
训练以及部署微调模型
以下是关于训练以及部署微调模型的相关信息： 创建微调模型： 假设您已准备好训练数据。使用 OpenAI CLI 开始微调工作，需指定从哪个 BASE_MODEL（如 ada、babbage、curie 或 davinci）开始，可使用后缀参数自定义微调模型的名称。运行命令后会进行以下操作： 1. 使用文件 API 上传文件（或使用已上传的文件）。 2. 创建微调作业。 3. 流式传输事件直到作业完成，这通常需要几分钟，但如果队列中有很多作业或数据集很大，可能需要数小时。 每个微调工作都从默认为 curie 的基本模型开始，模型的选择会影响性能和成本。您的模型可以是 ada、babbage、curie 或 davinci，可访问定价页面了解微调费率的详细信息。 开始微调作业后，可能需要一些时间才能完成。工作可能排在其他工作之后，训练模型可能需要几分钟或几小时，具体取决于模型和数据集的大小。若事件流中断，可通过运行特定命令恢复。工作完成后，会显示微调模型的名称。此外，还可以列出现有作业、检索作业状态或取消作业。 GPT 助手的训练： 在有监督的微调阶段，收集少量但高质量的数据集，要求人工承包商收集提示和理想响应的数据，通常是几万个或类似数量。然后对这些数据进行语言建模，算法不变，只是训练集从互联网文档变为问答提示响应类型的数据。训练后得到有监督的微调模型（SFT 模型），可实际部署。 大型语言模型的微调： 一旦有了基础模型，进入计算成本相对较低的微调阶段。编写标签说明，明确助手的表现期望，雇佣人员创建文档，如收集 100,000 个高质量的理想问答对来微调基础模型，此过程可能只需一天。然后进行大量评估，部署模型并监控表现，收集不当行为实例并纠正，将正确答案加入训练数据，重复此过程。由于微调成本较低，可每周或每天进行迭代。 例如 Llama2 系列，Meta 发布时包括基础模型和助手模型。基础模型不能直接使用，助手模型可直接用于回答问题。若想自己微调，Meta 完成的昂贵的第一阶段结果可提供很大自由。
2025-01-06
训练以及部署微调模型
以下是关于训练以及部署微调模型的相关知识： 创建微调模型： 假设您已准备好训练数据，使用 OpenAI CLI 开始微调工作。需指定从哪个 BASE_MODEL 开始，如 ada、babbage、curie 或 davinci，还可使用后缀参数自定义微调模型的名称。运行命令后会进行以下操作： 1. 使用文件 API 上传文件（或使用已上传的文件）。 2. 创建微调作业。 3. 流式传输事件直到作业完成，这通常需要几分钟，但如果队列中有很多作业或数据集很大，则可能需要数小时。每个微调工作都从默认为 curie 的基本模型开始，模型的选择会影响性能和成本，您可访问定价页面了解微调费率的详细信息。开始微调作业后，可能需要一些时间才能完成，若事件流中断，可通过运行特定命令恢复。工作完成后，会显示微调模型的名称。此外，还可以列出现有作业、检索作业状态或取消作业。 GPT 助手的训练： 在有监督的微调阶段，收集少量但高质量的数据集，要求人工承包商收集提示和理想响应的数据，通常是几万个或类似数量。然后对这些数据进行语言建模，算法不变，只是训练集从互联网文档变为问答提示响应类型的数据。训练后得到有监督的微调模型（SFT 模型），可实际部署，它们在某种程度上是有用的。 大型语言模型的微调： 一旦有了基础模型，就进入计算成本相对较低的微调阶段。在这个阶段，编写标签说明明确助手的表现期望，雇佣人员创建文档，例如收集 100,000 个高质量的理想问答对来微调基础模型，这个过程可能只需一天。然后进行大量评估，部署模型并监控表现，收集不当行为实例并纠正，将正确答案加入训练数据，由于微调成本较低，可每周或每天进行迭代。例如 Llama2 系列，Meta 发布时包括基础模型和助手模型，基础模型不能直接使用，助手模型可直接用于回答问题。
2025-01-06
模型的部署、容器化
以下是关于模型的部署和容器化的相关内容： ComfyUI ollama 本地大模型部署： 1. 先下载 ollama 安装，安装完成后可在电脑桌面右下角或隐藏图标中找到。 2. 下载对应的模型，选择模型并复制对应的命令。 3. 打开命令行界面，输入对应的模型获取命令，等待下载完成。 4. 下载的模型会保存到 D:\\ollama\\blobs 目录。 5. Docker 安装时会下载一些文件，安装后更改目录，不要放在 C 盘。 6. Open webui 安装，输入相关命令，安装成功后回到 docker，点击会自动打开网页，第一次使用需注册账号，选择下载好的模型即可开始使用。 7. 若出现端口占用问题，运行特定两条命令可解决。 8. 相关链接： comfyuiollama：https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama：https://ollama.com/ docker：https://www.docker.com/ Open webui：https://openwebui.com/ 模型部署： 1. 选择学习路径： 快速上手 使用 Anaconda： 前提条件：确保安装了 Python 3.10 以上版本。 准备环境：如需设置环境，安装所需软件包，运行特定命令。 下载模型：可从下载 Atom7BChat 模型。 进行推理：创建名为 quick_start.py 的文件，复制相关内容并运行代码。 快速上手 使用 Docker：详情参见，包括准备 docker 镜像，通过 docker 容器启动，通过 dockercompose 启动 chat_gradio。 快速上手 使用 llama.cpp：详情参见。 快速上手 使用 gradio：基于 gradio 搭建问答界面，实现流式输出，复制相关代码到控制台运行，不同模型修改 model_name_or_path 对应的模型名称。 ComfyUI FLUX： 1. 模型的安装部署： 模型：FLUX.1、FLUX.1，建议选择 dev 版本，显卡可以的用 fp16，显卡不够用的选 fp8。模型下载后放入 ComfyUI/models/unet/文件夹中。若爆显存，“UNET 加载器”节点中的 weight_dtype 可设置为 fp8 降低显存使用量，但可能稍降质量。 clip：t5xxl_fp16.safetensors 和 clip_l.safetensors 放在 ComfyUI/models/clip/文件夹里，也可用 t5xxl_fp8_e4m3fn.safetensors 降低内存使用率，有超过 32GB 内存建议用 fp16。 Vae：下载后放入 ComfyUI/models/vae 文件夹。 2. T5（/t5xxl_fp16.safetensors）的这个 clip 原本有输入输出，可能会导致提示词被吞，短提示效果差，训练 flux 或 sd3 时应尽量用长提示词或自然语言。
2025-01-06
模型的部署、容器化
以下是关于模型的部署和容器化的相关信息： ComfyUI ollama 本地大模型部署： 1. 先下载 ollama 安装，安装完成后不会有任何界面弹出，可以在电脑桌面右下角或者隐藏图标里面找到。 2. 之后再去下载对应的模型，选择模型，复制对应的命令。 3. 打开命令行界面，输入对应的模型获取命令，等待下载完成。 4. 下载的模型会保存到 D:\\ollama\\blobs 目录。 5. Docker 安装时会下载一些文件，安装后改下目录，不要放在 C 盘。 6. Open webui 安装，输入相关命令，安装成功后，回到 docker，点击会自动打开网页，第一次使用需注册账号，选择下载好的模型即可开始使用。 7. 若出现端口占用问题，运行特定两条命令可以解决。 8. 相关链接： comfyuiollama：https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama：https://ollama.com/ docker：https://www.docker.com/ Open webui：https://openwebui.com/ 模型部署： 1. 选择学习路径： 快速上手 使用 Anaconda： 第 0 步：确保安装了 Python 3.10 以上版本。 第 1 步：准备环境，如需设置环境，安装所需要的软件包，运行特定命令。 第 2 步：从以下来源下载 Atom7BChat 模型：。 第 3 步：进行推理，创建一个名为 quick_start.py 的文件，并将相关内容复制到该文件中，运行 quick_start.py 代码。 快速上手 使用 Docker：详情参见：，包括准备 docker 镜像，通过 docker 容器启动，通过 dockercompose 启动 chat_gradio。 快速上手 使用 llama.cpp：详情参见： 快速上手 使用 gradio：基于 gradio 搭建的问答界面，实现了流式的输出，将特定代码复制到控制台运行，不同模型只需修改 model_name_or_path 对应的模型名称。 ComfyUI FLUX 模型的安装部署： 1. 模型：FLUX.1、FLUX.1，建议选择 dev 版本的，显卡可以的用 fp16，显卡不够用的选 fp8。模型下载后，放入 ComfyUI/models/unet/文件夹中。若爆显存，“UNET 加载器”节点中的 weight_dtype 可设置为 fp8，降低显存使用量，但可能稍降质量。 2. clip：t5xxl_fp16.safetensors 和 clip_l.safetensors，放在 ComfyUI/models/clip/文件夹里面。可以使用 t5xxl_fp8_e4m3fn.safetensors 来降低内存使用率，若有超过 32GB 内存，建议使用 fp16。相关链接：https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main 3. Vae：下载后放入 ComfyUI/models/vae 文件夹。 4. T5（/t5xxl_fp16.safetensors）的这个 clip，原本有一个输入输出，可能会导致提示词被吞，短提示效果差，训练 flux 或者 sd3 时，应尽量用长提示词或自然语言。
2025-01-06