Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

能够本地化部署的AI助手

Answer

以下是关于能够本地化部署的 AI 助手的相关信息:

聊天对话类 AI 产品 - ChatGPT

  • 由 OpenAI 开发,是国际 AI 领域的明星产品,家喻户晓。
  • 开创性强,是首批向公众开放的大规模商用 AI 对话系统之一,掀起 AI 革命,改变人们对 AI 认知,为技术发展指明方向。
  • 用户体验精心设计,界面简洁直观,交互流畅自然,新手也能轻松上手,降低使用门槛,普及 AI。
  • 技术实力强,背后的 GPT 系列模型性能和能力领先,语言理解深度和生成内容质量高,能应对复杂任务和挑战。
  • 局限性:不再是市场唯一顶级选择,其他产品在特定领域超越其表现;国内用户使用可能有网络连接问题,影响体验。

AI 工具使用方法

  • 市面上有线上和线下本地部署两种 AI。
    • 线上优势:出图速度快,不吃本地显卡配置,无需下载大模型,能看他人作品,但出图最高 1024×1024 左右,制作横板、高清图片受限。
    • 线下优势:可添加插件,不卡算力,出图质量高,但使用时电脑基本宕机,配置不高可能爆显存导致出图失败。
  • 充分发挥线上和线下平台优势:线上找参考、测试模型,线下作为主要出图工具。
    • 在线上绘图网站绘图广场找想要的画风,点击创作会自动匹配模型、lora 和 tag。
    • 截取游戏人物底图,将线上有限算力堆在人物身上,多批次、多数量尝试不同画风,得出符合游戏的模型+lora 组合,在 C 站下载对应模型到本地加载部署后正式生图。

本地部署资讯问答机器人: 对于期望在本地环境利用 AI 技术搭建 RAG 系统的用户,有实际操作价值的参考方案。

Content generated by AI large model, please carefully verify (powered by aily)

References

给小白的AI产品推荐

接下来,让我们把目光转向国际AI领域的明星产品——ChatGPT。这款由OpenAI开发的AI助手可以说是家喻户晓,对许多人而言,它就像是打开AI世界的第一把钥匙,引领我们步入了一个全新的智能时代。ChatGPT的成功绝非偶然。首先,它的开创性不容忽视。作为首批向公众开放的大规模商用AI对话系统之一,ChatGPT在全球范围内掀起了一场AI革命,让人工智能从实验室走入了千家万户。它不仅改变了人们对AI的认知,也为未来的技术发展指明了方向。在用户体验方面,ChatGPT可谓是精心设计。它的界面简洁直观,交互流畅自然,即使是AI领域的新手也能轻松上手。这种以用户为中心的设计理念,大大降低了普通人接触和使用AI的门槛,为AI的普及做出了重要贡献。从技术角度来看,ChatGPT的实力毋庸置疑。它背后的GPT系列模型在性能和能力上一直处于行业领先地位。无论是语言理解的深度,还是生成内容的质量,ChatGPT都展现出了令人惊叹的水平。这强大的技术基础使得ChatGPT能够应对各种复杂的任务和挑战。然而,我们也要客观地认识到ChatGPT的一些局限性。随着AI技术的飞速发展,尽管ChatGPT仍然强大,但它已不再是市场上唯一的顶级选择。其他AI公司和研究机构也在不断推出新的模型和产品,有些在特定领域甚至超越了ChatGPT的表现。此外,对于国内的用户来说,使用ChatGPT可能会遇到一些技术障碍。由于网络连接的问题,用户可能会经历连接不稳定、响应延迟等困扰,这在一定程度上影响了使用体验。总的来说,如果你身在海外或拥有稳定的国际网络连接,ChatGPT无疑是一个极佳的选择。它强大的功能、优秀的用户体验以及广泛的应用范围,使其成为AI对话领域的标杆产品。然而,对于国内用户而言,可能需要考虑一些本地化的替代方案,以获得更流畅、更便捷的使用体验。

从游戏截图升级到KV品质,AI居然可以这样用!

目前市面上有线上和线下本地部署的两种AI:线上的优势为出图速度快,不吃本地显卡的配置,且无需自己下载动辄几个G的模型,还能看其他创作者的制作的涩图,但为了节约算力成本他们只支持出最高1024X1024左右的图,制作横板、高清等图片就会受限线下部署的优势为可以自己添加插件,不卡算力,出图质量高于线上平台,但是使用期间电脑基本处于宕机状态,如果配置不高的话还会出现生成半天之后爆显存的情况,导致出图失败[heading3]所以我们这里充分发挥线上和线下平台的优势[content]线上:找参考,测试模型线下:主要的出图工具在线上绘图网站的绘图广场上发现自己想要的画风点击创作,会自动匹配创作的使用的模型lora和tag截取一小张游戏人物作为底图,目的是将线上平台有限的算力全部堆在人物身上多批次,多数量的尝试不同的画风,得出最符合游戏的一款模型+lora组合最后在C站([https://civitai.com/](https://civitai.com/))上下载对应模型到本地,加载部署后就可以开始正式生图了!

本地部署资讯问答机器人:Langchain+Ollama+RSSHub 实现 RAG

4.对于期望在本地环境利用AI技术来搭建RAG系统的用户来说,本文提供了一个具有实际操作价值的参考方案。

Others are asking
如果用AI来画流程图、结构图的话,应该用哪款产品?
以下是一些可以用于使用 AI 来画流程图、结构图的产品: 1. Lucidchart: 简介:强大的在线图表制作工具,集成了 AI 功能,可自动化绘制多种示意图。 功能:拖放界面,易于使用;支持团队协作和实时编辑;丰富的模板库和自动布局功能。 官网:https://www.lucidchart.com/ 2. Microsoft Visio: 简介:专业的图表绘制工具,适用于复杂的流程图等,AI 功能可帮助自动化布局和优化图表设计。 功能:集成 Office 365,方便与其他 Office 应用程序协同工作;丰富的图表类型和模板;支持自动化和数据驱动的图表更新。 官网:https://www.microsoft.com/enus/microsoft365/visio/flowchartsoftware 3. Diagrams.net: 简介:免费且开源的在线图表绘制工具,适用于各种类型的示意图绘制。 功能:支持本地和云存储(如 Google Drive、Dropbox);多种图形和模板,易于创建和分享图表;可与多种第三方工具集成。 官网:https://www.diagrams.net/ 4. Creately: 简介:在线绘图和协作平台,利用 AI 功能简化图表创建过程。 功能:智能绘图功能,可自动连接和排列图形;丰富的模板库和预定义形状;实时协作功能,适合团队使用。 官网:https://creately.com/ 5. Whimsical: 简介:专注于用户体验和快速绘图的工具,适合创建多种示意图。 功能:直观的用户界面,易于上手;支持拖放操作,快速绘制和修改图表;提供多种协作功能,适合团队工作。 官网:https://whimsical.com/ 6. Miro: 简介:在线白板平台,结合 AI 功能,适用于团队协作和各种示意图绘制。 功能:无缝协作,支持远程团队实时编辑;丰富的图表模板和工具;支持与其他项目管理工具(如 Jira、Trello)集成。 官网:https://miro.com/ 使用 AI 绘制示意图的步骤: 1. 选择工具:根据具体需求选择合适的 AI 绘图工具。 2. 创建账户:注册并登录该平台。 3. 选择模板:利用平台提供的模板库,选择适合需求的模板。 4. 添加内容:根据需求添加并编辑图形和文字,利用 AI 自动布局功能优化图表布局。 5. 协作和分享:若需要团队协作,可邀请团队成员一起编辑。完成后导出并分享图表。 示例:假设需要创建一个项目管理流程图,可以按照以下步骤使用 Lucidchart: 1. 注册并登录:https://www.lucidchart.com/ 2. 选择模板:在模板库中搜索“项目管理流程图”。 3. 编辑图表:根据项目需求添加和编辑图形和流程步骤。 4. 优化布局:利用 AI 自动布局功能,优化图表的外观。 5. 保存和分享:保存图表并与团队成员分享,或导出为 PDF、PNG 等格式。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-01-06
如何学习AI
以下是关于新手学习 AI 的建议: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,比如图像、音乐、视频等,可根据自己的兴趣选择特定模块深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习后,实践是巩固知识的关键,尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解其工作原理和交互方式。 6. 对于中学生学习 AI 的补充建议: 从编程语言入手学习,如 Python、JavaScript 等,学习编程语法、数据结构、算法等基础知识。 尝试使用 AI 工具和平台,如 ChatGPT、Midjourney 等,探索面向中学生的 AI 教育平台,如百度的“文心智能体平台”、Coze 智能体平台等。 学习 AI 基础知识,包括基本概念、发展历程、主要技术及在教育、医疗、金融等领域的应用案例。 参与 AI 相关的实践项目,如参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动,尝试利用 AI 技术解决生活中的实际问题。 关注 AI 发展的前沿动态,关注权威媒体和学者,思考 AI 技术对未来社会的影响。 记住,学习 AI 是一个长期的过程,需要耐心和持续的努力。不要害怕犯错,每个挑战都是成长的机会。随着时间的推移,您将逐渐建立起自己的 AI 知识体系,并能够在这一领域取得成就。完整的学习路径建议参考「通往 AGI 之路」的布鲁姆分类法,设计自己的学习路径。
2025-01-06
我想要学AI视频,我应该怎么做
以下是学习 AI 视频的一些建议和资源: 1. 入门教程: 您可以查看。 学习。 2. 交流群: 如需学习 AI 视频、参与 AI 视频挑战赛或参与 AI 视频提示词共创,可直接扫二维码或联系三思或小歪【备注:AI 视频学社】,但必须有 AI 视频账号才能进群,请勿随便申请好友。 3. 直播: AI 视频学社每周 1 次直播(周五直播),例如。 4. 实践建议: 从简单创作开始,如生成零散视频片段或图片进行混剪,选用现成音乐并根据节奏简单剪辑,顺道学习主流创意软件操作。 在成功产出简单作品后,尝试完成更完整的工作流,比如:选题→剧本→分镜描述→文生图→图生视频→配音配乐→剪辑后期。 此外,在 AI 视频学社,小伙伴们可以通过参与每周举办的比赛快速学习相关知识,每周有高手直播分享前沿知识,不定期组织线上或线下活动,大家一起学习最新软件和知识,学习图生视频、视频生视频等技巧。
2025-01-06
最近国内外 有什么新出的AI产品
以下是国内外新出的一些 AI 产品: 图像类产品: 国内: 可灵:由快手团队开发,用于生成高质量的图像和视频,图像质量高,最初采用内测邀请制,现向所有用户开放,价格相对较高,重度用户年费可达几千元,平均每月使用成本在 400 到 600 元,也有临时或轻度使用的免费点数和较便宜包月选项。 通义万相:在中文理解和处理方面表现出色,可选择多种艺术和图像风格,生成图像质量高、细节丰富,操作界面简洁直观、用户友好度高,能与阿里其他产品和服务无缝整合,重点是现在免费,每天签到获取灵感值即可,但存在某些类型图像无法生成、处理非中文语言或国际化内容不够出色、处理多元文化内容可能存在偏差等局限性。 搜索类产品: 国内:大模型厂商推出的 ChatBot 产品(智谱清言、Kimi Chat、百小应、海螺 AI 等),搜索厂商或创业团队推出的 AI 搜索产品(360 AI 搜索、秘塔、博查 AI、Miku 等)。 海外:Perplexity、You、Phind 等。 中国公司和团队的出海产品:ThinkAny、GenSpark、Devv 等。 PPT 类产品: 国内:爱设计 PPT,背后有实力强大的团队,对市场需求有敏锐洞察力,把握住了 AI 与 PPT 结合的市场机遇,已确立市场领先地位,代表了当前国内 AI 辅助 PPT 制作的最高水平,能提高制作效率并保证高质量输出。
2025-01-06
AI学习教程
以下是为新手提供的 AI 学习教程: 1. 了解 AI 基本概念: 建议阅读「」部分,熟悉 AI 的术语和基础概念,包括其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,能找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛(比如图像、音乐、视频等),可根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出自己的作品。 在知识库有很多大家实践后的作品、文章分享,欢迎实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。 记住,学习 AI 是一个长期的过程,需要耐心和持续的努力。不要害怕犯错,每个挑战都是成长的机会。随着时间的推移,您将逐渐建立起自己的 AI 知识体系,并能够在这一领域取得自己的成就。完整的学习路径建议参考「通往 AGI 之路」的布鲁姆分类法,设计自己的学习路径。
2025-01-06
新人如何学习ai
对于新人学习 AI,以下是一些建议: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,如图像、音乐、视频等,可根据兴趣选择特定模块深入学习,同时一定要掌握提示词的技巧。 4. 实践和尝试: 理论学习后,实践是巩固知识的关键,尝试使用各种产品做出作品。 在知识库中有很多实践后的作品、文章分享,欢迎实践后进行分享。 5. 体验 AI 产品: 与现有的 AI 产品如 ChatGPT、Kimi Chat、智谱、文心一言等聊天机器人进行互动,了解其工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。 6. 持续学习和跟进: AI 是快速发展的领域,新的研究成果和技术不断涌现。关注 AI 领域的新闻、博客、论坛和社交媒体,保持对最新发展的了解。 考虑加入 AI 相关的社群和组织,参加研讨会、工作坊和会议,与其他 AI 爱好者和专业人士交流。 记住,学习 AI 是一个长期的过程,需要耐心和持续的努力。不要害怕犯错,每个挑战都是成长的机会。随着时间的推移,您将逐渐建立起自己的 AI 知识体系,并能够在这一领域取得成就。完整的学习路径建议参考「通往 AGI 之路」的布鲁姆分类法,设计自己的学习路径。
2025-01-06
如何本地化部署一个ai助手
本地化部署一个 AI 助手可以参考以下几种方式: 1. 在网站上增加 AI 助手: 搭建示例网站: 创建应用:点击打开函数计算应用模板,参考相关选择直接部署、填写百炼应用 ID 以及 APIKEY,其他表单项保持默认,点击创建并部署默认环境,等待项目部署完成(预计耗时 1 分钟)。 访问网站:应用部署完成后,在应用详情的环境信息中找到示例网站的访问域名,点击即可查看,确认示例网站已经部署成功。 为网站增加 AI 助手: 增加 AI 助手相关代码:回到应用详情页,在环境详情的最底部找到函数资源,点击函数名称,进入函数详情页。在代码视图中找到 public/index.html 文件,取消相关位置的代码注释。最后点击部署代码,等待部署完成。 验证网站上的 AI 助手:重新访问示例网站页面以查看最新效果,网站的右下角会出现 AI 助手图标,点击即可唤起 AI 助手。 2. 从 LLM 大语言模型、知识库到微信机器人的全本地部署(以 windows10 系统为例): 本地 Hook 或 COW 机器人(二选一,建议先选择 COW): 注意:本教程完成后,程序将在您的电脑本地运行,假如关掉了窗口,进程也就结束。所以,如果想让 AI 持续使用,就必须保持窗口打开和运行,也就是电脑不能关。 安装环境: 点击电脑“系统”,直接输入“cmd”,点击回车,打开命令窗口。 在命令窗口中,粘贴入相关代码,确认是否有 python 和 pip。 如果没有,先进行 python 的安装,可点击下载:。 部署项目:下载 COW 机器人项目,解压缩。 3. 把大模型接入小米音箱(node.js): 第四步:填写 API 服务: 智普:接口地址:https://open.bigmodel.cn/api/paas/v4,模型:glm4flash。 硅基:选择 AI 服务为自定义,接口地址:https://api.siliconflow.cn/v1。 其他模型的 API 端口请参考官方文档:https://migptgui.com/docs/apply/。 第五步:语音服务:官方说明:https://migptgui.com/docs/faqs/tts。 第六步:启动服务:在最上方可导出编辑的内容,格式为 json 格式,如果改错了可以导入之前保存的配置。单击启动,回到 powshell 界面。每次调整设置都需要重置后重新启动。建议回答完毕后增加结束的提示语,可以提高连续对话的稳定性。官方常见问题文档:https://migptgui.com/docs/faqs/noreply。
2025-01-05
能够本地化部署的AI文字助手
以下是关于本地化部署的 AI 文字助手以及相关排版和润色工具的信息: 本地化部署的 AI 文字助手: 在让 AI 助手能准确回答问题之前,可先快速将其集成到网站中。 1. 搭建示例网站: 创建应用:点击打开函数计算应用模板,参考相关选择直接部署、填写百炼应用 ID 以及 APIKEY,其他表单项保持默认,点击创建并部署默认环境,等待项目部署完成(预计耗时 1 分钟)。 访问网站:应用部署完成后,在应用详情的环境信息中找到示例网站的访问域名,点击查看确认部署成功。 2. 为网站增加 AI 助手: 增加 AI 助手相关代码:回到应用详情页,在环境详情底部找到函数资源,点击函数名称进入函数详情页,在代码视图中找到 public/index.html 文件,取消相关位置的代码注释,最后点击部署代码等待完成。 验证网站上的 AI 助手:重新访问示例网站页面查看最新效果,会发现网站右下角出现 AI 助手图标,点击唤起。 AI 文章排版工具: 主要用于自动化和优化文档布局和格式,特别是处理学术论文和专业文档。一些流行的工具包括: 1. Grammarly:不仅是语法和拼写检查工具,还提供排版功能,改进文档风格和流畅性。 2. QuillBot:AI 驱动的写作和排版工具,改进文本清晰度和流畅性。 3. Latex:广泛用于学术论文排版,使用标记语言描述格式,有许多 AI 辅助的编辑器和插件简化排版过程。 4. PandaDoc:文档自动化平台,使用 AI 帮助创建、格式化和自动化文档生成,适合商业和技术文档。 5. Wordtune:AI 写作助手,重新表述和改进文本,使其更清晰专业。 6. Overleaf:在线 Latex 编辑器,提供丰富模板和协作工具,适合学术写作和排版。 选择合适的工具取决于具体需求,如文档类型、出版标准和个人偏好。对于学术论文,Latex 和 Overleaf 受欢迎;对于一般文章和商业文档,Grammarly 和 PandaDoc 等可能更适用。 文章润色工具: 常见的有: 1. Wordvice AI:集校对、改写转述和翻译等功能于一体,基于大型语言模型提供全面的英文论文润色服务。 2. ChatGPT:由 OpenAI 开发的大型语言模型,可用于多方面写作辅助。 3. Quillbot:人工智能文本摘要和改写工具,可用于快速筛选和改写文献资料。 4. HyperWrite:基于 AI 的写作助手和大纲生成器,帮助写作前头脑风暴和大纲规划。 5. Wordtune:AI 驱动的文本改写和润色工具,优化文章语言表达。 6. Smodin:提供 AI 驱动的论文撰写功能,可根据输入生成符合要求的学术论文。 这些 AI 工具涵盖文章润色的各个环节,可提高写作效率和质量,科研人员和学生可根据自身需求选择。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-01-05
本地化的AI助手有哪些
以下是一些本地化的 AI 助手: 在移动端,人工智能助手 Luzia 首次亮相排名第 25 位,该公司声称在全球拥有 4500 万用户,主要为西班牙语使用者。Luzia 最初是基于 WhatsApp 的聊天机器人,于 2023 年 12 月推出了独立的移动应用程序。 字节跳动的产品: 教育科技平台 Gauth,排名第 44 位。 机器人构建器 Coze,排名第 45 位。 通用助手豆包,在移动榜单上排名第 26 位,其网站为 doubao.com 。 照片和视频编辑器 Hypic,第 19 名。 助手 Cici,第 34 名,在移动端是豆包的英文版。 此外,还有一些与编程相关的 AI 工具: GitHub Copilot:由 GitHub 联合 OpenAI 和微软 Azure 团队推出,支持多种语言和 IDE,能为程序员快速提供代码建议。 通义灵码:阿里巴巴团队推出,提供多种编程辅助能力。 CodeWhisperer:亚马逊 AWS 团队推出,由机器学习技术驱动,为开发人员实时提供代码建议。 CodeGeeX:智谱 AI 推出的开源免费 AI 编程助手,基于 130 亿参数的预训练大模型。 Cody:代码搜索平台 Sourcegraph 推出,借助强大的代码语义索引和分析能力了解开发者的整个代码库。 CodeFuse:蚂蚁集团支付宝团队为国内开发者提供智能研发服务的免费 AI 代码助手。 Codeium:一个由 AI 驱动的编程助手工具,旨在提高编程效率和准确性。 更多辅助编程 AI 产品,可查看:https://www.waytoagi.com/category/65 。 每个工具的功能和适用场景可能不同,您可以根据自身需求选择最适合的工具。
2025-01-05
本地化搭建问答机器人流程
本地化搭建问答机器人的流程如下: 1. 加载所需的库和模块:包括用于解析 RSS 订阅源的 feedparse,用于在 Python 程序中跑大模型的 ollama(使用前需确保 ollama 服务已开启并下载好模型)。 2. 从订阅源获取内容:通过函数从指定的 RSS 订阅 url 提取内容,如需接收多个 url 稍作改动即可。然后使用专门的文本拆分器将长文本拆分成较小的块,并附带相关元数据,最终合并成列表返回用于后续处理或提取。 3. 为文档内容生成向量:使用文本向量模型 bgem3(从 hf 下载好模型后假设放置在某个路径,通过函数利用 FAISS 创建高效的向量存储)。 4. 推荐 RSSHub 项目:可将关注的信息汇聚在同一平台,一旦有更新能在各种终端收到提醒。其为各种网站生成 RSS 源,大部分社交媒体、传统媒体和金融媒体都能配合订阅。 5. 流程拆解: 创建 Python 虚拟环境,并安装相关库,如 ollama(0.1.8)、langchain(0.1.14)、faisscpu(1.8.0,有 gpu 则安装 gpu 版本)、gradio(4.25.0)、feedparser(6.0.11)、sentencetransformers(2.6.1)、lxml(5.2.1)。 6. 了解 ollama: 支持多种大型语言模型,包括通义千问、Llama 2、Mistral 和 Gemma 等,适用于不同场景。 易于使用,适用于 macOS、Windows 和 Linux 系统,支持 cpu 和 gpu。 提供模型库,用户可从中下载不同模型,满足不同需求和硬件条件,模型库可通过 https://ollama.com/library 查找。 支持自定义模型,可修改温度参数等。 提供 REST API 用于运行和管理模型及与其他应用集成。 社区贡献丰富,有多种集成插件和界面。 先安装 ollama,访问 https://ollama.com/download/ 下载安装。安装完确保 ollama 后台服务已启动(在 mac 上启动应用程序,在 linux 上通过 ollama serve 启动),可通过 ollama list 确认,未下载模型时正常显示空,可通过 ollama 命令下载模型。
2024-12-21
可不可以提供一个本地化的大模型方法,让我建立这个合规法律的知识库
以下是为您提供的本地化大模型及搭建合规法律知识库的方法: 一、通过 Open WebUI 使用大模型 1. 首先访问相关网址。打开页面时需使用邮箱注册账号。 2. 登陆成功后,若您使用过类似 ChatGPT 的大模型对话网站,对该页面不会陌生。 3. Open WebUI 一般有两种使用方式: 聊天对话。 RAG 能力,即让模型根据文档内容回答问题,这是构建知识库的基础之一。 4. 如果要求不高,此时已搭建本地大模型,并通过 Web UI 实现对话功能。 5. ChatGPT 访问速度快且回答效果好的原因: 速度快是因为 GPT 大模型部署的服务器配置高。 效果好是因为 GPT 大模型的训练参数多、数据更优及训练算法更好。 二、您的硬件达标了么 运行大模型需要很高的机器配置,个人玩家大多负担不起。以下是不同类型大模型的配置要求: 1. 生成文字大模型: 最低配置:8G RAM + 4G VRAM 建议配置:16G RAM + 8G VRAM 理想配置:32G RAM + 24G VRAM(如果要跑 GPT3.5 差不多性能的大模型) 2. 生成图片大模型(比如跑 SD): 最低配置:16G RAM + 4G VRAM 建议配置:32G RAM + 12G VRAM 3. 生成音频大模型: 最低配置:8G VRAM 建议配置:24G VRAM 最低配置运行非常慢,不建议使用。但这不妨碍我们亲自实操一遍,以加深对大模型构建知识库底层原理的了解。若想要更顺滑的体验知识库,可以参考文章: 三、本地知识库进阶 若要更灵活掌控知识库,需额外软件 AnythingLLM。它包含 Open WebUI 的所有能力,并额外支持以下能力: 1. 选择文本嵌入模型。 2. 选择向量数据库。 AnythingLLM 安装和配置 安装地址:https://useanything.com/download 。安装完成后进入配置页面,主要分为三步: 1. 第一步:选择大模型。 2. 第二步:选择文本嵌入模型。 3. 第三步:选择向量数据库。 构建本地知识库 AnythingLLM 中有 Workspace 的概念,可创建独有的 Workspace 与其他项目数据隔离。具体步骤: 1. 首先创建一个工作空间。 2. 上传文档并在工作空间中进行文本嵌入。 3. 选择对话模式。AnythingLLM 提供两种对话模式: Chat 模式:大模型会根据自己的训练数据和上传的文档数据综合给出答案。 Query 模式:大模型仅依靠文档中的数据给出答案。 4. 测试对话。完成上述配置后,即可与大模型进行对话。 四、写在最后 “看十遍不如实操一遍,实操十遍不如分享一遍”。若您对 AI Agent 技术感兴趣,可以联系我或者加我的免费知识星球(备注 AGI 知识库)。
2024-12-18
本地化单机版问答AI怎样创建,需要详细操作代码步骤
以下是创建本地化单机版问答 AI 的一般步骤: 1. 基于用户的问题,从向量数据库中检索相关段落,并根据设定的阈值进行过滤,最后让模型参考上下文信息回答用户的问题,从而实现 RAG。 2. 创建网页 UI,通过 gradio 创建网页 UI,并进行评测。 3. 对于同样的问题和上下文,基于 Qwen7b、Gemma、Mistral、Mixtral 和 GPT4 分别进行多次测试。 4. 主要结论(只是针对有限的几次测试,个人主观评判): GPT4 表现最好,指令遵循能力很强,在回答的时候能附上引用段落编号。 Mixtral 表现第二,但没有在回答的时候附上引用。 Qwen7b 表现第三,也没有在回答的时候附上引用。 Gemma 表现一般,而且回答里面有一些幻觉。 Mistral 表现一般,使用英文回复,不过在回答的时候附上了引用段落编号。 总结: 1. 本文展示了如何使用 Langchain 和 Ollama 技术栈在本地部署一个资讯问答机器人,同时结合 RSSHub 来处理和提供资讯。 2. 上下文数据质量和大模型的性能决定了 RAG 系统性能的上限。 3. RAG 通过结合检索技术和生成模型来提升答案的质量和相关性,可以缓解大模型幻觉、信息滞后的问题,但并不意味着可以消除。 需要上述完整代码的读者,关注本公众号,然后发送 fin,即可获取 github 仓库代码链接。
2024-11-28
一个好玩的车载语音助手应该是什么样子的?
一个好玩的车载语音助手可以有以下特点和形式: Glowby Basic:能够让用户搭建一个拥有自己声音的 AI 语音助手,您可以通过 🔗https://github.com/glowbom/glowby 了解更多。 Dreamkeeper:在 AI 的帮助下记录并了解梦境。它使用多个 Gen AI 模型,具体流程为:由 ChatGPT 驱动的助手向用户提问以记住用户的梦,并根据回答调整内容;通过 Stable Diffusion 模型提取 ChatGPT 生成的关于用户梦境的摘要描述中的关键词来生成图像;将图像传输至图生视频模型创建基于用户梦境的动画;用 GPT 进行嵌入处理,将用户想要保留的梦保留在一个画廊中。您可以访问 🔗https://thedreamkeeper.co/ 进一步了解。 Andrej Karpathy 开发的 Awesome movies:这是一个电影搜索与推荐平台,搭建该网站共分三步,包括抓取自 1970 年以来的所有 11,768 部电影,从维基百科上抓取每部电影的简介和情节,并使用 OpenAI API(ada002)进行嵌入处理,最后将所有信息整合成一个电影搜索/推荐引擎网站。您可以通过 🔗https://awesomemovies.life/ 查看。
2025-01-06
如何搭建一个本地的ai助手,通过学习本地文档进行训练
搭建一个本地的 AI 助手并通过学习本地文档进行训练,可参考以下步骤: 1. 设计 AI 机器人: 编写【prompt】提示词,设定 Bot 的身份和目标。 2. 创建知识库: 整理“关键字”与“AI 相关资料链接”的对应关系,并将信息存储起来。 创建知识库路径:个人空间 知识库 创建知识库。 知识库文档类型支持本地文档、在线数据、飞书文档、Notion 等,本次使用【本地文档】。 按照操作指引上传文档、分段设置、确认数据处理。 小技巧:在内容中加上特殊分割符“”,以便于自动切分数据。分段标识符号选择“自定义”,内容填“”。 同一颜色代表同一个数据段,如果内容有误需要编辑,可以点击具体内容,鼠标右键会看到“编辑”和“删除”按钮,可以编辑或删除。 3. 创建工作流: 告诉 AI 机器人应该按什么流程处理信息。 创建工作流路径:个人空间 工作流 创建工作流。 工作流设计好后,先点击右上角“试运行”,测试工作流无误后,就可以点击发布。 如果任务和逻辑复杂,可以结合左边“节点”工具来实现。比如:可以在工作流中再次调用【大模型】,总结分析知识库内容;可以调用【数据库】存储用户输入的信息;可以调用【代码】来处理复杂逻辑等。 个人建议:工作流不必复杂,能实现目的即可,所以在设计 Bot 前“确定目的”和“确定功能范围”很重要。 另外,您还可以参考以下 10 分钟在网站上增加一个 AI 助手的方法: 1. 搭建示例网站: 点击打开提供的函数计算应用模板,参考下图选择直接部署、并填写前面获取到的百炼应用 ID 以及 APIKEY。 其他表单项保持默认,点击页面左下角的创建并部署默认环境,等待项目部署完成(预计耗时 1 分钟)。 2. 为网站增加 AI 助手: 增加 AI 助手相关代码:回到应用详情页,在环境详情的最底部找到函数资源,点击函数名称,进入函数详情页。在代码视图中找到 public/index.html 文件,然后取消③所在位置的代码注释即可。最后点击部署代码,等待部署完成。 验证网站上的 AI 助手:重新访问示例网站页面以查看最新效果。此时您会发现网站的右下角出现了 AI 助手图标,点击即可唤起 AI 助手。
2025-01-06
我想学习创建自己的AI助手
以下是创建自己的 AI 助手的相关内容: 使用 Coze 免费打造微信 AI 机器人 搭建步骤: 1. 创建好 Bot 后,从“个人空间”入口找到自己的机器人。 2. 设计环节:在 Coze 里称为“编排”。 常用概念和功能: 提示词:设定 Bot 的身份和目标。 插件:通过 API 连接集成各种平台和服务。 工作流:设计复杂的多步骤任务。 触发器:创建定时任务。 记忆库:保留对话细节,支持外部知识库。 变量:保存用户个人信息。 数据库:存储和管理结构化数据。 长期记忆:总结聊天对话内容。 3. 设计步骤(以“AI 前线”Bot 为例): 确定目的:比如“AI 前线”,目的是成为一个 AI 学习助手,帮助职场专业人士提升在人工智能领域的知识和技能,提供高效的站内信息检索服务。 注:Coze 官方使用指南见链接:https://www.coze.cn/docs/guides/welcome ,遇到疑问可查官方指南。 在网站上增加一个 AI 助手(以百炼为例) 1. 创建大模型问答应用: 进入百炼控制台的,在页面右侧点击新增应用,在对话框选择智能体应用并创建。 在应用设置页面,模型选择通义千问Plus,其他参数保持默认。也可以输入一些 Prompt 来设置人设以引导大模型更好地应对客户咨询。 在页面右侧提问验证模型效果,点击右上角的发布。 2. 获取调用 API 所需的凭证: 在我的应用>应用列表中查看所有百炼应用 ID,保存到本地用于后续配置。 在顶部导航栏右侧,点击人型图标,点击 APIKEY 进入我的 APIKEY 页面。在页面右侧,点击创建我的 APIKEY,在弹出窗口中创建一个新 APIKEY,保存到本地用于后续配置。
2025-01-05
训练以及部署微调模型
以下是关于训练以及部署微调模型的相关信息: 创建微调模型: 假设您已准备好训练数据。使用 OpenAI CLI 开始微调工作,需指定从哪个 BASE_MODEL(如 ada、babbage、curie 或 davinci)开始,可使用后缀参数自定义微调模型的名称。运行命令后会进行以下操作: 1. 使用文件 API 上传文件(或使用已上传的文件)。 2. 创建微调作业。 3. 流式传输事件直到作业完成,这通常需要几分钟,但如果队列中有很多作业或数据集很大,可能需要数小时。 每个微调工作都从默认为 curie 的基本模型开始,模型的选择会影响性能和成本。您的模型可以是 ada、babbage、curie 或 davinci,可访问定价页面了解微调费率的详细信息。 开始微调作业后,可能需要一些时间才能完成。工作可能排在其他工作之后,训练模型可能需要几分钟或几小时,具体取决于模型和数据集的大小。若事件流中断,可通过运行特定命令恢复。工作完成后,会显示微调模型的名称。此外,还可以列出现有作业、检索作业状态或取消作业。 GPT 助手的训练: 在有监督的微调阶段,收集少量但高质量的数据集,要求人工承包商收集提示和理想响应的数据,通常是几万个或类似数量。然后对这些数据进行语言建模,算法不变,只是训练集从互联网文档变为问答提示响应类型的数据。训练后得到有监督的微调模型(SFT 模型),可实际部署。 大型语言模型的微调: 一旦有了基础模型,进入计算成本相对较低的微调阶段。编写标签说明,明确助手的表现期望,雇佣人员创建文档,如收集 100,000 个高质量的理想问答对来微调基础模型,此过程可能只需一天。然后进行大量评估,部署模型并监控表现,收集不当行为实例并纠正,将正确答案加入训练数据,重复此过程。由于微调成本较低,可每周或每天进行迭代。 例如 Llama2 系列,Meta 发布时包括基础模型和助手模型。基础模型不能直接使用,助手模型可直接用于回答问题。若想自己微调,Meta 完成的昂贵的第一阶段结果可提供很大自由。
2025-01-06
训练以及部署微调模型
以下是关于训练以及部署微调模型的相关知识: 创建微调模型: 假设您已准备好训练数据,使用 OpenAI CLI 开始微调工作。需指定从哪个 BASE_MODEL 开始,如 ada、babbage、curie 或 davinci,还可使用后缀参数自定义微调模型的名称。运行命令后会进行以下操作: 1. 使用文件 API 上传文件(或使用已上传的文件)。 2. 创建微调作业。 3. 流式传输事件直到作业完成,这通常需要几分钟,但如果队列中有很多作业或数据集很大,则可能需要数小时。每个微调工作都从默认为 curie 的基本模型开始,模型的选择会影响性能和成本,您可访问定价页面了解微调费率的详细信息。开始微调作业后,可能需要一些时间才能完成,若事件流中断,可通过运行特定命令恢复。工作完成后,会显示微调模型的名称。此外,还可以列出现有作业、检索作业状态或取消作业。 GPT 助手的训练: 在有监督的微调阶段,收集少量但高质量的数据集,要求人工承包商收集提示和理想响应的数据,通常是几万个或类似数量。然后对这些数据进行语言建模,算法不变,只是训练集从互联网文档变为问答提示响应类型的数据。训练后得到有监督的微调模型(SFT 模型),可实际部署,它们在某种程度上是有用的。 大型语言模型的微调: 一旦有了基础模型,就进入计算成本相对较低的微调阶段。在这个阶段,编写标签说明明确助手的表现期望,雇佣人员创建文档,例如收集 100,000 个高质量的理想问答对来微调基础模型,这个过程可能只需一天。然后进行大量评估,部署模型并监控表现,收集不当行为实例并纠正,将正确答案加入训练数据,由于微调成本较低,可每周或每天进行迭代。例如 Llama2 系列,Meta 发布时包括基础模型和助手模型,基础模型不能直接使用,助手模型可直接用于回答问题。
2025-01-06
模型的部署、容器化
以下是关于模型的部署和容器化的相关内容: ComfyUI ollama 本地大模型部署: 1. 先下载 ollama 安装,安装完成后可在电脑桌面右下角或隐藏图标中找到。 2. 下载对应的模型,选择模型并复制对应的命令。 3. 打开命令行界面,输入对应的模型获取命令,等待下载完成。 4. 下载的模型会保存到 D:\\ollama\\blobs 目录。 5. Docker 安装时会下载一些文件,安装后更改目录,不要放在 C 盘。 6. Open webui 安装,输入相关命令,安装成功后回到 docker,点击会自动打开网页,第一次使用需注册账号,选择下载好的模型即可开始使用。 7. 若出现端口占用问题,运行特定两条命令可解决。 8. 相关链接: comfyuiollama:https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama:https://ollama.com/ docker:https://www.docker.com/ Open webui:https://openwebui.com/ 模型部署: 1. 选择学习路径: 快速上手 使用 Anaconda: 前提条件:确保安装了 Python 3.10 以上版本。 准备环境:如需设置环境,安装所需软件包,运行特定命令。 下载模型:可从下载 Atom7BChat 模型。 进行推理:创建名为 quick_start.py 的文件,复制相关内容并运行代码。 快速上手 使用 Docker:详情参见,包括准备 docker 镜像,通过 docker 容器启动,通过 dockercompose 启动 chat_gradio。 快速上手 使用 llama.cpp:详情参见。 快速上手 使用 gradio:基于 gradio 搭建问答界面,实现流式输出,复制相关代码到控制台运行,不同模型修改 model_name_or_path 对应的模型名称。 ComfyUI FLUX: 1. 模型的安装部署: 模型:FLUX.1、FLUX.1,建议选择 dev 版本,显卡可以的用 fp16,显卡不够用的选 fp8。模型下载后放入 ComfyUI/models/unet/文件夹中。若爆显存,“UNET 加载器”节点中的 weight_dtype 可设置为 fp8 降低显存使用量,但可能稍降质量。 clip:t5xxl_fp16.safetensors 和 clip_l.safetensors 放在 ComfyUI/models/clip/文件夹里,也可用 t5xxl_fp8_e4m3fn.safetensors 降低内存使用率,有超过 32GB 内存建议用 fp16。 Vae:下载后放入 ComfyUI/models/vae 文件夹。 2. T5(/t5xxl_fp16.safetensors)的这个 clip 原本有输入输出,可能会导致提示词被吞,短提示效果差,训练 flux 或 sd3 时应尽量用长提示词或自然语言。
2025-01-06
模型的部署、容器化
以下是关于模型的部署和容器化的相关信息: ComfyUI ollama 本地大模型部署: 1. 先下载 ollama 安装,安装完成后不会有任何界面弹出,可以在电脑桌面右下角或者隐藏图标里面找到。 2. 之后再去下载对应的模型,选择模型,复制对应的命令。 3. 打开命令行界面,输入对应的模型获取命令,等待下载完成。 4. 下载的模型会保存到 D:\\ollama\\blobs 目录。 5. Docker 安装时会下载一些文件,安装后改下目录,不要放在 C 盘。 6. Open webui 安装,输入相关命令,安装成功后,回到 docker,点击会自动打开网页,第一次使用需注册账号,选择下载好的模型即可开始使用。 7. 若出现端口占用问题,运行特定两条命令可以解决。 8. 相关链接: comfyuiollama:https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama:https://ollama.com/ docker:https://www.docker.com/ Open webui:https://openwebui.com/ 模型部署: 1. 选择学习路径: 快速上手 使用 Anaconda: 第 0 步:确保安装了 Python 3.10 以上版本。 第 1 步:准备环境,如需设置环境,安装所需要的软件包,运行特定命令。 第 2 步:从以下来源下载 Atom7BChat 模型:。 第 3 步:进行推理,创建一个名为 quick_start.py 的文件,并将相关内容复制到该文件中,运行 quick_start.py 代码。 快速上手 使用 Docker:详情参见:,包括准备 docker 镜像,通过 docker 容器启动,通过 dockercompose 启动 chat_gradio。 快速上手 使用 llama.cpp:详情参见: 快速上手 使用 gradio:基于 gradio 搭建的问答界面,实现了流式的输出,将特定代码复制到控制台运行,不同模型只需修改 model_name_or_path 对应的模型名称。 ComfyUI FLUX 模型的安装部署: 1. 模型:FLUX.1、FLUX.1,建议选择 dev 版本的,显卡可以的用 fp16,显卡不够用的选 fp8。模型下载后,放入 ComfyUI/models/unet/文件夹中。若爆显存,“UNET 加载器”节点中的 weight_dtype 可设置为 fp8,降低显存使用量,但可能稍降质量。 2. clip:t5xxl_fp16.safetensors 和 clip_l.safetensors,放在 ComfyUI/models/clip/文件夹里面。可以使用 t5xxl_fp8_e4m3fn.safetensors 来降低内存使用率,若有超过 32GB 内存,建议使用 fp16。相关链接:https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main 3. Vae:下载后放入 ComfyUI/models/vae 文件夹。 4. T5(/t5xxl_fp16.safetensors)的这个 clip,原本有一个输入输出,可能会导致提示词被吞,短提示效果差,训练 flux 或者 sd3 时,应尽量用长提示词或自然语言。
2025-01-06