Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何本地化部署一个ai助手

Answer

本地化部署一个 AI 助手可以参考以下几种方式:

  1. 在网站上增加 AI 助手:
    • 搭建示例网站:
      • 创建应用:点击这里打开函数计算应用模板,参考相关选择直接部署、填写百炼应用 ID 以及 API-KEY,其他表单项保持默认,点击创建并部署默认环境,等待项目部署完成(预计耗时 1 分钟)。
      • 访问网站:应用部署完成后,在应用详情的环境信息中找到示例网站的访问域名,点击即可查看,确认示例网站已经部署成功。
    • 为网站增加 AI 助手:
      • 增加 AI 助手相关代码:回到应用详情页,在环境详情的最底部找到函数资源,点击函数名称,进入函数详情页。在代码视图中找到 public/index.html 文件,取消相关位置的代码注释。最后点击部署代码,等待部署完成。
      • 验证网站上的 AI 助手:重新访问示例网站页面以查看最新效果,网站的右下角会出现 AI 助手图标,点击即可唤起 AI 助手。
  2. 从 LLM 大语言模型、知识库到微信机器人的全本地部署(以 windows10 系统为例):
    • 本地 Hook 或 COW 机器人(二选一,建议先选择 COW):
      • 注意:本教程完成后,程序将在您的电脑本地运行,假如关掉了窗口,进程也就结束。所以,如果想让 AI 持续使用,就必须保持窗口打开和运行,也就是电脑不能关。
      • 安装环境:
        • 点击电脑“系统”,直接输入“cmd”,点击回车,打开命令窗口。
        • 在命令窗口中,粘贴入相关代码,确认是否有 python 和 pip。
        • 如果没有,先进行 python 的安装,可点击下载:python-3.12.3-amd64.exe
      • 部署项目:下载 COW 机器人项目,解压缩。
  3. 把大模型接入小米音箱(node.js):
    • 第四步:填写 API 服务:
      • 智普:接口地址:https://open.bigmodel.cn/api/paas/v4,模型:glm-4-flash。
      • 硅基:选择 AI 服务为自定义,接口地址:https://api.siliconflow.cn/v1。
      • 其他模型的 API 端口请参考官方文档:https://migptgui.com/docs/apply/。
    • 第五步:语音服务:官方说明:https://migptgui.com/docs/faqs/tts。
    • 第六步:启动服务:在最上方可导出编辑的内容,格式为 json 格式,如果改错了可以导入之前保存的配置。单击启动,回到 powshell 界面。每次调整设置都需要重置后重新启动。建议回答完毕后增加结束的提示语,可以提高连续对话的稳定性。官方常见问题文档:https://migptgui.com/docs/faqs/noreply。
Content generated by AI large model, please carefully verify (powered by aily)

References

10分钟在网站上增加一个AI助手

在让AI助手能准确回答问题之前,我们可以先尝试快速将AI助手集成到网站中。您可以通过我们提前准备好的应用模板,快速搭建一个空白的示例网站,用于模拟您的企业官网或者其他站点。详细步骤如下:[heading3]2.1创建应用[content]请点击[这里](https://fcnext.console.aliyun.com/applications/create?template=web-chatbot&from=solution)打开我们提供的函数计算应用模板,参考下图选择直接部署、并填写前面获取到的百炼应用ID以及API-KEY。然后其他表单项保持默认,点击页面左下角的创建并部署默认环境,等待项目部署完成即可(预计耗时1分钟)。[heading3]2.2访问网站[content]应用部署完成后,您可以在应用详情的环境信息中找到示例网站的访问域名,点击即可查看,确认示例网站已经部署成功。[heading2]3.为网站增加AI助手[content]在网站中增加AI助手非常简单,您只需要在网站的html文件中插入几行代码。[heading3]3.1增加AI助手相关代码[content]示例工程中包含了被注释的引入AI助手代码,您需要找到并解除注释。详细操作步骤如下:1.回到应用详情页,在环境详情的最底部找到函数资源,点击函数名称,进入函数详情页。1.2.在代码视图中找到public/index.html文件,然后取消③所在位置的代码注释即可。1.2.最后点击部署代码,等待部署完成即可。[heading3]3.2验证网站上的AI助手[content]现在,您可以重新访问示例网站页面以查看最新效果。此时您会发现网站的右下角出现了AI助手图标,点击即可唤起AI助手。

张梦飞:【全网最细】从LLM大语言模型、知识库到微信机器人的全本地部署教程

以下二选一,建议先选择COW注意:本教程完成后,程序将在你的电脑本地运行,假如你关掉了窗口,那么进程也就结束。所以,如果你想让AI持续使用,就必须保持窗口打开和运行,也就是电脑不能关。以下教程以windows10系统为例/mac系统步骤也是一样,只是打开命令符的命令些许不同,遇到问题问大模型就好了二、安装环境1、点击电脑“系统”,直接输入“cmd”,点击回车,打开命令窗口2、在命令窗口中,粘贴入以下代码,确认是否有python3、粘贴入以下代码,确认是否有pip4、两步命令输入完,核对一下如果有的话,会如上图一样,分别显示出版本号。那么可以跳过“安装环境这一步,直接到“二、部署项目””如果没有的话,会如下图所示,那么需要安装下边的步骤,一步一步安装。5、先进行python的安装,我帮你把python的安装包已经下载好了,直接点击下载:[python-3.12.3-amd64.exe](https://bytedance.feishu.cn/space/api/box/stream/download/all/FQGIbH2OfoYObvxX4IwckLbknvc?allow_redirect=1)5.1 python安装步骤:5.2关闭窗口,再次运行那两行命令会发现已经有了。三、部署项目6、下载COW机器人项目,也给你准备好了,直接下载,然后解压缩。

被夺舍的小爱同学!——把大模型接入小米音箱(小白操作全步骤教程)

智普:接口地址:https://open.bigmodel.cn/api/paas/v4模型:glm-4-flash硅基:选择AI服务为自定义接口地址:https://api.siliconflow.cn/v1模型:Qwen/Qwen2.5-7B-Instruct其他模型的API端口请参考官方文档:https://migptgui.com/docs/apply/[heading2]第五步:语音服务[content]官方说明:https://migptgui.com/docs/faqs/tts我试了很久,参数都正确,但是小爱同学就没有声音了,大家可以自己按照官方文档尝试一下,有机会的话给我反馈一下我这里使用的是默认方案[heading2]第六步:启动服务[content]在最上方可导出你编辑的内容,格式为json格式,如果改错了可以导入之前保存的配置单击启动,回到powshell界面每次调整设置都需要重置后重新启动建议回答完毕后增加结束的提示语,可以提高连续对话的稳定性官方常见问题文档:https://migptgui.com/docs/faqs/noreply

Others are asking
有没有ai制作海报的软件或者网站,最好能理解案例图片的
以下是一些可以用 AI 制作海报的软件和网站,并为您附上相关案例和使用方法: 1. 无界 AI: 网址:https://www.wujieai.cc/ 做图逻辑类似于 SD,优势在于国内网络即可稳定使用,有免费出图点数,支持中文关键词输入,无需额外下载风格模型,可直接取用。 应用场景示例:朋友圈 po 图,画幅比例选择 1:1。 皮克斯卡通模型位置:二次元模型》模型主题》皮克斯卡通。 关键词类别:场景(如向日葵花田、面包店等)、氛围(如温馨、温暖等)、人物(如父亲和女儿、父亲和儿子)、造型(如发型、发色、服饰、配饰)、情绪(如笑得很开心、大笑、对视等)、道具(如童话书等)、构图(如半身、中景等)、画面(色彩明艳)。 2. Canva(可画): 网址:https://www.canva.cn/ 是一个非常受欢迎的在线设计工具,提供大量模板和设计元素,用户可通过简单拖放操作创建海报,其 AI 功能可帮助选择合适颜色搭配和字体样式。 3. 稿定设计: 网址:https://www.gaoding.com/ 稿定智能设计工具采用先进人工智能技术,自动分析和生成设计方案,稍作调整即可完成完美设计。 4. VistaCreate: 网址:https://create.vista.com/ 简单易用的设计平台,提供大量设计模板和元素,用户可使用 AI 工具创建个性化海报,智能建议功能可帮助快速找到合适设计元素。 5. Microsoft Designer: 网址:https://designer.microsoft.com/ 通过简单拖放界面,用户可快速创建演示文稿、社交媒体帖子和其他视觉内容,还集成丰富模板库和自动图像编辑功能,如智能布局和文字优化,大大简化设计流程。 此外,还有东阿阿胶的海报设计案例分享: 1. 拆解步骤:得到需求 提取元素 绘制线稿 用 controlnet 转绘上色 ps 优化 定稿。 2. 需求元素:风格要潮流插画,还要有唐代元素和国潮(前期基本上是沟通成本,主要定线稿)。 3. 提取元素:获取的信息需要体现产品图,需要体现唐代元素,需要 logo 在中心位置,按照需求开始绘制线稿。 4. 线稿绘制:沟通的元素是牡丹花,驴子(最后换成了琵琶),人参和产品图和 logo,所以进行线稿调整绘制(中间很多细节沟通)最终定下线稿(里面很多元素都是拼接的)。 5. 拆分元素线稿:这一步非常重要,因为会涉及到后续元素替换等问题,比如单个 logo,产品等,提取出单独元素,进行绘制,最后进行替换。 6. 单个元素绘制:这样会让单个元素更加精致,也方便后期替换。 7. 然后利用拼接好的线稿进行大量跑图抽卡,选出一张最合适的进行 ps 优化。 8. 整体拼接上色后的效果(将单独跑的元素在 ps 里替换优化,再过一遍 sd 进行溶图放大)得到以下效果。 9. 最终客户把驴子去掉了,换成了一把琵琶,也是同产品图一样的做法,最后把琵琶替换掉驴子,得到定稿图。 上色运用的大模型:GhostMix 鬼混_V2.0 lora 模型:"盒子系列——平面国潮插画_v1.0:182ba9e2f576 controlnet 模型:"Module:lineart_coarse,Model:contr"
2025-01-07
哪个AI工具可以对音频内容进行总结
以下是一些可以对音频内容进行总结的 AI 工具: 1. 飞书妙记(https://www.feishu.cn/product/minutes):飞书的办公套件之一。 2. 通义听悟(https://tingwu.aliyun.com/home):阿里推出的 AI 会议转录工具。 3. 讯飞听见(https://www.iflyrec.com/):讯飞旗下智慧办公服务平台。 4. Otter AI(https://otter.ai/):转录采访和会议纪要。 5. BibiGPT·AI 音视频内容一键总结(https://b.jimmylv.cn/) 6. 15 个值得一试的 YouTube 视频摘要 AI 工具(https://nealschaffer.com/youtubevideosummarizerai/) 7. summarize.tech:AIpowered video summaries(https://www.summarize.tech/) 8. NotebookLM:最早主打的是智能笔记,上传文件之后会自动生成概览性的总结。用户可以在对话框里,根据上传文本的内容,直接用文字提问。支持长文本,语言目前只支持英文。
2025-01-07
哪个AI可以对音频进行总结
以下是一些可以对音频进行总结的 AI 工具和公司: 声音检测方面: :通过更强的听觉感知创造卓越的人类体验。 :先进的声音识别解决方案,能够分类如尖叫、枪声、咳嗽和哭泣等声音。 :下一代声音 AI 平台,能够像人类一样理解任何声音。 :语音控制的家庭自动化系统。 :世界上首个智能家居听觉系统。 :可用于从音频源中提取隐藏数据的 AI 模型。 :无需键盘、按钮或触摸屏,无缝融合物理世界和数据世界。 :为手机、VR/AR 头戴设备、智能手表、扬声器和笔记本电脑提供上下文感知。 :智能音频穿戴设备。 :我们将声音转化为信息。 :使用先进的深度学习技术进行声音事件检测和上下文识别,为世界上的每一个声音赋予意义。 语音增强与操作方面: :实时语音和口音转换流媒体服务。 :为高效在线会议提供的 AI 驱动软件解决方案。 :免费的实时语音变换器。 :为创作者、开发者和虚拟会议提供的降噪产品。 :软件在复杂声学环境中提升语音的清晰度和可懂度。 :不制作音频,让音频更好。 :会议和音频的降噪。 :采用最先进的 AI 技术消除视频会议通话中的所有背景噪音。 :一套 AI 驱动的音频质量增强工具。 :将智能手机变成高级语音增强设备的应用程序。 :去除干扰性背景噪音的智能手机应用程序。 :用于音频和语音产品的智能音频解决方案。 :通过引入机器学习功能来革新麦克风。 :生成式 AI 音频增强。 音视频总结方面:
2025-01-07
我想要设计一个以班级期末总结为主题的40分钟班会课,请你帮我推荐一下有哪些AI软件可以完成这项任务
目前没有专门针对设计班级期末总结主题班会课的特定 AI 软件。但您可以借助一些通用的工具来辅助您完成,例如: 1. 文字处理工具,如 Microsoft Word 或 WPS,帮助您撰写班会课的流程和内容。 2. 思维导图工具,如 XMind 或百度脑图,用于梳理班会课的框架和要点。 3. 演示文稿工具,如 Microsoft PowerPoint 或 Keynote,制作展示用的 PPT 来辅助讲解。 希望这些建议对您有所帮助。
2025-01-07
怎么学习ai
以下是新手学习 AI 的方法和建议: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,比如图像、音乐、视频等,可根据自己的兴趣选择特定模块深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习后,实践是巩固知识的关键,尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享,欢迎实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解其工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。 对于中学生学习 AI,建议如下: 1. 从编程语言入手学习: 可以从 Python、JavaScript 等编程语言开始,学习编程语法、数据结构、算法等基础知识,为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台: 可以使用 ChatGPT、Midjourney 等 AI 生成工具,体验 AI 的应用场景。 探索一些面向中学生的 AI 教育平台,如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识: 了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。 学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目: 参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。 尝试利用 AI 技术解决生活中的实际问题,培养动手能力。 5. 关注 AI 发展的前沿动态: 关注 AI 领域的权威媒体和学者,了解 AI 技术的最新进展。 思考 AI 技术对未来社会的影响,培养对 AI 的思考和判断能力。 记住,学习 AI 是一个长期的过程,需要耐心和持续的努力。不要害怕犯错,每个挑战都是成长的机会。随着时间的推移,您将逐渐建立起自己的 AI 知识体系,并能够在这一领域取得自己的成就。完整的学习路径建议参考「通往 AGI 之路」的布鲁姆分类法,设计自己的学习路径。
2025-01-07
普通人怎么用AI赚钱
普通人可以通过以下方式利用 AI 赚钱: 1. 艺术创作:生成式 AI 使内容创作成为可能,从肖像画开始,涵盖各种媒介。做得好时,可通过创作内容实现盈利。但要注意,目前一些 AI 工具可能存在幻觉或处理请求时间长的问题,对于试图通过内容盈利的高级用户,许多公司会推出如 ChatGPT 那样的“专业版”套餐以提供更高质量服务。 2. 数字克隆体:成为数字克隆体的本体,基于克隆体的费率和被使用时长与平台结算。越多人使用,收益越多。用户还可通过订阅平台使用多个克隆体,月费或额外小时费可与获取的收益相抵扣。这样,每个人都能在体系中既是消费者又是生产者,只要数字克隆体受欢迎,就能实现“数字克隆体自由”。
2025-01-07
能够本地化部署的AI文字助手
以下是关于本地化部署的 AI 文字助手以及相关排版和润色工具的信息: 本地化部署的 AI 文字助手: 在让 AI 助手能准确回答问题之前,可先快速将其集成到网站中。 1. 搭建示例网站: 创建应用:点击打开函数计算应用模板,参考相关选择直接部署、填写百炼应用 ID 以及 APIKEY,其他表单项保持默认,点击创建并部署默认环境,等待项目部署完成(预计耗时 1 分钟)。 访问网站:应用部署完成后,在应用详情的环境信息中找到示例网站的访问域名,点击查看确认部署成功。 2. 为网站增加 AI 助手: 增加 AI 助手相关代码:回到应用详情页,在环境详情底部找到函数资源,点击函数名称进入函数详情页,在代码视图中找到 public/index.html 文件,取消相关位置的代码注释,最后点击部署代码等待完成。 验证网站上的 AI 助手:重新访问示例网站页面查看最新效果,会发现网站右下角出现 AI 助手图标,点击唤起。 AI 文章排版工具: 主要用于自动化和优化文档布局和格式,特别是处理学术论文和专业文档。一些流行的工具包括: 1. Grammarly:不仅是语法和拼写检查工具,还提供排版功能,改进文档风格和流畅性。 2. QuillBot:AI 驱动的写作和排版工具,改进文本清晰度和流畅性。 3. Latex:广泛用于学术论文排版,使用标记语言描述格式,有许多 AI 辅助的编辑器和插件简化排版过程。 4. PandaDoc:文档自动化平台,使用 AI 帮助创建、格式化和自动化文档生成,适合商业和技术文档。 5. Wordtune:AI 写作助手,重新表述和改进文本,使其更清晰专业。 6. Overleaf:在线 Latex 编辑器,提供丰富模板和协作工具,适合学术写作和排版。 选择合适的工具取决于具体需求,如文档类型、出版标准和个人偏好。对于学术论文,Latex 和 Overleaf 受欢迎;对于一般文章和商业文档,Grammarly 和 PandaDoc 等可能更适用。 文章润色工具: 常见的有: 1. Wordvice AI:集校对、改写转述和翻译等功能于一体,基于大型语言模型提供全面的英文论文润色服务。 2. ChatGPT:由 OpenAI 开发的大型语言模型,可用于多方面写作辅助。 3. Quillbot:人工智能文本摘要和改写工具,可用于快速筛选和改写文献资料。 4. HyperWrite:基于 AI 的写作助手和大纲生成器,帮助写作前头脑风暴和大纲规划。 5. Wordtune:AI 驱动的文本改写和润色工具,优化文章语言表达。 6. Smodin:提供 AI 驱动的论文撰写功能,可根据输入生成符合要求的学术论文。 这些 AI 工具涵盖文章润色的各个环节,可提高写作效率和质量,科研人员和学生可根据自身需求选择。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-01-05
能够本地化部署的AI助手
以下是关于能够本地化部署的 AI 助手的相关信息: 聊天对话类 AI 产品 ChatGPT: 由 OpenAI 开发,是国际 AI 领域的明星产品,家喻户晓。 开创性强,是首批向公众开放的大规模商用 AI 对话系统之一,掀起 AI 革命,改变人们对 AI 认知,为技术发展指明方向。 用户体验精心设计,界面简洁直观,交互流畅自然,新手也能轻松上手,降低使用门槛,普及 AI。 技术实力强,背后的 GPT 系列模型性能和能力领先,语言理解深度和生成内容质量高,能应对复杂任务和挑战。 局限性:不再是市场唯一顶级选择,其他产品在特定领域超越其表现;国内用户使用可能有网络连接问题,影响体验。 AI 工具使用方法: 市面上有线上和线下本地部署两种 AI。 线上优势:出图速度快,不吃本地显卡配置,无需下载大模型,能看他人作品,但出图最高 1024×1024 左右,制作横板、高清图片受限。 线下优势:可添加插件,不卡算力,出图质量高,但使用时电脑基本宕机,配置不高可能爆显存导致出图失败。 充分发挥线上和线下平台优势:线上找参考、测试模型,线下作为主要出图工具。 在线上绘图网站绘图广场找想要的画风,点击创作会自动匹配模型、lora 和 tag。 截取游戏人物底图,将线上有限算力堆在人物身上,多批次、多数量尝试不同画风,得出符合游戏的模型+lora 组合,在 C 站下载对应模型到本地加载部署后正式生图。 本地部署资讯问答机器人: 对于期望在本地环境利用 AI 技术搭建 RAG 系统的用户,有实际操作价值的参考方案。
2025-01-05
本地化的AI助手有哪些
以下是一些本地化的 AI 助手: 在移动端,人工智能助手 Luzia 首次亮相排名第 25 位,该公司声称在全球拥有 4500 万用户,主要为西班牙语使用者。Luzia 最初是基于 WhatsApp 的聊天机器人,于 2023 年 12 月推出了独立的移动应用程序。 字节跳动的产品: 教育科技平台 Gauth,排名第 44 位。 机器人构建器 Coze,排名第 45 位。 通用助手豆包,在移动榜单上排名第 26 位,其网站为 doubao.com 。 照片和视频编辑器 Hypic,第 19 名。 助手 Cici,第 34 名,在移动端是豆包的英文版。 此外,还有一些与编程相关的 AI 工具: GitHub Copilot:由 GitHub 联合 OpenAI 和微软 Azure 团队推出,支持多种语言和 IDE,能为程序员快速提供代码建议。 通义灵码:阿里巴巴团队推出,提供多种编程辅助能力。 CodeWhisperer:亚马逊 AWS 团队推出,由机器学习技术驱动,为开发人员实时提供代码建议。 CodeGeeX:智谱 AI 推出的开源免费 AI 编程助手,基于 130 亿参数的预训练大模型。 Cody:代码搜索平台 Sourcegraph 推出,借助强大的代码语义索引和分析能力了解开发者的整个代码库。 CodeFuse:蚂蚁集团支付宝团队为国内开发者提供智能研发服务的免费 AI 代码助手。 Codeium:一个由 AI 驱动的编程助手工具,旨在提高编程效率和准确性。 更多辅助编程 AI 产品,可查看:https://www.waytoagi.com/category/65 。 每个工具的功能和适用场景可能不同,您可以根据自身需求选择最适合的工具。
2025-01-05
本地化搭建问答机器人流程
本地化搭建问答机器人的流程如下: 1. 加载所需的库和模块:包括用于解析 RSS 订阅源的 feedparse,用于在 Python 程序中跑大模型的 ollama(使用前需确保 ollama 服务已开启并下载好模型)。 2. 从订阅源获取内容:通过函数从指定的 RSS 订阅 url 提取内容,如需接收多个 url 稍作改动即可。然后使用专门的文本拆分器将长文本拆分成较小的块,并附带相关元数据,最终合并成列表返回用于后续处理或提取。 3. 为文档内容生成向量:使用文本向量模型 bgem3(从 hf 下载好模型后假设放置在某个路径,通过函数利用 FAISS 创建高效的向量存储)。 4. 推荐 RSSHub 项目:可将关注的信息汇聚在同一平台,一旦有更新能在各种终端收到提醒。其为各种网站生成 RSS 源,大部分社交媒体、传统媒体和金融媒体都能配合订阅。 5. 流程拆解: 创建 Python 虚拟环境,并安装相关库,如 ollama(0.1.8)、langchain(0.1.14)、faisscpu(1.8.0,有 gpu 则安装 gpu 版本)、gradio(4.25.0)、feedparser(6.0.11)、sentencetransformers(2.6.1)、lxml(5.2.1)。 6. 了解 ollama: 支持多种大型语言模型,包括通义千问、Llama 2、Mistral 和 Gemma 等,适用于不同场景。 易于使用,适用于 macOS、Windows 和 Linux 系统,支持 cpu 和 gpu。 提供模型库,用户可从中下载不同模型,满足不同需求和硬件条件,模型库可通过 https://ollama.com/library 查找。 支持自定义模型,可修改温度参数等。 提供 REST API 用于运行和管理模型及与其他应用集成。 社区贡献丰富,有多种集成插件和界面。 先安装 ollama,访问 https://ollama.com/download/ 下载安装。安装完确保 ollama 后台服务已启动(在 mac 上启动应用程序,在 linux 上通过 ollama serve 启动),可通过 ollama list 确认,未下载模型时正常显示空,可通过 ollama 命令下载模型。
2024-12-21
可不可以提供一个本地化的大模型方法,让我建立这个合规法律的知识库
以下是为您提供的本地化大模型及搭建合规法律知识库的方法: 一、通过 Open WebUI 使用大模型 1. 首先访问相关网址。打开页面时需使用邮箱注册账号。 2. 登陆成功后,若您使用过类似 ChatGPT 的大模型对话网站,对该页面不会陌生。 3. Open WebUI 一般有两种使用方式: 聊天对话。 RAG 能力,即让模型根据文档内容回答问题,这是构建知识库的基础之一。 4. 如果要求不高,此时已搭建本地大模型,并通过 Web UI 实现对话功能。 5. ChatGPT 访问速度快且回答效果好的原因: 速度快是因为 GPT 大模型部署的服务器配置高。 效果好是因为 GPT 大模型的训练参数多、数据更优及训练算法更好。 二、您的硬件达标了么 运行大模型需要很高的机器配置,个人玩家大多负担不起。以下是不同类型大模型的配置要求: 1. 生成文字大模型: 最低配置:8G RAM + 4G VRAM 建议配置:16G RAM + 8G VRAM 理想配置:32G RAM + 24G VRAM(如果要跑 GPT3.5 差不多性能的大模型) 2. 生成图片大模型(比如跑 SD): 最低配置:16G RAM + 4G VRAM 建议配置:32G RAM + 12G VRAM 3. 生成音频大模型: 最低配置:8G VRAM 建议配置:24G VRAM 最低配置运行非常慢,不建议使用。但这不妨碍我们亲自实操一遍,以加深对大模型构建知识库底层原理的了解。若想要更顺滑的体验知识库,可以参考文章: 三、本地知识库进阶 若要更灵活掌控知识库,需额外软件 AnythingLLM。它包含 Open WebUI 的所有能力,并额外支持以下能力: 1. 选择文本嵌入模型。 2. 选择向量数据库。 AnythingLLM 安装和配置 安装地址:https://useanything.com/download 。安装完成后进入配置页面,主要分为三步: 1. 第一步:选择大模型。 2. 第二步:选择文本嵌入模型。 3. 第三步:选择向量数据库。 构建本地知识库 AnythingLLM 中有 Workspace 的概念,可创建独有的 Workspace 与其他项目数据隔离。具体步骤: 1. 首先创建一个工作空间。 2. 上传文档并在工作空间中进行文本嵌入。 3. 选择对话模式。AnythingLLM 提供两种对话模式: Chat 模式:大模型会根据自己的训练数据和上传的文档数据综合给出答案。 Query 模式:大模型仅依靠文档中的数据给出答案。 4. 测试对话。完成上述配置后,即可与大模型进行对话。 四、写在最后 “看十遍不如实操一遍,实操十遍不如分享一遍”。若您对 AI Agent 技术感兴趣,可以联系我或者加我的免费知识星球(备注 AGI 知识库)。
2024-12-18
本地化单机版问答AI怎样创建,需要详细操作代码步骤
以下是创建本地化单机版问答 AI 的一般步骤: 1. 基于用户的问题,从向量数据库中检索相关段落,并根据设定的阈值进行过滤,最后让模型参考上下文信息回答用户的问题,从而实现 RAG。 2. 创建网页 UI,通过 gradio 创建网页 UI,并进行评测。 3. 对于同样的问题和上下文,基于 Qwen7b、Gemma、Mistral、Mixtral 和 GPT4 分别进行多次测试。 4. 主要结论(只是针对有限的几次测试,个人主观评判): GPT4 表现最好,指令遵循能力很强,在回答的时候能附上引用段落编号。 Mixtral 表现第二,但没有在回答的时候附上引用。 Qwen7b 表现第三,也没有在回答的时候附上引用。 Gemma 表现一般,而且回答里面有一些幻觉。 Mistral 表现一般,使用英文回复,不过在回答的时候附上了引用段落编号。 总结: 1. 本文展示了如何使用 Langchain 和 Ollama 技术栈在本地部署一个资讯问答机器人,同时结合 RSSHub 来处理和提供资讯。 2. 上下文数据质量和大模型的性能决定了 RAG 系统性能的上限。 3. RAG 通过结合检索技术和生成模型来提升答案的质量和相关性,可以缓解大模型幻觉、信息滞后的问题,但并不意味着可以消除。 需要上述完整代码的读者,关注本公众号,然后发送 fin,即可获取 github 仓库代码链接。
2024-11-28
用于训练销售助手类型业务的私有模型
以下是关于训练销售助手类型业务私有模型的相关信息: 1. 提示词方面:设计了一套模拟江南皮革厂销售的拟人化提示词模板,并将其应用于国内的豆包角色扮演模型,生成吸引人的广告词。若与语音技术结合用于宣传,能创造出有趣且有效的销售助手,吸引顾客注意。拟人化提示词母体可通过关注作者微信领取。 2. 增加私有知识方面:通过前面步骤拥有可与客户对话的 AI 助手后,若想让其像公司员工一样精准专业回答商品相关问题,需为大模型应用配置知识库。例如在售卖智能手机的公司,网站上有很多相关信息,不同机型的详细配置清单可参考相关文档。
2025-01-07
AI智能数据库查询助手
以下是关于您提出的“AI 智能数据库查询助手”的相关信息: 能联网检索的 AI: 存在能联网检索的 AI,它们通过连接互联网实时搜索、筛选并整合所需数据,为用户提供更精准和个性化的信息。例如: ChatGPT Plus 用户现在可以开启 web browsing 功能,实现联网功能。 Perplexity 结合了 ChatGPT 式的问答和普通搜索引擎的功能,允许用户指定希望聊天机器人在制定响应时搜索的源类型。 Bing Copilot 作为 AI 助手,旨在简化您的在线查询和浏览活动。 还有如 You.com 和 Neeva AI 等搜索引擎,提供基于人工智能的定制搜索体验,并保持用户数据的私密性。 AI 新产品|网站精选推荐: AIHelperBot 自动生成 SQL Queries,支持数据库一键链接或导入。当前收费$5 每月,可免费试用 7 天。链接:https://skybox.blockadelabs.com/ ChartGPT by CadLabs 由 CadLabs 开发工具,基于 GPT3.5,可以根据数据生成图表并回答问题。链接:https://chartgpt.cadlabs.org/ Embedding Store 功能如其名,是一站式 Embedding Marketplace,支持公开、私有及第三方数据,用于发现、评估和访问相关的嵌入(embeddings),产品还未上线。链接:https://www.embedding.store/ AI 在医疗药品零售领域的应用: AI 在医疗药品零售领域有着多方面的应用前景: 药品推荐系统:利用机器学习算法分析用户购买记录、症状描述等数据,为用户推荐合适的非处方药品和保健品,提升销售转化率。 药品库存管理:通过分析历史销售数据、天气、疫情等因素,AI 系统可以预测未来某段时间内的药品需求量,优化药店的库存管理策略,降低成本。 药品识别与查询:借助计算机视觉技术,用户可以用手机拍摄药品图像,AI 系统自动识别药名并提供说明、用法、禁忌等信息查询服务。 客户服务智能助手:基于自然语言处理技术,AI 虚拟助手可以回答顾客关于购药、用药、保健等常见问题,减轻人工客服的工作压力。 药店运营分析:AI 可以分析药店的销售、顾客流量、库存等大数据,发现潜在的运营问题和优化空间,为决策提供参考。 药品质量监控:通过机器视觉、图像识别等技术,AI 能够自动检测药品的包装、标签、颜色等是否合格,及时发现问题。 药品防伪追溯:利用区块链等技术,AI 可以实现全流程的药品溯源,确保药品供应链的安全性和真实可信度。 总之,AI 技术在药品零售领域可以提升购药体验、优化库存管理、降低运营成本、保障药品质量安全,是一个值得重视的发展方向。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-01-07
开发简单的 Agent 助手
开发简单的 Agent 助手可以参考以下内容: 基于结构化数据来 RAG 实战:以餐饮生活助手为例,它是基于结构化数据 RAG 方法的应用,能从大规模餐饮数据集中检索合适餐厅并提供信息服务。实现餐饮生活助手 RAG 的 Langchain 代码实战需完成以下步骤:定义餐饮数据源,将其转化为 Langchain 可识别和操作的形式并注册;定义 LLM 的代理,通过 Langchain 的代理根据用户问题提取信息、形成查询语句、检索数据源并生成答案。 从基础案例入门: 三分钟捏 Bot: 登录控制台:登录扣子控制台(coze.cn),使用手机号或抖音注册/登录。 在我的空间创建 Agent:在扣子主页左上角点击“创建 Bot”,选择空间名称为“个人空间”、Bot 名称为“第一个 Bot”并确认。 编写 Prompt:填写 Prompt,即 Bot 功能说明,第一次可用简短词语作为提示词。 优化 Prompt:点击“优化”进行优化。 设置开场白及其他环节。 发布到多平台&使用。 进阶之路: 15 分钟:查看其他 Bot 获取灵感。 1 小时:找到与兴趣、工作方向结合的 Bot 深入沟通,阅读相关文章。 一周:了解基础组件,寻找不错的扣子借鉴复制,加入 Agent 共学小组,尝试在群里问第一个问题。 一个月:合理安排时间,参与 WaytoAGI Agent 共学计划,创建 Agent 并分享经历心得。 《执笔者》:基于多 Agent 模式的全能写手: 操作步骤: 多 agent 模式切换:在 bot 编排页面点选多 agent 模式,页面自动切换,相比单 agent 多了中间的 agent 连接区。 添加合适节点:有两种方式选择,用已发布的 bot 或创建新的 agent,按需选取并连接在默认总管 agent 后面,无结束节点。 添加合适的 prompt:为每个 agent 填写合适 prompt,外围人设填写主要功能,内部 bot 填写应用场景。 调试与美化:经过以上三步基本搭建完成,后续需调试,调整提示词优化交互。
2025-01-07
一个好玩的车载语音助手应该是什么样子的?
一个好玩的车载语音助手可以有以下特点和形式: Glowby Basic:能够让用户搭建一个拥有自己声音的 AI 语音助手,您可以通过 🔗https://github.com/glowbom/glowby 了解更多。 Dreamkeeper:在 AI 的帮助下记录并了解梦境。它使用多个 Gen AI 模型,具体流程为:由 ChatGPT 驱动的助手向用户提问以记住用户的梦,并根据回答调整内容;通过 Stable Diffusion 模型提取 ChatGPT 生成的关于用户梦境的摘要描述中的关键词来生成图像;将图像传输至图生视频模型创建基于用户梦境的动画;用 GPT 进行嵌入处理,将用户想要保留的梦保留在一个画廊中。您可以访问 🔗https://thedreamkeeper.co/ 进一步了解。 Andrej Karpathy 开发的 Awesome movies:这是一个电影搜索与推荐平台,搭建该网站共分三步,包括抓取自 1970 年以来的所有 11,768 部电影,从维基百科上抓取每部电影的简介和情节,并使用 OpenAI API(ada002)进行嵌入处理,最后将所有信息整合成一个电影搜索/推荐引擎网站。您可以通过 🔗https://awesomemovies.life/ 查看。
2025-01-06
如何搭建一个本地的ai助手,通过学习本地文档进行训练
搭建一个本地的 AI 助手并通过学习本地文档进行训练,可参考以下步骤: 1. 设计 AI 机器人: 编写【prompt】提示词,设定 Bot 的身份和目标。 2. 创建知识库: 整理“关键字”与“AI 相关资料链接”的对应关系,并将信息存储起来。 创建知识库路径:个人空间 知识库 创建知识库。 知识库文档类型支持本地文档、在线数据、飞书文档、Notion 等,本次使用【本地文档】。 按照操作指引上传文档、分段设置、确认数据处理。 小技巧:在内容中加上特殊分割符“”,以便于自动切分数据。分段标识符号选择“自定义”,内容填“”。 同一颜色代表同一个数据段,如果内容有误需要编辑,可以点击具体内容,鼠标右键会看到“编辑”和“删除”按钮,可以编辑或删除。 3. 创建工作流: 告诉 AI 机器人应该按什么流程处理信息。 创建工作流路径:个人空间 工作流 创建工作流。 工作流设计好后,先点击右上角“试运行”,测试工作流无误后,就可以点击发布。 如果任务和逻辑复杂,可以结合左边“节点”工具来实现。比如:可以在工作流中再次调用【大模型】,总结分析知识库内容;可以调用【数据库】存储用户输入的信息;可以调用【代码】来处理复杂逻辑等。 个人建议:工作流不必复杂,能实现目的即可,所以在设计 Bot 前“确定目的”和“确定功能范围”很重要。 另外,您还可以参考以下 10 分钟在网站上增加一个 AI 助手的方法: 1. 搭建示例网站: 点击打开提供的函数计算应用模板,参考下图选择直接部署、并填写前面获取到的百炼应用 ID 以及 APIKEY。 其他表单项保持默认,点击页面左下角的创建并部署默认环境,等待项目部署完成(预计耗时 1 分钟)。 2. 为网站增加 AI 助手: 增加 AI 助手相关代码:回到应用详情页,在环境详情的最底部找到函数资源,点击函数名称,进入函数详情页。在代码视图中找到 public/index.html 文件,然后取消③所在位置的代码注释即可。最后点击部署代码,等待部署完成。 验证网站上的 AI 助手:重新访问示例网站页面以查看最新效果。此时您会发现网站的右下角出现了 AI 助手图标,点击即可唤起 AI 助手。
2025-01-06
我想学习创建自己的AI助手
以下是创建自己的 AI 助手的相关内容: 使用 Coze 免费打造微信 AI 机器人 搭建步骤: 1. 创建好 Bot 后,从“个人空间”入口找到自己的机器人。 2. 设计环节:在 Coze 里称为“编排”。 常用概念和功能: 提示词:设定 Bot 的身份和目标。 插件:通过 API 连接集成各种平台和服务。 工作流:设计复杂的多步骤任务。 触发器:创建定时任务。 记忆库:保留对话细节,支持外部知识库。 变量:保存用户个人信息。 数据库:存储和管理结构化数据。 长期记忆:总结聊天对话内容。 3. 设计步骤(以“AI 前线”Bot 为例): 确定目的:比如“AI 前线”,目的是成为一个 AI 学习助手,帮助职场专业人士提升在人工智能领域的知识和技能,提供高效的站内信息检索服务。 注:Coze 官方使用指南见链接:https://www.coze.cn/docs/guides/welcome ,遇到疑问可查官方指南。 在网站上增加一个 AI 助手(以百炼为例) 1. 创建大模型问答应用: 进入百炼控制台的,在页面右侧点击新增应用,在对话框选择智能体应用并创建。 在应用设置页面,模型选择通义千问Plus,其他参数保持默认。也可以输入一些 Prompt 来设置人设以引导大模型更好地应对客户咨询。 在页面右侧提问验证模型效果,点击右上角的发布。 2. 获取调用 API 所需的凭证: 在我的应用>应用列表中查看所有百炼应用 ID,保存到本地用于后续配置。 在顶部导航栏右侧,点击人型图标,点击 APIKEY 进入我的 APIKEY 页面。在页面右侧,点击创建我的 APIKEY,在弹出窗口中创建一个新 APIKEY,保存到本地用于后续配置。
2025-01-05
部署Agent专属的web端应用
以下是关于部署 Agent 专属的 web 端应用的相关内容: 在 Linux 上部署较为简单,前提是您有一张 4G 以上显存的 GPU 显卡。步骤如下: 1. 下载代码仓库。 2. 安装依赖(注意有两个依赖未放在 requirements.txt 里)。 3. 启动 webui 的 demo 程序,然后用浏览器登陆服务器的 ip:8080 就能试玩。此 demo 提供了 3 个参数: server_name:服务器的 ip 地址,默认 0.0.0.0。 servic_port:即将开启的端口号。 local_path:模型存储的本地路径。 4. 第一次启动生成语音时,需查看控制台输出,会下载一些模型文件,可能因网络问题失败,但首次加载成功后后续会顺利。 5. 基于此基础可拓展,比如集成到 agent 的工具中,结合 chatgpt 做更拟人化的实时沟通。 6. webui 上可设置的几个参数说明: text:指需要转换成语音的文字内容。 Refine text:选择是否自动对输入的文本进行优化处理。 Audio Seed:语音种子,是一个用于选择声音类型的数字参数,默认值为 2,是很知性的女孩子的声音。 Text Seed:文本种子,是一个正整数参数,用于 refine 文本的停顿,实测文本的停顿设置会影响音色、音调。 额外提示词(可写在 input Text 里):用于添加笑声、停顿等效果,例如。 以下是一些 Agent 构建平台: 1. Coze:新一代一站式 AI Bot 开发平台,适用于构建基于 AI 模型的各类问答 Bot,集成丰富插件工具拓展 Bot 能力边界。 2. Microsoft 的 Copilot Studio:主要功能包括外挂数据、定义流程、调用 API 和操作,以及将 Copilot 部署到各种渠道。 3. 文心智能体:百度推出的基于文心大模型的智能体(Agent)平台,支持开发者根据需求打造产品能力。 4. MindOS 的 Agent 平台:允许用户定义 Agent 的个性、动机、知识,以及访问第三方数据和服务或执行工作流。 5. 斑头雁:2B 基于企业知识库构建专属 AI Agent 的平台,适用于客服、营销、销售等场景,提供多种成熟模板,功能强大且开箱即用。 6. 钉钉 AI 超级助理:依托钉钉强大的场景和数据优势,提供环境感知和记忆功能,在处理高频工作场景如销售、客服、行程安排等方面表现出色。 以上信息仅供参考,您可根据自身需求选择适合的平台。
2025-01-07
训练以及部署微调模型
以下是关于训练以及部署微调模型的相关信息: 创建微调模型: 假设您已准备好训练数据。使用 OpenAI CLI 开始微调工作,需指定从哪个 BASE_MODEL(如 ada、babbage、curie 或 davinci)开始,可使用后缀参数自定义微调模型的名称。运行命令后会进行以下操作: 1. 使用文件 API 上传文件(或使用已上传的文件)。 2. 创建微调作业。 3. 流式传输事件直到作业完成,这通常需要几分钟,但如果队列中有很多作业或数据集很大,可能需要数小时。 每个微调工作都从默认为 curie 的基本模型开始,模型的选择会影响性能和成本。您的模型可以是 ada、babbage、curie 或 davinci,可访问定价页面了解微调费率的详细信息。 开始微调作业后,可能需要一些时间才能完成。工作可能排在其他工作之后,训练模型可能需要几分钟或几小时,具体取决于模型和数据集的大小。若事件流中断,可通过运行特定命令恢复。工作完成后,会显示微调模型的名称。此外,还可以列出现有作业、检索作业状态或取消作业。 GPT 助手的训练: 在有监督的微调阶段,收集少量但高质量的数据集,要求人工承包商收集提示和理想响应的数据,通常是几万个或类似数量。然后对这些数据进行语言建模,算法不变,只是训练集从互联网文档变为问答提示响应类型的数据。训练后得到有监督的微调模型(SFT 模型),可实际部署。 大型语言模型的微调: 一旦有了基础模型,进入计算成本相对较低的微调阶段。编写标签说明,明确助手的表现期望,雇佣人员创建文档,如收集 100,000 个高质量的理想问答对来微调基础模型,此过程可能只需一天。然后进行大量评估,部署模型并监控表现,收集不当行为实例并纠正,将正确答案加入训练数据,重复此过程。由于微调成本较低,可每周或每天进行迭代。 例如 Llama2 系列,Meta 发布时包括基础模型和助手模型。基础模型不能直接使用,助手模型可直接用于回答问题。若想自己微调,Meta 完成的昂贵的第一阶段结果可提供很大自由。
2025-01-06
训练以及部署微调模型
以下是关于训练以及部署微调模型的相关知识: 创建微调模型: 假设您已准备好训练数据,使用 OpenAI CLI 开始微调工作。需指定从哪个 BASE_MODEL 开始,如 ada、babbage、curie 或 davinci,还可使用后缀参数自定义微调模型的名称。运行命令后会进行以下操作: 1. 使用文件 API 上传文件(或使用已上传的文件)。 2. 创建微调作业。 3. 流式传输事件直到作业完成,这通常需要几分钟,但如果队列中有很多作业或数据集很大,则可能需要数小时。每个微调工作都从默认为 curie 的基本模型开始,模型的选择会影响性能和成本,您可访问定价页面了解微调费率的详细信息。开始微调作业后,可能需要一些时间才能完成,若事件流中断,可通过运行特定命令恢复。工作完成后,会显示微调模型的名称。此外,还可以列出现有作业、检索作业状态或取消作业。 GPT 助手的训练: 在有监督的微调阶段,收集少量但高质量的数据集,要求人工承包商收集提示和理想响应的数据,通常是几万个或类似数量。然后对这些数据进行语言建模,算法不变,只是训练集从互联网文档变为问答提示响应类型的数据。训练后得到有监督的微调模型(SFT 模型),可实际部署,它们在某种程度上是有用的。 大型语言模型的微调: 一旦有了基础模型,就进入计算成本相对较低的微调阶段。在这个阶段,编写标签说明明确助手的表现期望,雇佣人员创建文档,例如收集 100,000 个高质量的理想问答对来微调基础模型,这个过程可能只需一天。然后进行大量评估,部署模型并监控表现,收集不当行为实例并纠正,将正确答案加入训练数据,由于微调成本较低,可每周或每天进行迭代。例如 Llama2 系列,Meta 发布时包括基础模型和助手模型,基础模型不能直接使用,助手模型可直接用于回答问题。
2025-01-06
模型的部署、容器化
以下是关于模型的部署和容器化的相关内容: ComfyUI ollama 本地大模型部署: 1. 先下载 ollama 安装,安装完成后可在电脑桌面右下角或隐藏图标中找到。 2. 下载对应的模型,选择模型并复制对应的命令。 3. 打开命令行界面,输入对应的模型获取命令,等待下载完成。 4. 下载的模型会保存到 D:\\ollama\\blobs 目录。 5. Docker 安装时会下载一些文件,安装后更改目录,不要放在 C 盘。 6. Open webui 安装,输入相关命令,安装成功后回到 docker,点击会自动打开网页,第一次使用需注册账号,选择下载好的模型即可开始使用。 7. 若出现端口占用问题,运行特定两条命令可解决。 8. 相关链接: comfyuiollama:https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama:https://ollama.com/ docker:https://www.docker.com/ Open webui:https://openwebui.com/ 模型部署: 1. 选择学习路径: 快速上手 使用 Anaconda: 前提条件:确保安装了 Python 3.10 以上版本。 准备环境:如需设置环境,安装所需软件包,运行特定命令。 下载模型:可从下载 Atom7BChat 模型。 进行推理:创建名为 quick_start.py 的文件,复制相关内容并运行代码。 快速上手 使用 Docker:详情参见,包括准备 docker 镜像,通过 docker 容器启动,通过 dockercompose 启动 chat_gradio。 快速上手 使用 llama.cpp:详情参见。 快速上手 使用 gradio:基于 gradio 搭建问答界面,实现流式输出,复制相关代码到控制台运行,不同模型修改 model_name_or_path 对应的模型名称。 ComfyUI FLUX: 1. 模型的安装部署: 模型:FLUX.1、FLUX.1,建议选择 dev 版本,显卡可以的用 fp16,显卡不够用的选 fp8。模型下载后放入 ComfyUI/models/unet/文件夹中。若爆显存,“UNET 加载器”节点中的 weight_dtype 可设置为 fp8 降低显存使用量,但可能稍降质量。 clip:t5xxl_fp16.safetensors 和 clip_l.safetensors 放在 ComfyUI/models/clip/文件夹里,也可用 t5xxl_fp8_e4m3fn.safetensors 降低内存使用率,有超过 32GB 内存建议用 fp16。 Vae:下载后放入 ComfyUI/models/vae 文件夹。 2. T5(/t5xxl_fp16.safetensors)的这个 clip 原本有输入输出,可能会导致提示词被吞,短提示效果差,训练 flux 或 sd3 时应尽量用长提示词或自然语言。
2025-01-06
模型的部署、容器化
以下是关于模型的部署和容器化的相关信息: ComfyUI ollama 本地大模型部署: 1. 先下载 ollama 安装,安装完成后不会有任何界面弹出,可以在电脑桌面右下角或者隐藏图标里面找到。 2. 之后再去下载对应的模型,选择模型,复制对应的命令。 3. 打开命令行界面,输入对应的模型获取命令,等待下载完成。 4. 下载的模型会保存到 D:\\ollama\\blobs 目录。 5. Docker 安装时会下载一些文件,安装后改下目录,不要放在 C 盘。 6. Open webui 安装,输入相关命令,安装成功后,回到 docker,点击会自动打开网页,第一次使用需注册账号,选择下载好的模型即可开始使用。 7. 若出现端口占用问题,运行特定两条命令可以解决。 8. 相关链接: comfyuiollama:https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama:https://ollama.com/ docker:https://www.docker.com/ Open webui:https://openwebui.com/ 模型部署: 1. 选择学习路径: 快速上手 使用 Anaconda: 第 0 步:确保安装了 Python 3.10 以上版本。 第 1 步:准备环境,如需设置环境,安装所需要的软件包,运行特定命令。 第 2 步:从以下来源下载 Atom7BChat 模型:。 第 3 步:进行推理,创建一个名为 quick_start.py 的文件,并将相关内容复制到该文件中,运行 quick_start.py 代码。 快速上手 使用 Docker:详情参见:,包括准备 docker 镜像,通过 docker 容器启动,通过 dockercompose 启动 chat_gradio。 快速上手 使用 llama.cpp:详情参见: 快速上手 使用 gradio:基于 gradio 搭建的问答界面,实现了流式的输出,将特定代码复制到控制台运行,不同模型只需修改 model_name_or_path 对应的模型名称。 ComfyUI FLUX 模型的安装部署: 1. 模型:FLUX.1、FLUX.1,建议选择 dev 版本的,显卡可以的用 fp16,显卡不够用的选 fp8。模型下载后,放入 ComfyUI/models/unet/文件夹中。若爆显存,“UNET 加载器”节点中的 weight_dtype 可设置为 fp8,降低显存使用量,但可能稍降质量。 2. clip:t5xxl_fp16.safetensors 和 clip_l.safetensors,放在 ComfyUI/models/clip/文件夹里面。可以使用 t5xxl_fp8_e4m3fn.safetensors 来降低内存使用率,若有超过 32GB 内存,建议使用 fp16。相关链接:https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main 3. Vae:下载后放入 ComfyUI/models/vae 文件夹。 4. T5(/t5xxl_fp16.safetensors)的这个 clip,原本有一个输入输出,可能会导致提示词被吞,短提示效果差,训练 flux 或者 sd3 时,应尽量用长提示词或自然语言。
2025-01-06