Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

怎么部署dify到ecs

Answer

部署 Dify 到 ECS 有以下几种方法:

  • 方法一:通过云服务器、Dify 和智能微秘书免费搭建微信机器人
    • 参考链接:https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted/docker-compose
    • 这些命令在宝塔面板的终端安装。docker-compose 文件在 /root/dify/docker 目录下,可修改和学习其中文件的含义。
    • 检查运行情况,使用 docker compose ps 命令,如果 nginx 容器无法运行,可能是 80 端口被占用,可将终端输出的代码粘贴给 AI 来解决。
    • 在浏览器地址栏输入公网 IP(可在腾讯云服务器或宝塔面板地址栏查看,去掉后面的:8888),随便填邮箱密码建立知识库,选择模型(如智谱 AI,获取钥匙并复制保存),创建应用进行测试和发布。
  • 方法二:腾讯云一键部署
    • 打开腾讯云官网,在左上角【最新活动】进入,新老用户均可享受优惠。
    • Dify 社区版官方要求 2 核 4G,可根据需求选择境内或境外服务器。境内服务器 159 一年。
    • 选好后创建服务器,选择【使用应用模板创建】-【AI】,初始化完成后,在控制台-服务器中复制公网 IP 到浏览器(加上 /apps),进入 Dify 安装页面,设置管理员账号密码,正常情况下即可进入 Dify 网站配置模型服务。
  • 方法三:云服务器 Docker 部署
    • 左侧菜单栏-文件-打开终端,根据 Dify 官方的部署文档操作。
    • 敲入 git 命令(把 Dify 的代码复制到服务器),显示 100%即复制完成。
    • 依次敲下面三个命令,出现相应结果即为成功。
    • 使用方法与方案一相同。
    • 更新时根据官方文档,在 BT 页面的文件中打开终端,按顺序执行命令。同时注意同步环境变量配置,如果.env.example 文件有更新,务必同步修改本地的.env 文件,检查并确保配置项与实际运行环境相匹配。
Content generated by AI large model, please carefully verify (powered by aily)

References

马上观看看:通过云服务器,dify,智能微秘书来免费搭建微信机器人

https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted/docker-compose这些命令都是在宝塔面板的终端安装。如果你想学习这些命令是什么就还是直接给AI就可以。比如cd dify/docker是啥意思。这个docker-compose文件就是在这个/root/dify/docker目录下。这里边以后可以修改,可以学习里边的文件是什么意思。检查一下一共有7个在运行。docker compose ps如果nginx这个容器无法运行。把终端里输出的代码粘贴给AI,可能是80端口被占用了。按照AI的方法,检查谁占用的,都停止掉就可以了。也可以用别的方法,我是用这种方法。记住要一步步来,确保前一步成功再下一步,怎么确保就是把代码复制问AI。现在可以在浏览器的地址栏里,输入你的公网ip就可以。可以上腾讯云服务器上查,你的宝塔面板上的地址栏也有显示,去掉后面的:8888就是。进去以后邮箱密码随便填一下。随便建立一个知识库,知识库中选择设置。这时候你就可以选择模型了,国内的模型都有免费额度,随便选,你也可以都选。拿智谱ai举例。点设置,点从智谱ai获取钥匙,直接会进入智谱的官网。用手机号注册,添加API keys,复制一下。然后看一下有多少免费额度,智谱是资源包管理里边看,赠送500万一个月。这些大模型有的限制时间,有的不限制。有的给tokens额度有的给钱。最后把网址收藏一下。回到上面的图,把钥匙复制,保存就可以了。然后随便创建个应用。可以先选择智谱glm-4测试一下,聊两句,看有回应没,然后点发布。选择第二个,如图:点击api秘钥,创建一个,复制。

【0门槛】一键部署自己的Dify网站

【优惠】打开腾讯云官网,左上角【最新活动】进入,活动是新老用户都可以,我老用户也享受到了。【购买】Dify社区版官方要求是2核4G,境内还是境外看自己需求吧。境外服务器的好处就是可以访问一些网站,比如直连官方Key,使用Jinra等网页读取等工具的时候非常便利。境内的159一年,便宜的很了。【创建】选好之后,下面就是创建服务器了。直接选择【使用应用模板创建】-【AI】(我发现不止Dify,还有个LobeChat,也是个开源Chat应用,有兴趣的可以自己去看看,多折腾玩玩。)其它的自己看着选吧,不要选额外花钱的就是了。【使用】等服务器初始化完成,在控制台-服务器里面就能看到刚才已经购买的那台服务器。如果是下图这样显示运行中的,就是已经初始化成功了。复制上面图中的IP地址复制到浏览器中(我马赛克的部分,每个人服务器的公网IP不一样),后面加上**/apps**,回车就是你的dify网站。比如你的公网IP是:124.220.110.110,那你在浏览器里面就输入http://124.220.110.110/apps,回车。如果没有意外的话,就会进入到Dify的安装页面(其实就是管理员设置页面),请一定要记住自己在这里设置的管理员账号密码。如果再一切正常,你就会直接以管理员的身份进入到你的Dify网站中。配置好你的模型服务就可以正常使用了,如何配置这块我放到最后面讲。

【0门槛】一键部署自己的Dify网站

【安装Dify】左侧菜单栏-文件-打开终端,根据Dify官方的部署文档来。敲入git命令(把dify的代码复制到服务器),回车显示100%就是复制完成(国内服务器的话有时候网络会有点问题)然后再依次敲下面三个命令(一个成功了再下一个)等出现下面的结果,就是成功了【使用】跟方案一的使用一毛一样。【更新】根据官方文档,回到我们BT的页面,在文件中打开终端,按顺序执行以下命令。另外官方提醒:同步环境变量配置(重要!)如果.env.example文件有更新,请务必同步修改您本地的.env文件。检查.env文件中的所有配置项,确保它们与您的实际运行环境相匹配。您可能需要将.env.example中的新变量添加到.env文件中,并更新已更改的任何值。

Others are asking
什么是Dify
Dify 是一个开源的大模型应用开发平台。它融合了后端即服务和 LLMOps 的理念,为用户提供直观界面,能快速构建和部署生产级别的生成式 AI 应用。 该平台具有以下特点: 1. 强大的工作流构建工具。 2. 支持广泛的模型集成。 3. 提供功能丰富的提示词 IDE。 4. 拥有全面的 RAG Pipeline 用于文档处理和检索。 5. 允许用户定义 Agent 智能体。 6. 通过 LLMOps 功能持续监控和优化应用程序性能。 Dify 提供云服务和本地部署选项,满足不同用户需求。其开源特性确保对数据的完全控制和快速产品迭代。设计理念注重简单性、克制和快速迭代,能帮助用户将 AI 应用创意快速转化为现实。无论是创业团队构建 MVP、企业集成 LLM 增强现有应用能力,还是技术爱好者探索 LLM 潜力,Dify 都提供相应支持和工具。 Dify 官方手册:https://docs.dify.ai/v/zhhans 。一般来说,如果是个人研究,推荐单独使用 Dify;如果是企业级落地项目,推荐使用多种框架结合,效果更好。
2025-04-13
哪里可以搜到dify的相关学习资料
以下是一些可以搜到 Dify 相关学习资料的途径: 1. 您可以通过以下链接获取相关学习资料:https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose 。这些命令通常在宝塔面板的终端安装,若想了解命令的含义,可直接询问 AI 。 2. 微信文章: ,该文章介绍了如何在几分钟内使用 Dify 平台快速定制网站的 AI 智能客服,即使是非技术人员也能操作。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-04-10
dify工作流中agent节点怎么使用
在 Dify 工作流中使用 Agent 节点的步骤如下: 1. 搭建工作流框架: 进入 Coze,点击「个人空间工作流创建工作流」,打开创建工作流的弹窗。 根据弹窗要求自定义工作流信息,点击确认完成新建。 左侧「选择节点」模块中,根据子任务需要,实际用上的有插件(提供能力工具拓展 Agent 能力边界)、大模型(调用 LLM 实现文本内容生成)、代码(支持编写简单脚本处理数据)。 按照流程图在编辑面板中拖入对应的 LLM 大模型、插件、代码节点完成框架搭建。 2. 测试 Agent 节点功能: 完成任何一个节点的配置后,都需要进行试运行测试以验证节点的运行效果。 步骤一:点击「测试该节点」。 步骤二:按格式要求输入待测试的输入内容,如果是 array 等其他格式,请自行对话 AI 或搜索网络确认格式要求。 步骤三:点击「展开运行结果」,检查输入、输出项是否有误。如果有误,请依次检查“测试输入内容”、“节点配置”是否有误,以及优化“提示词”以提升对生成内容的约束力。当多次测试时输入与输出都符合预期,就可以进入下一个子任务的配置。
2025-04-05
dify
Dify 是一个开源的大模型应用开发平台: 构建知识库的具体步骤: 准备数据:收集文本数据,包括文档、表格等格式,进行清洗、分段等预处理以确保数据质量。 创建数据集:在 Dify 中创建新数据集,上传准备好的文档,并编写良好描述。 配置索引方式:提供三种索引方式(高质量模式、经济模式和 Q&A 分段模式),根据实际需求选择,如追求高准确度可选高质量模式。 集成至应用:将数据集集成到 Dify 的对话型应用中,在应用设置中配置数据集使用方式。 持续优化:收集用户反馈,对知识库内容和索引方式持续优化和迭代,定期更新增加新内容。 平台特点: 结合后端即服务和 LLMOps 理念,提供直观界面快速构建和部署生产级别的生成式 AI 应用。 具备强大工作流构建工具,支持广泛模型集成,提供功能丰富的提示词 IDE 和全面的 RAG Pipeline 用于文档处理和检索。 允许用户定义 Agent 智能体,通过 LLMOps 功能对应用程序性能持续监控和优化。 提供云服务和本地部署选项,满足不同用户需求,开源特性确保对数据完全控制和快速产品迭代。 设计理念注重简单性、克制和快速迭代,为创业团队构建 MVP、企业集成 LLM 等提供支持和工具。 官方手册:https://docs.dify.ai/v/zhhans 。一般来说,个人研究推荐单独使用 Dify,企业级落地项目推荐多种框架结合。
2025-04-01
dify教程
以下是关于 Dify 的教程: Differential Diffusion 教程: 技术适用场景:特别适用于需要保持图像整体一致性和自然感的场景。 软填充技术:用于平滑填补图像空白或损坏部分,同时细微调整周围区域,确保新填充内容与原始图像无缝融合。 强度扇:一种可视化不同编辑强度效果的工具,帮助用户通过可视化方式理解不同编辑强度的效果。 无需训练或微调:操作仅在推理阶段进行,不需要对模型进行额外训练或微调。 与现有扩散模型兼容:可集成到任何现有的扩散模型中,增强编辑和生成能力,适用于 Stable Diffusion XL、Kandinsky 和 DeepFloyd IF 等不同的扩散模型。 主要功能特点: 精细的编辑控制:通过引入变化地图,可对图像每个像素或区域指定不同变化程度,支持离散和连续编辑。 文本驱动的图像修改:通过文本提示指导图像修改方向。 软填充技术:在填补图像空白或修复部分时,能细微调整周围区域确保无缝融合。 Dify 接入企业微信教程: 创建聊天助手应用:在 Dify 平台创建基础编排聊天助手应用,获取 API 密钥和 API 服务器地址。 下载 Dify on WeChat 项目:下载并安装依赖。 填写配置文件:在项目根目录创建 config.json 文件,填写 API 密钥和服务器地址。 把基础编排聊天助手接入微信:快速启动测试,扫码登录,进行对话测试,可以选择源码部署或 Docker 部署。 把工作流编排聊天助手接入微信:创建知识库,导入知识库文件,创建工作流编排聊天助手应用,设置知识检索节点和 LLM 节点,发布更新并访问 API。 把 Agent 应用接入微信:创建 Agent 应用,设置对话模型和添加工具,生成 API 密钥,填写配置文件,启动程序并进行测试。 更多内容请访问原文:https://docs.dify.ai/v/zhhans/learnmore/usecases/difyonwechat
2025-03-29
dify学习
Dify 是一个开源的大模型应用开发平台: 理念:结合后端即服务和 LLMOps 的理念。 特点:提供直观界面,能快速构建和部署生产级别的生成式 AI 应用。具有强大的工作流构建工具,支持广泛的模型集成,有功能丰富的提示词 IDE 和全面的 RAG Pipeline 用于文档处理和检索。允许用户定义 Agent 智能体,通过 LLMOps 功能对应用程序性能持续监控和优化。 部署选项:提供云服务和本地部署,满足不同用户需求。 开源特性:确保对数据的完全控制和快速产品迭代。 设计理念:注重简单性、克制和快速迭代,旨在帮助用户将 AI 应用的创意快速转化为现实。 推荐使用方式:个人研究推荐单独使用,企业级落地项目推荐多种框架结合。 Dify 官方手册:https://docs.dify.ai/v/zhhans
2025-03-28
如何本地部署大模型,如何选择是否使用云服务商
以下是关于本地部署大模型以及选择是否使用云服务商的相关内容: 本地部署大模型的主要步骤: 1. 选择合适的部署方式,包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等,根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源,确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础,可以使用开源的预训练模型如 BERT、GPT 等,也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练,根据具体应用场景对预训练模型进行微调训练,优化模型结构和训练过程以提高性能。 5. 部署和调试模型,将训练好的模型部署到生产环境,对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护,大模型涉及大量数据和隐私信息,需要重视安全性和合规性。 以 SDXL 为例的本地部署步骤: 1. SDXL 的大模型分为两个部分,base+refiner 是必须下载的,base 是基础模型,用于文生图操作;refiner 是精炼模型,用于对生成的模型进行细化,生成细节更丰富的图片。还有一个配套的 VAE 模型,用于调节图片的画面效果和色彩。 2. 想要在 webUI 中使用 SDXL 的大模型,首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 将模型放入对应的文件夹中,base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下;vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后,启动 webUI,就可以在模型中看到 SDXL 的模型。 以 LLM 大语言模型为例的本地部署步骤: 1. 下载并安装 Ollama,点击进入根据电脑系统下载 Ollama:https://ollama.com/download ,下载完成后,双击打开,点击“Install”,安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型)。如果是 windows 电脑,点击 win+R,输入 cmd,点击回车;如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。复制相关命令行,粘贴进入,点击回车,等待下载完成。 总的来说,部署大模型需要综合考虑多方面因素,包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。
2025-04-14
本地部署
SDXL 的本地部署步骤如下: 1. 模型下载:SDXL 的大模型分为两个部分,第一部分 base + refiner 是必须下载的,base 是基础模型,用于文生图操作;refiner 是精炼模型,用于对文生图生成的模型进行细化以生成细节更丰富的图片。此外,还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。这三个模型可通过关注公众号【白马与少年】,回复【SDXL】获取云盘下载链接。 2. 版本升级:要在 webUI 中使用 SDXL 的大模型,需在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 放置模型:将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下;vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 4. 启动使用:完成上述步骤后启动 webUI,即可在模型中看到 SDXL 的模型。正常使用时,先在文生图中使用 base 模型,填写提示词和常规参数(如尺寸设置为 10241024)进行生成。然后将图片发送到图生图当中,大模型切换为“refiner”,重绘幅度开小一点再次点击生成。 5. 插件辅助:若觉得操作麻烦,可在扩展列表中搜索 refine 安装插件并重启,启用插件后可在文生图界面直接使用 refine 模型进行绘画。 另外,关于本地部署资讯问答机器人:Langchain + Ollama + RSSHub 实现 RAG,步骤包括导入依赖库(如 feedparse 用于解析 RSS 订阅源,ollama 用于在 python 程序中跑大模型,使用前需确保 ollama 服务已开启并下载好模型)、从订阅源获取内容(通过指定函数从 RSS 订阅 url 提取内容,并将长文本拆分成较小的块附带相关元数据)、为文档内容生成向量(使用文本向量模型 bgem3,从 hf 下载好模型后放置在指定路径,通过函数利用 FAISS 创建高效的向量存储),最终实现 RAG。
2025-04-13
我有秋叶整合包,然后需要怎么搭建本地部署?
以下是使用秋叶整合包搭建本地部署的步骤: 1. 下载整合包:可以从。 2. 复制启动器到下载仓库的目录下。 3. 打开启动器,可一键启动。如果有其他需求,可以在高级选项中调整配置。 显存优化根据显卡实际显存选择,不要超过当前显卡显存。xFormers 能极大地改善内存消耗和速度,建议开启。 4. 准备工作完毕后,点击一键启动即可。等待浏览器自动跳出,或是控制台弹出本地 URL 后说明启动成功。 如果报错提示缺少 Pytorch,则需要在启动器中点击配置。 5. Stable Diffusion webui 的更新比较频繁,请根据需求在“版本管理”目录下更新,同时注意插件的更新。 在 webui 的“扩展”选项卡下,可以安装插件。点击“加载自”后,目录会刷新,选择需要的插件点击右侧的 install 即可安装。安装完毕后,需要重新启动用户界面。 具体安装方法: 1. 打开整合包链接(https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru ,提取码:caru),下载《1.整合包安装》,存放到电脑本地。 2. 打开保存到电脑里的文件夹。 3. 打开文件夹《1.秋叶整合包主包》,鼠标右击文件,点击“解压文件”。 4. 选择解压到 D 盘或者 E 盘(避免 C 盘被占满),点击确定。 5. 解压完成后,来到第二个文件夹,双击里面的文件,点击安装。 6. 打开刚刚解压保存的 SD 的根目录,找到启动器,鼠标右击启动器,点击“发送到”,选择桌面快捷方式,方便下次进入。 7. 双击启动器,等待更新,接着点击左边第二个“高级选项”,在显存优化里,根据自己电脑的显存选择。 8. 回到第一个一键启动,点击右下角的一键启动。出现代码页面不用管,等待 SD 的主界面在网页上自动弹出。如果出现报错,可以回到最开始的界面,在左边点击“疑难解答”,再点击右边的“开始扫描”,最后点击“修复”按钮。
2025-04-12
如何部署自己私人AI
部署自己私人 AI 可以参考以下几种方式: 通过云服务器、dify、智能微秘书来免费搭建微信机器人: 1. 在宝塔面板的终端安装相关命令,这些命令位于/root/dify/docker 目录下。 2. 检查运行的容器数量,若 nginx 容器无法运行,可能是 80 端口被占用,可将终端输出的代码粘贴给 AI 以解决。 3. 在浏览器地址栏输入公网 IP(去掉后面的:8888),进入后邮箱密码随便填,建立知识库并进行设置。 4. 选择模型,国内模型有免费额度可选,如智谱 ai,获取钥匙并复制保存,创建应用进行测试和发布。 基于 Hook 机制的微信 AI 机器人: 1. 将 Administrators 改成“wxid_dna83ykqawl222”。 2. 若有 FastGPT 或者 OpenAI 的 key,将 Ai_Lock 修改成“1”,并在 OpenAI 处添加模型 key;若没有,保持 Ai_Lock 为 0。 3. 修改后点击保存。 4. 返回 NGCbot 文件夹下,找到 main.py 文件双击运行。 5. 运行后会弹出微信登录框,正常登录微信,等待系统自动初始化必备文件。 6. 运行成功后,用“大号”给机器人发消息,拿到 wxid 并返回替换。 7. 添加完后,用小号登录,大号可对小号发号施令。 部署和训练自己的 AI 开源模型: 1. 选择合适的部署方式,如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等,根据自身资源、安全和性能需求选择。 2. 准备训练所需的数据和计算资源,确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础,如开源的 BERT、GPT 等,也可自行训练基础模型。 4. 针对目标任务进行模型微调训练,根据具体应用场景对预训练模型进行微调,优化模型结构和训练过程以提高性能。 5. 部署和调试模型,将训练好的模型部署到生产环境,对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护,重视大模型涉及的大量数据和隐私信息的安全性和合规性。 总的来说,部署和训练自己的大模型需要综合考虑多方面因素,包括部署方式、数据准备、模型训练、部署调试以及安全性等,根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。
2025-04-11
DEEP SEEK 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)
以下是关于 Deep Seek 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)的相关内容: 一、使用 Docker + RAGFlow + Ollama 搭建个人/企业知识库 1. 将 Ollama 部署的模型接入 GARFlow 返回 RAGFlow 中,打开右上角设置,进入模型提供商,配置 Ollama 相关信息,基础 URL 按要求设置,设置完成后点击确定。 导入一个 embedding 模型用于文本向量化,导入成功后设置系统模型设置,然后返回知识库创建知识库。 进入数据集,导入文件(可设置文件夹当作知识库),导入完毕后解析文件,解析速度取决于本机 GPU 性能,解析好后进行检索测试,测试没问题即可进入聊天界面,助理设置可自行设置。 2. 使用 Ollama 本地部署 DeepSeek 模型 先下载 Ollama 程序,官方网址:https://ollama.com/ 。 下载默认到 C 盘(一般为固态盘,运行速度快),若想修改安装目录到 D 盘,后续会有说明。 下载完右下角会出现 Ollama 图标,打开命令行输入相关命令回车。 若显卡是英伟达 2060Super,可选择 Deepseekr1:14b 的模型,根据自身独立显卡性能下载。 下载速度慢可按 Ctrl+C 强制退出重新下载。 下载完毕后再下载一个嵌入模型,Ollama 的 bge 模型官方网址:https://ollama.com/library/bgem3 ,输入相关命令,下载好后直接退出终端。 二、Flowith 相关报道、采访、使用指南 |标题|发布账号|社媒来源|日期|链接| |||||| |ChatGPT 的对话框过时了?这款 AI 产品提供了一种很新的聊天方式|爱范儿|公众号|2024/04/29|| |Flowith:革新你的工作方式,体验节点式 AI 的超流畅生产力|程序那些事儿|公众号|2024/05/03|| |体验 Flowith:探索人机交互从传统聊天对话到画布式知识管理的转变|AI 兔子洞|公众号|2024/04/22|| |deepseek 服务器繁忙?硅基流不动?看看这篇,内含 18 个平台,可能是最全的 deepseek 方案。|佐佐的 AI 笔记|公众号|2025/02/06|| |满血版自部署 DeepSeekR1+知识库+联网搜索,体验下来可能就只剩下这家了!|字节笔记本|公众号|2025/02/12|| |DeepSeek 让 AI 圈卷出了新高度:Flowith 宣布 DeepSeek R1 现在免费提供!|字节笔记本|公众号|2025/01/27|| |ShowMeAI 周刊 No.15|上周最有讨论度的 6 个 AI 话题:自由画布类产品密集更新、多主体一致成发展趋势、AGI、开源…|ShowMeAI 研究中心|公众号|2025/01/21||
2025-04-10
本地部署大模型,如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤: 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址:https://useanything.com/download 安装完成后进入配置页面,主要分为三步: 第一步:选择大模型 第二步:选择文本嵌入模型 第三步:选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式,提供了 Chat 模式(大模型根据训练数据和上传文档数据综合给出答案)和 Query 模式(大模型仅依靠文档中的数据给出答案)。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入,根据电脑系统,下载 Ollama:https://ollama.com/download 下载完成后,双击打开,点击“Install” 安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑,点击 win+R,输入 cmd,点击回车;如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 复制相关命令行,粘贴进入,点击回车。 三、智能纪要中的相关内容 在智能纪要中,许键介绍了模型 API 调用方法与知识库创建,包括获取 API key 位置及调用设置,详细讲解了创建 Rag 应用(知识库)流程,如上传非结构化文件、数据解析、切分段落等操作,并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨,以及通义千问相关应用及明天课程安排交流等内容。 总之,本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置,同时不断实践和探索,以达到理想的效果。
2025-04-10