直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

agent一般是私有化部署,还是公有化部署

回答

AI助手或智能代理(Agent)的部署可以是私有化部署,也可以是公有化部署,具体取决于应用场景、需求、安全考虑以及成本效益等因素。

  1. 私有化部署

    • 在企业或组织的内部网络中部署,通常用于处理敏感数据或需要高度定制化的服务。
    • 提供更高的安全性和隐私保护,因为系统不公开于互联网。
    • 允许更精细的控制和管理,适合有特定业务流程和需求的企业。
  2. 公有化部署

    • 在云服务提供商的基础设施上部署,通过互联网提供服务。
    • 易于扩展,维护成本较低,因为云服务商负责大部分的维护工作。
    • 适用于面向公众的服务,如在线客服机器人、开放平台的API服务等。

选择哪种部署方式取决于以下因素:

  • 数据敏感性:如果处理的数据非常敏感,私有化部署更有利于保护数据安全。
  • 成本:私有化部署可能需要更多的初始投资,而公有化部署可能带来更高的灵活性和可扩展性。
  • 维护能力:如果企业有足够的技术力量来维护私有化部署的系统,这可能是一个更好的选择。
  • 定制化需求:私有化部署更容易根据企业的特定需求进行定制。
  • 法规遵从性:某些行业或地区的法律法规可能要求企业必须进行私有化部署。

在实际应用中,一些企业可能会选择混合部署模式,即在私有云中部署核心的、敏感的业务组件,同时将一些非核心或较不敏感的组件部署在公有云上,以此来平衡安全性、成本和灵活性。

内容由 AI 大模型生成,请仔细甄别(powered by aily)
其他人在问
你的知识库是怎么部署的
部署个人知识库需要考虑硬件配置和相关技术原理。 硬件方面: 生成文字大模型,最低配置为 8G RAM + 4G VRAM,建议配置为 16G RAM + 8G VRAM,理想配置为 32G RAM + 24G VRAM(如果要跑 GPT3.5 差不多性能的大模型)。 生成图片大模型(比如跑 SD),最低配置为 16G RAM + 4G VRAM,建议配置为 32G RAM + 12G VRAM。 生成音频大模型,最低配置为 8G VRAM,建议配置为 24G VRAM。 技术原理方面: 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在这个过程中,首先检索外部数据,然后在生成步骤中将这些数据传递给 LLM。 RAG 应用包括文档加载、文本分割、存储、检索和输出这 5 个过程。 文档加载:从多种不同来源加载文档,LangChain 提供了 100 多种不同的文档加载器。 文本分割:把 Documents 切分为指定大小的块。 存储:涉及将切分好的文档块进行嵌入转换成向量的形式,并将 Embedding 后的向量数据存储到向量数据库。 检索:通过某种检索算法找到与输入问题相似的嵌入片。 输出:把问题以及检索出来的嵌入片一起提交给 LLM,LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 此外,搭建基于 GPT API 的定制化知识库,涉及给 GPT 输入(投喂)定制化的知识。GPT3.5 一次交互(输入和输出)只支持最高 4096 个 Token。为了处理大量领域知识,OpenAI 提供了 embedding API 解决方案。embeddings 是一个浮点数字的向量(列表),两个向量之间的距离衡量它们的关联性,小距离表示高关联度。
2024-11-11
本地部署的AI工具
以下是关于本地部署的 AI 工具的相关信息: 目前市面上的 AI 工具分为线上和线下本地部署两种: 线上的优势:出图速度快,不依赖本地显卡配置,无需下载大型模型,能查看其他创作者的作品,但出图分辨率受限,一般最高支持 1024×1024 左右,制作横板、高清图片会受影响。 线下部署的优势:可以添加插件,不卡算力,出图质量高。但使用时电脑基本处于宕机状态,配置不高可能会出现爆显存导致出图失败的情况。 具体的部署步骤(以 windows10 系统为例,mac 系统步骤类似,命令有所不同): 1. 安装环境: 点击电脑“系统”,输入“cmd”,回车打开命令窗口。 在命令窗口中,粘贴代码确认是否有 python 和 pip。 若没有,需安装:先安装 python,安装包可通过下载,按照步骤安装,关闭窗口再次运行命令确认。 2. 部署项目: 下载 COW 机器人项目并解压缩。 回到 chatgptonwechat/文件路径下,空白处右键,打开 Powershell 复制粘贴“python app.py”,弹出二维码扫码登录。 注意事项: 1. 程序在本地运行,关闭窗口进程结束,若要持续使用需保持窗口打开和运行。 2. 若突然不管用,可点击窗口并按空格。 3. 配置时,在 config.json 中的 OpneAi_Api 填“http://localhost:3000/api/v1/chat/completions”。 对于游戏截图升级到 KV 品质的应用,可充分发挥线上和线下平台的优势:线上找参考、测试模型,线下作为主要出图工具。先在线上绘图网站的绘图广场发现想要的画风,点击创作获取模型 lora 和 tag,截取游戏人物底图将线上算力集中在人物身上,多批次尝试不同画风得出合适模型+lora 组合,最后在 C 站()下载对应模型到本地加载部署后正式生图。
2024-11-10
Mac部署stable diffusion
在 Mac 上部署 Stable Diffusion 存在一定限制,功能可能不全且出错率偏高,严重影响使用体验。个人建议升级设备或者采用云服务器玩耍。 如果您仍想在 Mac 上部署,可以参考以下步骤: 1. 电脑硬件要求: 系统:无明确针对 Mac 的特定系统要求。 显卡:未明确针对 Mac 的显卡要求。 硬盘:留有足够的空间,最低 100G 起步(包括模型)。 2. 环境安装: 未提供 Mac 系统下的具体环境安装步骤。 由于 Mac 系统的特殊性,更推荐您采用云端部署的方式,相关教程可参考:https://qa3dhma45mc.feishu.cn/wiki/A6WYw1Nm0ikGplkuO9Ecwomqnnd
2024-11-06
联想异能者配置i5-12450八核,32GB内存,1TB固态硬盘,用于本地部署开源大模型可以部署哪些开源大模型
以下是一些您的联想异能者配置(i512450 八核,32GB 内存,1TB 固态硬盘)可部署的开源大模型及相关信息: ComfyUI 相比 WebUI 配置更低,系统资源占用更少,出图速度更快。ComfyUI 最低可在小于 3G 的 GPU 上运行,甚至没有 GPU 光用 CPU 也可以运行,但速度极慢。SDXL 出来后提高了运行配置,最低需要 8GB 显存+32GB 运行内存,12GB 流畅运行,推荐 16GB 以上。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上的显存的 NVIDIA 显卡(N 卡),内存在 16G 以上。硬盘会影响加载模型的速度,所以最好把软件和模型部署在 SSD(固态硬盘)上。 截止 2024 年 5 月,主流的 AI 笔记本电脑主要是一些专门为人工智能和深度学习设计的高性能移动工作站。一些知名品牌包括微软第 11 代 Surface Pro、微星 Creator/Workstation 系列、技嘉 Aero/Aorus 系列、戴尔 Precision 移动工作站、惠普 ZBook 移动工作站、联想 ThinkPad P 系列。这些笔记本通常配备强大的 GPU(如 NVIDIA RTX 系列)、大容量内存(32GB 以上)和高速固态硬盘,还通常预装了 NVIDIA CUDA、cuDNN 等深度学习框架,以及各种 AI 开发工具。但这类高端 AI 笔记本价格相对较高,通常在 2000 美元以上。用户可根据自身需求和预算选择合适型号,并关注散热、续航等实际使用体验。 请注意,配置上不封顶,您可根据自己的需求和预算来选择。
2024-11-04
如何做大模型的云端部署与微调
做大模型的云端部署与微调,主要包括以下步骤: 1. 选择合适的部署方式: 本地环境部署。 云计算平台部署。 分布式部署。 模型压缩和量化。 公共云服务商部署。需根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源: 确保有足够的训练数据覆盖目标应用场景。 准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础: 可以使用开源的预训练模型如 BERT、GPT 等。 也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练: 根据具体应用场景对预训练模型进行微调训练。 优化模型结构和训练过程以提高性能。 5. 部署和调试模型: 将训练好的模型部署到生产环境。 对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护: 大模型涉及大量数据和隐私信息,需要重视安全性和合规性。 例如,对于 SDXL 的大模型,本地部署时要注意模型分为 base+refiner 以及配套的 VAE 模型,需将其放入对应文件夹,并在秋叶启动器中将 webUI 的版本升级到 1.5 以上。而对于 Llama3 的部署和微调,实操分两部分,包括本地部署并通过 webdemo 对话,以及使用特定数据集进行微调,具体流程为购买服务器、安装代码环境、下载通用模型和数据集、挑选微调框架、编写微调程序和验证结果。 总的来说,部署和微调大模型需要综合考虑多方面因素,根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。
2024-10-26
docker部署qwen
以下是关于 Docker 部署相关问题的综合回答: 容器编排模板: 容器编排模板是一种配置文件,用于在 Docker 中部署和管理多个容器,可一键部署复杂环境,无需手动配置细节,如配置 COW 组件与微信和极简未来平台交互。 使用 Docker 部署 COW 组件的原因: Docker 提供隔离运行环境,确保应用在任何环境稳定运行,简化安装和配置过程,保证环境一致,便于管理和维护。 配置多个前缀触发机器人回复的原因: 配置如“bot”、“@bot”等多个前缀,能确保机器人只在特定情况回复,避免群聊或私聊中频繁干扰,提高响应准确性和用户体验。 扫码登录失败的解决办法: 1. 重启 Docker 容器:在宝塔面板中找到对应容器,点击“重启”。 2. 检查网络连接:确保服务器和微信客户端能正常访问互联网。 3. 重新扫描二维码:等待容器重启后,重新扫描日志中生成的二维码。 费用相关: 使用 AI 微信聊天机器人的费用实际上不高,极简未来平台按使用量收费,对一般用户费用相对低廉,充值少量费用通常可用很长时间,且平台提供每天签到免费领积分福利,进一步降低使用成本。使用极简未来平台创建 AI 机器人的具体费用未明确给出。
2024-10-20
agent最新动态
以下是关于 Agent 的最新动态: 吴恩达在美国红杉 AI 活动上指出,Agent 工作流程与传统使用 LLM 的方式不同,更加迭代和对话式。目前有 4 种主要的 Agent 设计模式: Reflection:让 Agent 审视和修正自己生成的输出。 Tool Use:LLM 生成代码、调用 API 等进行实际操作。 Planning:让 Agent 分解复杂任务并按计划执行。 Multiagent Collaboration:多个 Agent 扮演不同角色合作完成任务。 这些设计模式还在快速发展中,有的比较成熟可靠,有的仍存在不确定性,但都展现了提高 AI 能力的潜力。吴恩达认为未来 AI Agent 能力将大幅扩展,我们需要学会将任务委托给 Agent 并耐心等待结果,快速 token 生成也很重要。 从词源和历史变迁来看,“Agent”在不同时期和领域有着不同的应用和含义。随着大航海时代及全球贸易的兴起,其在商业领域的角色日益重要,如贸易代理和公司代理商。在工业革命期间,职能拓展到保险、房地产等新兴行业,19 世纪在政府及情报领域也广泛使用,如情报特工和便衣警察。在现代社会(20 世纪至 21 世纪),涵盖了多种职业角色,尤其在娱乐和体育行业,指艺人经纪人和运动员经理等,还包括劳务代理和招聘代理(猎头)。“Agent”这个词本身具有行动的含义,后期又附加了“替身”的意思,多数情况下指“拥有行动的替身,都是替代他人做某事”。
2024-11-24
如何搭自己的agent
搭建自己的 Agent 可以按照以下步骤进行: 1. 从案例入门: 三分钟捏 Bot: Step 1:(10 秒)登录控制台 登录扣子控制台(coze.cn)。 使用手机号或抖音注册/登录。 Step 2:(20 秒)在我的空间创建 Agent 在扣子主页左上角点击“创建 Bot”。 选择空间名称为“个人空间”、Bot 名称为“第一个 Bot”,并点击“确认”完成配置。如需使用其他空间,请先创建后再选择;Bot 名称可以自定义。 Step 3:(30 秒)编写 Prompt 填写 Prompt,即自己想要创建的 Bot 功能说明。第一次可以使用一个简短的词语作为 Prompt 提示词。 Step 4:(30 秒)优化 Prompt 点击“优化”,使用来帮忙优化。 Step 5:(30 秒)设置开场白 Step 6:(30 秒)其他环节 Step 7:(30 秒)发布到多平台&使用 2. 进阶之路: 15 分钟做什么:查看下其他 Bot,获取灵感。 1 小时做什么:找到和自己兴趣、工作方向等可以结合的 Bot,深入沟通。阅读以下文章:文章 1、文章 2、文章 3。 一周做什么:了解基础组件;寻找不错的扣子,借鉴&复制;加入 Agent 共学小组;尝试在群里问第一个问题。 一个月做什么:合理安排时间;参与 WaytoAGI Agent 共学计划;自己创建 Agent,并分享自己捏 Bot 的经历和心得。 在 WaytoAGI 有哪些支持:文档资源、交流群、活动。 一些好的 Agent 构建平台包括: 1. Coze:是一个新一代的一站式 AI Bot 开发平台,集成了丰富插件工具,适用于构建基于 AI 模型的各类问答 Bot。 2. Mircosoft 的 Copilot Studio:主要功能包括外挂数据、定义流程、调用 API 和操作,以及将 Copilot 部署到各种渠道。 3. 文心智能体:百度推出的基于文心大模型的智能体平台,支持开发者根据自身需求打造产品能力。 4. MindOS 的 Agent 平台:允许用户定义 Agent 的个性、动机、知识,以及访问第三方数据和服务或执行工作流。 5. 斑头雁:2B 基于企业知识库构建专属 AI Agent 的平台,适用于多种场景,提供多种成熟模板。 6. 钉钉 AI 超级助理:依托钉钉强大的场景和数据优势,在处理高频工作场景方面表现出色。 Agent 搭建共学快闪 0507 的作业: |时间|作业|备注| |||| |5 月 7 号|创建 https://www.coze.com 账号<br>创建 https://www.coze.cn 账号<br>加入共学的 team(看第三列备注)<br>有精力的话:可以提前阅读:<br>尝试创建自己的第一个 Bot,用来免费使用 GPT4|海外版本<br>Click the link to join my team WaytoAGI on the Coze Bot Platform<br>👉🏻 https://www.coze.com/invite/8UrPdX0vuusXq5H6dF4P<br>国内版本<br>coze.cn<br>👉🏻 https://www.coze.cn/invite/EpD2Ud0bdPcvutscWStY| |5 月 10 日罗文|认领一个插件制作插件说明|| PS:上述两个作业在 5 月 8 号分享结束之后就可以上手进行了,5 月 9 号会针对工作流和多 Agent 模式进行进一步的讲解。大家制作的 Bot 都可以在飞书群中进行投稿,然后会有专门的同学记录到 Bot 收集板。
2024-11-22
如何训练Agent?
在人工智能领域中,训练 Agent 主要有以下方法和特点: 1. 基于迁移学习和元学习的 Agent 训练: 传统强化学习中,Agent 训练消耗大量样本和时间,泛化能力不足。为突破此瓶颈,引入迁移学习,促进不同任务间知识和经验迁移,减轻新任务学习负担,提升学习效率和性能,增强泛化能力。 元学习让 Agent 学会从少量样本中迅速掌握新任务最优策略,利用已有知识和策略调整学习路径,减少对大规模样本集依赖。 但迁移学习和元学习面临挑战,如迁移学习在源任务与目标任务差异大时可能无效甚至负面迁移,元学习需大量预训练和样本构建学习能力,使通用高效学习策略开发复杂艰巨。 时间:21 世纪初至今 特点:迁移学习将一个任务知识迁移到其他任务;元学习学习如何学习,快速适应新任务 技术:迁移学习如领域自适应;元学习如 MAML、MetaLearner LSTM 优点:提高学习效率,适应新任务 缺点:对源任务和目标任务相似性有要求 2. 基于强化学习的 Agent 训练: 强化学习关注如何让 Agent 通过与环境互动自我学习,在特定任务中累积最大长期奖励。起初主要依托策略搜索和价值函数优化等算法,如 Qlearning 和 SARSA。 随着深度学习兴起,深度神经网络与强化学习结合形成深度强化学习,赋予 Agent 从高维输入学习复杂策略的能力,有 AlphaGo 和 DQN 等成果。 深度强化学习允许 Agent 在未知环境自主探索学习,无需人工指导,在游戏、机器人控制等领域有应用潜力。 但面临诸多挑战,包括训练周期长、采样效率低、稳定性问题,在复杂真实环境应用困难。 时间:20 世纪 90 年代至今 特点:通过试错学习最优行为策略,以最大化累积奖励 技术:Qlearning、SARSA、深度强化学习(结合 DNN 和 RL) 优点:能够处理高维状态空间和连续动作空间 缺点:样本效率低,训练时间长
2024-11-21
agent的搭建
以下是一些常见的 Agent 构建平台: 1. Coze:新一代一站式 AI Bot 开发平台,适用于构建基于 AI 模型的各类问答 Bot,集成丰富插件工具,能拓展 Bot 能力边界。 2. Microsoft 的 Copilot Studio:主要功能包括外挂数据、定义流程、调用 API 和操作,以及将 Copilot 部署到各种渠道。 3. 文心智能体:百度推出的基于文心大模型的智能体(Agent)平台,支持开发者根据需求打造产品能力。 4. MindOS 的 Agent 平台:允许用户定义 Agent 的个性、动机、知识,以及访问第三方数据和服务或执行工作流。 5. 斑头雁:2B 基于企业知识库构建专属 AI Agent 的平台,适用于客服、营销、销售等场景,提供多种成熟模板,功能强大且开箱即用。 6. 钉钉 AI 超级助理:依托钉钉强大的场景和数据优势,在处理高频工作场景如销售、客服、行程安排等方面表现出色。 搭建工作流驱动的 Agent 通常可分为以下 3 个步骤: 1. 规划: 制定任务的关键方法。 总结任务目标与执行形式。 将任务分解为可管理的子任务,确立逻辑顺序和依赖关系。 设计每个子任务的执行方法。 2. 实施: 在 Coze 上搭建工作流框架,设定每个节点的逻辑关系。 详细配置子任务节点,并验证每个子任务的可用性。 3. 完善: 整体试运行 Agent,识别功能和性能的卡点。 通过反复测试和迭代,优化至达到预期水平。 您可以根据自己的需求选择适合的平台进行进一步探索和应用。
2024-11-21
AGI 和RAG AGENT有什么区别
AGI(通用人工智能)、RAG(检索增强生成)和 Agent 存在以下区别: Agent: 本质是动态 Prompt 拼接,通过工程化手段将业务需求转述为新的 Prompt。 包含短期记忆(messages 里的历史 QA 对)和长期记忆(summary 之后的文本塞回 system prompt)。 可以通过工具触发检索和 Action,触发 tool_calls 标记进入请求循环,拿模型生成的请求参数进行 API request,再把结果返回给大模型进行交互。 如 Multi Agents ,主要是更换 system prompt 和 tools 。 为 LLM 增加工具、记忆、行动、规划等能力,目前行业主要使用 langchain 框架,在 prompt 层和工具层完成设计。 有效使用工具的前提是全面了解工具的应用场景和调用方法,学习使用工具的方法包括从 demonstration 中学习和从 reward 中学习。 在追求 AGI 的征途中,具身 Agent 强调将智能系统与物理世界紧密结合,能够主动感知和理解物理环境并互动,产生具身行动。 RAG: 是向量相似性检索,可放在 system prompt 里或通过 tools 触发检索。 AGI:是一种更广泛和全面的智能概念,旨在实现类似人类的通用智能能力。 需要注意的是,这些概念的发展和应用仍在不断演进,想做深做好还有很多需要探索和解决的问题。
2024-11-19
有没有语音交互领域的AI Agent的好的思路
以下是关于语音交互领域的 AI Agent 的一些思路: 1. 构建像人一样的 Agent:实现所需的记忆模块、工作流模块和各种工具调用模块,这在工程上具有一定挑战。 2. 驱动躯壳的实现:定义灵魂部分的接口,躯壳部分通过 API 调用,如 HTTP、webSocket 等。要处理好包含情绪的语音表达以及躯壳的口型、表情、动作和语音的同步及匹配,目前主流方案只能做到预设一些表情动作,再做一些逻辑判断来播放预设,语音驱动口型相对成熟但闭源。 3. 保证实时性:由于算法部分组成庞大,几乎不能单机部署,特别是大模型部分,会涉及网络耗时和模型推理耗时,低延时是亟需解决的问题。 4. 实现多元跨模态:不仅要有语音交互,还可根据实际需求加入其他感官,如通过添加摄像头数据获取视觉信息并进行图像解析。 5. 处理拟人化场景:正常与人交流时会有插话、转移话题等情况,需要通过工程手段丝滑处理。 此外,像 AutoGLM 这样的产品,通过模拟人类操作来实现跨应用的控制,展现出了一定的智能理解能力,如能根据用户意图选择合适的应用场景。但仍存在语音识别偏差、操作稳定性需提升、支持平台有限等问题,未来随着多模态理解能力和操作精准度的提高,发展空间较大。
2024-11-19
dify私有化部署
以下是关于 Dify 私有化部署的相关信息: 1. 部署步骤: 通过云服务器进行部署,相关命令在宝塔面板的终端安装,例如在/root/dify/docker 目录下的 dockercompose 文件。 检查运行情况,若 nginx 容器无法运行,可能是 80 端口被占用,可将终端输出的代码粘贴给 AI 以解决。 在浏览器地址栏输入公网 IP(去掉宝塔面板地址栏后的:8888),随便填写邮箱密码建立知识库并进行设置。 2. 模型选择与配置: 可以选择国内有免费额度的模型,如智谱 AI。 以智谱 AI 为例,在其官网用手机号注册,添加 API keys 并查看免费额度,将钥匙复制保存。 随便创建应用,可先选择智谱 glm4 测试,然后点发布。 创建并复制 api 秘钥。 3. Dify 特点: 作为开源应用,易用性出色且功能强大,安装过程简单快捷,熟练用户约 5 分钟可在本地完成部署。 支持本地部署和云端应用,能应对工作流、智能体、知识库等。 本地部署需自行处理模型接入等问题,包括购买 API、接入不同类型模型,构建个人知识库时还需考虑数据量、嵌入质量和 API 费用等因素。
2024-09-20
私有化部署大模型的教材
以下是为您提供的私有化部署大模型的相关教材: 张梦飞:【全网最细】从 LLM 大语言模型、知识库到微信机器人的全本地部署教程 一、部署大语言模型 1. 下载并安装 Ollama 点击进入,根据您的电脑系统,下载 Ollama:https://ollama.com/download 下载完成后,双击打开,点击“Install” 安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 2. 下载 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型) 如果您是 windows 电脑,点击 win+R,输入 cmd,点击回车。 如果您是 Mac 电脑,按下 Command(⌘)+ Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 复制以下命令行,粘贴进入,点击回车。 回车后,会开始自动下载,等待完成(这里下载久了,可能会发现卡着不动,不知道下载了多少了。鼠标点击一下窗口,键盘点空格,就会刷新了) 下载完成后您会发现,大模型已经在本地运行了。输入文本即可进行对话。 【SD】向未来而生,关于 SDXL 您要知道事儿 SDXL 的大模型分为两个部分: 1. 第一部分,base+refiner 是必须下载的,base 是基础模型,我们使用它进行文生图的操作;refiner 是精炼模型,我们使用它对文生图中生成的模型进行细化,生成细节更丰富的图片。 2. 第二部分,是 SDXL 还有一个配套的 VAE 模型,用于调节图片的画面效果和色彩。 这三个模型,您可以关注我的公众号【白马与少年】,然后回复【SDXL】获取下载链接。 想要在 webUI 中使用 SDXL 的大模型,首先我们要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。接下来,将模型放入对应的文件夹中,base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下;vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后,我们启动 webUI,就可以在模型中看到 SDXL 的模型了。我们正常的使用方法是这样的:先在文生图中使用 base 模型,填写提示词和常规参数,尺寸可以设置为 10241024,进行生成。 基于多模态大模型给现实世界加一本说明书 大模型应用的利弊: 优点: 适应性极好,通过提示词工程,方便「适应各种奇葩需求」。 对算法的要求降低了不少,大部分功能由大模型提供,特别是非结构化信息的处理。 大模型的 API 访问方式简化了边缘设备的要求,无论在 Android、iOS、HarmonyOS或各种嵌入式设备上都能方便适配。「AGI 终将到来,拥抱未来,虽然路途艰难但相信方向是正确的。」 缺点: 大模型的推理时长目前仍是最大的障碍,传统目标检测或人脸识别优化后能达到 100~300ms,而大模型动则需要 10 秒的延时,限制了许多场景。 模型的幻象和错误率仍然较高,导致上述推理时长问题,在多链路的复杂应用中迅速变得不可行。 在大多数生产模式下,仍然需要使用云服务数据中心,提交的画面不可避免地涉及到隐私问题。 商业私有化部署是刚需,当下的开源模型离 GPT4 代差在半年以上,技术人员任重道远的。
2024-09-03
如何使用LLM分析企业的私有化数据,是否有工具推荐?
以下是关于使用 LLM 分析企业私有化数据及工具推荐的相关内容: RAG 加速器提供了数据抽取服务,这是基于 LLM 的解决方案。在利用 LLM 进行信息抽取时,需要了解构建抽取服务的基本组件和要点。 实现过程中,有两个简单但强大的思路可以提升性能: 1. 确保 LLM 以正确的格式回应。函数调用已成为确保 LLM 严格输出特定格式的新且相对靠谱的方法,可参考结构化输出文档,其中高层次的 LangChain API 展示了不同 LLM 如何调用工具和函数。 2. 使用参考样例。尽管没有样例也能设置抽取问题,但实际操作中,将输入和对应输出的样例纳入其中通常大有裨益,有时这些样例比指示本身更能有效指导 LLM 处理特定情况。在提取用例文档中,可以找到更多细节,助您从 LLMs 中提取更好的性能。
2024-09-02
私有化部署的大模型工具
以下是关于私有化部署的大模型工具的相关内容: Fooocus 部署: 大模型(base 和 Refiner)默认放在:Fooocus_win64_1110\\Fooocus\\models\\checkpoints LoRA 模型默认放在:Fooocus_win64_1110\\Fooocus\\models\\loras Fooocus 程序默认用到 3 个 SDXL 的模型,包括一个 base、一个 Refiner 和一个 LoRA。若单独安装,需下载三个模型: SDXL 基础模型:https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型:https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型:https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 若部署了 SD 秋叶包,可共用模型(大模型和 LoRA),在 Fooocus_win64_1110\\Fooocus\\modules\\path.py 中用 text 记事本打开,修改路径为秋叶包模型对应的路径,如大模型路径:sdwebui\\models\\Stablediffusion\\SDXL;LoRA 模型路径:sdwebui\\models\\lora。配置好后点击 run.bat 文件启动。 SDXL 本地部署: 大模型分为两个部分:第一部分,base + refiner 必须下载,base 用于文生图操作,refiner 用于对生成的模型细化以生成细节更丰富的图片;第二部分是配套的 VAE 模型,用于调节图片的画面效果和色彩。 可关注公众号【白马与少年】,回复【SDXL】获取模型下载链接。 在 webUI 中使用 SDXL 大模型,需在秋叶启动器中将 webUI 版本升级到 1.5 以上,将模型放入对应文件夹,base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下,vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下,启动 webUI 后可在模型中看到 SDXL 模型。 Langchain + Ollama + RSSHub 实现 RAG 部署: 安装完后,确保 ollama 后台服务已启动(在 mac 上启动 ollama 应用程序,在 linux 上通过 ollama serve 启动),可通过 ollama list 确认。 可通过 ollama 命令下载模型,如 Gemma(Google 推出的轻量级模型)、Mistral(欧洲法国 Mistral AI 团队推出的大模型)、Mixtral(Mistral AI 团队推出的 87B 的 MoE 模型)、Qwen(阿里巴巴推出的大模型)。
2024-08-16
如何在微信中私有化部署开源模型
在微信中私有化部署开源模型通常指的是将开源的人工智能模型部署到微信服务或微信小程序中,以便在微信环境中使用这些模型的功能。以下是一些基本步骤和考虑因素: 1. 选择合适的模型:根据你的需求选择合适的开源模型。例如,如果你需要一个文本处理模型,可能可以选择GPT系列模型。 2. 模型转换:一些模型可能需要转换为适合移动设备的格式,如使用TensorFlow Lite或Core ML等格式。 3. 微信小程序开发:如果你想在微信小程序中使用模型,需要使用微信小程序的开发框架进行开发。小程序提供了云开发功能,可以部署一些后端服务。 4. 服务器部署:对于需要较高计算能力的模型,可能需要在服务器上部署。你可以选择自己的服务器或使用云服务提供商的服务器。 5. API开发:将模型包装成API服务,这样微信小程序可以通过HTTP请求与模型交互。 6. 微信小程序与API集成:在小程序中使用微信提供的API接口与后端模型服务通信。 7. 安全性:确保你的API服务是安全的,使用HTTPS协议,并考虑使用微信的OAuth2.0进行用户认证。 8. 性能优化:根据需要对模型进行优化,以适应移动设备的计算能力限制。 9. 测试:在微信环境中对模型进行充分的测试,确保它在小程序中的性能和准确性。 10. 遵守微信政策:确保你的部署遵守微信的相关政策和法规,尤其是关于用户数据和隐私的部分。 11. 用户界面:为微信小程序设计用户界面,使用户能够方便地与模型交互。 12. 部署上线:完成开发和测试后,将你的小程序提交给微信审核,审核通过后即可上线。 请注意,私有化部署涉及到后端服务的搭建和前端的集成,可能需要一定的技术背景。如果你不熟悉服务器管理和API开发,可能需要寻求专业的开发人员帮助。同时,微信平台对于小程序有特定的技术要求和政策限制,需要在开发过程中严格遵守。
2024-04-18