Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何部署本地AI?

Answer

部署本地 AI 可以参考以下内容:

  1. 平台选择:
    • 线上平台:出图速度快,不吃本地显卡配置,无需下载大模型,能参考其他创作者作品,但出图尺寸受限。
    • 线下平台:可添加插件,不卡算力,出图质量高,但使用时电脑可能宕机,配置不高可能爆显存导致出图失败。
    • 建议充分发挥线上和线下平台的优势,线上找参考、测试模型,线下作为主要出图工具。
  2. 开始方式:
    • 本地部署:如果电脑是 M 芯片的 Mac 电脑或 2060Ti 及以上显卡的 Windows 电脑,可以选择本地部署,强烈建议在配有 N 卡的 Windows 电脑上进行。
    • 在线平台:电脑不符合要求的可使用在线工具,在线工具分为在线出图和云电脑两种,根据实际情况选择。
    • 配台电脑:不建议一开始就配主机,玩几个月后还有兴趣再考虑,主机硬盘要大,显卡在预算内买最好。
  3. 具体步骤(以把大模型接入小米音箱为例):
    • 第四步:填写 API 服务,如智普、硅基等,其他模型的 API 端口参考官方文档。
    • 第五步:语音服务,可参考官方说明,若有问题可自行尝试并反馈。
    • 第六步:启动服务,在最上方可导出编辑内容为 json 格式,每次调整设置都需重置后重新启动,建议回答完毕后增加结束提示语以提高连续对话稳定性。

希望以上内容对您有所帮助。

Content generated by AI large model, please carefully verify (powered by aily)

References

从游戏截图升级到KV品质,AI居然可以这样用!

目前市面上有线上和线下本地部署的两种AI:线上的优势为出图速度快,不吃本地显卡的配置,且无需自己下载动辄几个G的模型,还能看其他创作者的制作的涩图,但为了节约算力成本他们只支持出最高1024X1024左右的图,制作横板、高清等图片就会受限线下部署的优势为可以自己添加插件,不卡算力,出图质量高于线上平台,但是使用期间电脑基本处于宕机状态,如果配置不高的话还会出现生成半天之后爆显存的情况,导致出图失败[heading3]所以我们这里充分发挥线上和线下平台的优势[content]线上:找参考,测试模型线下:主要的出图工具在线上绘图网站的绘图广场上发现自己想要的画风点击创作,会自动匹配创作的使用的模型lora和tag截取一小张游戏人物作为底图,目的是将线上平台有限的算力全部堆在人物身上多批次,多数量的尝试不同的画风,得出最符合游戏的一款模型+lora组合最后在C站([https://civitai.com/](https://civitai.com/))上下载对应模型到本地,加载部署后就可以开始正式生图了!

必学必看基础 ❗️

根据电脑的硬件情况和自身财力💰选择合适的开始方式本地部署如果你的电脑是M芯片的Mac电脑(Intel芯片出图速度非常慢,因此不建议)或者2060Ti及以上显卡的Windows电脑,可以选择本地部署。强烈建议在配有N卡的Windows电脑上进行在线平台对于电脑不符合要求的小伙伴可以直接使用在线工具,在线工具分为在线出图和云电脑两种,前者功能可能会受限、后者需要自己手动部署,大家根据实际情况选择即可配台电脑❗️非常不建议一上来就配主机,因为大概率会变成游戏机或者吃灰(土豪请随意)。玩几个月后还对AI有兴趣的话再考虑配个主机。主机硬盘要大,显卡预算之内买最好,其他的随意[heading2]课程简述[content]先验经验需要熟练使用文生图、图生图;需要有一定的逻辑思考能力以及推理能力;适合炼丹新人、小白课程安排课程大约70-80%是理论和方法论的内容,大部分练习会在课外跟大家沟通、练习。只有少部分必要内容会在课上演示[heading2]学习路径[content]必学、必看内容是基础课,主要是为了解决环境问题和软件安装不上的问题;建炉是针对不同炼丹方式提供了不同的炼丹工具的安装教程;正式的内容部分分为了数据集预处理、模型训练以及模型调试及优化三个部分

被夺舍的小爱同学!——把大模型接入小米音箱(小白操作全步骤教程)

智普:接口地址:https://open.bigmodel.cn/api/paas/v4模型:glm-4-flash硅基:选择AI服务为自定义接口地址:https://api.siliconflow.cn/v1模型:Qwen/Qwen2.5-7B-Instruct其他模型的API端口请参考官方文档:https://migptgui.com/docs/apply/[heading2]第五步:语音服务[content]官方说明:https://migptgui.com/docs/faqs/tts我试了很久,参数都正确,但是小爱同学就没有声音了,大家可以自己按照官方文档尝试一下,有机会的话给我反馈一下我这里使用的是默认方案[heading2]第六步:启动服务[content]在最上方可导出你编辑的内容,格式为json格式,如果改错了可以导入之前保存的配置单击启动,回到powshell界面每次调整设置都需要重置后重新启动建议回答完毕后增加结束的提示语,可以提高连续对话的稳定性官方常见问题文档:https://migptgui.com/docs/faqs/noreply

Others are asking
我想做一个独家 财务会计ai智能体该如何操作?
要制作一个独家财务会计 AI 智能体,您可以参考以下步骤: 1. 明确智能体的功能和目标:确定它在财务会计领域需要解决的具体问题,例如财务风险识别、税务问题解答等。 2. 数据准备:收集和整理相关的财务数据,包括历史财务报表、税务法规等。 3. 选择合适的技术和模型:可以考虑使用具有推理能力且能获取历史公开数据的大模型。 4. 配置智能体:输入人设等信息,创建工作流。 5. 测试和优化:在配置完成后进行测试,根据测试结果对智能体进行优化。 6. 注意安全和成本:例如在工作流中涉及到的插件 api_token 要合理配置,避免成本浪费和信息泄露。 7. 结合实际应用场景:如在金税四期背景下,考虑税务工作的压力和需求,利用相关技术实现智能解答税务问题。 8. 可以参考成功案例,如利用引刀 AP 创建网页实现智能解答税务问题,结合飞书避免信息泄露和实现自动回复等。
2025-03-27
AI安全
以下是关于 AI 安全的相关内容: 马斯克认为 x.ai 的总体目标是建立一个好的 AGI,并努力理解宇宙。他认为构建最安全的 AI 的方法是制造最大程度好奇和寻求真理的 AI,追求真理并承认错误,尽量减小所认为的真理与实际真理之间的误差。他花了很多年思考 AI 安全性并担心其安全问题,一直呼吁对 AI 进行监管或监督,认为行业合作很重要,且任何情况下都应有规则。 宝玉日报在 3 月 4 日提到了 AI 开发的安全提醒,指出 AI 让网站和 App 开发变得简单,但安全问题不能忽视,如 API Key、核心数据、提示词等隐私信息不能暴露在客户端,否则易被获取,近期有应用直接在网页脚本中暴露 OpenAI 的 API Key 这种情况极其危险。 2024 人工智能报告中提到,英国创建了世界上第一个人工智能安全研究所,美国迅速跟进。世界首个人工智能安全研究所 AISA 有三个核心功能:在部署前对高级模型进行评估;建立国家能力并开展研究;协调国际合作伙伴。AISA 还发布了 Inspect 用于 LLM 安全评估的框架。英国宣布与美国等效机构签署谅解备忘录,双方同意共同开发测试,并计划在美国旧金山设立办事处。英国通过其高级研究与发明机构花费 5900 万英镑开发“守门员”系统,负责了解和减少关键领域中其他人工智能代理的风险,还计划设立“AI 安全研究实验室”。美国能源部一直在利用内部测试床评估人工智能对关键基础设施和能源安全带来的风险,随着攻击面扩大,开发人员加大了对“越狱”的研究。
2025-03-27
利用AI在剪映平台创作情感类语录全流程
以下是利用 AI 在剪映平台创作情感类语录的全流程: 1. 录制声音: 录制时注意语气和情感,控制时长在 5 秒以上。 可以自由录制任意内容,或按照例句进行录制。 可以选择直接录制自己的声音,或者上传觉得不错的声音片段。 2. 克隆音色: 完成录制后,在相应界面为克隆的音色命名。 3. 声音处理: 可以对克隆的声音进行美化、降噪等处理。 如果对自己的声音音色不满意,但对朗读语气满意,可以结合剪映里自带的音色,保留自己的语气。 4. 歌词创作: 文案完成后,若预设的 AI 语音效果不佳,可让 AI 进行歌词改写。 可以给 AI 附加定义歌词风格和时间长度等方向。 对 AI 生成的歌词进行修改定稿。 5. 其他方面: 有分享利用软件进行声音克隆的尝试,包括同款录音话筒的使用、克隆收费情况等。 交流了播音腔与深夜陪伴声音的特点及软件里的音色情况。 分享了对声音发挥的理解,以及使首尾帧丝滑连贯的操作技巧。
2025-03-27
作为AI小白,如何开始学习AI?有哪些资源和方式推荐?
对于 AI 小白,以下是开始学习 AI 的建议和资源推荐: 1. 了解 AI 基本概念: 建议阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能的主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,您将找到一系列为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛(比如图像、音乐、视频等),您可以根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出您的作品。 在知识库提供了很多大家实践后的作品、文章分享,欢迎您实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式。 此外,关于 AI 知识库使用及 AIPO 活动的介绍:讨论了 AI 知识库的使用情况、AIPO 活动的发起背景、内容安排及相关资源等。AIPO 线下活动及 AI 相关探讨:讨论了 AIPO 线下活动的规则和玩法,以及 AI 在科技发展中的重要地位和相关研究方向。way to AGI 社区活动与知识库介绍:讨论了 way to AGI 社区活动的安排、材料准备以及知识库的使用和相关内容更新等情况。 学习路径方面:有李弘毅老师的生成式 AI 导论等高质量学习内容,可系统化学习或通过社区共创活动反推学习,鼓励整理学习笔记并分享交流。初学者入门推荐:推荐看 open AI 的官方 Cookbook,小琪姐做了中文精读翻译,也可查看 cloud 的相关内容。历史脉络类资料:整理了 open AI 的发展时间线和万字长文回顾等。
2025-03-27
推荐些AI文章
以下是为您推荐的一些 AI 文章: 1. 《新手如何学习 AI?》 了解 AI 基本概念:建议阅读「」部分,熟悉术语和基础概念,包括主要分支(如机器学习、深度学习、自然语言处理等)及它们的联系。 浏览入门文章,了解 AI 的历史、当前应用和未来发展趋势。 开始 AI 学习之旅:在「」中,有一系列为初学者设计的课程,特别推荐李宏毅老师的课程。还可以通过在线教育平台(如 Coursera、edX、Udacity)按自己节奏学习并获取证书。 选择感兴趣的模块深入学习:AI 领域广泛,如图像、音乐、视频等,可根据兴趣选择特定模块深入学习,掌握提示词技巧。 实践和尝试:理论学习后通过实践巩固知识,尝试使用各种产品创作作品,知识库中有大家实践后的作品和文章分享。 体验 AI 产品:与 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人互动,了解其工作原理和交互方式。 2. 《01通往 AGI 之路知识库使用指南》 包括关于 AI 知识库使用及 AIPO 活动的介绍,AIPO 线下活动及 AI 相关探讨,way to AGI 社区活动与知识库介绍,关于 AI 知识库及学习路径的介绍,时代杂志评选的领军人物,AI 相关名词解释,知识库的信息来源,社区共创项目,学习路径,经典必读文章,初学者入门推荐,历史脉络类资料等内容。 3. 《【AI 学习笔记】小白如何理解技术原理与建立框架(通俗易懂内容推荐)》 推荐了两个对建立框架有重大帮助的视频: 【包教包会】一条视频速通 AI 大模型原理_哔哩哔哩_bilibili](女神)主讲,和某知识 up 主 Genji 一起制作的免费公益课,新手友好,50 分钟速通 AI 大模型原理。 ,某知识 up 主老石谈芯专访安克创新 CEO 阳萌的视频,一共两期,内容值得观看。
2025-03-27
AI本地化部署
AI 本地化部署主要包括以下内容: 目前市面上的 AI 有线上和线下本地部署两种方式。线上部署出图速度快,不吃本地显卡配置,无需下载大模型,但出图分辨率受限;线下部署可自己添加插件,出图质量高,但使用时电脑易宕机,配置不高可能爆显存导致出图失败。 线上和线下平台可结合使用,充分发挥各自优势。线上用于找参考、测试模型,线下作为主要出图工具。具体操作如在在线绘图网站的绘图广场上发现想要的画风,点击创作会自动匹配创作使用的模型、lora 和 tag,截取游戏人物底图将线上算力集中在人物身上,多批次、多数量尝试不同画风得出符合游戏的模型+lora 组合,最后在 C 站下载对应模型到本地加载部署即可生图。 此外,Mistral AI 推出的 Mistral Saba 模型可本地部署,适用于单 GPU,能保障数据隐私。
2025-03-27
部署
以下是关于不同场景下部署的相关信息: AutoDL 部署 One2345 部署条件:需要有英伟达 GPU 显卡,且运行内存大于 18G,建议使用 RTX3090 及以上显卡。需要有 Ubuntu 系统操作基础。 部署步骤: 挑选设备:在 AutoDL 上挑选符合需求的设备,如 RTX4090/24GB。 镜像选择:选择与原作者要求相同的环境版本,如 PyTorch 2.0.1 与 cuda_11.8。 控制台打开设备:关机后想开机,直接点击即可。 打开终端,部署环境+代码:代码在数据盘中操作,Conda activate 报错输入 conda init bash,然后重启终端。安装步骤原文见:https://github.com/One2345/One2345 。注意:Huggingface 需要代理。 【保姆级】Meta Llama 3 部署到电脑上(Ollama+Open WebUI) 下载 Open WebUI: Windows 电脑:点击 win+R,输入 cmd,点击回车。 Mac 电脑:按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 输入命令等待下载,完成后点击或复制地址进入浏览器:http://localhost:3000/auth/ ,进行注册登录,选择“llama3:8b”即可。 在 Amazon SageMaker 上部署 Llama 3 要将与 llama 交互,使用常见的 OpenAI 格式 messages。 注意:Llama 3 是一个有门槛的模型,请在提交表单前访问并接受许可条款和可接受的使用政策。创建 HuggingFaceModel 后,使用 deploy 方法将其部署到 Amazon SageMaker,使用 ml.p4d.24xlarge 实例类型部署模型,部署可能需要 1015 分钟。
2025-03-27
本地部署
SDXL 的本地部署步骤如下: 1. 模型下载:SDXL 的大模型分为两个部分,第一部分 base + refiner 是必须下载的,base 是基础模型用于文生图操作,refiner 是精炼模型用于细化图片生成细节更丰富的图片;还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。您可以关注公众号【白马与少年】,回复【SDXL】获取下载链接。 2. 版本升级:在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 放置模型:将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下,vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 4. 启动使用:启动 webUI,在模型中即可看到 SDXL 的模型。正常使用时,先在文生图中使用 base 模型填写提示词和常规参数生成图片,然后将图片发送到图生图中切换大模型为“refiner”重绘。对于不想在两个界面来回操作的情况,可以安装 refine 插件,在文生图界面直接使用 refine 模型。 另外,关于本地部署资讯问答机器人,实现 Langchain + Ollama + RSSHub 的 RAG 需: 1. 导入依赖库:加载所需的库和模块,如 feedparse 用于解析 RSS 订阅源,ollama 用于在 python 程序中跑大模型(使用前确保 ollama 服务已开启并下载好模型)。 2. 从订阅源获取内容:从指定的 RSS 订阅 url 提取内容,通过专门的文本拆分器将长文本拆分成较小的块,并附带相关元数据,最终合并成列表返回。 3. 为文档内容生成向量:使用文本向量模型 bgem3(https://huggingface.co/BAAI/bgem3),从 hf 下载好模型放置在指定路径,通过函数利用 FAISS 创建高效的向量存储。
2025-03-27
怎么本地部署ai模型,并进行微调
以下是本地部署 AI 模型并进行微调的主要步骤: 1. 选择合适的部署方式:包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等,根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源:确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础:可以使用开源的预训练模型如 BERT、GPT 等,也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练:根据具体应用场景对预训练模型进行微调训练,优化模型结构和训练过程以提高性能。 5. 部署和调试模型:将训练好的模型部署到生产环境,对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护:大模型涉及大量数据和隐私信息,需要重视安全性和合规性。 此外,关于本地部署还有以下相关内容: 如果拥有云服务器如何进行本地部署,以及满血版本地部署的实际情况。 在 freely.aliyun.com 可领取 500 元免费额度,但有使用限制,不能部署满血版和较大的增流模型。 介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 会带着大家复现模型的蒸馏和微调,并讲解相关知识。 PaaS 平台支持多机分布式部署,满足推理性能要求,使用独占资源和专有网络,能一站式完成模型蒸馏。 登录 Pad 控制台,通过 model gallery 进行部署,如 Deepseek R1 模型,可选择 SG 浪或 Vim 推理框架,根据资源出价,部署后可在模型在线服务 EAS 查看状态。 介绍了模型 API 的调用方法,包括查找位置、获取 token 等,强调使用后要及时停止或删除服务以避免持续付费。 总的来说,部署和训练自己的 AI 模型需要综合考虑多方面因素,包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。
2025-03-27
我是一位程序开发小白,不会用代码开发程序。我现在有一台安装Window 11操作系统的笔记本电脑,配置为14代i7CPU、32G内存、1TB硬盘、1张RTX4070显卡。我想部署一套本地的大模型+智能体+知识库。我要怎么样才能实现无代码部署,请列出详细的安装步骤。
以下是为您提供的无代码部署本地大模型、智能体和知识库的详细安装步骤: 1. 硬件评估:您的笔记本电脑配置为 14 代 i7 CPU、32G 内存、1TB 硬盘、1 张 RTX4070 显卡,基本满足部署要求。但需要注意,运行内存最低 32GB,越高越好,最低配可能会经常爆显存。建议将软件和模型部署在 SSD(固态硬盘)上,以提高加载模型的速度。 2. 选择合适的部署工具:ComfyUI 是一个相对配置要求较低、系统资源占用少、出图速度快的工具。它最低可在小于 3G 的 GPU 上运行,甚至没有 GPU 光用 CPU 也可以,但速度极慢。SDXL 出来后提高了运行配置,最低需要 8GB 显存+32GB 运行内存,12GB 流畅运行,推荐 16GB 以上。 3. 安装准备:如果您的电脑能顺畅清晰地玩 3A 游戏,那么运行相关部署工具一般也没问题。 4. 预算和需求:根据您的需求和预算来选择合适的配置。例如,如果有做 AIGC 视频、建模渲染和炼丹(lora)的需求,可能需要更高的配置。 请注意,以上步骤仅为参考,实际部署过程可能会因具体情况而有所不同。
2025-03-26
anythingLLM本地部署
以下是关于本地部署大模型以及搭建个人知识库的相关内容: 一、引言 作者是大圣,一个致力于使用 AI 工具将自己打造为超级个体的程序员,目前沉浸于 AI Agent 研究。本文将分享如何部署本地大模型及搭建个人知识库,读完可学习到如何使用 Ollama 一键部署本地大模型、了解 ChatGPT 信息流转、RAG 概念及核心技术、通过 AnythingLLM 搭建本地化数据库等。 五、本地知识库进阶 如果想要对知识库进行更灵活掌控,需要额外软件 AnythingLLM,它包含所有 Open WebUI 能力,并额外支持选择文本嵌入模型和向量数据库。 安装地址:https://useanything.com/download 。安装完成后进入配置页面,主要分为三步: 1. 第一步:选择大模型。 2. 第二步:选择文本嵌入模型。 3. 第三步:选择向量数据库。 构建本地知识库: AnythingLLM 中有 Workspace 概念,可创建独有 Workspace 与其他项目数据隔离。 1. 首先创建一个工作空间。 2. 上传文档并在工作空间中进行文本嵌入。 3. 选择对话模式,提供 Chat 模式(大模型根据训练数据和上传文档综合给出答案)和 Query 模式(大模型仅依靠文档数据给出答案)。 配置完成后可进行测试对话。 六、写在最后 作者推崇“看十遍不如实操一遍,实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣,可联系作者或加其免费知识星球(备注 AGI 知识库)。 本文思路来源于视频号博主黄益贺,作者按照其视频进行实操并附加了一些关于 RAG 的额外知识。
2025-03-26