Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

本地部署的AI模型如何制作智能体

Answer

以下是关于本地部署的 AI 模型制作智能体的相关信息：

阿里云百炼满血版 DeepSeek：

  1. 开通满血版 R1 模型：在模型广场找到 DeepSeek-R1 并进行授权。每个人会免费获得 100 万额度，过期未用则浪费。此模型由阿里云自主部署，并做了推理优化，性能强于多数本地部署版本。
  2. 应用开发：新增模板，可从模板学习应用搭建。
  3. 联网搜索：配置简单方便，结合 Deepseek-r1 更强大，如搜索天气时会多方验证。
  4. 新鲜的动态 few shot：可用于对模型某些表现不佳、易出幻觉的任务通过 prompt training 强行修正。
  5. 工作流：用工作流让不同模型在同一任务创作。

行业变革中的智能体相关： Anthropic 的 Claude 3 拥有三个版本，最大规模的 Opus 适合复杂推理与自动化任务计划，其次的 Sonnet 适合个人助理及内容快速分析，如智能体任务，最快最便宜的 Haiku 可执行快速翻译、客服对话等任务。Meta、微软、Google、Apple 等均有可适配到移动终端上运行的开源模型。边缘算力竞争中，Apple、Google、高通等在终端占有量和芯片方面具有优势，PC 级别终端因智能集成复兴，未来可能有家用和办公用“智能体”终端诞生，Tesla EV 也在相关量级之上。

自制软件和赤脚开发者中的智能体相关： 大型语言模型可表现为智能体，能制定计划和决策以实现设定目标，可访问外部工具、数据库长期记忆等，并模仿逻辑思维模式。语言模型和智能体已部署到帮助专业开发人员的工具中，如 GitHub Copilot、Cursor 和 Replit，能读写代码、调试、创建文档和编写测试，使用此类工具可提高开发人员完成任务的速度。

Content generated by AI large model, please carefully verify (powered by aily)

References

Stuart: [保姆级教程] 5分钟用上阿里云百炼满血版DeepSeek, 手把手做一个智能体

阿里云百炼地址:https://bailian.console.aliyun.com/[heading1]开通满血版R1模型[content]1.模型广场找到DeepSeek-R11.授权在这个页面上可以看到免费的100w额度,和已经使用量:每个人都会免费送100w额度,过期了就亏了.这个deepseek-r1模型是阿里云自主部署的,并且在阿里强大的技术实力下做了推理优化,强过99.99%的市面上教的满血版本地部署的性能.对比DeepSeek官网的API,在同样的价格下,提供了更稳定的模型服务.1.用完还有免费的蒸馏版的R1模型,也是100w token.1.这些模型都可以在“首页”或者“直接体验”直接使用.1.或者直接模型效果对比1.也可以用API调用,比如chatbox直接使用.[heading1]百炼应用开发[content]新增加了模板,可以从模板来学习应用搭建.[heading2]🐮像知识库检索一样进行联网搜索[content]简单方便,直接配置就可用:结合Deepseek-r1会更强大--搜索天气的时候,它会多方验证:[heading2]🌹新鲜的动态few shot[content]小技巧:可以用于模型对于某些做不好的,容易出幻觉的任务,通过prompt training进行强行修正.[heading1]工作流[content]用工作流来让不同模型在同一任务创作.

智变时代 / 全面理解机器智能与生成式 AI 加速的新工业革命

有一个明显的趋势，现在科技巨头和AI研究机构们推出自己新一代的模型，都按照参数规模区分了版本，例如Anthropic的Claude 3就拥有三个版本，最大规模的Opus价格最贵也最慢，适合做复杂的推理与自动化的任务计划，这是高级智能；其次是Sonnet，价格速度适中，适合完成个人助理任务以及给定内容的快速分析，例如前面提到的自能体的任务；最快最便宜的是Haiku，可以执行快速的翻译、客服对话等任务。不过Anthropic和OpenAI的模型并没有开源的可以部署在边缘终端上的版本，他们的理由是安全问题；但考虑到自己的自能业务未来在终端上的拓展，Meta有Llama 3 7B、微软有Phi-3 Vision、Google有Gemma，他们都是可以适配到移动终端上运行的开源LLMs，就连最不动声色的Apple都偷偷发布了自己的OpenELM，参数规模比微软的Phi还要小，这是为了在移动设备上节能运行优化的。因此，我们能看到两种竞争：边缘算力：拥有最多终端占有量和最好的边缘芯片的，将占据了竞争优势，例如Apple，它的A系列和M系列芯片常年算力溢出，现在正好可以用这个作为条件让模型提供方来适应它的需求；紧随其后的就是Google还有高通，一个是移动终端的常年老二，另一个是移动芯片Apple之外的最大供应商；另外，PC级别的终端也因为智能的集成在复兴，微软主打Copliot PC的概念。这个级别上由于电力供应更加充足，可以用更快更耗能的芯片，我们应该可以看到未来会有家用和办公用的“智能体”终端诞生，可以把他们想象成带着屏幕的机器人；最后集成了FSD的Tesla EV也在这个量级之上，毕竟做视觉端到端控制的模型，为了敏捷与安全性，必须本地部署运行。

自制软件和赤脚开发者

那么，如果软件开发的某些部分变得更快、更容易、更便宜，会发生什么情况呢？4年前，OpenAI发布了GPT-3，这是第一个真正意义上的大型语言模型。从那时起，我们就踏上了一段不平凡的旅程。现在，当我说大型语言模型时......我谈论的是其他人所说的人工智能。但我认为这个术语太笼统了。我特指的是使用深度学习和神经网络创建的模型。这些主要是大型语言模型，但也包括视觉和动作模型。它们是基于人类训练数据来理解单词、代码语法、图像和界面操作的模型。我也在谈论所谓的智能体。当我们让大型语言模型表现得像一个智能体时，它可以制定计划和决策，以尝试实现我们设定的目标。我们允许这些代理访问外部工具，如网络搜索、计算器，以及编写和运行代码的能力。以及数据库中存储的长期记忆。我们让他们模仿逻辑思维模式，比如让他们观察他们所知道的东西，计划他们下一步要做的事情，批判他们自己的工作，并一步一步思考。智能体可以决定在任何时候使用什么工具来解决我们给出的问题。这种将工具和逻辑链接在一起的架构使得语言模型比其他模型功能更强大。他们最终能够在我们现有的编程环境中完成相当复杂的任务。除非这里有人一直生活在与世隔绝的地方，否则你们就会知道我们一直在将语言模型和智能体部署到旨在帮助专业开发人员的工具中，例如GitHub Copilot、Cursor和Replit。他们可以读写代码、调试、创建文档和编写测试。一项研究表明，使用Copilot的开发人员完成任务的速度提高了55%，所以我们至少知道这可以加快人们的速度。从个人经验来看，我可以说，使用这些工具后，我会成为一名更优秀的程序员，但我知道人们对这些工具有很多怀疑和争议。也许他们只是在创建更多的垃圾代码和错误，供大家以后处理。

Others are asking
AI 提示词网站
以下是一些 AI 提示词网站： AIart 魔法生成器：中文版的艺术作品 Prompt 生成器，网址： IMI Prompt：支持多种风格和形式的详细的 MJ 关键词生成器，网址： MidJourney Prompt Tool：类型多样的 promot 书写工具，点击按钮就能生成提示词修饰部分，网址： Prompt Hero：好用的 Prompt 搜索，Search prompts for Stable Diffusion,ChatGPT&Midjourney，网址： img2prompt：根据图片提取 Prompt，网址： PromptBase：Prompt 交易市场，可以购买、使用、销售各种对话、设计 Prompt 模板，网址： promptoMANIA：AI 艺术提示词生成器，网址： pictionAIry：玩游戏也能练习 Prompt 书写，网址： NovelAI tag 生成器：设计类 Prompt 提词生成器，网址： 魔咒百科词典：魔法导论必备工具，简单易用的 AI 绘画 tag 生成器，网址： KREA：设计 AI 的 Prompt 集合站，create better prompts，网址： Public Prompts：免费的 prompt 合集，收集高质量的提示词，网址： OPS 可视化提示词：这个网站有 Mid Journey 的图片风格、镜头等写好的词典库，方便你快速可视化生成自己的绘画提示词，网址： MidJourney 提示词工具：专门为 MidJourney 做的提示词工具，界面直观易用，网址： OpenArt：AI 人工智能图像生成器，网址： AiTuts Prompt：AiTuts Prompt 是一个精心策划的高质量 Midjourney 提示数据库，提供了广泛的不同风格供你选择，网址： AcceleratorI Prompt：AI 词汇加速器，加速 Prompt 书写，通过按钮帮助优化和填充提示词，网址： MidLibrary：Midjourney 最全面的流派、艺术技巧和艺术家风格库，网址：
2025-02-27
都有哪些 关于制造行业的AI应用
在制造业领域，AI 有以下应用： 1. 产品设计和开发：利用 AI 生成工具如 Adobe Firefly、Midjourney 等，可根据文字描述快速生成产品的 3D 模型、渲染图、插图等设计元素，大幅提高产品设计效率。 2. 工艺规划和优化：结合大语言模型的自然语言处理能力，能自动生成制造工艺流程、设备选型、质量控制等方案，优化生产过程。 3. 设备维护和故障诊断：利用 AI 模型分析设备运行数据，可预测设备故障，并自动生成维修建议，提高设备可靠性。 4. 供应链管理：AI 可根据历史数据和市场变化，自动生成采购计划、库存预测、物流优化等内容，提高供应链管理效率。 5. 客户服务：基于对话模型的 AI 客服机器人，能自动生成个性化的客户回复，提升客户体验。 总的来说，AIGC 技术正在制造业各环节得到广泛应用，从产品设计到生产管理再到客户服务，都能发挥重要作用，提高企业的效率和竞争力。 此外，在汽车行业，AI 的应用案例包括： 1. 自动驾驶技术：利用 AI 进行图像识别、传感器数据分析和决策制定，自动驾驶汽车能够自主导航和驾驶。 2. 车辆安全系统：AI 用于增强车辆的安全性能，如自动紧急制动（AEB）、车道保持辅助（LKA）和盲点检测系统。 3. 个性化用户体验：AI 可根据驾驶员的偏好和习惯来调整车辆设置，如座椅位置、音乐选择和导航系统。 4. 预测性维护：通过分析车辆的实时数据，AI 能预测潜在的故障和维护需求，减少停机时间和维修成本。 5. 生产自动化：在汽车制造过程中，AI 用于自动化生产线，提高生产效率和质量控制。 6. 销售和市场分析：汽车公司使用 AI 分析市场趋势、消费者行为和销售数据，以便更好地理解客户需求，制定营销策略和优化产品定价。 7. 电动化和能源管理：AI 在电动汽车（EV）的电池管理和充电策略中发挥作用，优化电池使用和充电时间来提高能源效率和延长电池寿命。 8. 共享出行服务：AI 支持的共享出行服务，如 Uber 和 Lyft，使用 AI 优化路线规划、调度车辆和定价策略，提高服务效率和用户满意度。 9. 语音助手和车载娱乐：AI 驱动的语音助手，如 Amazon Alexa Auto 和 Google Assistant，允许驾驶员通过语音命令控制车辆功能、获取信息和娱乐内容。 10. 车辆远程监控和诊断：AI 系统可以远程监控车辆状态，提供实时诊断和支持，帮助车主及时了解车辆状况并采取相应措施。
2025-02-27
ai 换装怎么换职业妆照
以下是关于 AI 换装换职业妆照的步骤： 1. 来到图生图中，若图片已进入“上传重绘蒙版”但因 bug 看不见，错误时可手动保存蒙版。 2. 进行换衣步骤，提示词输入“蓝色毛衣”，将蒙版区域内容处理改为“填充”，尺寸改为和图像一致，重绘幅度设为 1。但由于蒙版区域较大，AI 填写内容时可能出现与之前的手衔接不上的问题。 3. 可通过降低重绘幅度或添加 openpose 来控制人物身体，得到正确姿势。 4. 除图生图的局部重绘外，还可使用 controlnet 的局部重绘功能，控制模式选择“更注重提示词”，具体使用哪个可自行试验选择效果好的。
2025-02-27
Ai 换脸形象照怎么换
以下是关于 AI 换脸形象照的相关信息： 法律风险： AI 换脸技术存在民事侵权风险。《民法典》规定，未经肖像权人同意，使用他人肖像的行为侵犯肖像权。 在刑事犯罪方面，使用他人肖像进行 AI 换脸旨在侮辱、诽谤、恶意丑化他人，并在网络上肆意传播，可能涉嫌侮辱、诽谤罪。此外，还存在利用该技术进行诈骗罪和制作、复制、出版、贩卖、传播淫秽物品牟利罪或传播淫秽物品罪等违法犯罪活动的情况。 制作方法： 可以通过某些工具生成数字人，在显示区域调整背景图和数字人的位置，增加字幕，完成后导出备用。若要换脸，需使用其他工具。 例如星流一站式 AI 设计工具，选中图像进入扩展功能界面，自动提取面部信息，上传想要替换的图片，选择重绘风格等参数即可。
2025-02-27
Ai 换脸形象照
以下是关于 AI 换脸的相关信息： 应用场景：包括 ai 写真换脸、工作流、自媒体、设计、电商、修复老照片等。在节目单中，也有 AI 换脸在视频与影视方面的应用，如春晚开头、AI 这一年等节目。 法律风险：民事方面，未经肖像权人同意使用其肖像可能侵犯肖像权。刑事方面，使用他人肖像进行 AI 换脸旨在侮辱、诽谤、恶意丑化他人并在网络上肆意传播，可能涉嫌侮辱、诽谤罪，此外还存在利用该技术进行诈骗罪和制作、复制、出版、贩卖、传播淫秽物品牟利罪或传播淫秽物品罪等违法犯罪活动的风险。
2025-02-27
AI 项目企业落地方向和案例。
以下是关于 AI 项目企业落地方向和案例的相关内容： AI 企业落地应用方面，有文章能带你快速搞懂本轮 AI 大模型革命的核心知识信息，从历史到今天，从原理到应用，从产业到趋势，以通俗易懂但不失专业严谨的方式带你走入 AI 的世界。 Anthropic 在 AI Engineer Summit 2025 上分享了企业应用 AI 的最佳实践，并总结了常见错误。核心挑战包括如何入手、如何评估效果、技术选择困惑（如是否需要微调）。关键经验是评估先行，明确“智能度、成本、延迟”之间的平衡，避免过早微调，先进行基础优化。案例方面，Intercom 通过评估优化 AI Agent Fin，使其处理 86%的客服请求，其中 51%无需人工介入。相关链接： 此外，还有用飞书+DeepSeek R1 搭建自动化 AI 工作流的相关内容。流程包括 URL 内容抓取➝DeepSeek R1 翻译➝自动改写➝生成文章。飞书提供快速启动模板，支持翻译、OCR 等任务。工作流链接： 。 宝玉 Q&A 中提到处理大规模代码，可使用 XML 包裹，超大代码可上传 GitHub 供 AI 分析，AI 还可生成代码并搜索相关库。查看内容： 。ChatGPT 免费用户可使用 GPT4o mini 语音版，免费用户可体验自然对话节奏，Plus/Pro 用户享特权。
2025-02-27
人工智能法律
以下是关于人工智能法律的相关内容： 《人工智能权利法案蓝图》提出了人工智能权利法案的相关内容。 《全球人工智能治理大变局之欧盟人工智能治理监管框架评述及启示》中提到： 1. 欧盟人工智能监管体系对中国的启示包括纳入道德伦理和人权考量的以风险为基准的统一人工智能治理。但伦理道德和人权的高度概括性、抽象性和不确定性给融入人工智能治理带来挑战，我国《科技伦理审查办法（试行）》是积极探索，但人工智能的特殊性可能无法体现，且“不可接受的风险”和“高风险”的界定存在不确定性和模糊性，以风险为基准的人工智能管理框架成效有待观望和研讨。 《人工智能法案》的相关规定包括： 1. 通过适当的设计、测试和分析，在开发前和整个开发过程中，用适当的方法（如让独立专家参与）证明对健康、安全、基本权利、环境、民主和法治的合理可预见风险的识别、减少和缓解，以及开发后剩余不可缓解风险的记录。 2. 处理和纳入仅受适当数据治理措施约束的数据集用于基础模型，特别是检查数据源的适用性和可能的偏差以及适当的缓解措施。 3. 设计和开发基础模型，以在其整个生命周期内通过适当的方法（如让独立专家参与模型评估、记录分析和广泛测试）实现适当水平的性能、可预测性、可解释性、可纠正性、安全性和网络安全性。 4. 设计和开发基础模型时，利用适用的标准来减少能源使用、资源使用和浪费，并提高能源效率和系统的整体效率，但不损害相关的现有联盟和国家法律。在第 40 条所述的标准公布之前，此义务不适用。基础模型应具备能够测量和记录能源和资源消耗以及在技术可行的情况下系统部署和使用在整个生命周期内可能产生的其他环境影响的能力。 5. 制定广泛的技术文档和易懂的使用说明，以使下游供应商能够遵守第 16 条和第 28（1）条规定的义务。 6. 建立质量管理体系，以确保并记录对本条的遵守情况，并有可能在满足这一要求方面进行试验。
2025-02-27
如何用扣子搭建自己的智能体
用扣子搭建自己的智能体可以参考以下步骤： 1. 创建智能体： 输入智能体的人设等信息。 为智能体起一个名称。 写一段智能体的简单介绍，介绍越详细越好，系统会根据介绍智能生成符合主题的图标。 2. 配置工作流： 放上创建的工作流。 对于工作流中的特定节点，如【所有视频片段拼接】，注意插件 api_token 的使用，避免直接发布导致消耗个人费用，可以将其作为工作流的输入，让用户自行购买后输入使用。 3. 测试与发布： 配置完成后进行测试。 确认无误后再发布。 扣子（Coze）是字节跳动旗下的新一代一站式 AI Bot 开发平台，无论是否具备编程基础，都能在该平台上迅速构建基于 AI 模型的各类问答 Bot。开发完成后还可发布到各种社交平台和通讯软件上供用户交互聊天。同时，像菠萝作词家这样的智能体，是专为特定需求设计的，能够帮助解决相关领域的问题。
2025-02-27
一个智能脚本的智能体提示词应该怎么写
以下是关于智能体提示词的相关内容： 对于儿童寓意故事创作者智能体，比如“此地无银三百两”的故事，描述了张三藏银并留下纸条，被隔壁王二发现并偷走银子的情节。 又如“熟能生巧”的故事，讲述了山海关题字中店小二用独特方式写出绝妙“一”字的经过。 在创建 Coze 智能体时，工作流中的每个节点有不同的细节。“开始”节点有 4 个输入变量，分别为 idea_txt（主题观点）、left_to_txt（画面左上角的文字）、right_to_txt（画面右上角的文字）、img_prmpot（画面中间图片生成提示词），且变量名称要与智能体中提示词的变量对应一致。“大模型”节点使用 DeepSeek R1 模型，提示词要求不复杂，说出需求即可。“文本”节点是为了将文案分句，可按“句号”分句，具体根据文案格式选择不同方式。“图像生成”节点使用官方插件，模型选“LOGO 设计”，若生成全景图，此插件效果可能不佳，建议选其他插件。“抠图节点”用于对上一节点生成的图片进行抠图。 总之，写智能体提示词要根据具体的应用场景和需求来确定，明确输入变量和模型要求等。
2025-02-27
创建智能体
创建智能体的步骤如下： 1. 使用单 Agent 对话流模式： 点击创建新的对话流，并与智能体关联。 在获取笔记详情节点和笔记评论节点分别配置 cookie，note_link 使用开始节点的 USER_INPUT。 使用代码节点进行数据处理，注意代码节点输出的配置格式。 2. 测试： 找到一篇小红书笔记，试运行对话流，在对话窗口输入地址查看数据。 回到智能体的编排页面进行测试，确保对话流执行成功。 3. 发布： 点击发布，选择多维表格，然后进行配置。 输出类型选文本，输入类型选择字段选择器。 完善上架信息，填写表格，发布范围可选仅自己可用以加快审核。 提交上架信息，返回配置界面显示已完成，即可完成最终提交。 另外，创建智能体还包括以下方式： 1. 打开扣子官网（https://www.coze.cn/），“画小二智能小助手”Coze 商店体验地址（https://www.coze.cn/store/bot/7371793524687241256?panel=1&bid=6cqnnu5qo7g00），点击创建 Bot，在对话框中工作空间选择“个人空间”，命名为画小二智能小助手，并设置提示词。 2. 创建一个智能体，输入人设等信息，放上相关工作流。但注意工作流中如【所有视频片段拼接】节点使用的插件 api_token 填的是个人 token 时，不能直接发布，可将 api_token 作为工作流最开始的输入，用户购买后输入 api_token 再发布。
2025-02-27
什么是智能体
智能体（Agent）在人工智能和计算机科学领域是一个重要概念，指能够感知环境并采取行动以实现特定目标的实体，可以是软件程序或硬件设备。 智能体是一种自主系统，通过感知环境（通常借助传感器）并采取行动（通常通过执行器）来达成目标。在 LLM 支持的自主 Agent 系统中，LLM 充当 Agents 的大脑，并辅以几个关键组成部分，包括规划、子目标和分解、反思和完善、记忆（短期记忆和长期记忆）、工具使用等。 简单理解，智能体就像 AI 机器人小助手，参照移动互联网，类似 APP 应用的概念。AI 大模型是技术，面向用户提供服务的是产品，因此很多公司关注 AI 应用层的产品机会。例如在 C 端，有社交方向的应用，用户注册后先创建自己的 Agent，让其与他人的 Agent 聊天，然后真人介入；在 B 端，帮助商家搭建 Agent。
2025-02-27
搭建能符合客户需求的智能体的核心技能是什么？
搭建能符合客户需求的智能体的核心技能包括以下方面： 1. 确定智能体的结构：按照市场营销逻辑组织，如以品牌卖点提炼六步法为核心流程，并将其他分析助手加入工作流，包括品牌卖点定义与分类助手、STP 市场分析助手、用户画像分析助手、触点收集助手等，同时还可运用一些未在结构中体现但有效的分析工具，如用户需求分析的 KANO 助手、营销六层转化漏斗分析、超级转化率六要素等。 2. 具备多种相关要素：如技能、模块、环节、要素、脚本、模板、插件、函数等。 3. 图像流搭建： 创建第一个图像流，为文本大模型提供图像生成能力。 了解图像流节点的意义，熟悉智能处理工具、基础编辑工具和风格处理类工具等。 根据需求进行图像流设计，如生成海报功能，包括对输入故事的提示词优化和生图大模型的运用等。 测试图像流。 此外，好的模板应具有切口小、刚需、可拓展性（方便 DIY）等特征，尽量满足真实工作场景中的真实需求。
2025-02-27
如何本地部署大模型
本地部署大模型的方法如下： SDXL 大模型的本地部署： 1. SDXL 的大模型分为两个部分： 第一部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对生成的模型进行细化，生成细节更丰富的图片。 第二部分，SDXL 还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 2. 您可以关注公众号【白马与少年】，回复【SDXL】获取这三个模型的下载链接。 3. 想要在 webUI 中使用 SDXL 的大模型，首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 4. 接下来，将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，启动 webUI，就可以在模型中看到 SDXL 的模型。 LLM 大语言模型的本地部署： 1. 下载并安装 Ollama： 点击进入 https://ollama.com/download ，根据您的电脑系统进行下载。 下载完成后，双击打开，点击“Install”。 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）： 如果是 windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行，粘贴进入，点击回车。 回车后，会开始自动下载，等待完成。（下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了） 下载完成后您会发现，大模型已经在本地运行了。输入文本即可进行对话。 ComfyUI ollama 本地大模型部署： 1. 先下载 ollama 安装，安装好了不会有任何界面弹出，可以在电脑桌面右下角或者隐藏图标里面找到。 2. 之后再去下载对应的模型，选择模型，复制对应的命令。 3. 打开命令行界面，输入对应的模型获取命令，等待下载完成。 4. 设置目录：下载的模型后面会保存到 D:\\ollama\\blobs。 5. docker 安装：安装会下载一些文件，安装后，改下这个目录，不要放在 C 盘。 6. Open webui 安装：输入相关命令，安装成功后，回到 docker，点击，会自动打开网页。第一次使用，需要注册一个账号，选择一个下载好的模型就可以开始使用了。 相关链接： 1. ComfyUI ollama：https://github.com/stavsap/comfyuiollama?tab=readmeovfile 2. Ollama：https://ollama.com/ 3. docker：https://www.docker.com/ 4. Open webui：https://openwebui.com/ 如果在部署过程中遇到端口占用的问题，运行下面两条命令可以解决。
2025-02-27
求AI大模型基础原理课程，讲的简单通俗
以下是关于 AI 大模型基础原理的简单通俗课程： 1. 概念 生成式 AI 生成的内容称为 AIGC。 2. 概念与关系 AI 即人工智能。 机器学习是电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习：使用有标签的训练数据，算法目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习：学习的数据没有标签，算法自主发现规律，经典任务如聚类，例如让模型将一堆新闻文章根据主题或内容特征分成相似组。 强化学习：从反馈中学习，以最大化奖励或最小化损失，类似训练小狗。 深度学习是一种参照人脑的方法，具有神经网络和神经元（因层数多称为深度），神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解（不擅长文本生成），像上下文理解、情感分析、文本分类。 3. 技术里程碑 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出 Transformer 模型，它完全基于自注意力机制（SelfAttention）处理序列数据，不依赖循环神经网络（RNN）或卷积神经网络（CNN）。
2025-02-27
基础搭建的知识库效果很差，模型答案的幻觉很严重，我应该怎么改进？（Deepseek调用api接入本地faiss的rag库）
以下是一些改进基础搭建的知识库效果、减轻模型答案幻觉问题的建议： 1. 更换大模型：例如从 ChatGLM26B 替换成 baichuan213b，针对您的场景，后者的性能可能提升一倍左右。 2. 更换 embedding 模型：将 embedding 模型从 LangChain Chatchat 默认的 m3ebase 替换为 bgelargezh，后者可能更优。 3. 测试不同 Top k 的值：比较 Top 5、Top 10、Top 15 的结果，发现 Top 10 时效果可能最优。 4. 对文档名称进行处理：人工对文件进行重命名，上传相同文件构建知识库，同时在构建知识库时勾选【开启中文标题加强】选项，虽然重命名文件对结果的提升效果不明显，但勾选该选项后，回答的无关信息可能减少，效果有所提升。 RAG（RetrievalAugmented Generation）即检索增强生成，由检索器和生成器两部分组成。检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息制作精确连贯的答案，适合处理需要广泛知识的任务。 在大模型中，向量可想象成空间中的点位，每个词或短语对应一个点。系统通过查看词在虚拟空间中点的位置，寻找直线距离最近的点来检索语义上接近的词语或信息。理解向量后，当收到一个对话时，RAG 的完整工作流程为：检索器从外部知识中检索相关信息，生成器利用这些信息生成答案。 要优化幻觉问题和提高准确性，需要了解从“问题输入”到“得到回复”的过程，针对每个环节逐个调优，以达到最佳效果。
2025-02-27
大模型调用tools
目前，绝大多数小型本地开源大语言模型以及部分商用大模型接口通常不支持稳定的 tool calling 功能。现有的解决方案多为微调 LLM，但会浪费大量时间和算力。有一种新的方法，即仅使用提示词工程和精巧的代码设计，就能让 LLM 获得稳定的 tool calling 能力。 通过多个不具备 tool calling 能力的 LLM 进行实验，结果显示所有模型都能成功执行调用工具这一步，并正确输出能被正则表达式抓取的字典。但在使用 python 解释器任务上，ollama 量化版本的 llama38b 和 mistral7b 模型受限于代码生成水平，不能很好地输出正确代码，导致无法稳定完成计算任务。在搜索知识图谱任务上，所有模型都能让工具返回相关知识，但 ollama 量化版本的 qwen27b 和 mistral7b 模型受限于逻辑理解能力，不能稳定理解知识图谱中多个关系边之间的逻辑关系。实验证明提示词工程可让 LLM 获得 tool calling 能力，但能否利用工具返回的信息解决用户问题，仍受 LLM 自身智能水平限制，较大的模型（如 gemma29b）对工具返回结果的利用能力更稳定。 在大模型请求中，最大的两个变量是 Messages 和 Tools。Messages 里放的是 sys prompt、memory、user query；Tools 里放的是一些能力的 Json Scheme，两者组合形成整个完全的 Prompt。Agent 应用开发的本质是动态 Prompt 拼接，通过工程化手段将业务需求转述成新的 prompt。短期记忆是 messages 里的历史 QA 对，长期记忆是 summary 之后的文本再塞回 system prompt。RAG 是向量相似性检索，可放在 system prompt 里或通过 tools 触发检索。Action 是触发 tool_calls 标记，进入请求循环，拿模型生成的请求参数进行 API request，再把结果返回给大模型进行交互，没有 tool_calls 标记则循环结束。Multi Agents 则是更换 system prompt 和 tools。当然，想做深做好肯定还有很多坑需要踩。
2025-02-27
如何让大模型输出结构化的数据
要让大模型输出结构化的数据，可以采取以下几种方法： 1. 设计合理的 Prompt 工程： 明确的待处理内容指引：在构建 Prompt 时，清晰地定义需要处理的文本，并使用标记框起来，让模型准确识别待处理内容范围。 提供明确字段定义：具体化每个字段的名称、用途及要求，为模型提供清晰的提取方向。 异常处理：设置异常处理原则，如规定缺失数据使用默认值填充，特殊数据类型符合标准格式，确保模型输出的完整性和一致性。 要求结构化输出：指示模型以结构化格式（如 JSON）输出数据，便于后续处理和系统集成。 2. 搭建工作流： 模型选择：根据需求选择合适的大模型，如默认的豆包 32k 或更大的 kimi128k 等。 配置参数：进行批处理，输入相关参数，如文章内容正文、url 链接和标题等。 提示词输入：将相关内容一起送给大模型进行总结，并拼接成特定格式输出。 汇总格式化最终输出内容：使用代码节点对大模型输出的内容进行最终格式化。 3. 探索 JSON Output 应用： 无模板的 Excel 导入：改变传统数据导入方式，通过 Prompt 读取想要的数据列。 AI 审核员：在人审环节前加 AI 审，提供相关知识和少量示例，输出简单结果。 分类器：一个 Prompt 即可完成分类任务。 应用于其它业务场景：如在一些业务场景中落地，提高效率。 但需要注意的是，过去大模型还不太成熟，应用过程可能会有一些困难。
2025-02-27
个人有没有必要本地部署deepseek模型
个人是否有必要本地部署 DeepSeek 模型取决于多种因素。 DeepSeek 模型的权重文件开源，可本地部署。其公司名为“深度求索”，网页和手机应用目前免费，但 API 调用收费。 在云端模型部署方面，有实操演示和使用方法讲解，包括登录 Pad 控制台、选择框架、资源、出价等，还介绍了查看部署状态和日志的方法，以及用 Postman 在线调试模型获取名称及后续使用方式。 在模型部署相关内容中，部署时使用 V1 chat completion s 接口，要注意模型名称、大小写等。同时布置了作业为成功部署大语言模型并调试，提交带钉钉昵称的截图。还讲解了 API 调用方法、费用、停止服务方式等，提醒注意保密 API key，若竞不到价可加价尝试进行本地蒸馏模型部署。 模型蒸馏方面，先介绍云平台部署情况，接着讲解模型蒸馏概念、方式，阐述其应用场景及修复模型幻觉的作用，并进行了实操演示。 综合来看，如果您对数据隐私有较高要求、需要定制化的模型服务、有足够的技术能力和资源来进行本地部署和维护，或者在网络不稳定的情况下使用，那么本地部署可能是有必要的。但如果您的需求相对简单，且不具备相关技术条件和资源，使用云端服务可能更为便捷。
2025-02-27
anythingLLM和RAG Flow哪个部署更容易
RAG Flow 和 LLM 的部署难易程度如下： RAG Flow： 公网 MaaS：通常只需要一个 API key 即可对接，默认提供了通义千问。比较特殊的是 OpenAI 的接口上提供了修改 endpoint，也就是支持中间商。 本地部署：目前仅支持 Xinference 和 Ollama 方式部署。但是实际上只要是 API 接口一致，对接方式一致都可以用该方式对接。此处基础 Url 只需要写到 v1 为止，不需要写 embeddings 的二级接口。添加模型后需要在“系统模型配置”中设置，方能让模型生效。 LLM：关于 LLM 的部署难易程度，上述内容中未给出直接对比信息。但 Dify.AI 作为一个开源的大规模语言模型应用开发平台，具有快速部署等特点，用户可以在 5 分钟内部署定制化的聊天机器人或 AI 助手。 综合来看，仅根据所提供的信息，难以确切判断 RAG Flow 和 LLM 哪个部署更容易，还需结合更多具体的技术细节和实际需求进行评估。
2025-02-27
如果不是英伟达显卡，可以本地部署SD吗？
如果不是英伟达显卡，一般不建议本地部署 SD。 SD 的安装要求如下： 1. 系统需为 Win10 或 Win11。 2. 查看电脑配置： 查看电脑系统：在桌面上找到“我的电脑”，鼠标右键点击，点击“属性”，查看 Windows 规格。 查看电脑配置：检查自己的电脑配置能否带动 SD（Stable Diffusion），需要满足 3 个要求（推荐）：电脑运行内存 8GB 以上，是英伟达（NVIDA）的显卡，显卡内存 4GB 以上。 查看电脑运行内存：打开任务管理器（同时按下 ctrl+shift+esc），8GB 运行内存可以勉强运行 SD，推荐 16GB 以上运行内存。 查看电脑显卡内存（显存）：4GB 显存可运行 SD，推荐 8GB 以上显存。 3. 配置达标可跳转至对应安装教程页： 。 4. 配置不够可选择云端部署（Mac 也推荐云端部署）： 。 5. 备选：SD 好难，先试试简单的无界 AI： 。 另外，Fooocus 是 SD 的相关产品，其使用的是最新推出的 SDXL 1.0 模型，对 stable diffusion 和 Midjourney 做了结合升级。Fooocus 本地部署的配置要求为：需要不低于 8GB 的内存和 4GB 的英伟达显卡。Fooocus 介绍/安装包下载：https://github.com/lllyasviel/Fooocus（文末领取软件+模型整合包：16G） ，使用指南：https://github.com/lllyasviel/Fooocus/discussions/117 ，大模型（base 和 Refiner）默认放在这里：\\Fooocus_win64_1110\\Fooocus\\models\\checkpoints 。 SD 云端部署的流程如下： 1. 安装和配置基础环境：浏览器上按照腾讯云>控制台>云服务器的路径找到购买的实例，点击启动，会新开一个远程访问的窗口，输入购买时设置的密码进入，这样就有了一个远程的 Windows 系统环境，接下来安装显卡驱动、配置环境变量即可。 2. 安装显卡驱动：用内置的 IE（也可下载 Chrome），打开英伟达的网站，找到驱动下载，选择购买机器时选定的显卡型号、Windows 版本号，下载对应的驱动，然后安装上。 3. 配置环境变量：驱动安装完成后，开始配置环境变量。首先找到驱动安装所在的目录，如果没有特殊设定，一般是在「C:\\Program Files\\NCIDIA Corporation」，复制这个路径，找到环境变量配置入口（控制面板>系统和安全>系统），选择「高级系统设置」，弹窗设置环境变量，找到「系统变量」里的 Path 环境变量，点击「编辑...」，然后「新建」，将刚才复制的 nvidia 驱动安装地址粘贴进去，保存即可。
2025-02-27
ai在档案领域的部署
目前关于 AI 在档案领域的部署，知识库中暂时没有相关内容。但一般来说，AI 在档案领域的部署可能包括利用自然语言处理技术对档案内容进行智能检索和分类，通过机器学习算法对档案的重要性和价值进行评估，以及运用图像识别技术对档案中的图片、图表等进行数字化处理等方面。
2025-02-27
高校如何自己本地部署DEEPSEEK
高校本地部署 DEEPSEEK 可以参考以下内容： 1. 了解相关平台服务差异，如 DLC、DSW 和 EAS 等模型部署平台服务的不同。 2. 如果拥有云服务器，可以进行本地部署，但要注意满血版本地部署的实际情况。 3. 在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 4. 登录 Pad 控制台，通过 model gallery 进行部署，如 Deepseek R1 模型，可选择 SG 浪或 Vim 推理框架，根据资源出价，部署后可在模型在线服务 EAS 查看状态。 5. 模型试用可以使用 postman，通过修改接口和复制文档中的内容进行在线调试，发送请求查看状态码，根据模型名称和相关要求输入内容进行试用。 6. 会带着大家复现模型的蒸馏和微调，并讲解相关知识。 7. 实战演练 DeepSeek R1 满血版快速部署和蒸馏训练。 以上信息仅供参考，具体操作可能会因实际情况有所不同。
2025-02-27