Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

本地大模型有啥用途

Answer

本地大模型具有多种用途，以下为您详细介绍：

  1. 在图像生成方面，如 SDXL 的大模型，分为 base、refiner 和配套的 VAE 模型。base 用于文生图操作，refiner 用于细化生成的图片以获得更丰富的细节，VAE 用于调节图片的画面效果和色彩。使用时需将模型放入对应文件夹，在秋叶启动器中将 webUI 版本升级到 1.5 以上，然后在文生图中填写提示词和常规参数进行生成。
  2. 资讯问答方面，如 Langchain + Ollama + RSSHub 实现 RAG。Ollama 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于多种操作系统，提供模型库，支持自定义模型，有 REST API 用于运行和管理模型及与其他应用程序集成，社区贡献丰富。
  3. 对话和回答问题方面，通过 Open WebUI 使用大模型。一般有聊天对话和 RAG 能力（让模型根据文档内容回答问题）两种使用方式。若要求不高，可实现和本地大模型的对话功能。ChatGPT 访问速度快是因其服务器配置高，回答效果好是因其训练参数多、数据更优及训练算法更好。若想更灵活掌握知识库可进一步操作。
Content generated by AI large model, please carefully verify (powered by aily)

References

【SD】向未来而生，关于SDXL你要知道事儿

SDXL的大模型分为两个部分：第一部分，base+refiner是必须下载的，base是基础模型，我们使用它进行文生图的操作；refiner是精炼模型，我们使用它对文生图中生成的模型进行细化，生成细节更丰富的图片。第二部分，是SDXL还有一个配套的VAE模型，用于调节图片的画面效果和色彩。这三个模型，我已经放入了云盘链接中，大家可以关注我的公众号【白马与少年】，然后回复【SDXL】获取下载链接。想要在webUI中使用SDXL的大模型，首先我们要在秋叶启动器中将webUI的版本升级到1.5以上。接下来，将模型放入对应的文件夹中，base和refiner放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下；vae放在“……\sd-webui-aki-v4.2\models\VAE”路径下。完成之后，我们启动webUI，就可以在模型中看到SDXL的模型了。我们正常的使用方法是这样的：先在文生图中使用base模型，填写提示词和常规参数，尺寸可以设置为1024*1024，进行生成。我这边使用了一个最简单的提示词“1girl”，来看看效果。生成的图片大家可以看一下，我觉得是相当不错的。

本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG

1.支持多种大型语言模型：Ollama支持包括通义千问、Llama 2、Mistral和Gemma等在内的多种大型语言模型，这些模型可用于不同的应用场景。2.易于使用：Ollama旨在使用户能够轻松地在本地环境中启动和运行大模型，适用于macOS、Windows和Linux系统，同时支持cpu和gpu。3.模型库：Ollama提供了一个模型库，用户可以从中下载不同的模型。这些模型有不同的参数和大小，以满足不同的需求和硬件条件。Ollama支持的模型库可以通过https://ollama.com/library进行查找。4.自定义模型：用户可以通过简单的步骤自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。5.API和集成：Ollama还提供了REST API，用于运行和管理模型，以及与其他应用程序的集成选项。6.社区贡献：Ollama社区贡献丰富，包括多种集成插件和界面，如Web和桌面应用、Telegram机器人、Obsidian插件等。7.总的来说，Ollama是一个为了方便用户在本地运行和管理大型语言模型而设计的框架，具有良好的可扩展性和多样的使用场景。后面在捏Bot的过程中需要使用Ollama，我们需要先安装，访问以下链接进行下载安装。https://ollama.com/download/

手把手教你本地部署大模型以及搭建个人知识库

1.首先访问如下网址当你打开这个页面的时候，会让你登陆，这个时候我们随便使用一个邮箱注册一个账号即可1.和本地大模型进行对话登陆成功之后，如果你已经使用过ChatGPT等类似的大模型对话网站，我相信你对这个页面并不陌生。Open WebUI一般有两种使用方式第一种是聊天对话第二种是RAG能力，也就是可以让模型根据文档内容来回答问题。这种能力就是构建知识库的基础之一如果你的要求不高的话，我们已经搭建了一个本地大模型了，并且通过Web UI实现了和大模型进行对话的功能。相信通过这么一通折腾，你就理解了ChatGPT的信息流，至于为什么ChatGPT的访问速度比我们自己的要快，而且回答效果要好，有两个原因快：是因为GPT大模型部署的服务器配置高好：是因为GPT大模型的训练参数多，数据更优以及训练算法更好如果你想要更加灵活的掌握你的知识库，请接着往下看

Others are asking
ai绘画常用且可以作出商业用途的设计工具都哪些
以下是一些 AI 绘画常用且可用于商业用途的设计工具： 1. Midjourney：能够帮助设计师快速创建草图和概念图，实现自动化创意设计、颜色匹配、插图绘制等，在更多工作场景中带来降本增效的效果。 2. CADtools 12：这是一个 Adobe Illustrator（AI）插件，为 AI 添加了 92 个绘图和编辑工具。 3. Autodesk Fusion 360：集成了 AI 功能的云端 3D CAD/CAM 软件，能创建复杂的几何形状和优化设计。 4. nTopology：基于 AI 的设计软件，可创建复杂的 CAD 模型，包括拓扑优化、几何复杂度和轻量化设计等。 5. ParaMatters CogniCAD：基于 AI 的 CAD 软件，能根据用户输入的设计目标和约束条件自动生成 3D 模型。 6. 主流 CAD 软件中的生成设计工具，如 Autodesk 系列、SolidWorks 等，可根据输入自动产生多种设计方案。 7. Recraft AI：是 AI 平面设计工具，用户可生成和编辑插画、海报、产品周边等，提供多种样式的可选风格，允许对生成的图像进行商业使用。
2025-02-08
AI用途分类
AI 的用途分类广泛，主要包括以下方面： 1. 医疗保健： 医学影像分析，辅助诊断疾病。 药物研发，加速研发过程。 个性化医疗，提供个性化治疗方案。 机器人辅助手术，提高手术精度和安全性。 2. 金融服务： 风控和反欺诈，降低金融机构风险。 信用评估，帮助做出贷款决策。 投资分析，辅助投资者决策。 客户服务，提供 24/7 服务并回答常见问题。 3. 零售和电子商务： 产品推荐，分析客户数据推荐感兴趣产品。 搜索和个性化，改善搜索结果和提供个性化购物体验。 动态定价，根据市场需求调整产品价格。 聊天机器人，回答客户问题和解决问题。 4. 制造业： 预测性维护，预测机器故障避免停机。 质量控制，检测产品缺陷提高质量。 供应链管理，优化供应链提高效率和降低成本。 机器人自动化，控制工业机器人提高生产效率。 5. 交通运输： 自动驾驶，提高交通安全性和效率。 交通管理，优化信号灯和交通流量缓解拥堵。 物流和配送，优化路线和配送计划降低运输成本。 无人机送货，将货物快速送达偏远地区。 6. 其他应用场景： 教育，提供个性化学习体验。 农业，分析农田数据提高农作物产量和质量。 娱乐，开发虚拟现实和增强现实体验。 能源，优化能源使用提高能源效率。 在汽车行业，AI 的应用案例包括： 1. 自动驾驶技术，自主导航和驾驶。 2. 车辆安全系统，预防事故。 3. 个性化用户体验，根据偏好和习惯调整车辆设置。 4. 预测性维护，预测潜在故障和维护需求。 5. 生产自动化，提高生产效率和质量控制。 6. 销售和市场分析，理解客户需求制定策略和优化定价。 7. 电动化和能源管理，优化电池使用和充电策略。 8. 共享出行服务，优化路线规划、调度车辆和定价策略。 9. 语音助手和车载娱乐，通过语音控制车辆功能和获取信息。 10. 车辆远程监控和诊断，实时了解车辆状况并提供支持。
2025-01-14
Gamma的用途介绍
Gamma 有以下几种常见用途： 1. 在图像处理中，Gamma 可用于改变图像的 Gamma 值，从而调整图像的亮度和对比度。节点选项说明中，gamma 表示图像的 Gamma 值。 2. Gamma 也是一个在线演示文稿制作平台。它利用人工智能技术帮助用户快速创建和设计演示文稿。用户通过简单的文本输入生成幻灯片，其 AI 系统会根据内容自动提供布局建议和设计元素。该平台支持多种多媒体格式嵌入，如 GIF 和视频，提供多种预设主题和自定义选项，简化演示文稿创建过程，让非设计专业人士也能轻松制作出具有专业外观的演示文稿，使用户节省设计时间，专注于内容表达和创意发挥。 此外，在开源大模型领域，谷歌发布的 Gemma 模型中也涉及到相关技术细节。Gemma 是一个轻量级的 SOTA 开放模型系列，在语言理解、推理和安全方面表现强劲。谷歌发布了 20 亿参数和 70 亿参数两个版本，并提供了预训练以及针对对话、指令遵循、有用性和安全性微调的 checkpoint。不同尺寸满足不同的计算限制、应用程序和开发人员要求。Gemma 在 18 个基于文本的任务中的 11 个上优于相似参数规模的开放模型。
2024-10-14
Ai主要用途
人工智能（AI）的主要用途广泛，涵盖以下多个领域： 1. 医疗保健： 医学影像分析：辅助诊断疾病。 药物研发：加速研发过程，识别潜在药物候选物和设计新疗法。 个性化医疗：分析患者数据，提供个性化治疗方案。 机器人辅助手术：提高手术精度和安全性。 2. 金融服务： 风控和反欺诈：降低金融机构风险。 信用评估：帮助做出更好的贷款决策。 投资分析：辅助投资者做出明智决策。 客户服务：提供 24/7 服务，回答常见问题。 3. 零售和电子商务： 产品推荐：根据客户数据推荐感兴趣的产品。 搜索和个性化：改善搜索结果和提供个性化购物体验。 动态定价：根据市场需求调整产品价格。 4. 制造业： 预测性维护：避免机器故障和停机。 质量控制：检测产品缺陷。 供应链管理：优化供应链，提高效率和降低成本。 机器人自动化：控制工业机器人，提高生产效率。 5. 交通运输： 自动驾驶：提高交通安全性和效率。 交通管理：优化信号灯和交通流量，缓解拥堵。 物流和配送：优化路线和配送计划，降低运输成本。 无人机送货：将货物快速送达偏远地区。 6. 其他领域： 教育：提供个性化学习体验。 农业：分析农田数据，提高农作物产量和质量。 娱乐：开发虚拟现实和增强现实体验。 能源：优化能源使用，提高能源效率。 需要注意的是，AI 的应用场景还在不断扩展，未来将对我们的生活产生更加深远的影响。
2024-08-28
ai在建筑方面的用途
AI 在建筑方面有多种用途，以下是一些能够帮助建筑设计师审核规划平面图的 AI 工具： 1. HDAidMaster：云端工具，可在建筑、室内和景观设计领域使用主流 AIGC 功能进行方案创作，搭载自主训练的建筑大模型 ArchiMaster，软件 UI 和设计成果颜值高。 2. Maket.ai：主要面向住宅行业，在户型设计和室内软装设计方面有 AI 技术探索，可根据输入的房间面积需求和土地约束自动生成户型图。 3. ARCHITEChTURES：AI 驱动的三维建筑设计软件，提供全新设计模式，可在住宅设计早期引入标准和规范约束 AI 生成的设计结果，保证设计合规性。 4. Fast AI 人工智能审图平台：从住宅设计图的构件开始，形成全自动智能审图流程，同时为建筑信息自动建模打下基础，最终实现建筑全寿命周期内信息的集成和管理。 这些工具都可以帮助建筑设计师提高效率、减少错误并提供更多设计可能性。但每个工具都有其特定应用场景和功能，建议根据具体需求选择合适的工具。
2024-07-10
ai在酒店用途
AI 在酒店中有多种用途，以下是一些常见的应用： 客服助手：Viff.ai 是一个酒店评论回复工具，它可以为酒店客人的评论生成个性化、针对性和有礼貌的回复。它能学习用户的语气和品牌声音，并以同样一致的声音生成回复。使用 Viff.ai，酒店可以立即回复评论，从而在所有的酒店客人评论中提供准确的回复，并保持一贯性。通过回复评论，酒店可以提升声誉，吸引更多的预订。 酒店预订系统：Staypia 是一个利用人工智能技术的酒店预订系统，提供全球超过 316 万家酒店的最优惠优惠。这个平台利用人工智能技术，提供一系列独家折扣，使其成为最具成本效益的酒店预订平台之一。 知识图谱：在搜索时，展示知识图谱。这些信息是从知识图谱中产生的，意味着列出这些人和与其相关的关键信息，如生日，年纪等。酒店知识图谱可能包含大量信息，让人们在查地图时，可以快速找到准确信息。
2024-07-10
我想做一个产品（生涯规划领域的垂直大模型），这个产品服务的对象是所有人：帮助所有人进行更好的职业规划。每个人都能通过使用这个产品更好地了解自己，了解自己的天赋、兴趣、优势，然后找到自己的热爱的领域和热爱的事业，并且能够个性化地推荐相关的行业和职业，包括职业的主要工作内容和核心能力要求等等。 请对这个产品进行可行性分析，并给出产品的发展规划，别忘了给这个项目起一个名字。
以下是对您提出的生涯规划领域垂直大模型产品的可行性分析和发展规划，并为项目取名为“生涯智途”。 可行性分析： 1. 需求广泛：帮助人们进行职业规划是一个普遍存在的需求，涵盖了各个年龄段和职业阶段的人群。 2. 数据可用性：可以通过各种渠道收集大量与职业相关的数据，包括行业报告、职位描述、人才需求等。 3. 技术支持：当前大模型技术的发展为实现这样的产品提供了可能，能够处理和分析大量复杂的数据。 发展规划： 1. 数据收集与整理：广泛收集各类职业数据，建立丰富的数据库，确保数据的准确性和完整性。 2. 模型训练与优化：利用收集到的数据进行模型训练，不断优化模型，提高预测和推荐的准确性。 3. 功能开发： 个性化测评：开发能够准确评估用户天赋、兴趣、优势的功能模块。 精准推荐：根据用户的特点，提供个性化的行业和职业推荐，并详细介绍职业的工作内容和核心能力要求。 持续学习与更新：随着行业变化，及时更新数据和模型，以提供最新的职业信息。 4. 用户体验优化：设计简洁、易用的界面，提供良好的用户交互体验。 5. 市场推广：通过线上线下多种渠道进行推广，提高产品的知名度和用户覆盖面。 希望以上分析和规划对您有所帮助。
2025-02-18
现在大语言模型的跑分对比
对比不同大语言模型的性能需要考虑多个维度，包括但不限于以下方面： 1. 理解能力：评估对语言的语法、语义、上下文和隐含意义的理解程度。 2. 生成质量：检查生成文本的流畅性、相关性和准确性。 3. 知识广度和深度：掌握广泛主题的知识程度，以及对特定领域或话题的理解深度。 4. 泛化能力：处理未见过的任务或数据时的表现。 5. 鲁棒性：应对错误输入、对抗性输入或模糊不清指令的能力。 6. 偏见和伦理：生成文本时是否存在偏见，是否遵循伦理标准。 7. 交互性和适应性：在交互环境中的表现，包括对用户反馈的适应性和持续对话的能力。 8. 计算效率和资源消耗：考虑模型大小、训练和运行所需的计算资源。 9. 易用性和集成性：是否易于集成到不同应用和服务中，提供的 API 和工具的易用性。 为了进行有效的比较，可以采用以下方法： 1. 标准基准测试：使用如 GLUE、SuperGLUE、SQuAD 等标准的语言模型评估基准，它们提供统一的测试环境和评分标准。 2. 自定义任务：根据特定需求设计任务，评估模型在特定领域的表现。 3. 人类评估：结合人类评估者的主观评价，特别是在评估文本质量和伦理问题时。 4. A/B 测试：在实际应用场景中，通过 A/B 测试比较不同模型的表现。 5. 性能指标：使用准确率、召回率、F1 分数、BLEU 分数等性能指标来量化比较。 当前领先的大型语言模型的排行榜，例如聊天机器人竞技场，由伯克利的团队管理，根据 ELO 评级对不同语言模型进行排名，计算方式与国际象棋中的类似。在排行榜中，顶部多为专有模型，下方有开放权重的模型。 大语言模型的特点包括： 1. 架构：有 encoderonly、encoderdecoder、decoderonly 等，如 BERT 是 encoderonly 模型，google 的 T5 是 encoderdecoder 模型，众多 AI 助手多为 decoderonly 模型。 2. 数据和参数：预训练数据量大，往往来自互联网，包括论文、代码、公开网页等，参数多，如 OpenAI 在 2020 年发布的 GPT3 已达到 170B 的参数。
2025-02-18
现在大语言模型的跑分对比
对比不同大语言模型的性能需要考虑多个维度，包括但不限于以下方面： 1. 理解能力：评估对语言的语法、语义、上下文和隐含意义的理解程度。 2. 生成质量：检查生成文本的流畅性、相关性和准确性。 3. 知识广度和深度：掌握广泛主题的知识程度，以及对特定领域或话题的理解深度。 4. 泛化能力：处理未见过的任务或数据时的表现。 5. 鲁棒性：应对错误输入、对抗性输入或模糊不清指令的能力。 6. 偏见和伦理：生成文本时是否存在偏见，是否遵循伦理标准。 7. 交互性和适应性：在交互环境中的表现，包括对用户反馈的适应性和持续对话的能力。 8. 计算效率和资源消耗：考虑模型大小、训练和运行所需的计算资源。 9. 易用性和集成性：是否易于集成到不同应用和服务中，提供的 API 和工具的易用性。 为了进行有效的比较，可以采用以下方法： 1. 标准基准测试：使用如 GLUE、SuperGLUE、SQuAD 等标准的语言模型评估基准，它们提供统一的测试环境和评分标准。 2. 自定义任务：根据特定需求设计任务，评估模型在特定领域的表现。 3. 人类评估：结合人类评估者的主观评价，特别是在评估文本质量和伦理问题时。 4. A/B 测试：在实际应用场景中，通过 A/B 测试比较不同模型的表现。 5. 性能指标：使用准确率、召回率、F1 分数、BLEU 分数等性能指标来量化比较。 当前领先的大型语言模型的排行榜，例如聊天机器人竞技场，由伯克利的团队管理，根据 ELO 评级对不同语言模型进行排名，计算方式与国际象棋中的类似。在排行榜中，顶部多为专有模型，下方有开放权重的模型。 大语言模型的特点包括： 1. 架构：有 encoderonly、encoderdecoder、decoderonly 等，如 BERT 是 encoderonly 模型，google 的 T5 是 encoderdecoder 模型，众多 AI 助手多为 decoderonly 模型。 2. 数据和参数：预训练数据量大，往往来自互联网，包括论文、代码、公开网页等，参数多，如 OpenAI 在 2020 年发布的 GPT3 已达到 170B 的参数。
2025-02-18
什么是大模型一体机
大模型一体机是一个相对复杂的概念。通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。其本质是两个文件：一个是参数文件，类似于问答机器人的“大脑镜像”，负责处理和生成文本信息；另一个是包含运行这些参数的代码文件。 大模型的训练和使用过程可以类比为上学参加工作： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为了让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。 大模型的特点包括： 1. 预训练数据非常大，往往来自互联网上的论文、代码、公开网页等，一般用 TB 级别的数据进行预训练。 2. 参数非常多，如 Open 在 2020 年发布的 GPT3 就已达到 170B 的参数。 在架构方面，大模型有 encoderonly、encoderdecoder、decoderonly 等类型。目前常见的 AI 助手多采用 decoderonly 架构。
2025-02-18
传统AI、大模型、AGI的区别
传统 AI、大模型、AGI 存在以下区别： 传统 AI： 语音技能 NLU 通常通过一系列规则、分词策略等训练而成。 运作逻辑规律可观测，具有 ifelse 式的逻辑性。 大模型： 凭借海量数据在向量空间中学习知识的关联性。 运作逻辑难以观测，脱离了 ifelse 的层面。 Transformer 是其底层结构，是一个大参数（千亿级别）的回归方程，底层是 function loss 损失函数，能在一定 prompt condition 情况下，repeat 曾经出现过的数据内容，实现“生成”能力。 大语言模型是一个 perfect memory，repeat 曾经出现的内容。与 Alpha Go 相比，Alpha Go 是增强学习模型，有推理能力，而大语言模型这块很弱。 AGI（通用人工智能）： 部分人觉得 LLM（大语言模型）具有 AGI 潜力，但 LeCun 反对。 目前对于能否到达 AGI 阶段尚不明确。 在公众传播层面： AIGC 指用 Stable Diffusion 或 Midjourney 生成图像内容，后来泛指用 AI 生成音乐、图像、视频等内容。 LLM 指 NLP 领域的大语言模型，如 ChatGPT。 GenAI 是生成式人工智能模型，国内官方政策文件使用这个词相对科学，涵盖了 LLM 和 AIGC。 公众传播一般会混用上述名词，但底层是 transformer 结构。
2025-02-18
有哪些在企业内部落地应用AI大模型工具的实践案例？不要营销文案生成、代码开发助手、智能客服问答机器人这种太常见的
以下是一些在企业内部落地应用 AI 大模型工具的实践案例： 1. 阿里云百炼： 智能体应用：能够弥补大模型的不足，如回答私有领域问题、获取实时信息、回答专业问题等。适用于有企业官网、钉钉、微信等渠道，期望为客户提供产品咨询服务，以及缺少技术人员开发大模型问答应用的场景。典型场景包括私有领域知识问答、个性化聊天机器人、智能助手等。 内部业务助手：通过企业内部规章制度、部门结构、产品介绍等文档构建知识库，并借助 RAG 智能体实现内部知识问答功能。系统支持多源异构数据，并通过复杂文档解析和视觉增强技术，提升文档理解的准确性与深度。目前该功能已灰度上线，需提供 UID 并通过白名单进行开启。 2. 达摩院： AI 模特（虚拟换装）：支持虚拟换装、姿态编辑。 3. 电商零售： 推广文案写作：通过内置的多样化营销场景的文体模板，基于用户输入的创作主题以及参考素材，大模型即可为您生成对应的营销文案，为营销活动和宣传文案提供灵感和文案写作支持。 4. 泛企业： VOC 挖掘：是一个面向各类企业的 VOC 标签挖掘的工具。不论是用户的长短评论、帖子、还是用户和客服/销售的聊天记录、通话记录，都可以使用。通过选中或自定义标签，即可让大模型针对海量非结构化的 VOC 数据快速打标。相比于人工打标或规则打标准确率更高；对于业务标签变动频繁的情况，也能更敏捷、快速地影响。 5. 通义晓蜜：基于深度调优的对话大模型，为营销服类产品提供智能化升级所需的生成式摘要总结、质检、分析等能力应用。
2025-02-18