Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

除了ollama外还有什么好用

Answer

除了 Ollama 外，以下是一些好用的本地部署或相关的工具和框架：

  1. Google Gemma：Google 发布的家用版小模型，分别有 2b（20 亿参数）和 7b（70 亿参数）版本。相对千亿参数的大模型，这种小模型可能不适合解决特别复杂的任务，但从趋势上看是模型本地化提升基础操作效率的模板。小型的 llama 也支持本地部署。
  2. Langchain：支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，易于使用，适用于多种操作系统，同时支持 cpu 和 gpu。提供模型库，用户可从中下载不同模型，还支持自定义模型、API 和集成，社区贡献丰富。

如果您想了解更多关于这些工具和框架的详细信息，建议您进一步查阅相关资料。

Content generated by AI large model, please carefully verify (powered by aily)

References

[应用实例] 本地部署Google Gemma

作者：吵爷Google刚刚发布了家用版的小模型Gemma，分别为2b（20亿参数）和7b（70亿参数）版本。相对千亿参数的大模型，这种小模型可能不适合解决特别复杂的任务，但是从趋势上看应该是模型本地化提升基础操作效率的模板。类似之前国内发布的ChatGLM-6B。现在的部署环境比一年前要友好多了，首先提一下Ollama，Ollama是一个开源的大型语言模型服务，可以非常方便地部署最新版本的GPT模型并通过接口使用，支持热加载模型文件,无需重新启动即可切换不同的模型。除了Gemma，像小型的llama也支持本地部署。环境准备首先进入ollama.com，下载程序并安装（支持windows，linux和macos）查找cmd进入命令提示符，输入ollama-v检查版本，安装完成后版本应该显示0.1.26cls清空屏幕，接下来直接输入ollama run gemma运行模型（默认是2b），首次需要下载，需要等待一段时间，如果想用7b，运行ollama run gemma:7b完成以后就可以直接对话了，2个模型都安装以后，可以重复上面的指令切换。2b的反应速度非常快，但是能够互动的话题有限。7b我也试了下，能跑是能跑（我是3050显卡），但是会有明显的卡顿，输出内容的质量相对会高不少，但无论2b还是7b，对非英文语种的反馈都不是很稳定。2b测试7b测试另外模型里一些常用的内部指令/set显示设置界面可调整的设置项/show显示模型信息/load<model>加载一个已有模型/bye退出

本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG

1.支持多种大型语言模型：Ollama支持包括通义千问、Llama 2、Mistral和Gemma等在内的多种大型语言模型，这些模型可用于不同的应用场景。2.易于使用：Ollama旨在使用户能够轻松地在本地环境中启动和运行大模型，适用于macOS、Windows和Linux系统，同时支持cpu和gpu。3.模型库：Ollama提供了一个模型库，用户可以从中下载不同的模型。这些模型有不同的参数和大小，以满足不同的需求和硬件条件。Ollama支持的模型库可以通过https://ollama.com/library进行查找。4.自定义模型：用户可以通过简单的步骤自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。5.API和集成：Ollama还提供了REST API，用于运行和管理模型，以及与其他应用程序的集成选项。6.社区贡献：Ollama社区贡献丰富，包括多种集成插件和界面，如Web和桌面应用、Telegram机器人、Obsidian插件等。7.总的来说，Ollama是一个为了方便用户在本地运行和管理大型语言模型而设计的框架，具有良好的可扩展性和多样的使用场景。后面在捏Bot的过程中需要使用Ollama，我们需要先安装，访问以下链接进行下载安装。https://ollama.com/download/安装完之后，确保ollama后台服务已启动（在mac上启动ollama应用程序即可，在linux上可以通过ollama serve启动）。我们可以通过ollama list进行确认，当我们还没下载模型的时候，正常会显示空：可以通过ollama命令下载模型，目前，我下载了4个模型：几个模型简介如下:

盘盘：手机AI新时代轻松运行小型模型

Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。以下是其主要特点和功能概述：简化部署大型语言模型的过程，使得非专业用户也能方便地管理和运行复杂的模型。官方网站：https://ollama.com/[heading3]避坑操作[content]以下操作都在termux软件进行操作1.termux软件中执行命令apt-get update2.安装curl命令，apt install curl-y3.安装ollama命令，curl-fsSL https://ollama.com/install.sh|sh1.图一ollama安装过程；图二ollama安装完成1.termux软件中执行命令ollama serve1.后台运行termux软件（正常返回到手机桌面即可）2.返回桌面长按termux软件图标，选择New session，重新启动一个新termux连接1.新termux连接中执行命令./start-ubuntu.sh[heading4]命令集合[heading3]启动模型[content]我使用phi3模型来做演示1.termux软件中执行命令ollama run phi32.等待下载完成phi3模型，请耐心等待3.启动正常，可以正常使用phi3模型[heading4]命令集合[content]当然ollama还有很多其他模型，如有需要请ollama官网自行查看命令与下载。[heading2]简单结果输出[content]作者个人简介，如有问题可以直接连接作者。[Welcome to P.|盘盘个人杂志](https://g10npwhy4nv.feishu.cn/docx/U1Iqduc3mox5F8xmbUzcCC6qnof)

Others are asking
本地用Ollama部署模型，使用哪个ChatBox客户端好？
目前在本地使用 Ollama 部署模型时，没有特别突出或被广泛推荐的特定 ChatBox 客户端。不同的客户端可能在功能、界面和兼容性方面存在差异，您可以根据自己的需求和使用习惯进行选择和尝试。常见的一些客户端包括但不限于 Web 端的简单界面工具，或者一些具有特定功能扩展的桌面应用程序。但具体哪个最适合您，还需要您亲自测试和评估。
2025-03-27
ollama框架有哪些推荐
Ollama 是一个开源的框架，具有以下特点和功能： 1. 旨在简化在本地运行大型语言模型（LLM）的过程，提供了简单的 API 来创建、运行和管理模型，还有预构建模型库，降低使用门槛，适合初学者或非技术人员使用。 2. 支持多种大型语言模型，如通义千问、Llama 2、Mistral 和 Gemma 等，可用于不同应用场景。 3. 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 CPU 和 GPU。 4. 提供模型库，用户可从中下载不同模型，这些模型有不同参数和大小，以满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。 5. 支持用户自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。 6. 提供 REST API，用于运行和管理模型，以及与其他应用程序的集成选项。 7. 社区贡献丰富，包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 安装 Ollama 可通过官方下载地址 https://ollama.com/download 进行。安装完成后，可通过访问相关链接判断是否安装成功，在命令行中运行相应命令即可使用，如运行本地大模型的命令。还可通过 ollama list 确认模型下载情况。 此外，在 termux 软件中进行相关操作时，需执行如 aptget update、安装 curl 命令、安装 ollama 命令等。启动模型时，以 phi3 模型为例，在 termux 软件中执行命令 ollama run phi3 并等待下载完成。当然，Ollama 还有很多其他模型，如有需要可在 ollama 官网自行查看命令与下载。
2025-03-14
本地部署ollama+deep seek后怎么有效搭机械领域建知识库或微调为机械领域
以下是本地部署 ollama + deep seek 后有效搭建机械领域知识库或微调为机械领域的步骤： 1. 下载 Ollama 程序：官方网址为 https://ollama.com/ 。默认下载到 C 盘，若想修改安装目录到 D 盘，后续会有相关说明。下载完成后，右下角会出现 Ollama 的图标，打开命令行输入相应命令回车。根据自身独立显卡性能选择模型，如英伟达 2060Super 可选择 Deepseekr1:14b 的模型。若下载速度慢，可按 Ctrl+C 强制退出重新下载。下载完毕后，再下载一个嵌入模型，Ollama 的 bge 模型官方网址：https://ollama.com/library/bgem3 ，输入相应命令，下载好后直接退出终端。 2. 配置模型：返回 RAGFlow 中，打开右上角设置，进入模型提供商进行配置。选择 Ollama，并配置相关信息，基础 URL 按要求设置，设置完成后点击确定。 3. 导入嵌入模型：导入一个嵌入模型用于文本向量化。 4. 设置系统模型：完成相关设置。 5. 创建知识库：返回知识库，进入数据集，可导入文件或设置文件夹当作知识库，自行设置。导入完毕后，对文件进行解析，解析速度取决于本机 GPU 性能，越好的显卡解析越快。解析完成后，进行检索测试，测试没问题即可进入聊天界面，助理设置可自行设置。
2025-03-07
请给我找一个安装ollama-deep-researcher的完整教程，用于windows上。
很抱歉，目前没有关于在 Windows 上安装 ollamadeepresearcher 的完整教程。建议您通过以下途径获取相关信息： 1. 官方网站：访问 ollamadeepresearcher 的官方网站，查找针对 Windows 系统的安装指南。 2. 相关技术论坛：在专业的技术论坛上搜索相关主题，可能会有其他用户分享的安装经验和教程。 3. 视频平台：部分视频平台上可能有关于此软件在 Windows 上安装的演示视频。
2025-03-06
如何在电脑上用chatbox框架，使用ollama搭建deepseek模型
在电脑上使用 Chat Box 框架，通过 Ollama 搭建 DeepSeek 模型的步骤如下： 1. 阿里云百炼平台： 百炼平台的模型广场有各种模型，包括音频理解、视频理解等，通义的一些强模型也在其中。 百炼平台无需部署，可直接使用 DeepSeek R1 模型。 DeepSeek R1 模型的价格与各大平台差不多，有大量免费额度，如 100 万 token，不同版本的模型如 7B、14B、32B 等也送了 100 万 token，LLAVA 限时免费。 使用 DeepSeek R1 模型需要解锁和授权，没有授权按钮的需要对阿里云进行实名认证，可通过支付宝扫码或在右上角头像处进行，共学群里有相关指引。 在首页体验模型页面可对比不同模型的效果，如 V3 和 R1，R1 会先思考，速度较快。 多模态可以识别更多输入信息，如读文件、图片等，而 DeepSeek R1 本身不是多模态模型。 通过模型广场的 API 调用示例获取链接，截断后粘贴到 Chat Box 的设置中，添加自定义提供方，设置模型名称为 DeepSeek R1，并获取 API key。 API key 可删除旧的并重新创建，方便本地软件连接。 2. Docker + RAGFlow + Ollama 搭建： 返回 RAGFlow 中，打开右上角设置，进入模型提供商。 选择 Ollama，配置相关信息，模型取决于运行的模型。 配置基础 URL。 导入一个 embedding 模型，用于文本向量化。 设置系统模型设置。 进入数据集，导入文件，可设置文件夹当作知识库。 对文件进行解析，解析速度取决于本机 GPU 性能。 解析好之后，进入检索测试。 测试没问题，可进入聊天界面，助理设置可自行设置。 对于开源模型，如 DeepSeek、Llama 等，可以使用以下方式： 1. Inference Provider：使用 Together AI 等推理服务提供商，在线体验和调用各种开源模型。 2. LM Studio：使用 LM Studio 等本地应用程序，在个人电脑上运行和部署较小的开源模型。
2025-03-03
ollama是什么，使用场景有什么
Ollama 是一个开源的框架，旨在简化在本地运行大型语言模型（LLM）的过程。 它具有以下特点和优势： 1. 支持多种大型语言模型：包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 2. 易于使用：适用于 macOS、Windows 和 Linux 系统，支持 CPU 和 GPU，能让用户轻松在本地环境中启动和运行大模型。 3. 模型库：提供丰富的模型库，用户可从中下载不同参数和大小的模型以满足不同需求和硬件条件，通过 https://ollama.com/library 查找。 4. 自定义模型：用户能通过简单步骤自定义模型，如修改温度参数调整创造性和连贯性，或设置特定系统消息。 5. API 和集成：提供 REST API 用于运行和管理模型，以及与其他应用程序的集成选项。 6. 社区贡献丰富：包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 总的来说，Ollama 是一个高效、功能齐全的大模型服务工具，不仅适用于自然语言处理研究和产品开发，也适合初学者或非技术人员使用，特别是那些希望在本地与大型语言模型交互的用户。 其使用场景包括但不限于： 1. 自然语言处理研究。 2. 产品开发。 安装方法：官方下载地址为 https://ollama.com/download 。安装完成后，在 macOS 上启动 ollama 应用程序，在 Linux 上通过 ollama serve 启动，可通过 ollama list 确认是否安装成功。运行大模型时，在命令行中输入相应命令即可，模型会自动下载到本地。在 Python 程序中使用时，需确保 ollama 服务已开启并下载好模型。
2025-02-22
有哪些好用的法律ai
以下是一些好用的法律 AI 应用场景和示例： 1. 诉讼策略制定： AI 将基于商标法等相关条款和案例法，为商标侵权案件提供诉讼策略，包括对原告商标权利的分析、被告侵权行为的评估、关键证据搜集建议、法律抗辩点及和解或调解策略。 其他例子： 为专利侵权案件制定诉讼策略，分析专利有效性、被告侵权行为及抗辩理由，提出证明侵权和计算损害赔偿的建议。 针对劳动合同纠纷案件，分析员工权益和雇主责任，提出诉讼策略，包括主张权益、证据收集重点及证明雇主违约行为。 在知识产权许可诉讼中，分析许可协议条款和双方权利义务，提出诉讼策略，包括证明许可协议违反、计算损失赔偿及可能的合同解除条件。 模拟法庭，如模拟商业合同违约的法庭审理，分析双方论点、证据和法律依据，预测判决结果，给出优化法庭陈述和证据呈现的建议。 2. 法律意见书撰写： AI 根据案件背景、证据材料和法律法规，自动撰写初步法律意见书，包含案件事实梳理、法律分析和结论。 其他例子： 针对商业秘密泄露案件，分析法律责任和赔偿范围，撰写法律意见书，提供应对策略。 为计划上市的公司提供关于公司治理结构的法律意见书，确保符合相关法规要求。 就消费者权益保护案件提供法律意见，分析商家赔偿责任和消费者维权途径，制定应对措施。 起草股权转让协议，包括转让方和受让方信息、股权转让份额、价格、支付方式和时间表、先决条件、双方权利义务、保密、违约责任和争议解决条款等。 3. 指令风格和技巧： 可指定 AI 模仿某位资深律师的逻辑严谨和言简意赅的风格，使其提供的信息更符合专业律师的沟通和表达习惯。 运用 PEMSSC 方法，如选择个性化的风格、给出参考或逻辑结构、从多个角度思考、进行总结概括、使用分隔符号区分等。 个性化风格：选择幽默且富有洞察力的风格，融入创新视角。 参考和逻辑结构：在提供法律建议时，采用 SWOT 分析法或 4P 原则等逻辑结构。 多角度思考：在分析商事诉讼时，从市场趋势、竞争对手行为、战略规划、财务状况和市场前景等角度思考诉讼策略。
2025-04-18
我想找一个好用的ai绘画，有什么推荐吗
以下是为您推荐的一些好用的 AI 绘画平台： 1. Midjourney：综合体验较好，尤其是其 v6 版本。 2. 可灵 AI：成熟的综合类工具。 3. 即梦 AI：成熟的综合类工具。 4. Krea：集成平台。 5. MewXAI：操作简单，功能丰富，包括 MX 绘画、MX Cute、MJ 绘画、边缘检测、室内设计、姿态检测、AI 艺术二维码、AI 艺术字等。访问地址：https://www.mewxai.cn/
2025-04-15
对于用cursor来开发，有没有好好用prompt来使cursor变得更加好用
以下是关于如何用 prompt 使 Cursor 变得更好用的相关内容： 在 prompt 方面，Devin 有一个特别有帮助的文档（https://docs.devin.ai/learnaboutdevin/prompting），它会教您什么样的 prompt 在与 Devin 沟通时最有效，比如明确定义成功的标准，如跑通某个测试或访问某个链接能对得上等。将同样的原则应用到 Cursor 中，会发现 Cursor 变得聪明很多，能自主验证任务完成情况并进行迭代。 Cursor 在生成单测方面表现出色。相对 GPT 等工具，Cursor 解决了上下文缺失和难以实现增量更新的问题。它可以向量化整个代码仓库，在生成单测代码时能同时提供目标模块及对应的上下游模块代码，生成结果更精确。例如，使用适当的 Prompt 能返回基于 Vitest 的结果，调整成本较小。 Cursor 支持使用.cursorrules 文件设定项目的系统提示词，针对不同语言可设定不同的 Prompt。@AIChain 花生做了一个 Cursor 插件解决提示语管理问题，可选择不同的.cursorrules 文件，还可从 https://cursor.directory/ 和 https://cursorlist.com/ 寻找提示词。此外，还有一个提示语小技巧，给已有的提示语追加上特定规则，可使模型在搜索资源和思考时默认使用英语，回复转换成中文，或更灵活地根据提问语言进行回复。
2025-04-14
介绍下即梦3.0的模型，为什么很多人说它好用
即梦 3.0 模型具有以下显著特点，这也是很多人认为它好用的原因： 1. 超真实： 质感提升：图片不再有磨皮过度的“假脸感”、“油腻感”，皮肤纹理、物品材质更自然。 情绪到位：人物表情不再僵硬或眼神空洞，能表现出更细腻、更有感染力的情绪，如开心、严肃、沮丧落泪等。 2. 超高清：默认能生成 1K 分辨率图片，还支持到 2K，画面更清晰，结构更准确。 3. 超专业： 影像大师：能更精准地理解电影类型（如恐怖片、爱情片、公路片）和镜头语言（如大特写、鱼眼镜头、俯视视角）。 动漫高手：动漫风格更多元（日漫、国漫、皮克斯风等），细节更丰富，色彩更统一，告别“抠图感”。 文字设计：不仅能准确生成大字、小字，还支持超多字体（细体、粗体、可爱体、毛笔字、涂鸦体等），排版更专业、更有设计感。 4. 超智能：能更好地理解自然语言描述，简单的指令也能出好图，支持“一句话 P 图”的自然语言编辑能力。 此外，即梦 3.0 在文字处理方面表现出色，不仅提升了大字的准确性、设计感和丰富度，还大幅解决了小字的稳定性问题。相比之下，在中文场景中，其他模型可能存在一些局限性，如 GPT4o 可能存在不识别某些中文字、难以生成特别设计感的字体等问题。而即梦 3.0 作为中文 AI 绘图模型，在中文的表现性上对国内用户更有用且友好。
2025-04-14
现在比较好用的AI硬件工具推荐一下，比如鼠标，眼镜，耳机啥的
以下是为您推荐的一些 AI 硬件工具： 1. 对于将 Raspberry Pi 连接到其他设备的配件，您可以参考： 防止过热的散热器 MicroUSB 转 USB 适配器，用于 Logitech 键盘的无线传感器 用于显示器的 MiniHDMI 转 HDMI 适配器 键盘和鼠标：推荐 2. 在可穿戴方面，以 GenAI 硬件为例，Meta 雷朋眼镜是具有代表性的产品。您还可以查看 GenAI 硬件榜单获取更多信息，比如： ，该榜单包含多个分类，数据来源包括 google、tiktok、twitter、亚马逊等。
2025-04-13
国内好用的文档排版AI工具
以下是国内一些好用的文档排版 AI 工具： 1. Grammarly：不仅是语法和拼写检查工具，还提供排版功能，可改进文档整体风格和流畅性。 2. QuillBot：AI 驱动的写作和排版工具，能改进文本清晰度和流畅性，保持原意。 3. Latex：虽不是纯粹的 AI 工具，但在学术论文排版方面广泛使用，有许多 AI 辅助的编辑器和插件简化排版过程。 4. PandaDoc：文档自动化平台，使用 AI 帮助创建、格式化和自动化文档生成，适合商业和技术文档。 5. Wordtune：AI 写作助手，重新表述和改进文本，使其更清晰专业，保持原始意图。 6. Overleaf：在线 Latex 编辑器，提供丰富模板和协作工具，适合学术写作和排版。 选择合适的工具取决于您的具体需求，如文档类型、出版标准和个人偏好。对于学术论文，Latex 和 Overleaf 受欢迎；对于一般文章和商业文档，Grammarly 和 PandaDoc 等可能更适用。 此外，还有一些与文档相关的 AI 工具，如文章润色工具： 1. Wordvice AI：集校对、改写转述和翻译等功能于一体，基于大型语言模型提供全面的英文论文润色服务。 2. ChatGPT：由 OpenAI 开发的大型语言模型，可用于多方面写作辅助。 3. Quillbot：人工智能文本摘要和改写工具，可用于快速筛选和改写文献资料。 4. HyperWrite：基于 AI 的写作助手和大纲生成器，帮助用户在写作前进行头脑风暴和大纲规划。 5. Wordtune：AI 驱动的文本改写和润色工具，优化文章语言表达。 6. Smodin：提供 AI 驱动的论文撰写功能，可根据输入生成符合要求的学术论文。 制作 PPT 的 AI 工具： 1. Gamma：在线 PPT 制作网站，通过输入文本和想法提示快速生成幻灯片，支持嵌入多媒体格式。 2. 美图 AI PPT：由美图秀秀开发团队推出，通过输入简单文本描述生成专业 PPT 设计，包含丰富模板库和设计元素。 3. Mindshow：AI 驱动的 PPT 辅助工具，提供自动布局、图像选择和文本优化等智能设计功能。 4. 讯飞智文：科大讯飞推出的 AI 辅助文档编辑工具，利用语音识别和自然语言处理技术优势，提供智能文本生成、语音输入、文档格式化等功能。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-04-13