Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

除了ollama外还有什么好用

Answer

除了 Ollama 外，以下是一些好用的本地部署或相关的工具和框架：

  1. Google Gemma：Google 发布的家用版小模型，分别有 2b（20 亿参数）和 7b（70 亿参数）版本。相对千亿参数的大模型，这种小模型可能不适合解决特别复杂的任务，但从趋势上看是模型本地化提升基础操作效率的模板。小型的 llama 也支持本地部署。
  2. Langchain：支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，易于使用，适用于多种操作系统，同时支持 cpu 和 gpu。提供模型库，用户可从中下载不同模型，还支持自定义模型、API 和集成，社区贡献丰富。

如果您想了解更多关于这些工具和框架的详细信息，建议您进一步查阅相关资料。

Content generated by AI large model, please carefully verify (powered by aily)

References

[应用实例] 本地部署Google Gemma

作者：吵爷Google刚刚发布了家用版的小模型Gemma，分别为2b（20亿参数）和7b（70亿参数）版本。相对千亿参数的大模型，这种小模型可能不适合解决特别复杂的任务，但是从趋势上看应该是模型本地化提升基础操作效率的模板。类似之前国内发布的ChatGLM-6B。现在的部署环境比一年前要友好多了，首先提一下Ollama，Ollama是一个开源的大型语言模型服务，可以非常方便地部署最新版本的GPT模型并通过接口使用，支持热加载模型文件,无需重新启动即可切换不同的模型。除了Gemma，像小型的llama也支持本地部署。环境准备首先进入ollama.com，下载程序并安装（支持windows，linux和macos）查找cmd进入命令提示符，输入ollama-v检查版本，安装完成后版本应该显示0.1.26cls清空屏幕，接下来直接输入ollama run gemma运行模型（默认是2b），首次需要下载，需要等待一段时间，如果想用7b，运行ollama run gemma:7b完成以后就可以直接对话了，2个模型都安装以后，可以重复上面的指令切换。2b的反应速度非常快，但是能够互动的话题有限。7b我也试了下，能跑是能跑（我是3050显卡），但是会有明显的卡顿，输出内容的质量相对会高不少，但无论2b还是7b，对非英文语种的反馈都不是很稳定。2b测试7b测试另外模型里一些常用的内部指令/set显示设置界面可调整的设置项/show显示模型信息/load<model>加载一个已有模型/bye退出

本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG

1.支持多种大型语言模型：Ollama支持包括通义千问、Llama 2、Mistral和Gemma等在内的多种大型语言模型，这些模型可用于不同的应用场景。2.易于使用：Ollama旨在使用户能够轻松地在本地环境中启动和运行大模型，适用于macOS、Windows和Linux系统，同时支持cpu和gpu。3.模型库：Ollama提供了一个模型库，用户可以从中下载不同的模型。这些模型有不同的参数和大小，以满足不同的需求和硬件条件。Ollama支持的模型库可以通过https://ollama.com/library进行查找。4.自定义模型：用户可以通过简单的步骤自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。5.API和集成：Ollama还提供了REST API，用于运行和管理模型，以及与其他应用程序的集成选项。6.社区贡献：Ollama社区贡献丰富，包括多种集成插件和界面，如Web和桌面应用、Telegram机器人、Obsidian插件等。7.总的来说，Ollama是一个为了方便用户在本地运行和管理大型语言模型而设计的框架，具有良好的可扩展性和多样的使用场景。后面在捏Bot的过程中需要使用Ollama，我们需要先安装，访问以下链接进行下载安装。https://ollama.com/download/安装完之后，确保ollama后台服务已启动（在mac上启动ollama应用程序即可，在linux上可以通过ollama serve启动）。我们可以通过ollama list进行确认，当我们还没下载模型的时候，正常会显示空：可以通过ollama命令下载模型，目前，我下载了4个模型：几个模型简介如下:

盘盘：手机AI新时代轻松运行小型模型

Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。以下是其主要特点和功能概述：简化部署大型语言模型的过程，使得非专业用户也能方便地管理和运行复杂的模型。官方网站：https://ollama.com/[heading3]避坑操作[content]以下操作都在termux软件进行操作1.termux软件中执行命令apt-get update2.安装curl命令，apt install curl-y3.安装ollama命令，curl-fsSL https://ollama.com/install.sh|sh1.图一ollama安装过程；图二ollama安装完成1.termux软件中执行命令ollama serve1.后台运行termux软件（正常返回到手机桌面即可）2.返回桌面长按termux软件图标，选择New session，重新启动一个新termux连接1.新termux连接中执行命令./start-ubuntu.sh[heading4]命令集合[heading3]启动模型[content]我使用phi3模型来做演示1.termux软件中执行命令ollama run phi32.等待下载完成phi3模型，请耐心等待3.启动正常，可以正常使用phi3模型[heading4]命令集合[content]当然ollama还有很多其他模型，如有需要请ollama官网自行查看命令与下载。[heading2]简单结果输出[content]作者个人简介，如有问题可以直接连接作者。[Welcome to P.|盘盘个人杂志](https://g10npwhy4nv.feishu.cn/docx/U1Iqduc3mox5F8xmbUzcCC6qnof)

Others are asking
如何将ollama下载到其他盘中
要将 ollama 下载到其他盘，您可以按照以下步骤进行操作： 1. 新建环境变量：ollama 默认的模型保存路径为 Windows:C:\\Users\\%username%\\.ollama\\models 。添加环境变量添加 OLLAMA_MODELS 环境变量。 2. 进入 ollama 官网下载：地址为 https://ollama.com/ 。 3. 下载语言模型：模型地址为 https://ollama.com/library 。 选择 llama 模型下载至本地。 选择本地文件夹，在 CMD 后粘贴刚才复制的命令。 开始下载，下载完成并测试。 4. 下载图像模型：模型地址为 https://ollama.com/library 。 选择 llava 模型下载至本地。 选择本地文件夹，在 CMD 后粘贴刚才复制的命令。 开始下载，下载成功。 5. 在 Comfy 中使用： 下载并安装 ollama 节点，下载地址： ，下载完成后安装到节点目录。 在 Comfy 中调用。 此外，还有以下相关信息供您参考： 为了应对没下载大模型带来的报错，需要下载大模型。首先，下载 ollama，网站： 网站中，复制代码。然后，像建议一样打开 ComfyUi 根目录下的 custom_nodes\\ComfyUiOllamaYN 的文件路径，在上方的路径下输入 cmd，进入到下方的命令行，右键即可粘贴刚才的代码，等待下载即可。 部署大语言模型： 下载并安装 Ollama：点击进入，根据您的电脑系统，下载 Ollama：https://ollama.com/download 。下载完成后，双击打开，点击“Install”。安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 。 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 windows 电脑，点击 win+R ，输入 cmd，点击回车。如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制以下命令行，粘贴进入，点击回车。回车后，会开始自动下载，等待完成。（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了）下载完成后您会发现，大模型已经在本地运行了。输入文本即可进行对话。
2025-01-13
如何部署ollama
以下是部署 Ollama 的详细步骤： 1. 下载并安装 Ollama： 根据您的电脑系统，点击进入 https://ollama.com/download 下载 Ollama。 下载完成后，双击打开，点击“Install”。 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）： 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车。 如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制以下命令行，粘贴进入，点击回车。 回车后，会开始自动下载，等待完成。（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了） 下载完成后您会发现，大模型已经在本地运行了。输入文本即可进行对话。 3. 部署 Google Gemma： 首先进入 ollama.com，下载程序并安装（支持 windows，linux 和 macos）。 查找 cmd 进入命令提示符，输入 ollama v 检查版本，安装完成后版本应该显示 0.1.26，cls 清空屏幕，接下来直接输入 ollama run gemma 运行模型（默认是 2b），首次需要下载，需要等待一段时间，如果想用 7b，运行 ollama run gemma:7b 。 完成以后就可以直接对话了，2 个模型都安装以后，可以重复上面的指令切换。 4. 安装 Docker Desktop： 点击/复制到浏览器去下载 https://docs.docker.com/desktop/install/windowsinstall/ 。 下载后，双击下载项目，出现下图，点击 ok，开始加载文件。注意！！！！这里下载相对比较快，下载完成后，不要点击“close and restart”，因为这样会直接重启，导致 llama3 下载中断。 这里先不点击，等待终端的模型下载完成后，再点击重启。 重启后，点击：“Accept” 。 选择第一个，点击"Finish" 。 然后会提示您注册账号，如果打不开网页，就需要科学上网了。 按照正常的注册流程，注册账号，并登录 Docker 即可。登录后会进入 Docker Desktop。此处完成。 5. 下载 Open WebUI： 回到桌面，再打开一个新的终端窗口（可以放心多个窗口，不会互相影响）。 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车。 如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 将以下命令输入，等待下载。 出现上图，即是下载完成。 点击或复制下方地址进入浏览器：http://localhost:3000/auth/ 。 点击进行注册即可，注册输入昵称、邮箱、密码。注册完即可登录进入。 登入后，看到如下页面，点击顶部的 Model，选择“llama3:8b”。 完成。您已经拥有了一个属于自己的本地大语言模型。可以开始与他对话啦！ps.他的回复速度，取决于您的电脑配置。
2025-01-13
ollama跟llama.cpp差异
Ollama 和 llama.cpp 存在以下差异： 1. 功能特点： Ollama 是一个开源的大型语言模型服务，能方便地部署最新版本的 GPT 模型并通过接口使用，支持热加载模型文件，无需重新启动即可切换不同模型。 llama.cpp 是将 Facebook 的 LLaMA 模型在 C/C++ 中的实现。 2. 部署和使用： Ollama 的安装和使用相对简单，例如在 Mac 系统中，可通过以下两步完成：打开 ollama.com 下载应用并安装；在终端输入相应指令运行模型。 llama.cpp 编译时为利用 Metal 的 GPU 有特定命令，还需下载模型，且提供了 WebUI 供用户使用。 3. 支持的模型： Ollama 支持如 Google Gemma 等小型模型的本地部署。 llama.cpp 支持 LLaMA 模型。 4. 性能表现： Ollama 中 2b 版本反应速度快但互动话题有限，7b 版本输出内容质量相对高但可能有卡顿，对非英文语种反馈不稳定。
2024-12-09
ollama windows 安装
以下是 Ollama 在 Windows 上的安装步骤： 1. 前往 下载并安装 Ollama。 2. 安装完成后，打开 Powershell 运行相关命令。 3. 编辑 Win 版的 run_win.ps1 文件，将目录中的图片路径和触发词填写，运行即可。 4. 还可以参考以下教程： 张梦飞的【全网最细】从 LLM 大语言模型、知识库到微信机器人的全本地部署教程： 点击进入，根据电脑系统，下载 Ollama：https://ollama.com/download 。 下载完成后，双击打开，点击“Install” 。 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 。 4SeasonYou 工作流副本： 首先，下载 ollama，网站： 。 其次，在网站中，复制代码。 然后，像建议一样打开 ComfyUi 根目录下的 custom_nodes\\ComfyUiOllamaYN 的文件路径，在上方的路径下输入 cmd ，进入到下方的命令行，右键即可粘贴刚才的代码，等待下载即可。
2024-11-17
ollama嵌入向量在模型后有什么用
嵌入向量在模型后的作用主要体现在以下方面： 1. 用于文档内容的表示和检索：将文档分成块，计算嵌入向量并存储在向量存储中，在测试时通过查询向量存储获取可能与任务相关的块，填充到提示中进行生成。 2. 提升模型的检索能力：在大语言模型应用程序中，向量存储成为检索相关上下文的主要方式，嵌入向量有助于更高效地获取相关信息。 3. 支持多语言和不同粒度的检索任务：例如像 bgem3 这样的向量模型，支持超过 100 种语言的语义表示及检索任务，能实现句子、段落、篇章、文档等不同粒度的检索。 在实际应用中，如在 LangChain 中，本地向量存储使用量较大，而在计算文本片段的嵌入时，OpenAI 占据主导地位，开源提供商如 Hugging Face 等也被较多使用。
2024-11-12
ollama下载链接
Ollama 的下载链接为：https://ollama.com/download 。 Ollama 具有以下特点： 1. 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 2. 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 CPU 和 GPU。 3. 提供模型库，用户可通过 https://ollama.com/library 查找并下载不同的模型，这些模型有不同参数和大小以满足不同需求和硬件条件。 4. 支持用户自定义模型，可通过简单步骤修改模型的温度参数等。 5. 提供 REST API 用于运行和管理模型，以及与其他应用程序的集成选项。 6. 社区贡献丰富，包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 安装完之后，确保 ollama 后台服务已启动（在 macOS 上启动 ollama 应用程序即可，在 Linux 上可以通过 ollama serve 启动）。可以通过 ollama list 进行确认。还可通过 ollama 命令下载模型。
2024-11-07
比较好用的PPT制作AI
以下是一些比较好用的 PPT 制作 AI 工具： 1. Gamma：这是一个在线 PPT 制作网站，允许用户通过输入文本和想法提示快速生成幻灯片。它支持嵌入多媒体格式，如 GIF 和视频，以增强演示文稿的吸引力。网址：https://gamma.app/ 2. 美图 AI PPT：由知名图像编辑软件“美图秀秀”的开发团队推出。用户通过输入简单的文本描述来生成专业的 PPT 设计，包含丰富的模板库和设计元素，可根据需求选择不同风格和主题的模板，适用于多种场合。网址：https://www.xdesign.com/ppt/ 3. Mindshow：一款 AI 驱动的 PPT 辅助工具，提供自动布局、图像选择和文本优化等智能设计功能，还可能包括互动元素和动画效果。网址：https://www.mindshow.fun/ 4. 讯飞智文：由科大讯飞推出的 AI 辅助文档编辑工具，利用科大讯飞在语音识别和自然语言处理领域的技术优势，提供智能文本生成、语音输入、文档格式化等功能。网址：https://zhiwen.xfyun.cn/ 在体验方面，有人认为 gamma 最好用，只要提供了内容框架，生成的 PPT/网页审美水平最高。此外，WPS AI 也表现出色，能帮助生成 PPT 大纲并进行优化，还能根据用户要求修改主题配色和字体。
2025-02-05
AnythingLLM 怎么用，好用吗
AnythingLLM 是一款功能强大的软件，具有以下特点和使用方法： 功能：包含了所有 Open WebUI 的能力，并且额外支持选择文本嵌入模型和向量数据库。 安装和配置：安装地址为 https://useanything.com/download 。安装完成后进入配置页面，主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。 构建本地知识库：其中有 Workspace 的概念，可以创建自己独有的 Workspace 与其他项目数据隔离。首先创建工作空间，然后上传文档并进行文本嵌入，接着选择对话模式，提供了 Chat 模式（大模型根据训练数据和上传文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案），最后进行测试对话。 相关评价：被认为是一个可打造成企业内部知识库的私人专属 GPT，能将任何文档、资源或内容转换为大语言模型（LLM）知识库，支持多用户使用，可设权限，兼容多种 LLM 和数据库。 总的来说，AnythingLLM 的使用效果因人而异，需要您亲自实践和体验来判断其是否好用。
2025-02-04
好用的ppt制作ai
以下是一些好用的制作 PPT 的 AI 工具： 1. Gamma：这是一个在线 PPT 制作网站，允许用户通过输入文本和想法提示快速生成幻灯片。它支持嵌入多媒体格式，如 GIF 和视频，以增强演示文稿的吸引力。网址：https://gamma.app/ 2. 美图 AI PPT：由知名图像编辑软件“美图秀秀”的开发团队推出。用户通过输入简单的文本描述来生成专业的 PPT 设计，包含丰富的模板库和设计元素，适用于多种场合。网址：https://www.xdesign.com/ppt/ 3. Mindshow：一款 AI 驱动的 PPT 辅助工具，提供自动布局、图像选择和文本优化等智能设计功能，还可能包括互动元素和动画效果。网址：https://www.mindshow.fun/ 4. 讯飞智文：由科大讯飞推出的 AI 辅助文档编辑工具，利用语音识别和自然语言处理领域的技术优势，提供智能文本生成、语音输入、文档格式化等功能。网址：https://zhiwen.xfyun.cn/ 此外，在体验 AI 生成 PPT 的产品中，gamma 被认为是最好用的。虽然还没有特别自动化，但从审美上来看，只要提供了内容框架，gamma 生成的 PPT/网页的审美水平最高。 另外，WPS AI 也能辅助制作 PPT，例如优化 PPT 大纲、快速生成 PPT 并进行主题配色和字体修改等。
2025-02-04
目前最好用的AI是那款
目前，在 AI 领域没有绝对意义上“最好用”的单一产品，不同的 AI 模型和工具在不同方面各有优势。 像 GPT4 这样的高级模型功能全面，还具备代码解释器等特色功能。Anthropic 公司开发的 Claude 3 Opus 在写作和深度洞察方面备受好评。Google 的 Gemini Advanced 擅长提供清晰的解释。 此外，国产的 Kimi 智能助手也是一个不错的选择，它不用科学上网、不用付费、支持实时联网，是国内最早支持 20 万字无损上下文的 AI，对长文理解表现出色。 在笔记本电脑方面，截止 2024 年 5 月，主流的 AI 笔记本电脑主要是一些专门为人工智能和深度学习设计的高性能移动工作站。一些知名品牌包括微软第 11 代 Surface Pro、微星 Creator/Workstation 系列、技嘉 Aero/Aorus 系列、戴尔 Precision 移动工作站、惠普 ZBook 移动工作站、联想 ThinkPad P 系列等。这些笔记本通常配备强大的 GPU（如 NVIDIA RTX 系列）、大容量内存和高速固态硬盘，还预装了相关深度学习框架和开发工具，但价格相对较高，通常在 2000 美元以上，用户可根据自身需求和预算选择合适型号，并关注散热、续航等实际使用体验。 需要注意的是，以上内容由 AI 大模型生成，请仔细甄别。
2025-02-03
哪款智能简历好用
以下是一些好用的智能简历工具： 1. ResumeMatcher：这是一款 AI 驱动的开源简历优化工具。它能提供智能关键词匹配、深入分析见解，提升简历通过 ATS 筛选的几率。采用 FastEmbed 计算简历与职位匹配度，结合 textacy 提取核心术语，精准优化简历内容。相关链接： 2. Kickresume 的 AI 简历写作器：使用 OpenAI 的 GPT4 语言模型自动生成简历，能为简历摘要、工作经验和教育等专业部分编写内容，并保持一致语调。 3. Rezi：是一个受到超过 200 万用户信任的领先 AI 简历构建平台，使用先进的 AI 技术自动化创建可雇佣简历的每个方面，包括写作、编辑、格式化和优化。 4. Huntr 的 AI 简历构建器：提供免费的简历模板，以及 AI 生成的总结/技能/成就生成器和 AI 驱动的简历工作匹配。 更多 AI 简历产品，还可以查看这里：https://www.waytoagi.com/category/79 您可以根据自己的需要选择最适合您的工具。
2025-02-03
给老照片上色，那个AI软件最好用而且免费
以下为您推荐一款可用于给老照片上色且效果较好的免费 AI 软件——Stable Diffusion。 在使用 Stable Diffusion 给老照片上色时，新上线的 controlnet 模型中的 Recolor 模型作用显著，可将黑白图片重新上色。对于人物照片还原，可选择 realisian 的写实大模型，提示词直接描述颜色和对应的内容。 ControlNet 选择 Recolor 时，预处理器选择“recolor_luminance”效果更佳。之后将照片放入后期处理，使用 GFPGAN 算法将人脸变清晰。若要将五官重绘及让照片中的头发、衣服等元素变清晰，可将图片发送到图生图中，打开 stableSR 脚本放大两倍，切换到 sd2.1 的模型进行修复，vae 选择 vqgan，提示词可不写以免干扰原图。 对于内容较多、无法一一指定颜色的照片，可能需要逐个上色后用 ps 进行融合。
2025-02-02