Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何在本机上安装ollama

Answer

在本机上安装 Ollama 的步骤如下：

  1. 点击进入 https://ollama.com/download ，根据您的电脑系统下载 Ollama。
  2. 下载完成后，双击打开，点击“Install”进行安装。
  3. 安装完成后，将 http://127.0.0.1:11434/ 复制进浏览器中。如果出现相关字样，表示安装完成。

此外，还需注意：

  • 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）：
    • 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车。
    • 如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。
    • 复制相关命令行，粘贴进入，点击回车。
  • 安装完之后，确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序即可，在 linux 上可以通过 ollama serve 启动）。可以通过 ollama list 进行确认。还可以通过 ollama 命令下载模型。
Content generated by AI large model, please carefully verify (powered by aily)

References

张梦飞：【全网最细】从LLM大语言模型、知识库到微信机器人的全本地部署教程

我们需要进行部署的有三大部分1、本地部署大语言模型2、本地部署FastGPT+OneAPI3、本地部署HOOK项目或COW[heading1]一、部署大语言模型[content]一、下载并安装Ollama1、点击进入，根据你的电脑系统，下载Ollama：https://ollama.com/download2、下载完成后，双击打开，点击“Install”3、安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成http://127.0.0.1:11434/二、下载qwen2:0.5b模型（0.5b是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）1、如果你是windows电脑，点击win+R输入cmd，点击回车如果你是Mac电脑，按下Command（⌘）+Space键打开Spotlight搜索。输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。2、复制以下命令行，粘贴进入，点击回车：3、回车后，会开始自动下载，等待完成（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了）4、下载完成后你会发现，大模型已经在本地运行了。输入文本即可进行对话。

本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG

1.支持多种大型语言模型：Ollama支持包括通义千问、Llama 2、Mistral和Gemma等在内的多种大型语言模型，这些模型可用于不同的应用场景。2.易于使用：Ollama旨在使用户能够轻松地在本地环境中启动和运行大模型，适用于macOS、Windows和Linux系统，同时支持cpu和gpu。3.模型库：Ollama提供了一个模型库，用户可以从中下载不同的模型。这些模型有不同的参数和大小，以满足不同的需求和硬件条件。Ollama支持的模型库可以通过https://ollama.com/library进行查找。4.自定义模型：用户可以通过简单的步骤自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。5.API和集成：Ollama还提供了REST API，用于运行和管理模型，以及与其他应用程序的集成选项。6.社区贡献：Ollama社区贡献丰富，包括多种集成插件和界面，如Web和桌面应用、Telegram机器人、Obsidian插件等。7.总的来说，Ollama是一个为了方便用户在本地运行和管理大型语言模型而设计的框架，具有良好的可扩展性和多样的使用场景。后面在捏Bot的过程中需要使用Ollama，我们需要先安装，访问以下链接进行下载安装。https://ollama.com/download/安装完之后，确保ollama后台服务已启动（在mac上启动ollama应用程序即可，在linux上可以通过ollama serve启动）。我们可以通过ollama list进行确认，当我们还没下载模型的时候，正常会显示空：可以通过ollama命令下载模型，目前，我下载了4个模型：几个模型简介如下:

【保姆级】Meta Llama 3爆火，一步一图教你如何将它部署到电脑上，据为己有 （Ollama+Open WebUI）

原创UU大王Equity AI 2024-04-23 13:06河南原文地址：https://mp.weixin.qq.com/s/zm3YFZSVGlazSebN6rCtYw[heading2]前言[content]本文教你如何将Meta Llama3部署到你自己的电脑上进行使用。本文依然适合“小白中的小白”使用，不做讲解，一步一图。本教程相对COW机器人，更加简单，所以，不需要畏难，相信自己，跟着操作一定可以完成。后续会出详细的结构化讲解，先完成，再了解，相信对你会更有帮助。建议电脑打开此文[heading2]一、下载并安装Ollama[content]1、复制进浏览器，根据你的电脑系统，下载：https://ollama.com/download2、下载完成后，双击打开，点击“Install”3、安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成http://127.0.0.1:11434/

Others are asking
类似于ollama和vllm这样的LLM 框架有哪些
以下是类似于 ollama 和 vllm 的 LLM 框架： 1. Encoderonly 框架（也叫 AutoEncoder），典型代表如 BERT 等。 2. Encoderdecoder 框架，典型代表如 T5 和 GLM 等。 3. Decoderonly 框架（也叫 AutoRegressive），典型代表如 GPT 系列、LLaMa、PaLM 等。 此外，还有一些在 LLM 应用中发挥重要作用的框架，如： 1. LangChain：是当前大模型应用开发的主流框架之一，提供了一系列工具和接口，其核心在于“链”概念，包括 Model I/O、Retrieval、Chains、Agents、Memory 和 Callbacks 等组件，生态系统还包括 LangSmith、LangGraph 和 LangServe 等工具。 2. LlamaIndex：在促进 LLM 和整合上下文数据方面表现出色，抽象出许多提示链的细节，与外部 API 的接口，从向量数据库检索上下文数据，并在多个 LLM 调用中维持内存。
2025-02-17
Ollama配置
以下是关于 Ollama 配置的详细步骤： 1. 进入 ollama.com 下载程序并安装，该程序支持 Windows、Linux 和 MacOS 系统。 2. 查找 cmd 进入命令提示符（Windows 系统）或通过相应方式进入终端（Mac 系统），输入“ollama v”检查版本，安装完成后版本应显示 0.1.26。 3. 输入“cls”清空屏幕，然后直接输入“ollama run gemma”运行模型（默认是 2b 版本），首次需要下载，需等待一段时间。若想用 7b 版本，运行“ollama run gemma:7b”。 4. 完成以上操作后就可以直接对话。2b 版本的反应速度快，但能互动的话题有限。7b 版本能运行，但可能会有卡顿，输出内容质量相对较高，但无论 2b 还是 7b，对非英文语种的反馈都不是很稳定。 5. 模型里一些常用的内部指令：“/set”显示设置界面可调整的设置项，“/show”显示模型信息。 另外，还有一种部署 Ollama 的方式： 1. 点击进入 ollama.com 根据电脑系统下载 Ollama。 2. 下载完成后，双击打开，点击“Install”。 3. 安装完成后，将“http://127.0.0.1:11434/”复制进浏览器中，若出现相应字样，表示安装完成。 4. 下载 qwen2:0.5b 模型（可根据自身设备情况选择更大的模型）。 对于 Windows 电脑，点击 win+R，输入 cmd 点击回车。 对于 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 5. 复制相关命令行，粘贴进入并回车，等待下载完成。下载完成后，大模型已在本地运行，输入文本即可进行对话。
2025-02-16
Ollama
以下是关于 Ollama 的相关信息： 打标工具安装： 先去下载并安装 Ollama，然后打开 Powershell 运行相关命令。 Win 编辑 run_win.ps1 文件，Mac 编辑 run_mac.sh 文件，将目录中的图片路径和触发词填写，运行即可。 对于 Windows 版，打开 WebUI，找到 Tagger 选项卡，如果没有则参考教程安装插件。 前往 https://github.com/starik222/BooruDatasetTagManager/releases 下载软件包，解压缩后双击运行即可。 本地部署资讯问答机器人： 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 cpu 和 gpu。 提供模型库，可通过 https://ollama.com/library 查找并下载不同模型，以满足不同需求和硬件条件。 支持自定义模型，可修改模型的温度参数等设置特定的系统消息。 提供 REST API 用于运行和管理模型，以及与其他应用程序的集成选项。 社区贡献丰富，包括多种集成插件和界面。 安装时访问 https://ollama.com/download/ ，安装完后确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序，在 linux 上通过 ollama serve 启动），可通过 ollama list 确认。 应用实例本地部署 Google Gemma： 环境准备：进入 ollama.com 下载程序并安装（支持 windows、linux 和 macos），在命令提示符中输入 ollama v 检查版本，安装完成后版本应为 0.1.26，cls 清空屏幕，输入 ollama run gemma 运行模型（默认 2b），首次需下载，想用 7b 则运行 ollama run gemma:7b 。 常用内部指令：/set 显示设置界面可调整的设置项，/show 显示模型信息，/load<model> 加载已有模型，/bye 退出。 2b 反应速度快但互动话题有限，7b 输出内容质量相对较高但有卡顿，对非英文语种反馈不稳定。
2025-02-06
除了ollama外还有什么好用
除了 Ollama 外，以下是一些好用的本地部署或相关的工具和框架： 1. Google Gemma：Google 发布的家用版小模型，分别有 2b（20 亿参数）和 7b（70 亿参数）版本。相对千亿参数的大模型，这种小模型可能不适合解决特别复杂的任务，但从趋势上看是模型本地化提升基础操作效率的模板。小型的 llama 也支持本地部署。 2. Langchain：支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，易于使用，适用于多种操作系统，同时支持 cpu 和 gpu。提供模型库，用户可从中下载不同模型，还支持自定义模型、API 和集成，社区贡献丰富。 如果您想了解更多关于这些工具和框架的详细信息，建议您进一步查阅相关资料。
2025-02-03
如何将ollama下载到其他盘中
要将 ollama 下载到其他盘，您可以按照以下步骤进行操作： 1. 新建环境变量：ollama 默认的模型保存路径为 Windows:C:\\Users\\%username%\\.ollama\\models 。添加环境变量添加 OLLAMA_MODELS 环境变量。 2. 进入 ollama 官网下载：地址为 https://ollama.com/ 。 3. 下载语言模型：模型地址为 https://ollama.com/library 。 选择 llama 模型下载至本地。 选择本地文件夹，在 CMD 后粘贴刚才复制的命令。 开始下载，下载完成并测试。 4. 下载图像模型：模型地址为 https://ollama.com/library 。 选择 llava 模型下载至本地。 选择本地文件夹，在 CMD 后粘贴刚才复制的命令。 开始下载，下载成功。 5. 在 Comfy 中使用： 下载并安装 ollama 节点，下载地址： ，下载完成后安装到节点目录。 在 Comfy 中调用。 此外，还有以下相关信息供您参考： 为了应对没下载大模型带来的报错，需要下载大模型。首先，下载 ollama，网站： 网站中，复制代码。然后，像建议一样打开 ComfyUi 根目录下的 custom_nodes\\ComfyUiOllamaYN 的文件路径，在上方的路径下输入 cmd，进入到下方的命令行，右键即可粘贴刚才的代码，等待下载即可。 部署大语言模型： 下载并安装 Ollama：点击进入，根据您的电脑系统，下载 Ollama：https://ollama.com/download 。下载完成后，双击打开，点击“Install”。安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 。 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 windows 电脑，点击 win+R ，输入 cmd，点击回车。如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制以下命令行，粘贴进入，点击回车。回车后，会开始自动下载，等待完成。（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了）下载完成后您会发现，大模型已经在本地运行了。输入文本即可进行对话。
2025-01-13
如何部署ollama
以下是部署 Ollama 的详细步骤： 1. 下载并安装 Ollama： 根据您的电脑系统，点击进入 https://ollama.com/download 下载 Ollama。 下载完成后，双击打开，点击“Install”。 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）： 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车。 如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制以下命令行，粘贴进入，点击回车。 回车后，会开始自动下载，等待完成。（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了） 下载完成后您会发现，大模型已经在本地运行了。输入文本即可进行对话。 3. 部署 Google Gemma： 首先进入 ollama.com，下载程序并安装（支持 windows，linux 和 macos）。 查找 cmd 进入命令提示符，输入 ollama v 检查版本，安装完成后版本应该显示 0.1.26，cls 清空屏幕，接下来直接输入 ollama run gemma 运行模型（默认是 2b），首次需要下载，需要等待一段时间，如果想用 7b，运行 ollama run gemma:7b 。 完成以后就可以直接对话了，2 个模型都安装以后，可以重复上面的指令切换。 4. 安装 Docker Desktop： 点击/复制到浏览器去下载 https://docs.docker.com/desktop/install/windowsinstall/ 。 下载后，双击下载项目，出现下图，点击 ok，开始加载文件。注意！！！！这里下载相对比较快，下载完成后，不要点击“close and restart”，因为这样会直接重启，导致 llama3 下载中断。 这里先不点击，等待终端的模型下载完成后，再点击重启。 重启后，点击：“Accept” 。 选择第一个，点击"Finish" 。 然后会提示您注册账号，如果打不开网页，就需要科学上网了。 按照正常的注册流程，注册账号，并登录 Docker 即可。登录后会进入 Docker Desktop。此处完成。 5. 下载 Open WebUI： 回到桌面，再打开一个新的终端窗口（可以放心多个窗口，不会互相影响）。 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车。 如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 将以下命令输入，等待下载。 出现上图，即是下载完成。 点击或复制下方地址进入浏览器：http://localhost:3000/auth/ 。 点击进行注册即可，注册输入昵称、邮箱、密码。注册完即可登录进入。 登入后，看到如下页面，点击顶部的 Model，选择“llama3:8b”。 完成。您已经拥有了一个属于自己的本地大语言模型。可以开始与他对话啦！ps.他的回复速度，取决于您的电脑配置。
2025-01-13