Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

Ollama

Answer

以下是关于 Ollama 的相关信息:

  • 在电脑上运行本地大模型的相对简化模式:
    • 步骤:
      1. 打开 Ollama 官网 https://ollama.com,下载应用并安装。
      2. 在 Mac 系统搜索 terminal 或终端,点击回车,弹出的简洁框框就是。输入想要运行的大模型(例如:ollama run llama2),并回车。等待下载完成,即可输入内容,和 llama2 愉快交流。
  • TagTool With Ollama 打标工具:
    • 先去Ollama 官网下载并安装 Ollama,然后打开 Powershell 运行相关命令。
    • Win 编辑 run_win.ps1 文件,Mac 编辑 run_mac.sh 文件,将目录中的图片路径和触发词填写,运行即可。
  • 从 LLM 大语言模型、知识库到微信机器人的全本地部署教程中的 Ollama 部署:
    • 步骤:
      1. 点击进入,根据电脑系统,在 https://ollama.com/download 下载 Ollama。
      2. 下载完成后,双击打开,点击“Install”。
      3. 安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 。
      4. 下载 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型)。
      5. 对于 Windows 电脑,点击 win+R,输入 cmd,点击回车;对于 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。复制相关命令行,粘贴进入,点击回车。等待下载完成即可。
Content generated by AI large model, please carefully verify (powered by aily)

References

如何在电脑上运行本地大模型?手把手教你从 hard 模式到 easy 模式

和第一个方案相比,Ollama的安装和使用,简直不要太简单,两步就搞定了步骤:1.打开Ollama https://ollama.com,下载应用并安装2.在Mac系统搜索terminal或终端,点击回车,弹出的那个简洁的框框就是。输入想要运行的大模型(例如:ollama run llama2),并回车。等待下载完成,即可输入内容,和llama2愉快的聊起来。当然,这个过程中,对于非技术同学最难的部分可能是「我不知道我的favorite terminal是啥」[heading3]超级简单模式:GPT4All[content]最简单的方案就是这个了,应该没有更简单的了,全程不用考虑「最喜欢的terminal是什么」GPT4All是一个用于运行大模型的浏览器,可安装、运行、管理本地大模型。步骤:1.打开GPT4All官网https://gpt4all.io,下载安装器,并按步骤完成安装。支持Windows、Mac、Linux2.打开安装好的GPT4All.app,选择或搜索任意一个大模型,即可下载并运行。在GPT4All官网有各个大模型的评测得分,选得分最高的下载,例如目前平均得分最高的是Nous-Hermes2。好了,现在可以愉快的在电脑上运行大模型了,从此「电脑」真正成为「电脑」了。是不是非常简单,欢迎分享你运行成功后的截图。如有疑问,欢迎加评论讨论。BGM:[New Boy](https://music.163.com/#/song?id=28996919)官网:waytoAGI.com知识库:[通往AGI之路](https://waytoagi.feishu.cn/wiki/QPe5w5g7UisbEkkow8XcDmOpn8e)我们的目标是让每个人因AI而强大

打标工具安装

先去[Ollama官网](https://www.ollama.com/)下载并安装Ollama,然后打开Powershell运行以下命令[heading4]Win安装教程[heading4]Mac安装教程[heading4]使用[content]Win编辑run_win.ps1文件,Mac编辑run_mac.sh文件,将目录中的图片路径和触发词填写,运行即可[heading3]GPT 4V打标工具[content]该工具需要使用GPT 4.0的API,3.5不可用,详情见兔狲大佬视频教程Windows版安装教程[heading3]WD1.4[content]打开WebUI,找到Tagger选项卡,如果没有的话说明没有安装插件,参考[插件安装](https://yyn6skjv3j.feishu.cn/wiki/GICawhF95inhcbkdl72c3vf6nMe)教程安装插件[heading3]BooruDatasetTagManager标签处理工具[content]前往https://github.com/starik222/BooruDatasetTagManager/releases下载软件包,解压缩后双击运行即可

张梦飞:【全网最细】从LLM大语言模型、知识库到微信机器人的全本地部署教程

我们需要进行部署的有三大部分1、本地部署大语言模型2、本地部署FastGPT+OneAPI3、本地部署HOOK项目或COW[heading1]一、部署大语言模型[content]一、下载并安装Ollama1、点击进入,根据你的电脑系统,下载Ollama:https://ollama.com/download2、下载完成后,双击打开,点击“Install”3、安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成http://127.0.0.1:11434/二、下载qwen2:0.5b模型(0.5b是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型)1、如果你是windows电脑,点击win+R输入cmd,点击回车如果你是Mac电脑,按下Command(⌘)+Space键打开Spotlight搜索。输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。2、复制以下命令行,粘贴进入,点击回车:3、回车后,会开始自动下载,等待完成(这里下载久了,可能会发现卡着不动,不知道下载了多少了。鼠标点击一下窗口,键盘点空格,就会刷新了)4、下载完成后你会发现,大模型已经在本地运行了。输入文本即可进行对话。

Others are asking
类似于ollama和vllm这样的LLM 框架有哪些
以下是类似于 ollama 和 vllm 的 LLM 框架: 1. Encoderonly 框架(也叫 AutoEncoder),典型代表如 BERT 等。 2. Encoderdecoder 框架,典型代表如 T5 和 GLM 等。 3. Decoderonly 框架(也叫 AutoRegressive),典型代表如 GPT 系列、LLaMa、PaLM 等。 此外,还有一些在 LLM 应用中发挥重要作用的框架,如: 1. LangChain:是当前大模型应用开发的主流框架之一,提供了一系列工具和接口,其核心在于“链”概念,包括 Model I/O、Retrieval、Chains、Agents、Memory 和 Callbacks 等组件,生态系统还包括 LangSmith、LangGraph 和 LangServe 等工具。 2. LlamaIndex:在促进 LLM 和整合上下文数据方面表现出色,抽象出许多提示链的细节,与外部 API 的接口,从向量数据库检索上下文数据,并在多个 LLM 调用中维持内存。
2025-02-17
Ollama配置
以下是关于 Ollama 配置的详细步骤: 1. 进入 ollama.com 下载程序并安装,该程序支持 Windows、Linux 和 MacOS 系统。 2. 查找 cmd 进入命令提示符(Windows 系统)或通过相应方式进入终端(Mac 系统),输入“ollama v”检查版本,安装完成后版本应显示 0.1.26。 3. 输入“cls”清空屏幕,然后直接输入“ollama run gemma”运行模型(默认是 2b 版本),首次需要下载,需等待一段时间。若想用 7b 版本,运行“ollama run gemma:7b”。 4. 完成以上操作后就可以直接对话。2b 版本的反应速度快,但能互动的话题有限。7b 版本能运行,但可能会有卡顿,输出内容质量相对较高,但无论 2b 还是 7b,对非英文语种的反馈都不是很稳定。 5. 模型里一些常用的内部指令:“/set”显示设置界面可调整的设置项,“/show”显示模型信息。 另外,还有一种部署 Ollama 的方式: 1. 点击进入 ollama.com 根据电脑系统下载 Ollama。 2. 下载完成后,双击打开,点击“Install”。 3. 安装完成后,将“http://127.0.0.1:11434/”复制进浏览器中,若出现相应字样,表示安装完成。 4. 下载 qwen2:0.5b 模型(可根据自身设备情况选择更大的模型)。 对于 Windows 电脑,点击 win+R,输入 cmd 点击回车。 对于 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 5. 复制相关命令行,粘贴进入并回车,等待下载完成。下载完成后,大模型已在本地运行,输入文本即可进行对话。
2025-02-16
如何在本机上安装ollama
在本机上安装 Ollama 的步骤如下: 1. 点击进入 https://ollama.com/download ,根据您的电脑系统下载 Ollama。 2. 下载完成后,双击打开,点击“Install”进行安装。 3. 安装完成后,将 http://127.0.0.1:11434/ 复制进浏览器中。如果出现相关字样,表示安装完成。 此外,还需注意: 下载 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型): 如果是 Windows 电脑,点击 win+R,输入 cmd,点击回车。 如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 复制相关命令行,粘贴进入,点击回车。 安装完之后,确保 ollama 后台服务已启动(在 mac 上启动 ollama 应用程序即可,在 linux 上可以通过 ollama serve 启动)。可以通过 ollama list 进行确认。还可以通过 ollama 命令下载模型。
2025-02-06
Ollama
以下是关于 Ollama 的相关信息: 打标工具安装: 先去下载并安装 Ollama,然后打开 Powershell 运行相关命令。 Win 编辑 run_win.ps1 文件,Mac 编辑 run_mac.sh 文件,将目录中的图片路径和触发词填写,运行即可。 对于 Windows 版,打开 WebUI,找到 Tagger 选项卡,如果没有则参考教程安装插件。 前往 https://github.com/starik222/BooruDatasetTagManager/releases 下载软件包,解压缩后双击运行即可。 本地部署资讯问答机器人: 支持多种大型语言模型,包括通义千问、Llama 2、Mistral 和 Gemma 等,适用于不同应用场景。 易于使用,适用于 macOS、Windows 和 Linux 系统,同时支持 cpu 和 gpu。 提供模型库,可通过 https://ollama.com/library 查找并下载不同模型,以满足不同需求和硬件条件。 支持自定义模型,可修改模型的温度参数等设置特定的系统消息。 提供 REST API 用于运行和管理模型,以及与其他应用程序的集成选项。 社区贡献丰富,包括多种集成插件和界面。 安装时访问 https://ollama.com/download/ ,安装完后确保 ollama 后台服务已启动(在 mac 上启动 ollama 应用程序,在 linux 上通过 ollama serve 启动),可通过 ollama list 确认。 应用实例本地部署 Google Gemma: 环境准备:进入 ollama.com 下载程序并安装(支持 windows、linux 和 macos),在命令提示符中输入 ollama v 检查版本,安装完成后版本应为 0.1.26,cls 清空屏幕,输入 ollama run gemma 运行模型(默认 2b),首次需下载,想用 7b 则运行 ollama run gemma:7b 。 常用内部指令:/set 显示设置界面可调整的设置项,/show 显示模型信息,/load<model> 加载已有模型,/bye 退出。 2b 反应速度快但互动话题有限,7b 输出内容质量相对较高但有卡顿,对非英文语种反馈不稳定。
2025-02-06
除了ollama外还有什么好用
除了 Ollama 外,以下是一些好用的本地部署或相关的工具和框架: 1. Google Gemma:Google 发布的家用版小模型,分别有 2b(20 亿参数)和 7b(70 亿参数)版本。相对千亿参数的大模型,这种小模型可能不适合解决特别复杂的任务,但从趋势上看是模型本地化提升基础操作效率的模板。小型的 llama 也支持本地部署。 2. Langchain:支持多种大型语言模型,包括通义千问、Llama 2、Mistral 和 Gemma 等,易于使用,适用于多种操作系统,同时支持 cpu 和 gpu。提供模型库,用户可从中下载不同模型,还支持自定义模型、API 和集成,社区贡献丰富。 如果您想了解更多关于这些工具和框架的详细信息,建议您进一步查阅相关资料。
2025-02-03
如何将ollama下载到其他盘中
要将 ollama 下载到其他盘,您可以按照以下步骤进行操作: 1. 新建环境变量:ollama 默认的模型保存路径为 Windows:C:\\Users\\%username%\\.ollama\\models 。添加环境变量添加 OLLAMA_MODELS 环境变量。 2. 进入 ollama 官网下载:地址为 https://ollama.com/ 。 3. 下载语言模型:模型地址为 https://ollama.com/library 。 选择 llama 模型下载至本地。 选择本地文件夹,在 CMD 后粘贴刚才复制的命令。 开始下载,下载完成并测试。 4. 下载图像模型:模型地址为 https://ollama.com/library 。 选择 llava 模型下载至本地。 选择本地文件夹,在 CMD 后粘贴刚才复制的命令。 开始下载,下载成功。 5. 在 Comfy 中使用: 下载并安装 ollama 节点,下载地址: ,下载完成后安装到节点目录。 在 Comfy 中调用。 此外,还有以下相关信息供您参考: 为了应对没下载大模型带来的报错,需要下载大模型。首先,下载 ollama,网站: 网站中,复制代码。然后,像建议一样打开 ComfyUi 根目录下的 custom_nodes\\ComfyUiOllamaYN 的文件路径,在上方的路径下输入 cmd,进入到下方的命令行,右键即可粘贴刚才的代码,等待下载即可。 部署大语言模型: 下载并安装 Ollama:点击进入,根据您的电脑系统,下载 Ollama:https://ollama.com/download 。下载完成后,双击打开,点击“Install”。安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 。 下载 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型)。如果是 windows 电脑,点击 win+R ,输入 cmd,点击回车。如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。复制以下命令行,粘贴进入,点击回车。回车后,会开始自动下载,等待完成。(这里下载久了,可能会发现卡着不动,不知道下载了多少了。鼠标点击一下窗口,键盘点空格,就会刷新了)下载完成后您会发现,大模型已经在本地运行了。输入文本即可进行对话。
2025-01-13