以下是关于学习 Ollama 的详细步骤:
打开Comfyui界面后,右键点击界面,即可找到Comfyui LLM party的目录,你既可以如下图一样,学习如何手动连接这些节点,从而实现一个最简单的AI女友工作流,也可以直接将[工具调用对比实验](https://github.com/heshengtao/comfyui_LLM_party/blob/main/workflow/%E6%8F%90%E7%A4%BA%E8%AF%8D%E5%B7%A5%E7%A8%8B%E8%8E%B7%E5%BE%97%E5%B7%A5%E5%85%B7%E8%B0%83%E7%94%A8%E5%AF%B9%E6%AF%94%E5%AE%9E%E9%AA%8C.json)工作流文件拖拽到Comfyui界面中一键复刻我的提示词工程实验。[heading2]4、启动ollama[content]从ollama的github仓库找到对应版本并下载:启动ollama后,在cmd中输入ollama run gemma2将自动下载gemma2模型到本地并启动。将ollama的默认base URL=http://127.0.0.1:11434/v1/以及api_key=ollama填入LLM加载器节点即可调用ollama中的模型进行实验。[heading2]5、常见报错及解决方案[content]1.如果ollama连接不上,很可能是代理服务器的问题,请将你的127.0.0.1:11434添加到不使用代理服务器的列表中。
Ollama是一个开源的框架,旨在简化在本地运行大型语言模型(LLM)的过程。Ollama作为一个轻量级、可扩展的框架,提供了一个简单的API来创建、运行和管理模型,以及一个预构建模型库,进一步降低了使用门槛。它不仅适用于自然语言处理研究和产品开发,还被设计为适合初学者或非技术人员使用,特别是那些希望在本地与大型语言模型交互的用户总的来说,Ollama是一个高效、功能齐全的大模型服务工具,通过简单的安装指令和一条命令即可在本地运行大模型,极大地推动了大型语言模型的发展和应用[heading2]安装Ollama[content]官方下载地址:https://ollama.com/download当安ollama之后,我们可以通过访问如下链接来判断ollama是否安装成功[heading2]使用Ollama运行本地大模型[content]当安装完成ollama之后,我们就可以在命令行中运行如下命令既可以其中[model name]就是你想运行的本地大模型的名称,如果你不知道应该选择哪个模型,可以通过[model library](https://ollama.com/library)进行查看。这里我们选择llama2大模型:[llama2](https://ollama.com/library/llama2)考虑到我机器的配置以及不同版本的内存要求,我这里选择7b参数的模型当我们运行大模型的时候,ollama会自动帮我们下载大模型到我们本地。
我们需要进行部署的有三大部分1、本地部署大语言模型2、本地部署FastGPT+OneAPI3、本地部署HOOK项目或COW[heading1]一、部署大语言模型[content]一、下载并安装Ollama1、点击进入,根据你的电脑系统,下载Ollama:https://ollama.com/download2、下载完成后,双击打开,点击“Install”3、安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成http://127.0.0.1:11434/二、下载qwen2:0.5b模型(0.5b是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型)1、如果你是windows电脑,点击win+R输入cmd,点击回车如果你是Mac电脑,按下Command(⌘)+ Space键打开Spotlight搜索。输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。2、复制以下命令行,粘贴进入,点击回车:3、回车后,会开始自动下载,等待完成(这里下载久了,可能会发现卡着不动,不知道下载了多少了。鼠标点击一下窗口,键盘点空格,就会刷新了)4、下载完成后你会发现,大模型已经在本地运行了。输入文本即可进行对话。