以下是为您整理的在手机上添加开源 AI 模型的相关信息:
[title]盘盘:手机AI新时代轻松运行小型模型[heading1]建立了【爱好者交流群】大家一起测试找和找场景作者:王三十九生活的幻觉原文:https://mp.weixin.qq.com/s/akoUNFJe8gAlC5xLI8vlIwPhi-3-mini是微软发布的一个小语言模型,有38亿参数,主打一个体积小,能在端侧流畅运行,并且效果不错。今天试着在自己的Macbook上跑了一下。主要用到了一个开源的工具Ollama,这个工具把在本地运行模型的流程做到了“傻瓜式”。除了Phi-3外,它还支持许多主流开源模型,包括Llama 3,Mistral,Gemma等。从官网下载Ollama安装包后一路点下一步进行安装。之后打开终端,运行一个命令ollama run phi3系统就会自动下载Phi-3并安装。这个模型体积只有2.3GB,比我预想的小很多。安装完成后,终端里会出现一个交互界面,在这里就可以直接开聊了。用起来第一感觉是速度非常快。对简单问题的回答也比较令人满意。终端里给出答案无法格式化markdown的内容,这可以通过给它套一层Web UI来解决。开源社区也有解决方案,比如Open WebUI就可以与Ollama无缝集成。根据Github上的说明安装好之后(需要预先安装Docker,之后也是执行一条命令),就可以通过浏览器访问运行在本地的Web聊天界面了。整体操作下来,感觉现在围绕大模型应用的工具链真的很成熟了,对新手很友好。而且在本地跑模型和直接调用API时的感受很不一样,看到它吐出答案的那一刻,很难想象LLM这样强大的技术竟然可以在自己的笔记本电脑上运行起来。1.相关链接Ollama.https://ollama.com Open WebUI.https://github.com/open-webui/open-webui
[title]DIN:全程白嫖-拥有一个AI大模型的微信助手[heading2]配置FastGpt、OneAPI1.首先配置OneAPI,还记得刚刚让你们白嫖的大模型API吗?阿里的[通义千问大模型](https://dashscope.console.aliyun.com/)接口,这时要派上用场了,去阿里模型的链接里创建ApiKey,并复制下来。然后在OneAPI的页面,点击【渠道】添加新渠道。添加时,类型选择阿里通义千问,名称自己取个,类型选择好后模型是会默认加进去,你不用删减,还有就把刚刚阿里那复制的ApiKey粘贴到秘钥里去。这样就OK了。后续有其他的大模型也是一样的添加方式。
[title]智谱·AI开源模型列表[heading2]Chat模型��语言模型列表|模型|介绍|上下文token数|代码链接|模型权重下载链接|<br>|-|-|-|-|-|<br>|ChatGLM2-6B-32k|第二代ChatGLM长上下文对话模型。ChatGLM2-6B-32K在[ChatGLM2-6B](https://huggingface.co/THUDM/chatglm2-6b)的基础上进一步强化了对于长文本的理解能力,能够更好的处理最多32K长度的上下文。具体地,我们基于[位置插值](https://arxiv.org/abs/2306.15595)(Positional Interpolation)的方法对位置编码进行了更新,并在对话阶段使用32K的上下文长度训练。在实际的使用中,如果您面临的上下文长度基本在8K以内,我们推荐使用[ChatGLM2-6B](https://huggingface.co/THUDM/chatglm2-6b);如果您需要处理超过8K的上下文长度,我们推荐使用ChatGLM2-6B-32K。|32K||[Huggingface](https://huggingface.co/THUDM/chatglm2-6b-32k)|魔搭社区|始智社区|启智社区|<br>|ChatGLM2-6B-32k-int4|ChatGLM2-6B-32K的int4版本|32K||[Huggingface](https://huggingface.co/THUDM/chatglm2-6b-32k-int4)|魔搭社区|始智社区|启智社区|<br>|ChatGLM-6B|第一代ChatGLM对话模型。支持中英双语的对话语言模型,基于[General Language Model(GLM)](https://github.com/THUDM/GLM)架构,具有62亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署。|2K|[ChatGLM](https://github.com/THUDM/ChatGLM-6B)|[Huggingface](https://huggingface.co/THUDM/chatglm-6b)|魔搭社区|始智社区|启智社区|