以下是在手机上运行 AI 模型的方法:
此外,Phi-3-mini 是微软发布的一个小语言模型,有 38 亿参数,能在端侧流畅运行。可以使用开源工具 Ollama,从官网下载安装包后一路点下一步进行安装。之后打开终端,运行“ollama run phi3”系统就会自动下载 Phi-3 并安装。还可以通过套一层 Web UI 解决终端里给出答案无法格式化 markdown 的内容,如开源社区的 Open WebUI 就可以与 Ollama 无缝集成。相关链接:Ollama.https://ollama.com Open WebUI.https://github.com/open-webui/open-webui 。
更多报道介绍:
什么是AnLinux?AnLinux是一个魔法盒子,它能让你的安卓手机或平板电脑变身为一台小型的Linux电脑。AnLinux是一个让安卓设备变得更加多才多艺的工具,可以随身携带的多功能电脑(模型)。有条件自行下载termux,软件地址https://github.com/EXALAB/AnLinux-App,也可以选择以下安装包自行安装,以下安装包是经过验证可行。file:app-release.apk[heading3]termux安装[content]什么是termux?termux是一款基于Android平台的开源终端模拟器,使用进行软件包的管理。可以使用手机操作相关命令,使得能正常跑通大模型。有条件自行下载termux,软件地址https://termux.dev/en/,也可以选择以下安装包自行安装,以下安装包是经过验证可行。file:termux-app_v0.118.0+github-debug_arm64-v8a.apk
[title]盘盘:手机AI新时代轻松运行小型模型[heading1]建立了【爱好者交流群】大家一起测试找和找场景作者:王三十九生活的幻觉原文:https://mp.weixin.qq.com/s/akoUNFJe8gAlC5xLI8vlIwPhi-3-mini是微软发布的一个小语言模型,有38亿参数,主打一个体积小,能在端侧流畅运行,并且效果不错。今天试着在自己的Macbook上跑了一下。主要用到了一个开源的工具Ollama,这个工具把在本地运行模型的流程做到了“傻瓜式”。除了Phi-3外,它还支持许多主流开源模型,包括Llama 3,Mistral,Gemma等。从官网下载Ollama安装包后一路点下一步进行安装。之后打开终端,运行一个命令ollama run phi3系统就会自动下载Phi-3并安装。这个模型体积只有2.3GB,比我预想的小很多。安装完成后,终端里会出现一个交互界面,在这里就可以直接开聊了。用起来第一感觉是速度非常快。对简单问题的回答也比较令人满意。终端里给出答案无法格式化markdown的内容,这可以通过给它套一层Web UI来解决。开源社区也有解决方案,比如Open WebUI就可以与Ollama无缝集成。根据Github上的说明安装好之后(需要预先安装Docker,之后也是执行一条命令),就可以通过浏览器访问运行在本地的Web聊天界面了。整体操作下来,感觉现在围绕大模型应用的工具链真的很成熟了,对新手很友好。而且在本地跑模型和直接调用API时的感受很不一样,看到它吐出答案的那一刻,很难想象LLM这样强大的技术竟然可以在自己的笔记本电脑上运行起来。1.相关链接Ollama.https://ollama.com Open WebUI.https://github.com/open-webui/open-webui
[title]盘盘:手机AI新时代轻松运行小型模型作者:盘盘[Welcome to P.|盘盘个人杂志](https://g10npwhy4nv.feishu.cn/docx/U1Iqduc3mox5F8xmbUzcCC6qnof)更多报道介绍:微软发布Phi-3,性能超Llama-3,可手机端运行https://mp.weixin.qq.com/s/kb_gfaYkXiW_cR22K2bX9g微软发布Phi-3 Mini:3.8B参数小到能塞进手机,性能媲美GPT-3.5https://mp.weixin.qq.com/s/lfDqYBLTaZ5-D4IUW18NJQ微软的SLMs之路:对Phi-3的看法&使用体验https://mp.weixin.qq.com/s/wnAeBG5AYPCkpM-NtlF1IQPhi-3:小模型,大未来!(附魔搭社区推理、微调实战教程)https://mp.weixin.qq.com/s/pgvt5m4JnpX3kCkVI_wK8g大语言模型的深度比较:Mixtral 8x22B、Llama 3与Phi-3(2024.4)https://mp.weixin.qq.com/s/KiXKc_Xbs5g0XMhF96ICEA在Macbook上运行Phi-3https://mp.weixin.qq.com/s/akoUNFJe8gAlC5xLI8vlIw最近微软发布Phi-3 Mini:性能媲美GPT-3.5,都宣传说可以塞进手机。那到底如何塞进手机里面呢?