Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

联想异能者配置i5-12450八核,32GB内存,1TB固态硬盘,用于本地部署开源大模型可以部署哪些开源大模型

Answer

以下是一些您的联想异能者配置(i5-12450 八核,32GB 内存,1TB 固态硬盘)可部署的开源大模型及相关信息:

ComfyUI 相比 WebUI 配置更低,系统资源占用更少,出图速度更快。ComfyUI 最低可在小于 3G 的 GPU 上运行,甚至没有 GPU 光用 CPU 也可以运行,但速度极慢。SDXL 出来后提高了运行配置,最低需要 8GB 显存+32GB 运行内存,12GB 流畅运行,推荐 16GB 以上。玩 SD-webui 和 ComfyUI 建议使用 6GB 以上的显存的 NVIDIA 显卡(N 卡),内存在 16G 以上。硬盘会影响加载模型的速度,所以最好把软件和模型部署在 SSD(固态硬盘)上。

截止 2024 年 5 月,主流的 AI 笔记本电脑主要是一些专门为人工智能和深度学习设计的高性能移动工作站。一些知名品牌包括微软第 11 代 Surface Pro、微星 Creator/Workstation 系列、技嘉 Aero/Aorus 系列、戴尔 Precision 移动工作站、惠普 ZBook 移动工作站、联想 ThinkPad P 系列。这些笔记本通常配备强大的 GPU(如 NVIDIA RTX 系列)、大容量内存(32GB 以上)和高速固态硬盘,还通常预装了 NVIDIA CUDA、cuDNN 等深度学习框架,以及各种 AI 开发工具。但这类高端 AI 笔记本价格相对较高,通常在 2000 美元以上。用户可根据自身需求和预算选择合适型号,并关注散热、续航等实际使用体验。

请注意,配置上不封顶,您可根据自己的需求和预算来选择。

Content generated by AI large model, please carefully verify (powered by aily)

References

彭青云:01小白comfyui学习日记-解决篇线上部署,和线下部署配置需求

[title]彭青云:01小白comfyui学习日记-解决篇线上部署,和线下部署配置需求[heading2]2现在我们来打个小怪:[heading3]2.2 comfyui本地部署的硬件配置comfyui相比webui:comfyui配置更低;系统资源占用更少;出图速度更快;最低可在小于3G的GPU上运行。甚至没有GPU,光用CPU也可以运行,缺点是速度极慢。SDXL出来后提高了运行配置:最低需要8GB显存+32GB运行内存,12GB流畅运行,推荐16GB以上。运行内存最低32GB,越高越好,最低配会经常爆显存。玩SD-webui和comfyui建议使用6GB以上的显存的NVIDIA显卡,也就是N卡,内存在16G以上。硬盘会影响加载模型的速度,所以最好把软件和模型部署在SSD(固态硬盘)上,这样速度更快。我之前的电脑2060N系8G显存,16g内存。把webui和模型装在2t固态硬盘上,打开速度极快,出图速度也还可以,4张512x768的图不到一分钟就可出来。如果你的电脑能顺畅清晰地玩3A游戏,那玩webui和comfyui也没问题。配置上不封顶,根据自己的需求和预算来即可。以我为例,新需求:做AIGC视频+建模渲染+炼丹(lora)预算2W。起先用2060生图,后发现做AIGC视频比较费时间,且还有做建模渲染的需求。后来向朋友请教,搞了一套次顶配的组装机,加上一个护眼的4K显示器共2W出头。

问:目前有什么主流AI笔记本电脑推荐?

[title]问:目前有什么主流AI笔记本电脑推荐?截止2024年5月,主流的AI笔记本电脑主要是一些专门为人工智能和深度学习设计的高性能移动工作站。这类笔记本通常配备了强大的GPU(如NVIDIA RTX系列)、大容量内存和高速固态硬盘,以满足AI模型训练和推理的计算需求。一些知名品牌的AI笔记本包括:1.微软(Microsoft)第11代Surface Pro2.微星(MSI)Creator/Workstation系列3.技嘉(GIGABYTE)Aero/Aorus系列4.戴尔(Dell)Precision移动工作站5.惠普(HP)ZBook移动工作站6.联想(Lenovo)ThinkPad P系列这些笔记本一般采用英特尔酷睿或AMD Ryzen的高端移动CPU,配备NVIDIA RTX 30/40系列或AMD Radeon Pro专业级GPU。同时也提供了大容量内存(32GB以上)和高速NVMe SSD存储选配。除了硬件配置,这些AI笔记本还通常预装了NVIDIA CUDA、cuDNN等深度学习框架,以及各种AI开发工具,为用户提供了开箱即用的AI开发环境。当然,这类高端AI笔记本价格也相对较高,通常在2000美元以上。用户可以根据自身的AI应用需求和预算情况,选择合适的型号。同时也要关注笔记本的散热、续航等实际使用体验。内容由AI大模型生成,请仔细甄别

Others are asking
我能否借助开源社区力量构建高质量的 AI 数字人
您可以借助开源社区力量构建高质量的 AI 数字人。 构建数字人的躯壳有多种方式: 1. 2D 引擎:风格偏向二次元,亲和力强,定制化成本低,代表是 Live2D Cubism。 2. 3D 引擎:风格偏向超写实的人物建模,拟真程度高,定制化成本高,代表是 UE、Unity、虚幻引擎 MetaHuman 等,但个人学习在电脑配置和学习难度上有一定门槛。 3. AIGC:省去建模流程直接生成数字人的展示图片,但存在算法生成的数字人很难保持 ID 一致性、帧与帧连贯性差等弊端。如果对人物模型真实度要求不高,可以使用,典型项目有 wav2lip、videoretalking 等。AIGC 还有直接生成 2D/3D 引擎模型的方向,但仍在探索中。 构建数字人的灵魂需要注意以下几个工程关键点: 1. AI Agent:要让数字人像人一样思考就需要写一个像人一样的 Agent,工程实现所需的记忆模块、工作流模块、各种工具调用模块的构建都是挑战。 2. 驱动躯壳的实现:灵魂部分通过定义接口由躯壳部分通过 API 调用,调用方式可以是 HTTP、webSocket 等。但包含情绪的语音表达以及如何保证躯壳的口型、表情、动作和语音的同步及匹配,目前主流方案只能做到预设一些表情动作,再做一些逻辑判断来播放预设,语音驱动口型相对成熟但闭源。 3. 实时性:由于算法部分组成庞大,几乎不能实现单机部署,特别是大模型部分,所以算法一般会部署到额外的集群或者调用提供出来的 API,这里面就会涉及到网络耗时和模型推理耗时,如果响应太慢就会体验很差,所以低延时也是亟需解决的一个问题。 4. 多元跨模态:不仅仅是语音交互,还可以通过添加摄像头数据获取数据,再通过系列 CV 算法做图像解析等。 5. 拟人化场景:正常和人交流时不是线性对话,会有插话、转移话题等情况,这些情景需要通过工程丝滑处理。 如果都要自建代码实现各模块,开发工作量巨大,迭代难度也很高,对于个人开发者来讲不现实。因此推荐借助开源社区的力量,现在开源社区已经有了像 dify、fastgpt 等等成熟的高质量 AI 编排框架,它们有大量的开源工作者维护,集成各种主流的模型供应商、工具以及算法实现等等。我们可以通过这些框架快速编排出自己的 AI Agent,赋予数字人灵魂。在笔者的开源项目中,使用了 dify 的框架,利用其编排和可视化交互任意修改流程,构造不同的 AI Agent,并且实现相对复杂的功能,比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。同时 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口,基于这个两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制,从而低门槛做出来自己高度定制化的数字人。具体的部署过程参考 B 站视频:https://www.bilibili.com/video/BV1kZWvesE25 。如果有更加高度定制的模型,也可以在 Dify 中接入 XInference 等模型管理平台,然后部署自己的模型。此外,数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块,能够保持更好的扩展,比如实现更加真实性感的语音转换、或者如果有更加 Geek 的 Agent 实现也可以选择直接后端编码扩展实现。 使用 Dify 接口需要注意: 1. 必须在应用编排功能中打开文字转语音和语音转文字功能,否则接口会返回未使能的错误。 2. 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商,才会在功能板块中展示出来,Dify 的模型供应商图标下标签有展示该供应商支持哪些功能,这里可以自行选择自己方便使用的。对于 TTS,不同的模型供应商支持的语音人物不同,可以根据个人喜好添加。
2025-01-21
国内有哪些开源ai可以调用?
国内有以下一些开源 AI 可供调用: MiniMax 推出的 Hailuo Audio HD 此外,还有一些应用于不同领域的 AI 技术和产品,如: 在游戏领域,有根据玩家需求推荐游戏道具的 AI 游戏道具推荐系统。 在天气领域,彩云天气的分时预报利用了 AI 提供精准的分时天气预报。 在医疗领域,医渡云的病历分析系统利用 AI 分析医疗病历,辅助诊断。 在会议领域,讯飞听见的会议总结功能利用 AI 自动总结会议发言内容。 在书法领域,书法临摹软件利用 AI 识别书法作品的笔画和结构,为用户提供临摹指导和评价。
2025-01-20
可开源的AI工具是什么意思,我可以看到她的代码吗
可开源的 AI 工具是指其源代码可以被公开获取和使用的人工智能工具。这意味着您有机会查看和研究其代码的实现方式。 以下为您列举一些常见的可开源的 AI 工具: 1. CodeGeeX:由智谱 AI 推出的开源免费 AI 编程助手,基于 130 亿参数的预训练大模型,能快速生成代码,提升开发效率。 2. :一个带 Web 界面简单易用的声音克隆工具。可使用任何人类音色,将一段文字合成为使用该音色说话的声音,或者将一个声音使用该音色转换为另一个声音。 3. :一个开源的音频、音乐和语音生成整合工具包。 4. :一键部署私人 GPT/LLM 的聊天机器人。支持语音合成、多模态和可扩展的插件系统,可以联网、画图、爬虫等。 5. :能够利用爬虫,自动抓取与整合指定 URL 地址中的各种信息,并生成一个 output.json 的数据文件。将其喂给 ChatGPT,便可快速定制您的专属 GPT,打造个人知识库或者智能助理。 6. :给 AI 看一眼截屏,便能直接生成代码。该项目可借助 GPT4 Vision 的能力,直接给您将屏幕截图转换为 HTML/Tailwind CSS,并利用 DALLE 3 的图像生成能力,生成外观相似的图像。 7. :可在命令行终端,直接调用与展示各种大模型能力。实现了视频和照片编辑、系统配置更改、自动生成并运行 Demo 源码,AI 一对一聊天问答等功能。 需要注意的是,不同的开源 AI 工具在功能和适用场景上可能会有所不同,您可以根据自己的需求选择最适合您的工具。
2025-01-20
开源数字人
以下是关于开源数字人的相关信息: 数字人组合方案: 第一步:先剪出音频,可使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits克隆声音,做出文案的音频。 第二步:使用 wav2lip 整合包,导入视频和音频,对口型得到视频。基础 wav2lip+高清修复整合包下载地址:https://github.com/Rudrabha/Wav2Lip 。 构建高质量的 AI 数字人: 建好的模型可以使用 web 前端页面(Live2D 就提供了 web 端的 SDK)或者 Native 的可执行程序进行部署,最后呈现在用户面前的是一个 GUI。 开源数字人项目(项目地址:https://github.com/wanh/awesomedigitalhumanlive2d)选择了 live2d 作为数字人躯壳,因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然,相比虚幻引擎这些驱动方式又更加轻量和简单;另外超写实的数字人风格在目前的技术能力下,处理不好一致性问题,容易带来虚假的感觉或者产生恐怖谷效应,而卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例:https://github.com/Live2D 。
2025-01-11
中外开源模型概览与分类
以下是关于中外开源模型的概览与分类: 国内方面: 国内模型在 Agent 核心基础能力上已较为接近或部分超过 GPT3.5 水平。 如 ChatGLM3Turbo 在任务分解、多文档问答和检索 API 能力上表现出色。 国内开源模型如 Baichuan213BChat 具备较强竞争力,在某些方面超过一些闭源模型。 国外方面: OpenAI 发布了开源模型,包括 PointE、Whisper、Jukebox 和 CLIP。可访问供研究人员的模型索引详细了解其研究论文中介绍的模型以及 InstructGPT 和 GPT3.5 等模型系列之间的差异。 智谱·AI 开源模型: 多模态模型方面,推出了具有视觉和语言双模态的模型,如 CogAgent18B、CogVLM17B、Visualglm6B 等。 详情可访问:【新基准】SuperCLUEAgent:首个 AI 智能体中文测评基准发布 www.CLUEbenchmarks.com/superclue_agent.html 。
2025-01-06
中外开源模型概览与分类
以下是关于中外开源模型的概览与分类: 国内方面: 国内模型在 Agent 核心基础能力上已较为接近或部分超过 GPT3.5 水平。 如 ChatGLM3Turbo 在任务分解、多文档问答和检索 API 能力上表现出色。 国内开源模型如 Baichuan213BChat 具备较强竞争力,在某些方面超过一些闭源模型。 国外方面: OpenAI 发布了开源模型,包括 PointE、Whisper、Jukebox 和 CLIP。可访问供研究人员的模型索引详细了解其研究论文中介绍的模型以及 InstructGPT 和 GPT3.5 等模型系列之间的差异。 智谱·AI 开源模型: 多模态模型方面,推出了具有视觉和语言双模态的模型,如 CogAgent18B、CogVLM17B、Visualglm6B 等。 详情可访问:【新基准】SuperCLUEAgent:首个 AI 智能体中文测评基准发布 www.CLUEbenchmarks.com/superclue_agent.html
2025-01-06
有哪些能够本地部署的AI视频生成模型
以下是一些能够本地部署的 AI 视频生成模型: 1. Stable Video Diffusion 模型: 准备工作:手动下载相关内容,分别放到指定路径。 模型选择:点击下拉箭头选择不同模型版本,勾选 load Model。 视频创作:支持图生视频,图片来源可选择 Midjourney、Stable Diffusion 等生成的图片,上传到 SVD 进行视频生成,可调节左侧参数控制效果。 保存路径:生成的视频在 outputs 下。 2. LTXVideo 模型: 基于 2B 参数 DiT,能够以 768x512 分辨率生成 24 FPS 的视频,速度比观看还快。 专为 RTX 4090 等 GPU 优化,使用 bfloat16 精度,实现高效内存使用且不影响质量。 ComfyUI 现已支持该模型,用户只需下载模型文件并获取工作流即可在本地运行。 3. Sora 模型: 功能:文生视频、图生视频、视频生视频,支持多种视频定制选项,如分辨率、视频长度和视频风格;具有故事板功能,允许用户通过时间线指导视频中的多个动作;提供混音和编辑功能,包括视频混音、延伸和剪辑、创建循环视频等;还有混合功能,可将两个视频场景合并成一个新的场景。 费用和订阅套餐:对于拥有 OpenAI Plus 或 Pro 账户的用户,使用包含在现有订阅中。OpenAI Plus 订阅每月 50 次视频生成次数,OpenAI Pro 订阅无限次慢速队列生成,500 次正常速度的视频生成次数。用户可根据需要选择更高分辨率的视频生成,但可能会减少每月使用次数。发布初期,某些地区(如欧洲和英国)可能会有延迟。
2025-01-21
国内文生图模型
以下是关于国内文生图模型的相关信息: Recraft 模型:用 8 个月自研模型,包含处理数据的模型、标注工作、训练 OCR 模型、新构建的数据集等。Recraft 生成带有长文本图像的流程图解,但存在生成默认是外国面孔而非亚洲面孔且生成的亚洲人不太自然的情况,可能与数据集有关。只有少数公司真正从头训练模型,创建自己的模型困难且成本高,需要超强团队和资金。 模型能力方面: 文本编码器的能力是文生图模型语义理解能力的关键。一开始大部分模型使用 CLIP 作为文本编码器,但存在一些问题。新的模型纷纷优化文本编码器能力,如引入更大更强的 T5XXL 或结合多个特征,但开源模型在中文生图方面能力一般。 腾讯开源的 HunyuanDiT 是较可用的中文生图模型,但仍存在优化空间。 Kolors 是最近开源的给力文生图模型,改进全面,技术实力强。
2025-01-21
吴恩达大模型教程
以下是一些与吴恩达大模型相关的教程和资源: 面向开发者的 LLM 入门课程: 地址: 简介:一个中文版的大模型入门教程,围绕吴恩达老师的大模型系列课程展开,包括吴恩达《ChatGPT Prompt Engineering for Developers》课程中文版等。 提示工程指南: 地址: 简介:基于对大语言模型的兴趣编写的全新提示工程指南,介绍了相关论文研究等。 LangChain🦜️🔗中文网,跟着 LangChain 一起学 LLM/GPT 开发: 地址: 简介:由两位 LLM 创业者维护的 Langchain 中文文档。 LLM 九层妖塔: 地址: 简介:包含 ChatGLM 等实战与经验。 目录:吴恩达讲 Prompt https://github.com/zard1152/deepLearningAI/wiki Coze 复刻:吴恩达开源的 AI 翻译项目 复刻步骤:包括配置反思优化的提示词、结合反思优化建议再次翻译、选择输出方式等。 大语言模型分为基础 LLM 和指令微调 LLM 两类。基础 LLM 经过训练可根据文本预测下一个词,指令微调 LLM 经过训练能遵循指令,为让系统更有帮助并遵循指令,通常会使用人类反馈强化学习(RLHF)技术优化。提示的关键原则包括尽可能保证下达的指令“清晰、没有歧义”,给大模型思考的时间以及足够的时间去完成任务。
2025-01-21
有哪个大模型工具可以提供“word文本转excel表格”功能
以下是一些可以将 word 文本转 excel 表格的大模型相关方法: 1. Markdown 格式输出 Markdown 编辑器 Excel:将大模型的输出结果复制到 Markdown 编辑器(如 Typora),然后再直接复制到 Excel,就可以得到直接可用的数据文档。 2. Markdown 格式输出 Excel 数据分组:把大模型的输出直接复制到 Excel,一般使用 Excel 的数据分列功能,用“|”作为分隔符号处理数据。 3. Markdown 格式输出 Excel 数据分组:要求大模型把输出转换成 CSV 格式,然后把结果复制到 txt 文档,另存为成 csv 文件(注意:txt 另存为时,文件后缀名更改为.csv,编码选择 ANSI)。
2025-01-21
有哪个大模型工具可以提供“word技术规范书转功能清单”功能
目前尚未有确切的大模型工具专门提供“word 技术规范书转功能清单”的功能。但一些通用的自然语言处理工具和办公软件的插件可能会对您有所帮助,例如一些基于云服务的办公自动化工具,不过其效果可能因具体的文档内容和格式而有所差异。
2025-01-21
集文档管理、AI写作、资料搜索的AI大模型推荐
以下为您推荐一些集文档管理、AI 写作、资料搜索功能于一体的 AI 大模型: 1. RAG: 工作原理:就像超级智能的图书馆员,包括检索(从庞大知识库中找相关信息)、增强(筛选优化信息)、生成(整合信息给出连贯回答)。 优点:成本效益高、灵活性强、可扩展性好。 缺点:回答准确性相对不够。 相关网站:Metaso.cn(学术、研究)、So.360.com(生活、便捷)、Devv.ai(程序员、开发者)、Perplexity(付费、高质量)、Bing.com(通用)、Google.com(全球、精准)。 内幕:平均调用 9 次大语言模型,网络爬虫预先建立数据库,用便宜但推理弱的模型(免费版)。 2. 对于律师工作: AI 大模型擅长:信息检索与整理、模式识别与预测、自动化文档处理、多任务处理能力。 AI 大模型不擅长:法律解释与推理、理解道德和情感、创新或个性化的服务。 律师擅长:法律专业知识、沟通与谈判。 3. 沉浸式翻译:主打所有网页双语翻译、PDF 文档对照阅读,新功能可一键开启网页中 Youtube 视频的双语字幕。插件安装地址:https://immersivetranslate.com/ 4. Kimi:由月之暗面科技有限公司开发,最大特点是超长文本(支持最多 20 万字的输入和输出)处理和基于文件、链接内容对话的能力,能阅读并理解多种格式文件内容为用户提供回复。
2025-01-21
如何部署自己的知识库
以下是部署自己知识库的详细步骤: 一、了解 RAG 技术 因为利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在进行本地知识库的搭建实操之前,需要先对 RAG 有大概的了解。 RAG 是指检索增强生成(Retrieval Augmented Generation)。当需要依靠不包含在大模型训练集中的数据时,通过检索外部数据,然后在生成步骤中将这些数据传递给 LLM。一个 RAG 的应用可抽象为 5 个过程: 1. 文档加载(Document Loading):从多种不同来源加载文档,LangChain 提供了 100 多种不同的文档加载器,包括 PDF 在内的非结构化的数据、SQL 在内的结构化的数据,以及 Python、Java 之类的代码等。 2. 文本分割(Splitting):文本分割器把 Documents 切分为指定大小的块,称为“文档块”或者“文档片”。 3. 存储:涉及两个环节,分别是将切分好的文档块进行嵌入(Embedding)转换成向量的形式,以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索:通过某种检索算法找到与输入问题相似的嵌入片。 5. Output(输出):把问题以及检索出来的嵌入片一起提交给 LLM,LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 二、通过 Open WebUI 使用大模型 1. 首先访问相关网址。打开页面时,使用任意邮箱注册账号。 2. 登陆成功后,Open WebUI 一般有两种使用方式,第一种是聊天对话,第二种是 RAG 能力,可让模型根据文档内容来回答问题,这种能力是构建知识库的基础之一。 三、本地知识库进阶 如果想要对知识库进行更加灵活的掌控,需要一个额外的软件:AnythingLLM。这个软件包含了所有 Open WebUI 的能力,并且额外支持了以下能力:选择文本嵌入模型、选择向量数据库。 安装地址:https://useanything.com/download 。安装完成后,会进入到其配置页面,主要分为三步: 1. 第一步:选择大模型。 2. 第二步:选择文本嵌入模型。 3. 第三步:选择向量数据库。 构建本地知识库: 1. 在 AnythingLLM 中有一个 Workspace 的概念,可以创建自己独有的 Workspace 跟其他的项目数据进行隔离。 2. 首先创建一个工作空间。 3. 上传文档并且在工作空间中进行文本嵌入。 4. 选择对话模式。AnythingLLM 提供了两种对话模式:Chat 模式,大模型会根据自己的训练数据和上传的文档数据综合给出答案;Query 模式,大模型仅仅会依靠文档中的数据给出答案。 5. 测试对话。当上述配置完成之后,就可以跟大模型进行对话了。 四、写在最后 “看十遍不如实操一遍,实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣,可以联系作者或者加其免费知识星球(备注 AGI 知识库)。
2025-01-17
如何部署私有大语言模型?
部署私有大语言模型通常包括以下步骤: 1. 部署大语言模型: 下载并安装 Ollama:根据您的电脑系统,从 https://ollama.com/download 下载 Ollama。下载完成后,双击打开,点击“Install”。安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/。 下载模型:如 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型)。如果是 Windows 电脑,点击 win+R,输入 cmd,点击回车;如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。复制相关命令行,粘贴进入,点击回车。等待下载完成。 2. 部署 Google Gemma: 进入 ollama.com,下载程序并安装(支持 windows,linux 和 macos)。 查找 cmd 进入命令提示符,输入 ollama v 检查版本,安装完成后版本应该显示 0.1.26,cls 清空屏幕。 直接输入 ollama run gemma 运行模型(默认是 2b),首次需要下载,需要等待一段时间,如果想用 7b,运行 ollama run gemma:7b 。完成以后就可以直接对话。 3. 关于 Ollama 的其他特点: 支持多种大型语言模型,包括通义千问、Llama 2、Mistral 和 Gemma 等,适用于不同应用场景。 易于使用,适用于 macOS、Windows 和 Linux 系统,同时支持 cpu 和 gpu。 提供模型库,用户可从中下载不同模型,满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。 支持自定义模型,可修改模型的温度参数等。 提供 REST API,用于运行和管理模型,以及与其他应用程序的集成选项。 社区贡献丰富,包括多种集成插件和界面。 总的来说,Ollama 是一个方便用户在本地运行和管理大型语言模型的框架,具有良好的可扩展性和多样的使用场景。安装完之后,确保 ollama 后台服务已启动(在 mac 上启动 ollama 应用程序即可,在 linux 上可以通过 ollama serve 启动)。可以通过 ollama list 进行确认。
2025-01-17
如何部署ollama
以下是部署 Ollama 的详细步骤: 1. 下载并安装 Ollama: 根据您的电脑系统,点击进入 https://ollama.com/download 下载 Ollama。 下载完成后,双击打开,点击“Install”。 安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 2. 下载 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型): 如果是 Windows 电脑,点击 win+R,输入 cmd,点击回车。 如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 复制以下命令行,粘贴进入,点击回车。 回车后,会开始自动下载,等待完成。(这里下载久了,可能会发现卡着不动,不知道下载了多少了。鼠标点击一下窗口,键盘点空格,就会刷新了) 下载完成后您会发现,大模型已经在本地运行了。输入文本即可进行对话。 3. 部署 Google Gemma: 首先进入 ollama.com,下载程序并安装(支持 windows,linux 和 macos)。 查找 cmd 进入命令提示符,输入 ollama v 检查版本,安装完成后版本应该显示 0.1.26,cls 清空屏幕,接下来直接输入 ollama run gemma 运行模型(默认是 2b),首次需要下载,需要等待一段时间,如果想用 7b,运行 ollama run gemma:7b 。 完成以后就可以直接对话了,2 个模型都安装以后,可以重复上面的指令切换。 4. 安装 Docker Desktop: 点击/复制到浏览器去下载 https://docs.docker.com/desktop/install/windowsinstall/ 。 下载后,双击下载项目,出现下图,点击 ok,开始加载文件。注意!!!!这里下载相对比较快,下载完成后,不要点击“close and restart”,因为这样会直接重启,导致 llama3 下载中断。 这里先不点击,等待终端的模型下载完成后,再点击重启。 重启后,点击:“Accept” 。 选择第一个,点击"Finish" 。 然后会提示您注册账号,如果打不开网页,就需要科学上网了。 按照正常的注册流程,注册账号,并登录 Docker 即可。登录后会进入 Docker Desktop。此处完成。 5. 下载 Open WebUI: 回到桌面,再打开一个新的终端窗口(可以放心多个窗口,不会互相影响)。 如果是 Windows 电脑,点击 win+R,输入 cmd,点击回车。 如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 将以下命令输入,等待下载。 出现上图,即是下载完成。 点击或复制下方地址进入浏览器:http://localhost:3000/auth/ 。 点击进行注册即可,注册输入昵称、邮箱、密码。注册完即可登录进入。 登入后,看到如下页面,点击顶部的 Model,选择“llama3:8b”。 完成。您已经拥有了一个属于自己的本地大语言模型。可以开始与他对话啦!ps.他的回复速度,取决于您的电脑配置。
2025-01-13
可以本地部署的类似coze一样的平台
以下是一些可以本地部署且类似 Coze 的平台以及直接对接 Coze 平台 Bot 的微信聊天机器人的搭建方法: Agent 构建平台: 1. Coze:新一代一站式 AI Bot 开发平台,集成丰富插件工具,适用于构建各类问答 Bot。 2. Mircosoft 的 Copilot Studio:主要功能包括外挂数据、定义流程、调用 API 和操作,以及将 Copilot 部署到各种渠道。 3. 文心智能体:百度推出的基于文心大模型的智能体平台,支持开发者根据需求打造产品能力。 4. MindOS 的 Agent 平台:允许用户定义 Agent 的个性、动机、知识,以及访问第三方数据和服务或执行工作流。 5. 斑头雁:2B 基于企业知识库构建专属 AI Agent 的平台,适用于客服、营销、销售等场景,提供多种成熟模板。 6. 钉钉 AI 超级助理:依托钉钉强大的场景和数据优势,在处理高频工作场景如销售、客服、行程安排等方面表现出色。 直接对接 Coze 平台 Bot 的微信聊天机器人搭建: 1. 微信功能差异:微信公众号、微信服务号、微信客服支持与 Coze AI 平台对接,个人微信和微信群之前不支持,现国内版已发布 API 接口功能,可实现对接。 2. 部署步骤: 服务器配置:受社群好友小雨启发,将复杂代码相关集成隐藏和优化,使用简单模板配置,修改容器编排模板,若之前有模板需修改,无模板则新建,更新后创建新的容器编排并启动服务,服务启动成功后进入 COW 服务扫码绑定微信机器人,具体步骤可参考入门教程。 测试:在微信群中测试 AI 机器人。 请注意,对接国外版 Coze 平台需要部署的服务支持相关条件。
2025-01-09
部署Agent专属的web端应用
以下是关于部署 Agent 专属的 web 端应用的相关内容: 在 Linux 上部署较为简单,前提是您有一张 4G 以上显存的 GPU 显卡。步骤如下: 1. 下载代码仓库。 2. 安装依赖(注意有两个依赖未放在 requirements.txt 里)。 3. 启动 webui 的 demo 程序,然后用浏览器登陆服务器的 ip:8080 就能试玩。此 demo 提供了 3 个参数: server_name:服务器的 ip 地址,默认 0.0.0.0。 servic_port:即将开启的端口号。 local_path:模型存储的本地路径。 4. 第一次启动生成语音时,需查看控制台输出,会下载一些模型文件,可能因网络问题失败,但首次加载成功后后续会顺利。 5. 基于此基础可拓展,比如集成到 agent 的工具中,结合 chatgpt 做更拟人化的实时沟通。 6. webui 上可设置的几个参数说明: text:指需要转换成语音的文字内容。 Refine text:选择是否自动对输入的文本进行优化处理。 Audio Seed:语音种子,是一个用于选择声音类型的数字参数,默认值为 2,是很知性的女孩子的声音。 Text Seed:文本种子,是一个正整数参数,用于 refine 文本的停顿,实测文本的停顿设置会影响音色、音调。 额外提示词(可写在 input Text 里):用于添加笑声、停顿等效果,例如。 以下是一些 Agent 构建平台: 1. Coze:新一代一站式 AI Bot 开发平台,适用于构建基于 AI 模型的各类问答 Bot,集成丰富插件工具拓展 Bot 能力边界。 2. Microsoft 的 Copilot Studio:主要功能包括外挂数据、定义流程、调用 API 和操作,以及将 Copilot 部署到各种渠道。 3. 文心智能体:百度推出的基于文心大模型的智能体(Agent)平台,支持开发者根据需求打造产品能力。 4. MindOS 的 Agent 平台:允许用户定义 Agent 的个性、动机、知识,以及访问第三方数据和服务或执行工作流。 5. 斑头雁:2B 基于企业知识库构建专属 AI Agent 的平台,适用于客服、营销、销售等场景,提供多种成熟模板,功能强大且开箱即用。 6. 钉钉 AI 超级助理:依托钉钉强大的场景和数据优势,提供环境感知和记忆功能,在处理高频工作场景如销售、客服、行程安排等方面表现出色。 以上信息仅供参考,您可根据自身需求选择适合的平台。
2025-01-07
如何进行ai学习 用户id:1232334 描述:北欧5国10日游
以下是新手学习 AI 的一些建议: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能的定义、主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,您可以找到一系列为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,涵盖图像、音乐、视频等,您可以根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出您的作品。 在知识库提供了很多大家实践后的作品、文章分享,欢迎您实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式。通过与这些 AI 产品的对话,您可以获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。
2024-10-15
如何进行ai学习 用户id:1232334 描述:北欧5国10日游
新手学习 AI 可以按照以下步骤进行: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能的定义、主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 利用在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,包括图像、音乐、视频等,可根据自身兴趣选择特定模块深入学习。 掌握提示词的技巧,其上手容易且实用。 4. 实践和尝试: 理论学习后,实践是巩固知识的关键,尝试使用各种产品做出自己的作品。 知识库中有很多大家实践后的作品和文章分享,欢迎您实践后也进行分享。 5. 体验 AI 产品: 与现有的 AI 产品如 ChatGPT、Kimi Chat、智谱、文心一言等聊天机器人进行互动,了解其工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,激发对 AI 潜力的认识。
2024-10-10
如何进行ai学习 用户id:1232334 描述:北欧5国10日游
新手学习 AI 可以按照以下步骤进行: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能的定义、主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,包括图像、音乐、视频等,可根据自身兴趣选择特定模块深入学习。 掌握提示词的技巧,其上手容易且很有用。 4. 实践和尝试: 理论学习后,实践是巩固知识的关键,尝试使用各种产品做出作品。 在知识库中有很多大家实践后的作品、文章分享,欢迎实践后进行分享。 5. 体验 AI 产品: 与现有的 AI 产品如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人进行互动,了解它们的工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,激发对 AI 潜力的认识。
2024-10-10