直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

联想异能者配置i5-12450八核,32GB内存,1TB固态硬盘,用于本地部署开源大模型可以部署哪些开源大模型

回答

以下是一些您的联想异能者配置(i5-12450 八核,32GB 内存,1TB 固态硬盘)可部署的开源大模型及相关信息:

ComfyUI 相比 WebUI 配置更低,系统资源占用更少,出图速度更快。ComfyUI 最低可在小于 3G 的 GPU 上运行,甚至没有 GPU 光用 CPU 也可以运行,但速度极慢。SDXL 出来后提高了运行配置,最低需要 8GB 显存+32GB 运行内存,12GB 流畅运行,推荐 16GB 以上。玩 SD-webui 和 ComfyUI 建议使用 6GB 以上的显存的 NVIDIA 显卡(N 卡),内存在 16G 以上。硬盘会影响加载模型的速度,所以最好把软件和模型部署在 SSD(固态硬盘)上。

截止 2024 年 5 月,主流的 AI 笔记本电脑主要是一些专门为人工智能和深度学习设计的高性能移动工作站。一些知名品牌包括微软第 11 代 Surface Pro、微星 Creator/Workstation 系列、技嘉 Aero/Aorus 系列、戴尔 Precision 移动工作站、惠普 ZBook 移动工作站、联想 ThinkPad P 系列。这些笔记本通常配备强大的 GPU(如 NVIDIA RTX 系列)、大容量内存(32GB 以上)和高速固态硬盘,还通常预装了 NVIDIA CUDA、cuDNN 等深度学习框架,以及各种 AI 开发工具。但这类高端 AI 笔记本价格相对较高,通常在 2000 美元以上。用户可根据自身需求和预算选择合适型号,并关注散热、续航等实际使用体验。

请注意,配置上不封顶,您可根据自己的需求和预算来选择。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

彭青云:01小白comfyui学习日记-解决篇线上部署,和线下部署配置需求

[title]彭青云:01小白comfyui学习日记-解决篇线上部署,和线下部署配置需求[heading2]2现在我们来打个小怪:[heading3]2.2 comfyui本地部署的硬件配置comfyui相比webui:comfyui配置更低;系统资源占用更少;出图速度更快;最低可在小于3G的GPU上运行。甚至没有GPU,光用CPU也可以运行,缺点是速度极慢。SDXL出来后提高了运行配置:最低需要8GB显存+32GB运行内存,12GB流畅运行,推荐16GB以上。运行内存最低32GB,越高越好,最低配会经常爆显存。玩SD-webui和comfyui建议使用6GB以上的显存的NVIDIA显卡,也就是N卡,内存在16G以上。硬盘会影响加载模型的速度,所以最好把软件和模型部署在SSD(固态硬盘)上,这样速度更快。我之前的电脑2060N系8G显存,16g内存。把webui和模型装在2t固态硬盘上,打开速度极快,出图速度也还可以,4张512x768的图不到一分钟就可出来。如果你的电脑能顺畅清晰地玩3A游戏,那玩webui和comfyui也没问题。配置上不封顶,根据自己的需求和预算来即可。以我为例,新需求:做AIGC视频+建模渲染+炼丹(lora)预算2W。起先用2060生图,后发现做AIGC视频比较费时间,且还有做建模渲染的需求。后来向朋友请教,搞了一套次顶配的组装机,加上一个护眼的4K显示器共2W出头。

问:目前有什么主流AI笔记本电脑推荐?

[title]问:目前有什么主流AI笔记本电脑推荐?截止2024年5月,主流的AI笔记本电脑主要是一些专门为人工智能和深度学习设计的高性能移动工作站。这类笔记本通常配备了强大的GPU(如NVIDIA RTX系列)、大容量内存和高速固态硬盘,以满足AI模型训练和推理的计算需求。一些知名品牌的AI笔记本包括:1.微软(Microsoft)第11代Surface Pro2.微星(MSI)Creator/Workstation系列3.技嘉(GIGABYTE)Aero/Aorus系列4.戴尔(Dell)Precision移动工作站5.惠普(HP)ZBook移动工作站6.联想(Lenovo)ThinkPad P系列这些笔记本一般采用英特尔酷睿或AMD Ryzen的高端移动CPU,配备NVIDIA RTX 30/40系列或AMD Radeon Pro专业级GPU。同时也提供了大容量内存(32GB以上)和高速NVMe SSD存储选配。除了硬件配置,这些AI笔记本还通常预装了NVIDIA CUDA、cuDNN等深度学习框架,以及各种AI开发工具,为用户提供了开箱即用的AI开发环境。当然,这类高端AI笔记本价格也相对较高,通常在2000美元以上。用户可以根据自身的AI应用需求和预算情况,选择合适的型号。同时也要关注笔记本的散热、续航等实际使用体验。内容由AI大模型生成,请仔细甄别

其他人在问
开源大模型ChatGLM 系列有哪些版本
ChatGLM 系列的开源版本包括: ChatGLM36B:第三代 ChatGLM 对话模型,采用全新设计的 Prompt 格式,原生支持工具调用、代码执行和 Agent 任务等复杂场景。 ChatGLM36Bbase:第三代 ChatGLM 基座模型,采用更多样的训练数据、更充分的训练步数和更合理的训练策略,在 10B 以下的基础模型中性能较强。 ChatGLM36B32k:第三代 ChatGLM 长上下文对话模型,在 ChatGLM36B 的基础上进一步强化了对长文本的理解能力,能处理最多 32K 长度的上下文。
2024-11-04
智谱清言的开源大模型哪些种类
智谱清言的开源大模型种类包括: 多模态模型: CogAgent18B:基于 CogVLM17B 改进的开源视觉语言模型,拥有 110 亿视觉参数和 70 亿语言参数,支持 11201120 分辨率的图像理解,具备 GUI 图像的 Agent 能力。代码链接:、始智社区。 CogVLM17B:强大的开源视觉语言模型(VLM),在多模态权威学术榜单上综合成绩优异。代码链接:。 Visualglm6B:开源的支持图像、中文和英文的多模态对话语言模型,语言模型基于 ChatGLM6B,具有 62 亿参数;图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁,整体模型共 78 亿参数。代码链接:。 RDM:Relay Diffusion Model,级联扩散模型,可以从任意给定分辨率的图像快速生成,而无需从白噪声生成。代码链接:。 此外,智谱清言是智谱 AI 和清华大学推出的大模型产品,基础模型为 ChatGLM 大模型。2023 年 10 月 27 日,智谱 AI 于 2023 中国计算机大会(CNCC)上,推出了全自研的第三代基座大模型 ChatGLM3 及相关系列产品。智谱清言在工具使用排名国内第一,在计算、逻辑推理、传统安全能力上排名国内前三。总体来看,智谱清言更擅长专业能力,但在代码能力上还有一定优化空间,知识百科与其他第一梯队模型相比稍显不足。综合来看,智谱清言是一个很有竞争力的大模型。可应用的场景相对广泛,根据 SuperCLUE 测评结果,优先推进在 AI 智能体方面相关的应用,包括任务规划、工具使用及一些长文本记忆相关的场景。另外在较复杂推理应用上的效果会比较不错,在广告文案、文学写作方面也是一个很好的选择。
2024-11-04
通义千问开源大模型种类
通义千问开源了多种大模型,其中 Qwen 2 模型性能超越目前所有开源模型和国内闭源模型。以下是相关信息: 性能突破:在中国大模型领域,开源模型显示出超越最强闭源模型的势头,从性能到生态都具备了媲美美国 Llama3 的能力。开源模型用实力证明其正在变得越来越强。 开源历程:2023 年 8 月,阿里云成为国内首个宣布开源自研模型的科技企业,推出通义千问第一代开源模型 Qwen;2024 年 2 月,1.5 代开源模型 Qwen1.5 发布;不到 4 个月后,Qwen2 开源。不到一年时间,通义先后开源数十款不同尺寸的模型,包括大语言模型、多模态模型、混合专家模型、代码大模型。 性能特点:Qwen 2 包括 5 种尺寸的预训练和指令调整模型,如 Qwen20.5B、Qwen21.5B、Qwen27B、Qwen257BA14B 和 Qwen272B。除英语和中文外,还接受过另外 27 种语言的数据训练,在大量基准评估中表现出最先进的性能,代码和数学性能显著提高,全面超越 llama3,增大了上下文长度支持。相比 Qwen1.5,Qwen2 实现了整体性能的代际飞跃。在国际权威测评中,Qwen272B 获十几项世界冠军,超过美国的 Llama3。 体验和下载:Qwen2 系列已上线魔搭社区 ModelScope 和阿里云百炼平台,开发者可在魔搭社区体验、下载模型,或通过阿里云百炼平台调用模型 API。同时,Qwen272binstruct 模型已经上线中国大语言模型评测竞技场 Compass Arena,所有人都可以登录体验 Qwen2 的性能,或者选择 Qwen2 模型与其他大模型进行对比测评。测评地址为。Compass Arena 是由上海人工智能实验室和魔搭社区联合推出的大模型测评平台,集齐了国内主流的 20 多款大模型。 您还可以通过玉宝搞的 LLM 在线评估(https://www.llmrank.cn/)查看国内各个闭源大模型的 HUMANEVAL 测评得分,并与 QWEN2 对比。
2024-11-04
当前最好的开源目标检测
目前较好的开源目标检测算法包括: 基于深度学习的目标检测算法,如 RCNN、Fast RCNN、Faster RCNN、YOLO、SSD 等。 基于传统计算机视觉技术的目标检测算法,如 HOG、SIFT、SURF 等。 YOLOv8 是一款出色的目标检测跟踪模型,具有快速准确的多对象识别和定位能力,支持实例分割、人体姿态估计等,多平台兼容,是一站式视觉识别解决方案。其详细介绍可参考:https://docs.ultralytics.com/models/ ,GitHub 地址为:https://github.com/ultralytics/ultralytics
2024-11-04
最新的开源数字人项目
以下是一些最新的开源数字人项目: 1. 项目地址:https://github.com/wanh/awesomedigitalhumanlive2d ,选择了 live2d 作为数字人躯壳,其驱动方式相比 AI 生成式更可控和自然,相比虚幻引擎更轻量和简单,卡通二次元形象接受度更高。Live2D 的 SDK 驱动方式可参考官方示例:https://github.com/Live2D 。 2. 开源数字人组合方案: 第一步:先剪出音频,使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits克隆声音,做出文案的音频。 第二步:使用 wav2lip 整合包,导入视频和音频,对口型得到视频。基础 wav2lip+高清修复整合包下载地址:https://github.com/Rudrabha/Wav2Lip 。产品:https://synclabs.so/ 。 3. 构建数字人灵魂:可借助开源社区的力量,如 dify、fastgpt 等成熟的高质量 AI 编排框架。在开源项目中使用了 dify 的框架,可利用其编排和可视化交互任意修改流程,构造不同的 AI Agent,具体部署过程参考 B 站视频:https://www.bilibili.com/video/BV1kZWvesE25 。如有更高度定制的模型,也可在 Dify 中接入 XInference 等模型管理平台部署自己的模型。数字人 GUI 工程中保留了 LLM、ASR、TTS、Agent 等多个模块,便于扩展。
2024-11-01
开源大模型分析
以下是一些开源大模型的分析: 1. KnowLM: 地址: 简介:旨在发布开源大模型框架及相应模型权重以助力减轻知识谬误问题,包括大模型的知识难更新及存在潜在的错误和偏见等。一期发布了基于 Llama 的抽取大模型智析,使用中英文语料对 Llama(13B)进行进一步全量预训练,并基于知识图谱转换指令技术对知识抽取任务进行优化。 2. BayLing: 地址: 简介:由中国科学院计算技术研究所自然语言处理团队开发,是一个具有增强的跨语言对齐的通用大模型。以 Llama 为基座模型,探索了以交互式翻译任务为核心进行指令微调的方法,旨在同时完成语言间对齐以及与人类意图对齐,将 Llama 的生成能力和指令跟随能力从英语迁移到其他语言(中文)。在多语言翻译、交互翻译、通用任务、标准化考试的测评中,中文/英语均有更好表现,并提供了在线的内测版 demo 以供体验。 3. Gemma: 作者:,华中科技大学工学硕士 简介:由 Google DeepMind 和 Google 的其他团队开发,是一系列轻量级的最先进开源模型,灵感来自于 Gemini,名称反映了拉丁语中“宝石”的意思。除了模型权重,谷歌还发布了一些工具来支持开发者的创新,促进合作,并指导 Gemma 模型的负责任使用。 重点:共两个尺寸的模型权重:Gemma 2B 和 Gemma 7B。每种尺寸都提供了预训练和指令调优的版本。 模型地址: 官方页面:https://ai.google.dev/gemma/ 特点:相比 Gemini 更加轻量,同时保持免费可用,模型权重也一并开源了,且允许商用。包含两种权重规模的模型:Gemma 2B 和 Gemma 7B。每种规模都有预训练和指令微调版本。可通过 Kaggle、谷歌的 Colab Notebook 或通过 Google Cloud 访问。尽管体量较小,但在关键基准测试中明显超越了更大的模型,包括 Llama2 7B 和 13B,以及 Mistral 7B,能够直接在开发人员的笔记本电脑或台式电脑上运行。在 HuggingFace 的 LLM leaderboard 上,Gemma 的 2B 和 7B 模型已经双双登顶。
2024-10-28
用户体验设计与大模型的关系
用户体验设计与大模型密切相关。 在构建基于大模型的应用方面: 开发大模型应用复杂,涉及众多步骤和环节,包括框架选择、提示词设计等。 提示词的精心设计和调试至关重要,直接影响模型输出质量和应用效果。 构建有效的大型语言模型应用需要遵循一系列要点,如进行工程化、选择合适框架、了解业务需求、设计提示词、遵守安全和伦理标准、测试迭代、持续维护更新等。 在 AI 战场的发展趋势方面: 2023 年认为训练最好的模型就能吸引用户,但 2024 年大量消费者 AI 应用将通过提供最佳用户体验而非单纯提升模型性能来竞争,大模型可作为差异化优势之一,但老式护城河仍可能决定长期赢家。 关于大模型的道德观念: 大型语言模型本身不具有真正的道德观念或意识,它们是通过大量数据训练模拟语言统计规律的。 开发者和研究人员会采取多种方法确保模型输出符合社会道德和伦理标准,如数据清洗、算法设计、制定准则、保持透明度、用户反馈、持续监控、人工干预、教育和培训等,但这仍是复杂且持续的挑战。
2024-11-04
有没有对监控图像清晰度处理较好的模型
以下为一些对监控图像清晰度处理较好的模型及相关方法: 1. 【SD】超清无损放大器 StableSR: 需要使用 StabilityAI 官方的 Stable Diffusion V2.1 512 EMA 模型,放入 stablediffusionwebui/models/StableDiffusion/文件夹中。 StableSR 模块(约 400M 大小)放入 stablediffusionwebui/extensions/sdwebuistablesr/models/文件夹中。 还有一个 VQVAE(约 750MB 大小)放在 stablediffusionwebui/models/VAE 中。 测试表明,StableSR 的放大效果在处理一些图像时,能够较好地保留人物细节,如眼神更锐利等。 2. 【SD】最强控制插件 ControlNet 的 tile 模型: 可用于高清修复小图,如将分辨率不高的食物图片进行高清化处理。 能修复和增加图像细节,如处理细节不足或结构错误的小屋图像。 3. 图像高清修复放大流程: 整个流程分为输入原始图像、修复图像、放大并重绘图像三部分。 图像输入时不建议上传大分辨率图片,以免处理时间过长。 图像高清修复时,Checkpoint 大模型使用 Iceclear/StableSR,并搭配 Stable SR Upscaler 模型,提示词应包含想要达到的目的内容。 图像高清放大时,用 realisticVision 底膜,使用提示词反推 node 提取画面提示词,搭配 tile ControlNet 提升画面细节感,然后用合适的高清放大模型进行二次放大。
2024-11-04
AI模型
以下是关于 AI 模型的相关信息: OpenAI API 由多种具有不同功能和价位的模型提供支持,还可通过微调针对特定用例对原始基本模型进行有限定制。具体模型包括: GPT4 Beta:一组改进 GPT3.5 的模型,能理解和生成自然语言或代码。 GPT3.5:一组改进 GPT3 的模型,能理解并生成自然语言或代码。 DALL·E Beta:能在给定自然语言提示的情况下生成和编辑图像的模型。 Whisper Beta:能将音频转换为文本的模型。 Embeddings:一组能将文本转换为数字形式的模型。 Codex Limited Beta:一组能理解和生成代码的模型,包括将自然语言转换为代码。 Moderation:能检测文本是否敏感或不安全的微调模型。 GPT3:一组能理解和生成自然语言的模型。 OpenAI 于 9.12 发布新模型,开发了一系列旨在花更多时间思考后再做出响应的新 AI 模型,能推理完成复杂任务并解决更难问题。已发布该系列在 ChatGPT 和 API 中的第一个,这是一个预览,期待定期更新和改进,还包括下一次更新的评估,目前正在开发中。 大模型与当下智能语音技能的 NLU 存在本质差别。语音技能 NLU 是通过一系列规则、分词策略等训练而成,运作逻辑规律可观测,具有 ifelse 式逻辑性。而大模型凭借海量数据在向量空间中学习知识的关联性形成,运作逻辑难以观测,脱离了 ifelse 的层面。汪华老师认为此次 AI 变革量级 100%能抵达与移动互联网同一级别,50%有可能发展至与蒸汽机出现同量级,能否到达 AGI 尚不明确。
2024-11-03
如何做大模型的云端部署与微调
做大模型的云端部署与微调,主要包括以下步骤: 1. 选择合适的部署方式: 本地环境部署。 云计算平台部署。 分布式部署。 模型压缩和量化。 公共云服务商部署。需根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源: 确保有足够的训练数据覆盖目标应用场景。 准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础: 可以使用开源的预训练模型如 BERT、GPT 等。 也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练: 根据具体应用场景对预训练模型进行微调训练。 优化模型结构和训练过程以提高性能。 5. 部署和调试模型: 将训练好的模型部署到生产环境。 对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护: 大模型涉及大量数据和隐私信息,需要重视安全性和合规性。 例如,对于 SDXL 的大模型,本地部署时要注意模型分为 base+refiner 以及配套的 VAE 模型,需将其放入对应文件夹,并在秋叶启动器中将 webUI 的版本升级到 1.5 以上。而对于 Llama3 的部署和微调,实操分两部分,包括本地部署并通过 webdemo 对话,以及使用特定数据集进行微调,具体流程为购买服务器、安装代码环境、下载通用模型和数据集、挑选微调框架、编写微调程序和验证结果。 总的来说,部署和微调大模型需要综合考虑多方面因素,根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。
2024-10-26
docker部署qwen
以下是关于 Docker 部署相关问题的综合回答: 容器编排模板: 容器编排模板是一种配置文件,用于在 Docker 中部署和管理多个容器,可一键部署复杂环境,无需手动配置细节,如配置 COW 组件与微信和极简未来平台交互。 使用 Docker 部署 COW 组件的原因: Docker 提供隔离运行环境,确保应用在任何环境稳定运行,简化安装和配置过程,保证环境一致,便于管理和维护。 配置多个前缀触发机器人回复的原因: 配置如“bot”、“@bot”等多个前缀,能确保机器人只在特定情况回复,避免群聊或私聊中频繁干扰,提高响应准确性和用户体验。 扫码登录失败的解决办法: 1. 重启 Docker 容器:在宝塔面板中找到对应容器,点击“重启”。 2. 检查网络连接:确保服务器和微信客户端能正常访问互联网。 3. 重新扫描二维码:等待容器重启后,重新扫描日志中生成的二维码。 费用相关: 使用 AI 微信聊天机器人的费用实际上不高,极简未来平台按使用量收费,对一般用户费用相对低廉,充值少量费用通常可用很长时间,且平台提供每天签到免费领积分福利,进一步降低使用成本。使用极简未来平台创建 AI 机器人的具体费用未明确给出。
2024-10-20
我想在云服务器部署使用 dify 和 comfyui ,云服务器机器配置需要什么要求呢
在云服务器部署使用 Diffy 和 ComfyUI ,云服务器机器配置要求如下: 1. 系统:Windows 7 以上。 2. 显卡要求:NVIDIA 独立显卡且显存至少 4G 起步。但 SDXL 出来后提高了运行配置,最低需要 8GB 显存+32GB 运行内存,12GB 流畅运行,推荐 16GB 以上。 3. 硬盘:留有足够的空间,最低 100G 起步(包括模型)。硬盘会影响加载模型的速度,最好把软件和模型部署在 SSD(固态硬盘)上。 4. 内存:最低 32GB,越高越好,最低配会经常爆显存。 需要注意的是,ComfyUI 相比 WebUI 配置更低,系统资源占用更少,出图速度更快,最低可在小于 3G 的 GPU 上运行,甚至没有 GPU 光用 CPU 也可以运行,但速度极慢。如果您的电脑能顺畅清晰地玩 3A 游戏,那玩 WebUI 和 ComfyUI 通常也没问题。配置上不封顶,根据自己的需求和预算来选择即可。
2024-10-19
如何在个人电脑中部署本地RAG
在个人电脑中部署本地 RAG 可以按照以下步骤进行: 1. 加载所需的库和模块: 确保 ollama 服务已开启并下载好模型,ollama 用于在 python 程序中跑大模型。 feedparse 用于解析 RSS 订阅源。 2. 从订阅源获取内容: 函数用于从指定的 RSS 订阅 url 提取内容,如需接收多个 url 可稍作改动。 通过专门的文本拆分器将长文本拆分成较小的块,并附带相关元数据,如标题、发布日期和链接。最终,这些文档被合并成一个列表并返回,用于进一步的数据处理或信息提取任务。 3. 为文档内容生成向量: 使用文本向量模型 bgem3,从 hf 下载好模型后放置在指定路径,如 /path/to/bgem3,通过函数利用 FAISS 创建一个高效的向量存储。 4. 创建 Python 虚拟环境: 创建 python 虚拟环境,并安装相关库,版本如下: ollama:0.1.8 langchain:0.1.14 faisscpu:1.8.0(有 gpu 则安装 gpu 版本) gradio:4.25.0 feedparser:6.0.11 sentencetransformers:2.6.1 lxml:5.2.1 5. 导入依赖库。 6. 基于用户的问题,从向量数据库中检索相关段落,并根据设定的阈值进行过滤,最后让模型参考上下文信息回答用户的问题,从而实现 RAG。 7. 创建网页 UI:通过 gradio 创建网页 UI,并进行评测。 8. 问答测试:对于同样的问题和上下文,基于 Qwen7b、Gemma、Mistral、Mixtral 和 GPT4 分别进行多次测试。 总结: 1. 本文展示了如何使用 Langchain 和 Ollama 技术栈在本地部署一个资讯问答机器人,同时结合 RSSHub 来处理和提供资讯。 2. 上下文数据质量和大模型的性能决定了 RAG 系统性能的上限。 3. RAG 通过结合检索技术和生成模型来提升答案的质量和相关性,可以缓解大模型幻觉、信息滞后的问题,但并不意味着可以消除。
2024-10-13
dify的部署和ollama联动
以下是关于 Dify 与 Ollama 联动部署的相关信息: Ollama 的特点和功能: 1. 支持多种大型语言模型,如通义千问、Llama 2、Mistral 和 Gemma 等,适用于不同应用场景。 2. 易于使用,适用于 macOS、Windows 和 Linux 系统,同时支持 CPU 和 GPU。 3. 提供模型库,用户可从中下载不同参数和大小的模型,通过 https://ollama.com/library 查找。 4. 支持自定义模型,可修改温度参数调整创造性和连贯性,或设置特定系统消息。 5. 提供 REST API 用于运行和管理模型,以及与其他应用程序的集成选项。 6. 社区贡献丰富,包括多种集成插件和界面,如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 Ollama 的安装和使用: 1. 访问 https://ollama.com/download/ 下载安装。 2. 安装完后,确保 Ollama 后台服务已启动。在 Mac 上启动 Ollama 应用程序,在 Linux 上通过 ollama serve 启动。可通过 ollama list 确认。 3. 通过 ollama 命令下载模型。 Google Gemma 的本地部署: 1. 进入 ollama.com 下载程序并安装(支持 Windows、Linux 和 macOS)。 2. 在命令提示符中输入 ollama v 检查版本,安装完成后版本应为 0.1.26。 3. 输入 cls 清空屏幕,然后输入 ollama run gemma 运行模型(默认是 2b),首次需要下载。若想用 7b,运行 ollama run gemma:7b 。 4. 完成后可直接对话。2b 反应速度快但互动话题有限,7b 输出内容质量相对高但可能卡顿,对非英文语种反馈不稳定。 5. 常用内部指令:/set 显示设置界面可调整的设置项;/show 显示模型信息;/load <model> 加载已有模型;/bye 退出。 整体框架设计思路: 可先采取 Langchain + Ollama 的技术栈作为 demo 实现,后续也可考虑使用 dify、fastgpt 等更直观易用的 AI 开发平台。本次开发的运行环境是 Intel Mac,其他操作系统也可行。下载模型等可能需要梯子。 Langchain 简介: Langchain 是当前大模型应用开发的主流框架之一,提供一系列工具和接口,使与 LLM 交互变简单。其核心在于“链”概念,是模块化组件系统,包括 Model I/O、Retrieval、Chains、Agents、Memory 和 Callbacks 等组件,可灵活组合支持复杂应用逻辑。其生态系统还包括 LangSmith、LangGraph 和 LangServe 等工具,帮助开发者高效管理从原型到生产的各个阶段以优化 LLM 应用。
2024-10-08
如在腾讯云上部署ollama
以下是在腾讯云上部署 Ollama 的详细步骤: 一、下载并安装 Ollama 1. 根据您的电脑系统,点击进入 https://ollama.com/download 下载 Ollama。 2. 下载完成后,双击打开,点击“Install”。 3. 安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 二、下载 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型) 1. 如果您是 Windows 电脑,点击 win+R,输入 cmd,点击回车。如果您是 Mac 电脑,按下 Command(⌘)+ Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 2. 复制以下命令行,粘贴进入,点击回车。 3. 回车后,会开始自动下载,等待完成。(这里下载久了,可能会发现卡着不动,不知道下载了多少了。鼠标点击一下窗口,键盘点空格,就会刷新了) 4. 下载完成后您会发现,大模型已经在本地运行了。输入文本即可进行对话。 三、下载 Open WebUI 1. 回到桌面,再打开一个新的终端窗口(可以放心多个窗口,不会互相影响)。如果您是 Windows 电脑,点击 win+R,输入 cmd,点击回车。如果您是 Mac 电脑,按下 Command(⌘)+ Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 2. 将以下命令输入,等待下载。 3. 出现相关图示,即是下载完成。 4. 点击或复制下方地址进入浏览器:http://localhost:3000/auth/ 5. 点击进行注册即可,注册输入昵称、邮箱、密码。注册完即可登录进入。 6. 登入后,看到如下页面,点击顶部的 Model,选择“llama3:8b”。 7. 完成。您已经拥有了一个属于自己的本地大语言模型。可以开始与他对话啦! 四、部署 Google Gemma 1. 首先进入 ollama.com,下载程序并安装(支持 windows,linux 和 macos)。 2. 查找 cmd 进入命令提示符,输入 ollama v 检查版本,安装完成后版本应该显示 0.1.26。 3. 输入 cls 清空屏幕,接下来直接输入 ollama run gemma 运行模型(默认是 2b),首次需要下载,需要等待一段时间,如果想用 7b,运行 ollama run gemma:7b 。 4. 完成以后就可以直接对话了,2 个模型都安装以后,可以重复上面的指令切换。
2024-09-27
如何进行ai学习 用户id:1232334 描述:北欧5国10日游
以下是新手学习 AI 的一些建议: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能的定义、主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,您可以找到一系列为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,涵盖图像、音乐、视频等,您可以根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出您的作品。 在知识库提供了很多大家实践后的作品、文章分享,欢迎您实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式。通过与这些 AI 产品的对话,您可以获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。
2024-10-15
如何进行ai学习 用户id:1232334 描述:北欧5国10日游
新手学习 AI 可以按照以下步骤进行: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能的定义、主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 利用在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,包括图像、音乐、视频等,可根据自身兴趣选择特定模块深入学习。 掌握提示词的技巧,其上手容易且实用。 4. 实践和尝试: 理论学习后,实践是巩固知识的关键,尝试使用各种产品做出自己的作品。 知识库中有很多大家实践后的作品和文章分享,欢迎您实践后也进行分享。 5. 体验 AI 产品: 与现有的 AI 产品如 ChatGPT、Kimi Chat、智谱、文心一言等聊天机器人进行互动,了解其工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,激发对 AI 潜力的认识。
2024-10-10
如何进行ai学习 用户id:1232334 描述:北欧5国10日游
新手学习 AI 可以按照以下步骤进行: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能的定义、主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,包括图像、音乐、视频等,可根据自身兴趣选择特定模块深入学习。 掌握提示词的技巧,其上手容易且很有用。 4. 实践和尝试: 理论学习后,实践是巩固知识的关键,尝试使用各种产品做出作品。 在知识库中有很多大家实践后的作品、文章分享,欢迎实践后进行分享。 5. 体验 AI 产品: 与现有的 AI 产品如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人进行互动,了解它们的工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,激发对 AI 潜力的认识。
2024-10-10