直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

联想异能者配置i5-12450八核,32GB内存,1TB固态硬盘,用于本地部署开源大模型可以部署哪些开源大模型

回答

以下是一些您的联想异能者配置(i5-12450 八核,32GB 内存,1TB 固态硬盘)可部署的开源大模型及相关信息:

ComfyUI 相比 WebUI 配置更低,系统资源占用更少,出图速度更快。ComfyUI 最低可在小于 3G 的 GPU 上运行,甚至没有 GPU 光用 CPU 也可以运行,但速度极慢。SDXL 出来后提高了运行配置,最低需要 8GB 显存+32GB 运行内存,12GB 流畅运行,推荐 16GB 以上。玩 SD-webui 和 ComfyUI 建议使用 6GB 以上的显存的 NVIDIA 显卡(N 卡),内存在 16G 以上。硬盘会影响加载模型的速度,所以最好把软件和模型部署在 SSD(固态硬盘)上。

截止 2024 年 5 月,主流的 AI 笔记本电脑主要是一些专门为人工智能和深度学习设计的高性能移动工作站。一些知名品牌包括微软第 11 代 Surface Pro、微星 Creator/Workstation 系列、技嘉 Aero/Aorus 系列、戴尔 Precision 移动工作站、惠普 ZBook 移动工作站、联想 ThinkPad P 系列。这些笔记本通常配备强大的 GPU(如 NVIDIA RTX 系列)、大容量内存(32GB 以上)和高速固态硬盘,还通常预装了 NVIDIA CUDA、cuDNN 等深度学习框架,以及各种 AI 开发工具。但这类高端 AI 笔记本价格相对较高,通常在 2000 美元以上。用户可根据自身需求和预算选择合适型号,并关注散热、续航等实际使用体验。

请注意,配置上不封顶,您可根据自己的需求和预算来选择。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

彭青云:01小白comfyui学习日记-解决篇线上部署,和线下部署配置需求

[title]彭青云:01小白comfyui学习日记-解决篇线上部署,和线下部署配置需求[heading2]2现在我们来打个小怪:[heading3]2.2 comfyui本地部署的硬件配置comfyui相比webui:comfyui配置更低;系统资源占用更少;出图速度更快;最低可在小于3G的GPU上运行。甚至没有GPU,光用CPU也可以运行,缺点是速度极慢。SDXL出来后提高了运行配置:最低需要8GB显存+32GB运行内存,12GB流畅运行,推荐16GB以上。运行内存最低32GB,越高越好,最低配会经常爆显存。玩SD-webui和comfyui建议使用6GB以上的显存的NVIDIA显卡,也就是N卡,内存在16G以上。硬盘会影响加载模型的速度,所以最好把软件和模型部署在SSD(固态硬盘)上,这样速度更快。我之前的电脑2060N系8G显存,16g内存。把webui和模型装在2t固态硬盘上,打开速度极快,出图速度也还可以,4张512x768的图不到一分钟就可出来。如果你的电脑能顺畅清晰地玩3A游戏,那玩webui和comfyui也没问题。配置上不封顶,根据自己的需求和预算来即可。以我为例,新需求:做AIGC视频+建模渲染+炼丹(lora)预算2W。起先用2060生图,后发现做AIGC视频比较费时间,且还有做建模渲染的需求。后来向朋友请教,搞了一套次顶配的组装机,加上一个护眼的4K显示器共2W出头。

问:目前有什么主流AI笔记本电脑推荐?

[title]问:目前有什么主流AI笔记本电脑推荐?截止2024年5月,主流的AI笔记本电脑主要是一些专门为人工智能和深度学习设计的高性能移动工作站。这类笔记本通常配备了强大的GPU(如NVIDIA RTX系列)、大容量内存和高速固态硬盘,以满足AI模型训练和推理的计算需求。一些知名品牌的AI笔记本包括:1.微软(Microsoft)第11代Surface Pro2.微星(MSI)Creator/Workstation系列3.技嘉(GIGABYTE)Aero/Aorus系列4.戴尔(Dell)Precision移动工作站5.惠普(HP)ZBook移动工作站6.联想(Lenovo)ThinkPad P系列这些笔记本一般采用英特尔酷睿或AMD Ryzen的高端移动CPU,配备NVIDIA RTX 30/40系列或AMD Radeon Pro专业级GPU。同时也提供了大容量内存(32GB以上)和高速NVMe SSD存储选配。除了硬件配置,这些AI笔记本还通常预装了NVIDIA CUDA、cuDNN等深度学习框架,以及各种AI开发工具,为用户提供了开箱即用的AI开发环境。当然,这类高端AI笔记本价格也相对较高,通常在2000美元以上。用户可以根据自身的AI应用需求和预算情况,选择合适的型号。同时也要关注笔记本的散热、续航等实际使用体验。内容由AI大模型生成,请仔细甄别

其他人在问
开源的数字人工具
以下是一些开源的数字人工具: 1. HeyGen:这是一个 AI 驱动的平台,能创建逼真的数字人脸和角色,使用深度学习算法生成高质量肖像和角色模型,适用于游戏、电影和虚拟现实等应用。 2. Synthesia:AI 视频制作平台,允许创建虚拟角色并进行语音和口型同步,支持多种语言,可用于教育视频、营销内容和虚拟助手等场景。 3. DID:提供 AI 拟真人视频产品服务和开发,上传人像照片和输入内容,平台的 AI 语音机器人能自动转换成语音并合成逼真的说话视频。 此外,还有一些相关的开源算法代码仓库: 1. ASR 语音识别: openai 的 whisper:https://github.com/openai/whisper wenet:https://github.com/wenete2e/wenet speech_recognition(语音识别的接口集合):https://github.com/Uberi/speech_recognition 2. AI Agent: 大模型部分包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分可使用 LangChain 的模块自定义,包含了 Agent 实现的几个组件:https://www.langchain.com/ 3. TTS: 微软的 edgetts:https://github.com/rany2/edgetts,只能使用预设人物声音,目前接口免费。 VITS:https://github.com/jaywalnut310/vits,还有很多分支版本。 sovitssvc:https://github.com/svcdevelopteam/sovitssvc,专注于唱歌。 请注意,这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时,请确保遵守相关使用条款和隐私政策,并注意保持对生成内容的版权和伦理责任。更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42 。上周 HeyGen 工具创始人的演示视频刷屏,效果很好。LKS 也有相关的数字人介绍视频:https://www.bilibili.com/video/BV1vm4y1x7nm/?share_source=copy_web&vd_source=6c09aa7f53b69992e1cd572bbd2dbf94 。斯坦福 AI 小镇上周正式开源,相关论文链接:https://arxiv.org/abs/2304.03442 。
2024-11-19
如何学习开源机器人,要求是ROS操作系统,如何购置相应的机器人
学习开源机器人并基于 ROS 操作系统购置相应机器人,您可以从以下几个方面入手: 1. 控制系统:负责处理传感器数据、规划路径和执行任务,并与其他子系统协作。通常由嵌入式计算设备或工业计算机组成,通过运行控制算法(如 PID 控制、深度学习模型等)决定机器人运动和操作。 2. 伺服驱动系统:负责驱动机器人关节和执行机构,实现精确运动控制。一般包括伺服电机、伺服驱动器和指令机构。伺服电机作为执行机构实现运动,伺服驱动器作为功率电源控制电机运动,指令机构发出脉冲或速度信号配合工作。能进行速度与转矩控制,以及精确、快速、稳定的位置控制,其结构通常包括电流环、速度环和位置环三个闭环控制。 3. 交互设备:常见的有麦克风、遥控器等,尤其是带屏遥控器,集成了显示屏和控制功能,允许用户直接在遥控器上查看实时图像和进行各种操作。 4. 软件中间件:机器人操作系统中间件负责硬件抽象、设备驱动、库函数、可视化、消息传递和软件包管理等。最常用的元操作系统是 ROS(Robot Operating System),它并非真正的操作系统,而是运行在 Ubuntu 上的软件框架。ROS 将机器人软件功能封装为节点,支持节点间分布式、点对点通信,并由主节点(master)管理调度网络中各节点通信过程。不同节点可使用不同编程语言,可分布式运行在不同主机,这种设计使机器人各模块能松耦合协同工作,便于模块化修改和升级,提高系统容错能力。 在购置相应机器人时,您需要考虑机器人的功能需求、性能指标、价格预算等因素,选择适合您学习和研究的型号。
2024-11-19
目前有哪些开源绘画模型
目前常见的开源绘画模型有: Stable Diffusion:生态最完整,能够加载的框架有 ComfyUI 框架、SD.Next 框架、Stable Diffusion WebUI 框架、diffusers 框架。 MidJourney:模型风格包罗万象,操作简洁,极富美感和艺术感。 Dall·E3(ChatGPT):具有惊人的语义理解能力,可像甲方一样连续修改。 Fooocus:优化程度高,操作简便,类似本地化 mj。 ComfyUI:门槛高,定制化强。 HunYuanDiT:国内第一个开源绘图模型。 SDXL:开源时间为 2023.7。 SD3:开源时间为 2024.6。 KOLORS:开源时间为 2024.7,目前生图质量最高,有相关的教学视频,如“Kolors 中文生图绘画模型开源,快手接连放出高质量开源项目,是否会成为中国的 StabilityAI”等。 Flux:开源时间为 2024.8。
2024-11-07
有哪些开源或者免费的数字人工具
以下是一些开源或者免费的数字人工具: 1. HeyGen:AI 驱动的平台,能创建逼真的数字人脸和角色,使用深度学习算法生成高质量肖像和角色模型,适用于游戏、电影和虚拟现实等。 2. Synthesia:AI 视频制作平台,允许创建虚拟角色并进行语音和口型同步,支持多种语言,可用于教育视频、营销内容和虚拟助手等场景。 3. DID:提供 AI 拟真人视频产品服务和开发,上传人像照片和输入内容,平台的 AI 语音机器人能自动转换成语音并合成逼真的说话视频。 更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42 此外,还有一些相关的开源代码仓库: ASR 语音识别: openai 的 whisper: https://github.com/openai/whisper wenet: https://github.com/wenete2e/wenet speech_recognition:https://github.com/Uberi/speech_recognition AI Agent: 大模型:ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分:可使用 LangChain 的模块自定义,https://www.langchain.com/ TTS: 微软的 edgetts:https://github.com/rany2/edgetts,只能使用预设人物声音,目前接口免费。 VITS:https://github.com/jaywalnut310/vits,还有很多分支版本。 sovitssvc: https://github.com/svcdevelopteam/sovitssvc,专注于唱歌。 请注意,这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时,请确保遵守相关使用条款和隐私政策,并注意保持对生成内容的版权和伦理责任。
2024-11-07
有哪些开源免费的数字人工具
以下是一些开源免费的数字人工具: 1. HeyGen:这是一个 AI 驱动的平台,能创建逼真的数字人脸和角色,使用深度学习算法生成高质量肖像和角色模型,适用于游戏、电影和虚拟现实等应用。 2. Synthesia:AI 视频制作平台,允许创建虚拟角色并进行语音和口型同步,支持多种语言,可用于教育视频、营销内容和虚拟助手等场景。 3. DID:提供 AI 拟真人视频产品服务和开发,上传人像照片和输入内容,平台的 AI 语音机器人将自动转换成语音并合成逼真的会开口说话的视频。 更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42 。 请注意,这些工具的具体功能和可用性可能会变化。使用时请遵守相关使用条款和隐私政策,并注意生成内容的版权和伦理责任。 此外,以下是一些与数字人相关的开源代码仓库: ASR 语音识别: openai 的 whisper: https://github.com/openai/whisper wenet: https://github.com/wenete2e/wenet speech_recognition:https://github.com/Uberi/speech_recognition AI Agent: 大模型部分包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分可使用 LangChain 的模块自定义,包含了 Agent 实现的几个组件:https://www.langchain.com/ TTS: 微软的 edgetts:https://github.com/rany2/edgetts,只能使用里面预设的人物声音,目前接口免费。 VITS:https://github.com/jaywalnut310/vits,还有很多分支版本。 sovitssvc: https://github.com/svcdevelopteam/sovitssvc,专注于唱歌。 人物建模模型可通过手动建模(音频驱动)或者 AIGC 的方式生成人物的动态效果(例如 wav2lip 模型)实现。 以下是部分摊位信息中与数字人相关的内容: |编号|摊位活动主题和内容|摊位区域|摊位编号| ||||| |54|AI 数字人的技术以及应用场景|D|D4| |59|百度数字人试拍|D|D3|
2024-11-07
阿里开源的数字人
阿里开源的数字人相关信息如下: 阿里的虚拟数字人:https://www.aliyun.com/product/ai/avatar?spm=5176.21213303.8115314850.1.72de53c9pdvu6T&scm=20140722.S_card@@%E4%BA%A7%E5%93%81@@1161322.S_card0.ID_card@@%E4%BA%A7%E5%93%81@@1161322RL_%E6%95%B0%E5%AD%97%E4%BA%BAOR_serV_2P0_0 关于阿里在 AIGC 实践方面的相关文章: 在构建高质量的 AI 数字人方面,建好的模型可以使用 web 前端页面(Live2D 就提供了 web 端的 SDK)或者 Native 的可执行程序进行部署,最后呈现在用户面前的是一个 GUI。笔者的开源数字人项目(项目地址:https://github.com/wanh/awesomedigitalhumanlive2d)选择了 live2d 作为数字人躯壳,因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然,相比虚幻引擎这些驱动方式又更加轻量和简单;另外超写实的数字人风格在目前的技术能力下,处理不好一致性问题,容易带来虚假的感觉或者产生恐怖谷效应,而卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例:https://github.com/Live2D 。
2024-11-07
企业做自己的小模型,需要用到的工具及工具背后的公司都有哪些?
企业做自己的小模型,可能会用到以下工具及背后的公司: 1. 在编排(Orchestration)方面,涉及的公司如 DUST、FIAVIE、LangChain 等,其提供的工具可帮助管理和协调各部分及任务,确保系统流畅运行。 2. 部署、可扩展性和预训练(Deployment, Scalability, & PreTraining)类别中,像 UWA mosaicm、NMAREL、anyscale 等公司提供的工具,有助于部署模型、保证可扩展性及进行预训练。 3. 处理上下文和嵌入(Context & Embeddings)的工具,相关公司有 TRUDO、Llamalndex、BerriAI 等,能帮助模型处理和理解语言上下文,并将词语和句子转化为计算机可理解的形式。 4. 质量保证和可观察性(QA & Observability)方面,例如 Pinecone、drant、Vald 等公司提供的工具,可确保模型表现并监控其性能和状态。 此外,还有以下工具和相关公司: 1. 图片生成 3D 建模工具,如 Tripo AI(由 VAST 发布)、Meshy、CSM AI(Common Sense Machines)、Sudo AI、VoxCraft(由生数科技推出)等。 企业还可能涉及具身智能、3D 眼镜、AI 绘本、AI 图书、学习机、飞书的多维表格、蚂蚁的智能体、Coze 的智能体、Zeabur 等云平台、0 编码平台、大模型(通义、智谱、kimi、deepseek 等)、编程辅助、文生图(可灵、即梦等)等方面,可能需要相应资质。
2024-11-20
你认为目前最好用的大模型有哪些?
目前最好用的大模型包括: 1. OpenAI 的 GPT4:是最先进和广泛使用的大型语言模型之一,在多种任务上表现卓越,如文本生成、理解、翻译及各种专业和创意写作任务,能通过大量数据学习理解和生成人类语言,处理复杂问题和理解上下文能力出色。 2. Anthropic 公司的 Claude 3。 3. 谷歌的 Gemini。 4. 百度的文心一言。 5. 阿里巴巴的通义大模型。 大型模型主要分为两类: 1. 大型语言模型:专注于处理和生成文本信息。 2. 大型多模态模型:能够处理包括文本、图片、音频等多种类型的信息。 大型多模态模型与大型语言模型的不同点: 1. 处理的信息类型不同:大型语言模型专注于文本,大型多模态模型能处理多种类型信息。 2. 应用场景不同:大型语言模型主要用于自然语言处理任务,大型多模态模型应用领域更广泛。 3. 数据需求不同:大型语言模型依赖大量文本数据训练,大型多模态模型需要多种类型数据训练。 此外,如果想了解国内的大模型效果,可以参考第三方基准评测报告: 。需注意,内容由 AI 大模型生成,请仔细甄别。
2024-11-19
能生成sql语句的ai模型或工具,能提供api调用的
以下是一些能生成 SQL 语句并提供 API 调用的 AI 模型或工具的相关信息: OpenAI 的 GPT 系列模型,如 gpt40613 和 gpt3.5turbo0613 ,可以通过函数调用及其他 API 更新,让开发人员向模型描述函数,并让模型智能地选择输出一个包含调用这些函数所需参数的 JSON 对象。但需要注意的是,为了让 ChatGPT 返回符合要求的 JSON 格式,prompt 的定制尤为重要和复杂。 在使用代码执行来进行更精确的计算或调用外部 API 时,不能依赖模型自行准确地执行算术或长计算。可以指示模型编写和运行代码,例如将代码放入三重反引号中。生成输出后,可以提取并运行代码。同时,模型在正确使用 API 的指导下,可以编写使用 API 的代码,但需要通过提供 API 文档或代码示例进行指导。 但需要注意的是,执行模型生成的代码存在安全风险,建议在安全的沙箱环境中运行代码,避免潜在危害。
2024-11-19
图说AI大模型?
以下是关于 AI 大模型的相关内容: 一、大模型的整体架构 1. 基础层:为大模型提供硬件支撑和数据支持,例如 A100、数据服务器等。 2. 数据层:包括静态的知识库和动态的三方数据集,这里的数据层并非用于基层模型训练的数据基集,而是企业根据自身特性维护的垂域数据。 3. 模型层:包括 LLm(大语言模型,例如 GPT,一般使用 transformer 算法实现)或多模态模型(如市面上的文生图、图生图等模型,训练所用数据与 llm 不同,为图文或声音等多模态的数据集)。 4. 平台层:例如大模型的评测体系或 langchain 平台等,是模型与应用间的组成部分。 5. 表现层:也就是应用层,是用户实际看到的地方。 二、再补充一些概念 AI Agent Agent 是从年前到现在比较火的概念,被很多人认为是大模型的未来主要发展方向。中间的“智能体”其实就是 llm 或大模型,四个箭头分别是为 llm 增加的工具、记忆、行动、规划四个能力。目前行业里主要用到的是 langchain 框架,它把 llm 之间以及 llm 和工具之间通过代码或 prompt 的形式进行串接。 三、必须理解的核心概念 1. 泛化能力:指模型在未曾见过的数据上表现良好的能力,用大白话讲就是“举一反三”的能力,人类泛化能力很强,无需见过世界上每一只猫就能认识猫的概念。 2. 多模态:指多数据类型交互,能提供更接近人类感知的场景,大模型对应的模态有文本、图像、音频、视频等。 3. 对齐能力:指与人类价值观与利益目标保持一致的能力。但目前阶段,有很多提示词注入的方法能绕过各种限制,这也开辟了大模型领域黑白对抗的新战场。
2024-11-19
文生图模型性能排行
以下是一些文生图模型的性能排行相关信息: Kolors 是最近开源的文生图模型中表现出色的一个。它具有更强的中文文本编码器、高质量的文本描述、人标的高质量图片、强大的中文渲染能力以及巧妙解决高分辨率图加噪问题的 noise schedule,实测效果不错。 PIKA1.0 是一个全新的模型,文生视频和文生图的质量都有大幅度提升。在文生图方面稳定得令人惊讶,3D 和 2D 的动画效果出色。 为全面比较 Kolors 与其他模型的生成能力,构建了包含人工评估、机器评估的全面评测内容。在 KolorsPrompts 评估集中,Kolors 在整体满意度方面处于最优水平,其中画面质量显著领先其他模型。具体的平均分数如下: AdobeFirefly:整体满意度平均分 3.03,画面质量平均分 3.46,图文相关性平均分 3.84。 Stable Diffusion 3:整体满意度平均分 3.26,画面质量平均分 3.5,图文相关性平均分 4.2。 DALLE 3:整体满意度平均分 3.32,画面质量平均分 3.54,图文相关性平均分 4.22。 Midjourneyv5:整体满意度平均分 3.32,画面质量平均分 3.68,图文相关性平均分 4.02。 Playgroundv2.5:整体满意度平均分 3.37,画面质量平均分 3.73,图文相关性平均分 4.04。 Midjourneyv6:整体满意度平均分 3.58,画面质量平均分 3.92,图文相关性平均分 4.18。 Kolors:整体满意度平均分 3.59,画面质量平均分 3.99,图文相关性平均分 4.17。所有模型结果取自 2024.04 的产品版本。
2024-11-18
认为如果我是一个大学生,想要通过大模型去参加项目什么样的方向会比较好我应该做一个怎样的大模型?
对于大学生想要通过大模型参加项目,以下是一些方向和相关知识: 大模型的概念: 通俗来讲,大模型是输入大量语料,让计算机获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程: 1. 找学校:训练大模型需要大量计算,GPU 更合适,只有有资本购买大量 GPU 的才有能力训练自己的大模型。 2. 确定教材:大模型需要大量的数据量,几千亿序列(Token)的输入基本是标配。 3. 找老师:即选择合适的算法让大模型更好地理解 Token 之间的关系。 4. 就业指导:为了让大模型更好地胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:就业指导完成后,进行如翻译、问答等工作,在大模型里称之为推导(infer)。Token 被视为模型处理和生成的文本单位,会对输入进行数字化形成词汇表。 大模型的训练: 一般训练会有 3 个步骤,每个步骤都需要资金投入。 1. 无监督学习:模型通过分析大量文本数据,学习语言的基本结构和常识,具备文本补齐能力而非直接回答问题,将人类的知识通过向量化的方法转换,从而获得基础的语言模型。 2. 清洗出好的数据。 3. 指令微调:模型被训练以理解并执行具体指令,如翻译文本,从而能够回答问题。输入内容包括 3 个部分,中间可能有分隔符。还有对齐过程,通过引入人类的评价标准和处理特定格式要求,进一步优化模型的输出以符合人类的期望。 大模型的微调: 在人工智能领域,通常会根据应用领域将大模型分为通用大模型和领域特定模型。通用大模型如 GPT4.0、GPT3.5 等,通过训练获得广泛的自然语言理解能力,但在特定领域表现可能不理想。微调是对大模型针对特定领域进行的训练过程,通过在特定领域的数据上训练模型,优化所有层的参数,提高其在该领域的专业性。从头开始训练一个具备自然语言处理能力的大模型需要大量时间和资源,小公司负担不起,微调可以在现有模型基础上更经济、高效地适应新的应用领域。
2024-11-18
你的知识库是怎么部署的
部署个人知识库需要考虑硬件配置和相关技术原理。 硬件方面: 生成文字大模型,最低配置为 8G RAM + 4G VRAM,建议配置为 16G RAM + 8G VRAM,理想配置为 32G RAM + 24G VRAM(如果要跑 GPT3.5 差不多性能的大模型)。 生成图片大模型(比如跑 SD),最低配置为 16G RAM + 4G VRAM,建议配置为 32G RAM + 12G VRAM。 生成音频大模型,最低配置为 8G VRAM,建议配置为 24G VRAM。 技术原理方面: 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在这个过程中,首先检索外部数据,然后在生成步骤中将这些数据传递给 LLM。 RAG 应用包括文档加载、文本分割、存储、检索和输出这 5 个过程。 文档加载:从多种不同来源加载文档,LangChain 提供了 100 多种不同的文档加载器。 文本分割:把 Documents 切分为指定大小的块。 存储:涉及将切分好的文档块进行嵌入转换成向量的形式,并将 Embedding 后的向量数据存储到向量数据库。 检索:通过某种检索算法找到与输入问题相似的嵌入片。 输出:把问题以及检索出来的嵌入片一起提交给 LLM,LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 此外,搭建基于 GPT API 的定制化知识库,涉及给 GPT 输入(投喂)定制化的知识。GPT3.5 一次交互(输入和输出)只支持最高 4096 个 Token。为了处理大量领域知识,OpenAI 提供了 embedding API 解决方案。embeddings 是一个浮点数字的向量(列表),两个向量之间的距离衡量它们的关联性,小距离表示高关联度。
2024-11-11
本地部署的AI工具
以下是关于本地部署的 AI 工具的相关信息: 目前市面上的 AI 工具分为线上和线下本地部署两种: 线上的优势:出图速度快,不依赖本地显卡配置,无需下载大型模型,能查看其他创作者的作品,但出图分辨率受限,一般最高支持 1024×1024 左右,制作横板、高清图片会受影响。 线下部署的优势:可以添加插件,不卡算力,出图质量高。但使用时电脑基本处于宕机状态,配置不高可能会出现爆显存导致出图失败的情况。 具体的部署步骤(以 windows10 系统为例,mac 系统步骤类似,命令有所不同): 1. 安装环境: 点击电脑“系统”,输入“cmd”,回车打开命令窗口。 在命令窗口中,粘贴代码确认是否有 python 和 pip。 若没有,需安装:先安装 python,安装包可通过下载,按照步骤安装,关闭窗口再次运行命令确认。 2. 部署项目: 下载 COW 机器人项目并解压缩。 回到 chatgptonwechat/文件路径下,空白处右键,打开 Powershell 复制粘贴“python app.py”,弹出二维码扫码登录。 注意事项: 1. 程序在本地运行,关闭窗口进程结束,若要持续使用需保持窗口打开和运行。 2. 若突然不管用,可点击窗口并按空格。 3. 配置时,在 config.json 中的 OpneAi_Api 填“http://localhost:3000/api/v1/chat/completions”。 对于游戏截图升级到 KV 品质的应用,可充分发挥线上和线下平台的优势:线上找参考、测试模型,线下作为主要出图工具。先在线上绘图网站的绘图广场发现想要的画风,点击创作获取模型 lora 和 tag,截取游戏人物底图将线上算力集中在人物身上,多批次尝试不同画风得出合适模型+lora 组合,最后在 C 站()下载对应模型到本地加载部署后正式生图。
2024-11-10
Mac部署stable diffusion
在 Mac 上部署 Stable Diffusion 存在一定限制,功能可能不全且出错率偏高,严重影响使用体验。个人建议升级设备或者采用云服务器玩耍。 如果您仍想在 Mac 上部署,可以参考以下步骤: 1. 电脑硬件要求: 系统:无明确针对 Mac 的特定系统要求。 显卡:未明确针对 Mac 的显卡要求。 硬盘:留有足够的空间,最低 100G 起步(包括模型)。 2. 环境安装: 未提供 Mac 系统下的具体环境安装步骤。 由于 Mac 系统的特殊性,更推荐您采用云端部署的方式,相关教程可参考:https://qa3dhma45mc.feishu.cn/wiki/A6WYw1Nm0ikGplkuO9Ecwomqnnd
2024-11-06
如何做大模型的云端部署与微调
做大模型的云端部署与微调,主要包括以下步骤: 1. 选择合适的部署方式: 本地环境部署。 云计算平台部署。 分布式部署。 模型压缩和量化。 公共云服务商部署。需根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源: 确保有足够的训练数据覆盖目标应用场景。 准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础: 可以使用开源的预训练模型如 BERT、GPT 等。 也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练: 根据具体应用场景对预训练模型进行微调训练。 优化模型结构和训练过程以提高性能。 5. 部署和调试模型: 将训练好的模型部署到生产环境。 对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护: 大模型涉及大量数据和隐私信息,需要重视安全性和合规性。 例如,对于 SDXL 的大模型,本地部署时要注意模型分为 base+refiner 以及配套的 VAE 模型,需将其放入对应文件夹,并在秋叶启动器中将 webUI 的版本升级到 1.5 以上。而对于 Llama3 的部署和微调,实操分两部分,包括本地部署并通过 webdemo 对话,以及使用特定数据集进行微调,具体流程为购买服务器、安装代码环境、下载通用模型和数据集、挑选微调框架、编写微调程序和验证结果。 总的来说,部署和微调大模型需要综合考虑多方面因素,根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。
2024-10-26
docker部署qwen
以下是关于 Docker 部署相关问题的综合回答: 容器编排模板: 容器编排模板是一种配置文件,用于在 Docker 中部署和管理多个容器,可一键部署复杂环境,无需手动配置细节,如配置 COW 组件与微信和极简未来平台交互。 使用 Docker 部署 COW 组件的原因: Docker 提供隔离运行环境,确保应用在任何环境稳定运行,简化安装和配置过程,保证环境一致,便于管理和维护。 配置多个前缀触发机器人回复的原因: 配置如“bot”、“@bot”等多个前缀,能确保机器人只在特定情况回复,避免群聊或私聊中频繁干扰,提高响应准确性和用户体验。 扫码登录失败的解决办法: 1. 重启 Docker 容器:在宝塔面板中找到对应容器,点击“重启”。 2. 检查网络连接:确保服务器和微信客户端能正常访问互联网。 3. 重新扫描二维码:等待容器重启后,重新扫描日志中生成的二维码。 费用相关: 使用 AI 微信聊天机器人的费用实际上不高,极简未来平台按使用量收费,对一般用户费用相对低廉,充值少量费用通常可用很长时间,且平台提供每天签到免费领积分福利,进一步降低使用成本。使用极简未来平台创建 AI 机器人的具体费用未明确给出。
2024-10-20
我想在云服务器部署使用 dify 和 comfyui ,云服务器机器配置需要什么要求呢
在云服务器部署使用 Diffy 和 ComfyUI ,云服务器机器配置要求如下: 1. 系统:Windows 7 以上。 2. 显卡要求:NVIDIA 独立显卡且显存至少 4G 起步。但 SDXL 出来后提高了运行配置,最低需要 8GB 显存+32GB 运行内存,12GB 流畅运行,推荐 16GB 以上。 3. 硬盘:留有足够的空间,最低 100G 起步(包括模型)。硬盘会影响加载模型的速度,最好把软件和模型部署在 SSD(固态硬盘)上。 4. 内存:最低 32GB,越高越好,最低配会经常爆显存。 需要注意的是,ComfyUI 相比 WebUI 配置更低,系统资源占用更少,出图速度更快,最低可在小于 3G 的 GPU 上运行,甚至没有 GPU 光用 CPU 也可以运行,但速度极慢。如果您的电脑能顺畅清晰地玩 3A 游戏,那玩 WebUI 和 ComfyUI 通常也没问题。配置上不封顶,根据自己的需求和预算来选择即可。
2024-10-19
如何进行ai学习 用户id:1232334 描述:北欧5国10日游
以下是新手学习 AI 的一些建议: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能的定义、主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,您可以找到一系列为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,涵盖图像、音乐、视频等,您可以根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出您的作品。 在知识库提供了很多大家实践后的作品、文章分享,欢迎您实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式。通过与这些 AI 产品的对话,您可以获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。
2024-10-15
如何进行ai学习 用户id:1232334 描述:北欧5国10日游
新手学习 AI 可以按照以下步骤进行: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能的定义、主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 利用在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,包括图像、音乐、视频等,可根据自身兴趣选择特定模块深入学习。 掌握提示词的技巧,其上手容易且实用。 4. 实践和尝试: 理论学习后,实践是巩固知识的关键,尝试使用各种产品做出自己的作品。 知识库中有很多大家实践后的作品和文章分享,欢迎您实践后也进行分享。 5. 体验 AI 产品: 与现有的 AI 产品如 ChatGPT、Kimi Chat、智谱、文心一言等聊天机器人进行互动,了解其工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,激发对 AI 潜力的认识。
2024-10-10
如何进行ai学习 用户id:1232334 描述:北欧5国10日游
新手学习 AI 可以按照以下步骤进行: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能的定义、主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,包括图像、音乐、视频等,可根据自身兴趣选择特定模块深入学习。 掌握提示词的技巧,其上手容易且很有用。 4. 实践和尝试: 理论学习后,实践是巩固知识的关键,尝试使用各种产品做出作品。 在知识库中有很多大家实践后的作品、文章分享,欢迎实践后进行分享。 5. 体验 AI 产品: 与现有的 AI 产品如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人进行互动,了解它们的工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,激发对 AI 潜力的认识。
2024-10-10