Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

部署私有大模型需要什么显卡

Answer

部署私有大模型对显卡的要求如下:

  • 显存是显卡选择的第一要素,生成速度优先级相对较低。
    • SD1.5 版本的底模 6G 显存能勉强跑,8G 显存可较流畅生成图片和炼制 lora,12G 能流畅使用 Dreambooth 微调大模型。
    • 即将到来的 SDXL 对显卡性能要求更高,8G 显存起步,建议 16G 显存,微调大模型可能需要 20G 以上的显存,只有 4090 和 3090 能较好应对。
  • 预算不足时,可选择 30 系显卡或二手显卡。但不建议选择 P40 之类超大显存但速度超级慢的卡。
  • 常见显卡中,4090 生成 512 的图可跑进 1 秒内。
  • 对于一些垂直场景的专有技能模型,极端情况下单机单卡,如消费级显卡 3090、3080、RTX 显卡也可以使用。

综合多方评测结论,4090 是用于 SD 图像生成综合性价比最高的显卡。如果有打算进行 Dream booth 微调大模型,硬盘空间要准备充足,一次训练可能会产生几十 G 的文件。同时,其他电脑配件只要不太差即可,内存建议 32GB 以上。硬盘方面,不建议考虑机械盘,可选择国产固态。

Content generated by AI large model, please carefully verify (powered by aily)

References

Stable Diffusion电脑配置选购指南

其他电脑配件只要不太差就行了,要使用SDXL的话内存建议32GB以上。以前可能执着于要搭配好的电源主板等等,现在觉得国产的虽然没那么好,但是价格有便宜下来也可以,选择带有保修服务的商家就可以更放心一点了。如果预算不足的话,其他硬件都可以压一压,i9压成i5就省下不少。但是硬盘这一块我建议可以不用考虑买机械盘了,上个500块的长江存储2T的国产固态做系统盘,再买个1000块的4T国产固态做仓库盘,就很美好了。机械硬盘性价比不高,要买建议买大容量的。如果有打算进行Dream booth微调大模型的话,那么硬盘空间要准备多一点,一次训练可能会产生几十G的文件,基本上都需要多次训练测试,空间很快就满了。最后,综合我看过的多方评测的结论,4090才是用于SD图像生成综合性价比最高的显卡哈哈哈,贵的比较值得,其他便宜一点的代价是更大的损失。有志于深入研究SD图像生成的同学都可以考虑配备一个,工欲善其事,必先利其器。

Stable Diffusion电脑配置选购指南

显卡的选择中显存是第一要素,生成速度优先级相对较低。SD1.5版本的底模6G显存也能勉强跑,8G显存就可以比较流畅的生成图片和炼制lora,12G可以流畅的使用Dreambooth微调大模型。下图为Dreambooth的显存使用要求:即将到来的SDXL对显卡性能要求上了一个台阶,目前我了解到的参数是8G显存起步,建议16G显存,微调大模型可能需要20G以上的显存,只有4090和3090顶得住哈哈。预算不足的话选择30系的显卡,或者二手显卡也是一个选择,总比跑不动炸显存要好。至于P40之类超大显存但速度超级慢的卡我不太了解,这边不建议普通用户选择。下图为SDXL的显存使用要求:下方的常见显卡跑图性能、性价比表可以作为参考之一,数据并非100%准确。我的个人体验是4090生成512的图可以跑进1秒内,M1 Max的则可能需要10秒左右。(再次强调,MAC虽然勉强能跑,但不适合正式使用,不建议折腾)

周鸿祎免费课AI系列第二讲-企业如何拥抱AI

那么如果我们提出这样的要求,我们就发现我们所有的问题就得到了一个很满意的解答。我只要不追求这个大模型,又会写诗,又会翻译,还又能解数学题,还能够写营销文章,还能作画。我们过去通用大模型是给我们一个幻觉,觉得我大模型就该做这么多事,对吧?但实际上我们仔细的分析到,现在如果我们对大模型的要求放低,像我就降低对自己的期望,我就没有那么大压力。所以如果做一个垂直场景的专有技能的模型,不需要千亿万亿的参数,那个参数就浪费百亿,十亿的参数就够用。最近出现的一些新的大模型大概都是在几十亿到百亿这个参数,现在大家已经流行的是说看谁能用更小,用少的参数实现那些过去千亿模型才能实现的能力。所以说的夸张点,不需要H800,不需要H100,也不需要A800,也不需要A100。最极端上单机,单卡弄张消费机显卡30903080这RTX显卡就可以用。

Others are asking
我的电脑显卡是1060 5g,可以使用ai软件吗
1060 5G 显卡可以使用一些 AI 软件,但性能可能会受到一定限制。对于一些对显卡性能要求不太高的 AI 应用,例如简单的图像识别、文本处理等,您的显卡能够满足基本需求。然而,对于较为复杂的 AI 任务,如大规模的深度学习模型训练、高质量的 AI 绘画生成等,可能会出现运行速度较慢、效果不理想的情况。 如果您只是初步尝试使用 AI 软件,或者进行一些轻度的应用,您的显卡或许可以胜任。但如果您有更专业、高强度的使用需求,可能需要考虑升级显卡以获得更好的性能体验。
2024-11-10
本地安装大模型使用4060显卡和4060TI显卡有什么区别
在本地安装大模型时,4060 显卡和 4060TI 显卡主要有以下区别: 显存方面:显存是选择显卡的重要因素。4060 显卡的显存通常小于 4060TI 显卡。对于一些对显存要求较高的任务,如生成更大分辨率的超清图片、使用更高的参数进行 Dream booth 微调等,4060TI 显卡的大显存更具优势。 生成速度方面:4060TI 显卡的速度比 4060 显卡快。但在某些情况下,如果显存不足导致无法执行任务,速度稍慢就显得不那么重要了。 总体而言,在预算允许的情况下,16GB 的 4060TI 显卡由于其较大的显存,可以执行更多样的 AI 生成任务。但如果预算有限,4060 显卡也是一个可行的选择。
2024-11-06
a800 ,H100,a10,H800这4个显卡能力有啥差异
以下是 A800、H100、A10、H800 这 4 个显卡在能力上的一些差异: 在训练与推理方面: 对于大型模型的训练,许多模型在 NVIDIA H100 上最具成本效益,但获取在 NVIDIA H100 上运行的模型较难,且通常需要长期合作承诺。如今更多的选择是在 NVIDIA A100 上运行大多数模型训练,但对于大型集群仍需要长期承诺。 大型语言模型(LLM)的参数数量众多,通常需要分布到多个卡中,即使进行 LLM 推理,可能也需要 H100 或 A100。但较小的模型(例如 Stable Diffusion)需要的 VRAM 要少得多,初创公司也会使用 A10 等显卡。 在内存要求方面: 大型 LLM 的参数数量太多,任何单卡都无法容纳,需要类似于训练的多卡设置。 对于一些较小的模型,A10 等显卡可能就能够满足其内存需求。 需要注意的是,决定选择哪种 GPU 主要是一个技术决策,需要根据具体应用来确定最具成本效益的选择。
2024-10-16
如何让COMFYUI使用我的INTEL A770显卡?
要让 ComfyUI 使用您的 INTEL A770 显卡,以下是一些相关的步骤和信息供您参考: 首先,ComfyUI 本地安装的方法主要有以下几种: 1. 命令行安装: 如果您已经安装过 SD WebUI,可以跳到第二步。首先需要打开系统 Terminal,不同系统的 Terminal 可能有所不同。 Windows 用户:建议在有 NVIDIA 显卡的电脑上使用。需要下载 Miniconda3,输入相关命令进行安装,然后安装 pytorch 的 nightly 版本。 Mac 用户:安装需要根据电脑芯片不同输入不同代码。下载 Miniconda3 并输入相关命令进行安装,最后安装 pytorch。 2. 安装包安装:仅支持 Windows 系统且显卡必须是 Nivida。下载地址是,下载最新版本解压即可使用。 关于 ComfyUI 的硬件配置: ComfyUI 相比 WebUI 配置更低、系统资源占用更少、出图速度更快,最低可在小于 3G 的 GPU 上运行,甚至没有 GPU 光用 CPU 也可以运行,但速度极慢。SDXL 出来后提高了运行配置,最低需要 8GB 显存+32GB 运行内存,12GB 流畅运行,推荐 16GB 以上。运行内存最低 32GB,越高越好,最低配会经常爆显存。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上的显存的 NVIDIA 显卡,内存在 16G 以上。硬盘会影响加载模型的速度,最好把软件和模型部署在 SSD 上。 需要注意的是,目前 ComfyUI 对于 INTEL A770 显卡的支持情况可能不太明确,您可能需要根据实际情况进行尝试和调整。
2024-10-10
蛟龙16pro配置(处理器R7-7745HX,显卡RTX4060 8G,硬盘512GPCIE4.0SSD)可以用于审计人员本地化部署大模型用于数据分析工作吗
蛟龙 16pro 的配置(处理器 R77745HX,显卡 RTX4060 8G,硬盘 512G PCIE4.0 SSD)对于审计人员本地化部署大模型用于数据分析工作来说,可能存在一定的局限性。 处理器 R77745HX 具有一定的计算能力,但在处理大规模数据和复杂的模型运算时,其性能可能不够强劲。 显卡 RTX4060 8G 对于一些较为复杂的图形处理和计算任务能够提供一定的支持,但对于大规模的深度学习模型训练和数据分析,可能会显得不足。 512G 的 PCIE4.0 SSD 硬盘容量相对较小,在存储大量数据时可能会很快耗尽空间。 综上所述,该配置在一定程度上可以用于简单的数据分析任务,但对于较为复杂和大规模的大模型本地化部署及数据分析工作,可能需要更强大的硬件配置,例如更高性能的处理器、更大容量和更高性能的显卡,以及更大的存储空间。
2024-09-14
显卡对于AI的作用
显卡在 AI 领域具有重要作用: 1. 提供计算能力:算力可以直接转化为 GPU,电脑里的显卡就是 GPU。购买云服务时,也是服务商购买显卡“租”给用户使用,算力约等于显卡。 2. 图像和图形运算:GPU(图形处理器)是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器。 3. 数据处理和存储:显存用于存储显卡芯片处理过或者即将提取的渲染数据,如同计算机的内存一样,是存储要处理的图形信息的部件。 4. 执行特定任务优势:在模型启动过程中,数据从硬盘加载到显卡中。显卡在处理某些任务上优于 CPU,主要是因为它专注于执行浮点运算,而 CPU 负责执行更广泛的计算任务。 5. 满足多样生成任务需求:如在 Stable Diffusion 中,16GB 的 4060ti 虽速度比 12GB 的 4070ti 慢,但大显存可执行更多样的 AI 生成任务,如生成更大分辨率的超清图片,使用更高的参数进行 Dream booth 微调等。
2024-08-27
如何部署私有大语言模型?
部署私有大语言模型通常包括以下步骤: 1. 部署大语言模型: 下载并安装 Ollama:根据您的电脑系统,从 https://ollama.com/download 下载 Ollama。下载完成后,双击打开,点击“Install”。安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/。 下载模型:如 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型)。如果是 Windows 电脑,点击 win+R,输入 cmd,点击回车;如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。复制相关命令行,粘贴进入,点击回车。等待下载完成。 2. 部署 Google Gemma: 进入 ollama.com,下载程序并安装(支持 windows,linux 和 macos)。 查找 cmd 进入命令提示符,输入 ollama v 检查版本,安装完成后版本应该显示 0.1.26,cls 清空屏幕。 直接输入 ollama run gemma 运行模型(默认是 2b),首次需要下载,需要等待一段时间,如果想用 7b,运行 ollama run gemma:7b 。完成以后就可以直接对话。 3. 关于 Ollama 的其他特点: 支持多种大型语言模型,包括通义千问、Llama 2、Mistral 和 Gemma 等,适用于不同应用场景。 易于使用,适用于 macOS、Windows 和 Linux 系统,同时支持 cpu 和 gpu。 提供模型库,用户可从中下载不同模型,满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。 支持自定义模型,可修改模型的温度参数等。 提供 REST API,用于运行和管理模型,以及与其他应用程序的集成选项。 社区贡献丰富,包括多种集成插件和界面。 总的来说,Ollama 是一个方便用户在本地运行和管理大型语言模型的框架,具有良好的可扩展性和多样的使用场景。安装完之后,确保 ollama 后台服务已启动(在 mac 上启动 ollama 应用程序即可,在 linux 上可以通过 ollama serve 启动)。可以通过 ollama list 进行确认。
2025-01-17
用于训练销售助手类型业务的私有模型
以下是关于训练销售助手类型业务私有模型的相关信息: 1. 提示词方面:设计了一套模拟江南皮革厂销售的拟人化提示词模板,并将其应用于国内的豆包角色扮演模型,生成吸引人的广告词。若与语音技术结合用于宣传,能创造出有趣且有效的销售助手,吸引顾客注意。拟人化提示词母体可通过关注作者微信领取。 2. 增加私有知识方面:通过前面步骤拥有可与客户对话的 AI 助手后,若想让其像公司员工一样精准专业回答商品相关问题,需为大模型应用配置知识库。例如在售卖智能手机的公司,网站上有很多相关信息,不同机型的详细配置清单可参考相关文档。
2025-01-07
dify私有化部署
以下是关于 Dify 私有化部署的相关信息: 1. 部署步骤: 通过云服务器进行部署,相关命令在宝塔面板的终端安装,例如在/root/dify/docker 目录下的 dockercompose 文件。 检查运行情况,若 nginx 容器无法运行,可能是 80 端口被占用,可将终端输出的代码粘贴给 AI 以解决。 在浏览器地址栏输入公网 IP(去掉宝塔面板地址栏后的:8888),随便填写邮箱密码建立知识库并进行设置。 2. 模型选择与配置: 可以选择国内有免费额度的模型,如智谱 AI。 以智谱 AI 为例,在其官网用手机号注册,添加 API keys 并查看免费额度,将钥匙复制保存。 随便创建应用,可先选择智谱 glm4 测试,然后点发布。 创建并复制 api 秘钥。 3. Dify 特点: 作为开源应用,易用性出色且功能强大,安装过程简单快捷,熟练用户约 5 分钟可在本地完成部署。 支持本地部署和云端应用,能应对工作流、智能体、知识库等。 本地部署需自行处理模型接入等问题,包括购买 API、接入不同类型模型,构建个人知识库时还需考虑数据量、嵌入质量和 API 费用等因素。
2024-09-20
私有化部署大模型的教材
以下是为您提供的私有化部署大模型的相关教材: 张梦飞:【全网最细】从 LLM 大语言模型、知识库到微信机器人的全本地部署教程 一、部署大语言模型 1. 下载并安装 Ollama 点击进入,根据您的电脑系统,下载 Ollama:https://ollama.com/download 下载完成后,双击打开,点击“Install” 安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 2. 下载 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型) 如果您是 windows 电脑,点击 win+R,输入 cmd,点击回车。 如果您是 Mac 电脑,按下 Command(⌘)+ Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 复制以下命令行,粘贴进入,点击回车。 回车后,会开始自动下载,等待完成(这里下载久了,可能会发现卡着不动,不知道下载了多少了。鼠标点击一下窗口,键盘点空格,就会刷新了) 下载完成后您会发现,大模型已经在本地运行了。输入文本即可进行对话。 【SD】向未来而生,关于 SDXL 您要知道事儿 SDXL 的大模型分为两个部分: 1. 第一部分,base+refiner 是必须下载的,base 是基础模型,我们使用它进行文生图的操作;refiner 是精炼模型,我们使用它对文生图中生成的模型进行细化,生成细节更丰富的图片。 2. 第二部分,是 SDXL 还有一个配套的 VAE 模型,用于调节图片的画面效果和色彩。 这三个模型,您可以关注我的公众号【白马与少年】,然后回复【SDXL】获取下载链接。 想要在 webUI 中使用 SDXL 的大模型,首先我们要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。接下来,将模型放入对应的文件夹中,base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下;vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后,我们启动 webUI,就可以在模型中看到 SDXL 的模型了。我们正常的使用方法是这样的:先在文生图中使用 base 模型,填写提示词和常规参数,尺寸可以设置为 10241024,进行生成。 基于多模态大模型给现实世界加一本说明书 大模型应用的利弊: 优点: 适应性极好,通过提示词工程,方便「适应各种奇葩需求」。 对算法的要求降低了不少,大部分功能由大模型提供,特别是非结构化信息的处理。 大模型的 API 访问方式简化了边缘设备的要求,无论在 Android、iOS、HarmonyOS或各种嵌入式设备上都能方便适配。「AGI 终将到来,拥抱未来,虽然路途艰难但相信方向是正确的。」 缺点: 大模型的推理时长目前仍是最大的障碍,传统目标检测或人脸识别优化后能达到 100~300ms,而大模型动则需要 10 秒的延时,限制了许多场景。 模型的幻象和错误率仍然较高,导致上述推理时长问题,在多链路的复杂应用中迅速变得不可行。 在大多数生产模式下,仍然需要使用云服务数据中心,提交的画面不可避免地涉及到隐私问题。 商业私有化部署是刚需,当下的开源模型离 GPT4 代差在半年以上,技术人员任重道远的。
2024-09-03
如何使用LLM分析企业的私有化数据,是否有工具推荐?
以下是关于使用 LLM 分析企业私有化数据及工具推荐的相关内容: RAG 加速器提供了数据抽取服务,这是基于 LLM 的解决方案。在利用 LLM 进行信息抽取时,需要了解构建抽取服务的基本组件和要点。 实现过程中,有两个简单但强大的思路可以提升性能: 1. 确保 LLM 以正确的格式回应。函数调用已成为确保 LLM 严格输出特定格式的新且相对靠谱的方法,可参考结构化输出文档,其中高层次的 LangChain API 展示了不同 LLM 如何调用工具和函数。 2. 使用参考样例。尽管没有样例也能设置抽取问题,但实际操作中,将输入和对应输出的样例纳入其中通常大有裨益,有时这些样例比指示本身更能有效指导 LLM 处理特定情况。在提取用例文档中,可以找到更多细节,助您从 LLMs 中提取更好的性能。
2024-09-02
如何将私有模型部署到微信
以下是将私有模型部署到微信的几种方法: 1. 张梦飞的方法: 部署大语言模型: 下载并安装 Ollama:根据您的电脑系统,从 https://ollama.com/download 下载,下载完成后双击打开,点击“Install”。安装完成后,将 http://127.0.0.1:11434/ 复制进浏览器,若出现相关字样则表示安装完成。 下载 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型):如果是 Windows 电脑,点击 win+R,输入 cmd 点击回车;如果是 Mac 电脑,按下 Command(⌘)+ Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。复制相关命令行并粘贴回车,等待自动下载完成。 2. 安仔的方法: 配置腾讯云轻量应用服务器。 配置部署 COW 组件:配置 GROUP_NAME_WHITE_LIST 参数,根据要交互的群组进行具体修改,保存编排模板。切换到容器编排界面,基于模板进行 COW 服务部署,等待部署成功。 3. 马上观看看的方法: 部署 dify:选择模型,以智谱 ai 举例,点设置,点从智谱 ai 获取钥匙,进入智谱官网用手机号注册,添加 API keys 并复制,查看免费额度并收藏网址。回到之前页面复制钥匙并保存,随便创建应用,可先选择智谱 glm4 测试,点发布,点击 api 秘钥创建并复制。
2024-08-26
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释: 大语言模型:是一种基于大量文本数据进行训练的语言处理模型,其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下,模型参数越大能力越强。 多模态:指能够处理多种不同类型的数据模态,如文本、图像、音频等,并将它们融合进行理解和生成。 数据:是大语言模型训练和应用的基础,包括各种文本、图像、音频等信息。 算力:指用于支持大语言模型训练和运行的计算能力。 算法:是大语言模型实现各种功能的数学和逻辑方法。 预训练:在大语言模型中,先在大规模数据上进行无特定任务的初步训练。 微调:基于通用大模型,针对特定领域任务提供数据进行学习和调整,以适应特定领域的需求。 RAG:检索增强生成,通过引用外部数据源为模型做数据补充,适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制:是 Transformer 架构中的重要部分,能理解上下文和文本关联,通过不断检索和匹配来寻找依赖关系,处理词和词之间的位置组合,预测下一个词的概率。 Transformer:是大语言模型训练架构,用于翻译等任务,具备自注意力机制。 Token:在自然语言处理中,是文本的基本单位。 神经网络:是大语言模型的基础架构,模拟人脑神经元的连接和信息处理方式。 向量:在大语言模型中,用于表示文本等数据的数学形式。 Scaling Law:关于大语言模型规模和性能之间关系的规律。
2025-02-18
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释: 大语言模型:是一种基于大量文本数据进行训练的语言处理模型,其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下,模型参数越大能力越强。 多模态:指能够处理多种不同类型的数据模态,如文本、图像、音频等,并将它们融合进行理解和生成。 数据:是大语言模型训练和应用的基础,包括各种文本、图像、音频等信息。 算力:指用于支持大语言模型训练和运行的计算能力。 算法:是大语言模型实现各种功能的数学和逻辑方法。 预训练:在大语言模型中,先在大规模数据上进行无特定任务的初步训练。 微调:基于通用大模型,针对特定领域任务提供数据进行学习和调整,以适应特定领域的需求。 RAG:检索增强生成,通过引用外部数据源为模型做数据补充,适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制:是 Transformer 架构中的重要部分,能理解上下文和文本关联,通过不断检索和匹配来寻找依赖关系,处理词和词之间的位置组合,预测下一个词的概率。 Transformer:是大语言模型训练架构,用于翻译等任务,具备自注意力机制。 Token:在自然语言处理中,是文本的基本单位。 神经网络:是大语言模型的基础架构,模拟人脑神经元的连接和信息处理方式。 向量:在大语言模型中,用于表示文本等数据的数学形式。 Scaling Law:关于大语言模型规模和性能之间关系的规律。
2025-02-18
大模型产品对比
以下是对一些大模型产品的对比介绍: 智谱清言:由智谱 AI 和清华大学推出,基础模型为 ChatGLM 大模型。2023 年 10 月 27 日,智谱 AI 于 2023 中国计算机大会(CNCC)上推出了全自研的第三代基座大模型 ChatGLM3 及相关系列产品。 模型特点:在工具使用排名国内第一,在计算、逻辑推理、传统安全能力上排名国内前三。更擅长专业能力,但代码能力有优化空间,知识百科稍显不足,是很有竞争力的大模型。 适合应用:场景广泛,可优先推进在 AI 智能体方面相关的应用,包括任务规划、工具使用及长文本记忆相关场景,在较复杂推理应用上效果不错,也适用于广告文案、文学写作。 其他大模型产品: OpenAI 发布 GPT4 科大讯飞发布星火 1.0 及升级至星火 3.0 百度发布文心一言 1.0 及升级至 V3.5 清华开源 ChatGLM 360 发布 360 智脑 1.0 及升级至智脑 4.0 复旦开源 MOSS 元语开源 ChatYuan 阿里云发布通义千问 1.0 及开源 Qwen7B 商汤科技发布商量 1.0 及升级至商量 2.0、商量 3.0 昆仑万维发布天工 1.0 出门问问发布序列猴子 华为发布盘古 3.0 西湖心辰发布西湖大模型 云从科技发布从容大模型 理想汽车发布 MindGPT OPPO 发布 AndesGPT vivo 发布 BlueLM 小米发布大模型 MiLM 元象科技开源 XVERSE13B Google 发布多模态大模型 Gemini 上海人工智能实验室开源 InternLM20B 百川智能发布 Baichuan2—Turbo 关于大模型在营销方面的应用: 大模型在实体类产品的营销标语生成上表现较好,虚拟类产品相对欠佳。可能是因为大模型训练数据中实体类语料多,更能调用已有知识加工,而虚拟类产品非标准品,大模型认识不足。 情绪价值在营销领域有很多用武之地,除快消商品外,很多产品的营销需要反复沟通,虚拟产品对感性成交依赖更大,大模型在这方面仍有很大发展空间。
2025-02-18
我想创业,花多少钱,能够搭建一个视频领域的AI模型
在视频领域搭建 AI 模型的成本因多种因素而异。对于创业者或小公司来说,这个领域存在一定的挑战。 腾讯的混元 AI 视频模型目前只支持文生视频,且已开源免费。 在模型供应商方面,不同供应商的特点和成本有所不同: 智谱 GLM4V 是通用视觉类大模型,为拍立得最早使用的模型,接口响应速度快,指令灵活性差一些,调用成本为 0.05 元/千 tokens。 阿里云百炼 qwenvlplus 也是通用视觉类大模型,是拍立得目前使用的模型,指令灵活性比较丰富,接口调用入门流程长一些,密钥安全性更高,调用成本为 0.008 元/千 tokens,训练成本为 0.03 元/千 tokens。 阶跃星辰是通用视觉类大模型,响应速度快,支持视频理解,输入成本为 0.005 0.015 元/千 tokens,输出成本为 0.02 0.07 元/千 tokens。 百度 PaddlePaddle 是 OCR 垂直小模型,文本识别能力补齐增强,私有化部署有服务费,API 调用在 0.05 0.1 元/次。 此外,获取高质量数据的难度较高,大厂在该领域的护城河深厚。大公司在争取大模型 API 客户方面更具优势,且开源大模型的发展可能会影响创业公司的业务。去年为大客户定制一个大模型的最高订单额可达 1000 万元,而今年则快速降到了百万元级别乃至更低。
2025-02-18
你的底层大模型用的是哪个?
目前常见的大型语言模型多采用右侧只使用 Decoder 的 Decoderonly 架构,例如我们熟知的 ChatGPT 等。这些架构都是基于谷歌 2017 年发布的论文“attention is all you need”中提出的 Transformer 衍生而来,其中包括 Encoder 和 Decoder 两个结构。 大模型的特点在于: 1. 预训练数据非常大,往往来自互联网上的论文、代码、公开网页等,一般用 TB 级别的数据进行预训练。 2. 参数非常多,如 Open 在 2020 年发布的 GPT3 就已达到 170B 的参数。 大模型之所以能有效生成高质量有意义的回答,关键在于“大”。例如 GPT1 的参数规模是 1.5 亿,GPT2 Medium 的参数规模是 3.5 亿,到 GPT3.5 时,参数规模达到惊人的 1750 亿,参数规模的增加实现了量变到质变的突破,“涌现”出惊人的“智能”。 大模型的预训练机制是指其“脑袋”里存储的知识都是预先学习好的,预训练需要花费相当多的时间和算力资源。在没有其他外部帮助的情况下,大模型所知道的知识信息总是不完备且滞后的。
2025-02-18
怎么用大模型构建一个属于我自己的助手
以下是用大模型构建属于自己的助手的几种方法: 1. 在网站上构建: 创建百炼应用获取大模型推理 API 服务: 进入百炼控制台的,在页面右侧点击新增应用,选择智能体应用并创建。 在应用设置页面,模型选择通义千问Plus,其他参数保持默认,也可以输入一些 Prompt 来设置人设。 在页面右侧提问验证模型效果,点击右上角的发布。 获取调用 API 所需的凭证: 在我的应用>应用列表中查看所有百炼应用 ID 并保存到本地。 在顶部导航栏右侧,点击人型图标,点击 APIKEY 进入我的 APIKEY 页面,创建新 APIKEY 并保存到本地。 2. 微信助手构建: 搭建,用于汇聚整合多种大模型接口,并获取白嫖大模型接口的方法。 搭建,作为知识库问答系统,将大模型接入用于回答问题,若不接入微信,搭建完成即可使用其问答界面。 搭建接入微信,配置 FastGpt 将知识库问答系统接入微信,建议先用小号以防封禁风险。 3. 基于 COW 框架构建: COW 是基于大模型搭建的 Chat 机器人框架,可将多模型塞进微信。 基于张梦飞同学的更适合小白的使用教程:。 实现功能包括打造属于自己的 ChatBot(文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等)、常用开源插件的安装应用。 注意事项: 微信端因非常规使用有封号危险,不建议主力微信号接入。 只探讨操作步骤,请依法合规使用。 大模型生成的内容注意甄别,确保操作符合法律法规要求。 禁止用于非法目的,处理敏感或个人隐私数据时注意脱敏,以防滥用或泄露。 支持多平台接入,如微信、企业微信、公众号、飞书、钉钉等。 支持多模型选择,如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型,能处理文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能。 支持多部署方法,如本地运行、服务器运行、Docker 的方式。
2025-02-17
为什么要本地部署
以下是关于本地部署的一些原因: 对于只有特定设备(如只有一台 Mac 设备),且想灵活学习 AI 生图的情况,本地部署是最方便的。 如果电脑是 M 芯片的 Mac 电脑(Intel 芯片出图速度慢不建议)或者 2060Ti 及以上显卡的 Windows 电脑,可以选择本地部署,强烈建议在配有 N 卡的 Windows 电脑上进行。 本地部署测试方便,还可以尝试让其控制家里的智能家居。
2025-02-17
Deepseek老是“服务器繁忙,请稍后再试”,没有办法提升,比如说把模型部署到本地等等
如果您遇到 DeepSeek 老是显示“服务器繁忙,请稍后再试”且无法提升的情况,可以尝试以下方法: 1. 使用网页聊天: 安装插件:使用 Chrome 或 Microsoft Edge 浏览器,点击此链接安装浏览器插件并添加到拓展程序:https://chromewebstore.google.com/detail/pageassist%E6%9C%AC%E5%9C%B0ai%E6%A8%A1%E5%9E%8B%E7%9A%84web/jfgfiigpkhlkbnfnbobbkinehhfdhndo 打开聊天页面:点击右上角的插件列表,找到 Page Assist 插件,点击打开。 配置“DeepSeekR1”模型的 API key:基础 URL 为 https://ark.cnbeijing.volces.com/api/v3,填好之后点击保存,关掉提醒弹窗。 添加“DeepSeekR1”模型。 2. 完成上述操作后,您就可以愉快玩耍,无需担心“服务器繁忙”了,打开联网功能,还可以支持联网搜索使用 R1。
2025-02-15
comfyui的本地部署安装,GPU:RX6600 8G,CPU:R5 5600,内存:DDR4 8G*2
以下是关于 ComfyUI 本地部署安装的相关信息: ComfyUI 相比 WebUI,配置更低,系统资源占用更少,出图速度更快,最低可在小于 3G 的 GPU 上运行,甚至没有 GPU 光用 CPU 也可以运行,但速度极慢。SDXL 出来后提高了运行配置,最低需要 8GB 显存+32GB 运行内存,12GB 流畅运行,推荐 16GB 以上。运行内存最低 32GB,越高越好,最低配会经常爆显存。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上显存的 NVIDIA 显卡(N 卡),内存在 16G 以上。硬盘会影响加载模型的速度,最好把软件和模型部署在 SSD 上。如果电脑能顺畅清晰地玩 3A 游戏,那玩 webui 和 ComfyUI 也没问题。配置上不封顶,根据自己的需求和预算来即可。 安装地址:https://github.com/comfyanonymous/ComfyUI 。可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ,或者下载安装包 file:ComfyUI.zip ,下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 节点存放目录:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 模型存放目录: 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae:D:\\COMFYUI\\ComFYUI_windows_portable\\ComfyUI\\models\\vae 。 已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可,这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。 您的电脑配置为 GPU:RX6600 8G,CPU:R5 5600,内存:DDR4 8G2,可能需要注意内存方面可能不太满足推荐配置,可能会影响运行效果。
2025-02-13
deepseek怎么在电脑本地部署使用
以下是在电脑本地部署 DeepSeek 的步骤: 1. 拥有扣子专业版账号:如果您还是普通账号,请自行升级或注册专业号后使用。开通成功的样子如相关说明。 2. 开通 DeepSeek R1 大模型:访问地址:https://console.volcengine.com/cozepro/overview?scenario=coze 。打开火山方舟,找到开通管理,找到 DeepSeek R1 模型,点击开通服务。添加在线推理模型,添加后在扣子开发平台才能使用,具体添加过程包括添加模型和完成接入。 3. 创建智能体:点击创建,先完成一个智能体的创建。 此外,您还可以参考以下文章获取更详细的教程:《张梦飞:15 分钟零基础个人电脑部署 DeepSeekR1(无限制版)智能助手保姆级教程!》(https://waytoagi.feishu.cn/wiki/NjKBw4n8HikDZBkeyB4cDQVynKh?useEs6=0 ),该教程适用于完全没有 AI 部署经验的小白,详细介绍了如何在个人电脑上快速搭建 DeepSeekR1 本地 AI 助手,包括 Ollama 安装、DeepSeekR1 模型下载与运行、显存检查、终端指令操作、网页插件使用等环节,并提供了清晰的步骤图,确保 15 分钟内完成部署。
2025-02-12
coze 能调用用户自己部署的大模型吗
Coze 可以调用用户自己部署的大模型。例如: 在 Coze 上搭建工作流框架时,可通过“个人空间工作流创建工作流”进行操作,在编辑面板中拖入对应的大模型节点来实现各项文本内容的生成。 当在 COW 中直接调用千问的某一个大模型时,需要更改 key 和 model 等配置。获取 key 可参考相关的视频和图文教程,同时需要完成实名认证,否则可能出现报错。 在使用 Coze 做智能报表助手的过程中,也涉及到对大模型的运用,如将用户问题转换为 SQL 等。
2025-02-12
deepseek部署
以下是关于 DeepSeek 部署的相关信息: DeepSeek R1 大模型成为国民刚需,但官网卡顿且存在不能联网等问题。 实现联网版 R1 大模型的核心路径是通过工作流+DeepSeek R1 大模型。 部署步骤包括: 拥有扣子专业版账号,若为普通账号需自行升级或注册专业号。 开通 DeepSeek R1 大模型,访问地址:https://console.volcengine.com/cozepro/overview?scenario=coze ,在火山方舟中找到开通管理,开通服务并添加在线推理模型,添加后在扣子开发平台才能使用。 创建智能体,点击创建完成智能体的创建。 DeepSeek 大模型具有以下突出特点: 强大:比肩 O1 的推理能力。 便宜:参数少,训练开销与使用费用小。 开源:任何人均可自行下载与部署,提供论文详细说明训练步骤与窍门,甚至有可运行在手机上的 mini 模型。 免费:官方目前提供的服务完全免费,任何人随时随地可用。 联网:暂时唯一支持联网搜索的推理模型(o1 还不支持)。 本土:由没有海外经历甚至没有资深从业经验的本土团队开发完成。 看到相关微博的您可以: 直接访问网页链接马上用起来,也有移动 APP。 使劲用,疯狂用,尝试用它基本取代传统搜索,把各种问题拿去问它。 去看看别人是怎么用的,去试试其他大模型,了解 AI 擅长与不擅长的方面,以及如何调教,继续解锁与迭代属于自己的用法与更多工具。 希望 DeepSeek R1 能让您对当前最先进的 AI 祛魅,让 AI 逐渐变成生活中的水和电。
2025-02-12