Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

使用开源大模型本地化部署使用电脑配置,推荐几款笔记本电脑

Answer

以下是关于使用开源大模型本地化部署所需电脑配置及笔记本电脑推荐的相关信息:

运行大模型需要较高的机器配置,个人玩家大多负担不起。以下是不同类型大模型的配置要求:

  • 生成文字大模型:
    • 最低配置:8G RAM + 4G VRAM
    • 建议配置:16G RAM + 8G VRAM
    • 理想配置:32G RAM + 24G VRAM(跑 GPT-3.5 差不多性能的大模型)
  • 生成图片大模型(比如跑 SD):
    • 最低配置:16G RAM + 4G VRAM
    • 建议配置:32G RAM + 12G VRAM
  • 生成音频大模型:
    • 最低配置:8G VRAM
    • 建议配置:24G VRAM

对于本地化部署,不建议使用最低配置,因为速度会非常慢。例如,用 8G 的 Mac 电脑尝试过,效果不佳。

由于本地化部署对电脑配置要求较高,不太推荐本地化安装实现。如果想使用开源大模型,可选择利用云厂商已提供好的大模型运行环境和计算能力,比如阿里云的 PAI 和 AutoDL。

在笔记本电脑选择方面,建议选择具备以下配置的机型:

  1. 内存:16GB 及以上的 RAM。
  2. 显卡:具有 8GB 及以上 VRAM 的独立显卡。

但具体的笔记本电脑型号还需根据您的预算和其他需求来确定。

Content generated by AI large model, please carefully verify (powered by aily)

References

实战: 每个人都可以用10分钟轻松制作AI换脸、AI数字人视频的方法!

有多个AI产品可以实现换脸效果,这里介绍一个开源、免费的解决方案:facefusion开源地址:https://github.com/facefusion/facefusion4.1本机解决方案这个软件需要python环境,以及要安装视频解码器等多个依赖的软件,因此如果你想在本地电脑上安装,需要一定的编程知识。可以参考网站:https://docs.facefusion.io/说明来进行本地的安装。由于facefusion的运行推理计算的速度,非常依赖于GPU,因此如果本地计算机没有GPU或者GPU显存较小,那么执行的速度将会非常缓慢。我的笔记本是Macbook Pro M1 16GB内存,集成GPU。对一个1分30秒的视频换脸,需要1300秒。facefusion所以,无论从环境配置还是计算速度来说,都不推荐本地化安装实现。4.2云服务解决方案另一个可选的方案,是利用云厂商已经提供好的大模型运行环境和计算能力。比如阿里云的PAI和AutoDL。注:这种方案需要产生一定的费用。我选择的是AutoDL,其官网是:https://www.autodl.com/home注册完成后,在算力市场中,选择你能接受价格的算力服务器。建议选取GPU配置更高的算力设备。4.2.2通过模型镜像启动GPU服务器在算法社区查找facefusion镜像:

AI 大语言模型赋予火火兔生命

5~6台火火兔+ folotoy模组(3套现场试玩的成品,2套拆开的裸组件),有更多其他形态的机子更佳用于连接火火兔和电脑的网络本地部署的dify服务器-- Larrytts和asr服务器两台笔记本+两张以上椅子展示用桌子两张屏幕2块一个相对安静的空间用于语音克隆

手把手教你本地部署大模型以及搭建个人知识库

所有人都会手把手教你部署XX大模型,听起来很诱人,因为不需要科学上网,不需要高昂的ChatGPT会员费用。但是在开启下面的教程之前,我希望你能有个概念:运行大模型需要很高的机器配置,个人玩家的大多数都负担不起所以:虽然你的本地可能可以搭建出一个知识库,但是它不一定能跑的起来下面我通过一组数据来让大家有个感性的认知。以下文字来源于视频号博主:黄益贺,非作者实操生成文字大模型最低配置:8G RAM + 4G VRAM建议配置:16G RAM + 8G VRAM理想配置:32G RAM + 24G VRAM(如果要跑GPT-3.5差不多性能的大模型)生成图片大模型(比如跑SD)最低配置:16G RAM + 4G VRAM建议配置:32G RAM + 12G VRAM生成音频大模型最低配置:8G VRAM +建议配置:24G VRAM而最低配置我就不建议了,真的非常慢,这个我已经用我自己8G的Mac电脑替你们试过了。讲这个不是泼大家冷水,而是因为我的文章目标是要做到通俗易懂,不希望通过夸大的方式来吸引你的眼球。

Others are asking
用这些AI工具电脑配置
以下是一些使用 AI 工具时可能需要的电脑配置相关信息: Garman:AI 具身对话机器人 硬件组装:需要一台电脑和一台 iPhone,安卓目前不支持。 工具准备:剪刀、钳子、小十字螺丝刀、单面胶、双面胶。 数据线:优先推荐双头 TYPEC 数据线,其次是 USB TYPEC 数据线,多备几条,注意充电线不一定是数据线,要确保可传输数据。 这不是一台电脑,这是一个伴侣! 开发者工具: 个性(LLM 的文本):一些开源模型(如 Vicuna 和 Pygmalion)已微调,适用于各种应用场景。 记忆(向量存储):像 Pinecone 这样的向量存储系统可建立持续关系,配置代码存储长期记忆等信息。 语音(语音合成):像 ElevenLabs 这样的产品可赋予声音,控制年龄、性别和口音。 外表(SD 模型作图):LoRAs 可精细控制图像风格等。 动画(视频动画):像 DID 和 HeyGen 这样的工具可使图像“说话”。 平台:大多数开发者在 GCP 和 AWS 上部署和运行,像 Steamship 这样的解决方案正受关注。 UI 层:SillyTavern、Agnaistic 和 KoboldAI 是受欢迎的选择。 绘制逻辑视图、功能视图、部署视图的工具 Lucidchart:流行的在线绘图工具,支持多种图表创建。 Visual Paradigm:全面的 UML 工具,提供多种架构视图创建功能。 ArchiMate:开源建模语言,与 Archi 工具配合使用。 Enterprise Architect:强大的建模、设计和生成代码工具。 Microsoft Visio:广泛使用的图表和矢量图形应用程序。 draw.io(diagrams.net):免费在线图表软件。 PlantUML:文本到 UML 转换工具。 Gliffy:基于云的绘图工具。 Archi:免费开源工具,支持创建 ArchiMate 和 TOGAF 模型。 Rational Rose:IBM 的 UML 工具。
2024-11-30
AI视频需要什么 电脑配置
制作 AI 视频通常需要以下方面的准备和配置: 1. 内容准备: 准备一段视频中播放的文字内容,例如产品介绍、课程讲解、游戏攻略等。可以自行创作,也可以利用 AI 生成。 2. 视频制作工具: 可以使用剪映 App 对视频进行简单处理,电脑端打开剪映 App 点击“开始创作”,选择顶部工具栏中的“文本”,并点击默认文本右下角的“+”号为视频添加文字内容轨道。 3. AI 换脸方面: 有多个 AI 产品可实现换脸效果,如开源免费的 facefusion。 本机解决方案需要 Python 环境、安装视频解码器等多个依赖软件,对 GPU 依赖较大,本地计算机若无 GPU 或 GPU 显存较小,执行速度缓慢,不推荐本地化安装。 云服务解决方案可利用云厂商如阿里云的 PAI 和 AutoDL 提供的大模型运行环境和计算能力,但会产生一定费用。例如选择 AutoDL,在算力市场中选取能接受价格且 GPU 配置更高的算力设备,并通过模型镜像启动 GPU 服务器。
2024-09-24
stable diffusion需要的电脑配置
为了顺利安装和使用 Stable Diffusion(简称“SD”),您需要先查看自己的电脑配置,注意以下两点: 1. 电脑系统:应为 Win10 或者 Win11,避免使用更低版本的系统。查看方法为在桌面上找到“我的电脑”,鼠标右键点击,点击“属性”,查看 Windows 规格。 2. 电脑性能: 电脑运行内存应在 8GB 以上。检查方法为:鼠标右击桌面底部任务栏,点击“任务管理器”,在“性能”里面找到“内存”,只要看图中划线的那一个参数即可。8GB 勉强达到标准,16GB 可以正常使用,32GB 则能非常自由地使用 SD。 应是英伟达(俗称 N 卡)的显卡,显卡内存在 4GB 以上。检查方法为:在“任务管理器”中查看“GPU”,GPU 即显卡。 另外,带动 SD 推荐的电脑配置为:电脑运行内存 16GB 以上,英伟达显卡,显卡内存 8GB 以上。同时打开任务管理器的方式为同时按下 ctrl+shift+esc。
2024-08-13
安装 SD 电脑配置
安装Stable Diffusion对电脑配置有一定的要求,主要是为了确保能够顺利运行AI绘画模型并生成高质量的图像。以下是安装Stable Diffusion所需的基本电脑配置要求: 1. 显卡:需要使用NVIDIA显卡,因为Stable Diffusion主要依赖CUDA进行GPU加速。推荐的显卡配置从NVIDIA GeForce GTX 1070起,或NVIDIA Quadro P4000起。 2. 显存:最低配置需要4GB显存,基本配置6GB显存,推荐配置12GB显存或者以上。显存越大,可设置的图片分辨率越高,且能处理更复杂的图像生成任务。 3. 操作系统:需要是Windows 10或Windows 11。对于Mac用户,虽然可以使用CPU进行渲染,但速度会比较慢,因此推荐使用配备NVIDIA显卡的Windows电脑。 4. 硬盘空间:建议有60GB以上的硬盘空间,因为Stable Diffusion的模型文件通常较大,且批量生成图像会占用较多存储空间。 5. 内存:虽然没有具体要求,但为了保证运行流畅,建议有8GB以上的内存。 6. Python环境:Stable Diffusion是基于Python搭建的,因此需要在电脑上安装Python环境。建议安装3.10.6版本,这是Stable Diffusion WebUI作者推荐安装的版本。 7. Git:用于从GitHub上安装和更新Stable Diffusion及其插件。 8. Docker:如果选择使用Docker部署Stable Diffusion,需要在系统上安装Docker Desktop。 请注意,具体的配置要求可能会根据Stable Diffusion的版本和使用的具体功能有所不同。如果使用云端服务或在线工具,对本地电脑配置的要求会降低,因为大部分计算会在云端完成。
2024-05-01
如何本地化部署一个ai助手
本地化部署一个 AI 助手可以参考以下几种方式: 1. 在网站上增加 AI 助手: 搭建示例网站: 创建应用:点击打开函数计算应用模板,参考相关选择直接部署、填写百炼应用 ID 以及 APIKEY,其他表单项保持默认,点击创建并部署默认环境,等待项目部署完成(预计耗时 1 分钟)。 访问网站:应用部署完成后,在应用详情的环境信息中找到示例网站的访问域名,点击即可查看,确认示例网站已经部署成功。 为网站增加 AI 助手: 增加 AI 助手相关代码:回到应用详情页,在环境详情的最底部找到函数资源,点击函数名称,进入函数详情页。在代码视图中找到 public/index.html 文件,取消相关位置的代码注释。最后点击部署代码,等待部署完成。 验证网站上的 AI 助手:重新访问示例网站页面以查看最新效果,网站的右下角会出现 AI 助手图标,点击即可唤起 AI 助手。 2. 从 LLM 大语言模型、知识库到微信机器人的全本地部署(以 windows10 系统为例): 本地 Hook 或 COW 机器人(二选一,建议先选择 COW): 注意:本教程完成后,程序将在您的电脑本地运行,假如关掉了窗口,进程也就结束。所以,如果想让 AI 持续使用,就必须保持窗口打开和运行,也就是电脑不能关。 安装环境: 点击电脑“系统”,直接输入“cmd”,点击回车,打开命令窗口。 在命令窗口中,粘贴入相关代码,确认是否有 python 和 pip。 如果没有,先进行 python 的安装,可点击下载:。 部署项目:下载 COW 机器人项目,解压缩。 3. 把大模型接入小米音箱(node.js): 第四步:填写 API 服务: 智普:接口地址:https://open.bigmodel.cn/api/paas/v4,模型:glm4flash。 硅基:选择 AI 服务为自定义,接口地址:https://api.siliconflow.cn/v1。 其他模型的 API 端口请参考官方文档:https://migptgui.com/docs/apply/。 第五步:语音服务:官方说明:https://migptgui.com/docs/faqs/tts。 第六步:启动服务:在最上方可导出编辑的内容,格式为 json 格式,如果改错了可以导入之前保存的配置。单击启动,回到 powshell 界面。每次调整设置都需要重置后重新启动。建议回答完毕后增加结束的提示语,可以提高连续对话的稳定性。官方常见问题文档:https://migptgui.com/docs/faqs/noreply。
2025-01-05
能够本地化部署的AI文字助手
以下是关于本地化部署的 AI 文字助手以及相关排版和润色工具的信息: 本地化部署的 AI 文字助手: 在让 AI 助手能准确回答问题之前,可先快速将其集成到网站中。 1. 搭建示例网站: 创建应用:点击打开函数计算应用模板,参考相关选择直接部署、填写百炼应用 ID 以及 APIKEY,其他表单项保持默认,点击创建并部署默认环境,等待项目部署完成(预计耗时 1 分钟)。 访问网站:应用部署完成后,在应用详情的环境信息中找到示例网站的访问域名,点击查看确认部署成功。 2. 为网站增加 AI 助手: 增加 AI 助手相关代码:回到应用详情页,在环境详情底部找到函数资源,点击函数名称进入函数详情页,在代码视图中找到 public/index.html 文件,取消相关位置的代码注释,最后点击部署代码等待完成。 验证网站上的 AI 助手:重新访问示例网站页面查看最新效果,会发现网站右下角出现 AI 助手图标,点击唤起。 AI 文章排版工具: 主要用于自动化和优化文档布局和格式,特别是处理学术论文和专业文档。一些流行的工具包括: 1. Grammarly:不仅是语法和拼写检查工具,还提供排版功能,改进文档风格和流畅性。 2. QuillBot:AI 驱动的写作和排版工具,改进文本清晰度和流畅性。 3. Latex:广泛用于学术论文排版,使用标记语言描述格式,有许多 AI 辅助的编辑器和插件简化排版过程。 4. PandaDoc:文档自动化平台,使用 AI 帮助创建、格式化和自动化文档生成,适合商业和技术文档。 5. Wordtune:AI 写作助手,重新表述和改进文本,使其更清晰专业。 6. Overleaf:在线 Latex 编辑器,提供丰富模板和协作工具,适合学术写作和排版。 选择合适的工具取决于具体需求,如文档类型、出版标准和个人偏好。对于学术论文,Latex 和 Overleaf 受欢迎;对于一般文章和商业文档,Grammarly 和 PandaDoc 等可能更适用。 文章润色工具: 常见的有: 1. Wordvice AI:集校对、改写转述和翻译等功能于一体,基于大型语言模型提供全面的英文论文润色服务。 2. ChatGPT:由 OpenAI 开发的大型语言模型,可用于多方面写作辅助。 3. Quillbot:人工智能文本摘要和改写工具,可用于快速筛选和改写文献资料。 4. HyperWrite:基于 AI 的写作助手和大纲生成器,帮助写作前头脑风暴和大纲规划。 5. Wordtune:AI 驱动的文本改写和润色工具,优化文章语言表达。 6. Smodin:提供 AI 驱动的论文撰写功能,可根据输入生成符合要求的学术论文。 这些 AI 工具涵盖文章润色的各个环节,可提高写作效率和质量,科研人员和学生可根据自身需求选择。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-01-05
能够本地化部署的AI助手
以下是关于能够本地化部署的 AI 助手的相关信息: 聊天对话类 AI 产品 ChatGPT: 由 OpenAI 开发,是国际 AI 领域的明星产品,家喻户晓。 开创性强,是首批向公众开放的大规模商用 AI 对话系统之一,掀起 AI 革命,改变人们对 AI 认知,为技术发展指明方向。 用户体验精心设计,界面简洁直观,交互流畅自然,新手也能轻松上手,降低使用门槛,普及 AI。 技术实力强,背后的 GPT 系列模型性能和能力领先,语言理解深度和生成内容质量高,能应对复杂任务和挑战。 局限性:不再是市场唯一顶级选择,其他产品在特定领域超越其表现;国内用户使用可能有网络连接问题,影响体验。 AI 工具使用方法: 市面上有线上和线下本地部署两种 AI。 线上优势:出图速度快,不吃本地显卡配置,无需下载大模型,能看他人作品,但出图最高 1024×1024 左右,制作横板、高清图片受限。 线下优势:可添加插件,不卡算力,出图质量高,但使用时电脑基本宕机,配置不高可能爆显存导致出图失败。 充分发挥线上和线下平台优势:线上找参考、测试模型,线下作为主要出图工具。 在线上绘图网站绘图广场找想要的画风,点击创作会自动匹配模型、lora 和 tag。 截取游戏人物底图,将线上有限算力堆在人物身上,多批次、多数量尝试不同画风,得出符合游戏的模型+lora 组合,在 C 站下载对应模型到本地加载部署后正式生图。 本地部署资讯问答机器人: 对于期望在本地环境利用 AI 技术搭建 RAG 系统的用户,有实际操作价值的参考方案。
2025-01-05
本地化的AI助手有哪些
以下是一些本地化的 AI 助手: 在移动端,人工智能助手 Luzia 首次亮相排名第 25 位,该公司声称在全球拥有 4500 万用户,主要为西班牙语使用者。Luzia 最初是基于 WhatsApp 的聊天机器人,于 2023 年 12 月推出了独立的移动应用程序。 字节跳动的产品: 教育科技平台 Gauth,排名第 44 位。 机器人构建器 Coze,排名第 45 位。 通用助手豆包,在移动榜单上排名第 26 位,其网站为 doubao.com 。 照片和视频编辑器 Hypic,第 19 名。 助手 Cici,第 34 名,在移动端是豆包的英文版。 此外,还有一些与编程相关的 AI 工具: GitHub Copilot:由 GitHub 联合 OpenAI 和微软 Azure 团队推出,支持多种语言和 IDE,能为程序员快速提供代码建议。 通义灵码:阿里巴巴团队推出,提供多种编程辅助能力。 CodeWhisperer:亚马逊 AWS 团队推出,由机器学习技术驱动,为开发人员实时提供代码建议。 CodeGeeX:智谱 AI 推出的开源免费 AI 编程助手,基于 130 亿参数的预训练大模型。 Cody:代码搜索平台 Sourcegraph 推出,借助强大的代码语义索引和分析能力了解开发者的整个代码库。 CodeFuse:蚂蚁集团支付宝团队为国内开发者提供智能研发服务的免费 AI 代码助手。 Codeium:一个由 AI 驱动的编程助手工具,旨在提高编程效率和准确性。 更多辅助编程 AI 产品,可查看:https://www.waytoagi.com/category/65 。 每个工具的功能和适用场景可能不同,您可以根据自身需求选择最适合的工具。
2025-01-05
本地化搭建问答机器人流程
本地化搭建问答机器人的流程如下: 1. 加载所需的库和模块:包括用于解析 RSS 订阅源的 feedparse,用于在 Python 程序中跑大模型的 ollama(使用前需确保 ollama 服务已开启并下载好模型)。 2. 从订阅源获取内容:通过函数从指定的 RSS 订阅 url 提取内容,如需接收多个 url 稍作改动即可。然后使用专门的文本拆分器将长文本拆分成较小的块,并附带相关元数据,最终合并成列表返回用于后续处理或提取。 3. 为文档内容生成向量:使用文本向量模型 bgem3(从 hf 下载好模型后假设放置在某个路径,通过函数利用 FAISS 创建高效的向量存储)。 4. 推荐 RSSHub 项目:可将关注的信息汇聚在同一平台,一旦有更新能在各种终端收到提醒。其为各种网站生成 RSS 源,大部分社交媒体、传统媒体和金融媒体都能配合订阅。 5. 流程拆解: 创建 Python 虚拟环境,并安装相关库,如 ollama(0.1.8)、langchain(0.1.14)、faisscpu(1.8.0,有 gpu 则安装 gpu 版本)、gradio(4.25.0)、feedparser(6.0.11)、sentencetransformers(2.6.1)、lxml(5.2.1)。 6. 了解 ollama: 支持多种大型语言模型,包括通义千问、Llama 2、Mistral 和 Gemma 等,适用于不同场景。 易于使用,适用于 macOS、Windows 和 Linux 系统,支持 cpu 和 gpu。 提供模型库,用户可从中下载不同模型,满足不同需求和硬件条件,模型库可通过 https://ollama.com/library 查找。 支持自定义模型,可修改温度参数等。 提供 REST API 用于运行和管理模型及与其他应用集成。 社区贡献丰富,有多种集成插件和界面。 先安装 ollama,访问 https://ollama.com/download/ 下载安装。安装完确保 ollama 后台服务已启动(在 mac 上启动应用程序,在 linux 上通过 ollama serve 启动),可通过 ollama list 确认,未下载模型时正常显示空,可通过 ollama 命令下载模型。
2024-12-21
可不可以提供一个本地化的大模型方法,让我建立这个合规法律的知识库
以下是为您提供的本地化大模型及搭建合规法律知识库的方法: 一、通过 Open WebUI 使用大模型 1. 首先访问相关网址。打开页面时需使用邮箱注册账号。 2. 登陆成功后,若您使用过类似 ChatGPT 的大模型对话网站,对该页面不会陌生。 3. Open WebUI 一般有两种使用方式: 聊天对话。 RAG 能力,即让模型根据文档内容回答问题,这是构建知识库的基础之一。 4. 如果要求不高,此时已搭建本地大模型,并通过 Web UI 实现对话功能。 5. ChatGPT 访问速度快且回答效果好的原因: 速度快是因为 GPT 大模型部署的服务器配置高。 效果好是因为 GPT 大模型的训练参数多、数据更优及训练算法更好。 二、您的硬件达标了么 运行大模型需要很高的机器配置,个人玩家大多负担不起。以下是不同类型大模型的配置要求: 1. 生成文字大模型: 最低配置:8G RAM + 4G VRAM 建议配置:16G RAM + 8G VRAM 理想配置:32G RAM + 24G VRAM(如果要跑 GPT3.5 差不多性能的大模型) 2. 生成图片大模型(比如跑 SD): 最低配置:16G RAM + 4G VRAM 建议配置:32G RAM + 12G VRAM 3. 生成音频大模型: 最低配置:8G VRAM 建议配置:24G VRAM 最低配置运行非常慢,不建议使用。但这不妨碍我们亲自实操一遍,以加深对大模型构建知识库底层原理的了解。若想要更顺滑的体验知识库,可以参考文章: 三、本地知识库进阶 若要更灵活掌控知识库,需额外软件 AnythingLLM。它包含 Open WebUI 的所有能力,并额外支持以下能力: 1. 选择文本嵌入模型。 2. 选择向量数据库。 AnythingLLM 安装和配置 安装地址:https://useanything.com/download 。安装完成后进入配置页面,主要分为三步: 1. 第一步:选择大模型。 2. 第二步:选择文本嵌入模型。 3. 第三步:选择向量数据库。 构建本地知识库 AnythingLLM 中有 Workspace 的概念,可创建独有的 Workspace 与其他项目数据隔离。具体步骤: 1. 首先创建一个工作空间。 2. 上传文档并在工作空间中进行文本嵌入。 3. 选择对话模式。AnythingLLM 提供两种对话模式: Chat 模式:大模型会根据自己的训练数据和上传的文档数据综合给出答案。 Query 模式:大模型仅依靠文档中的数据给出答案。 4. 测试对话。完成上述配置后,即可与大模型进行对话。 四、写在最后 “看十遍不如实操一遍,实操十遍不如分享一遍”。若您对 AI Agent 技术感兴趣,可以联系我或者加我的免费知识星球(备注 AGI 知识库)。
2024-12-18
开源项目数字人
以下是关于开源项目数字人的相关内容: 一、构建高质量的 AI 数字人 1. 构建数字人躯壳 建好的模型可以使用 web 前端页面(Live2D 就提供了 web 端的 SDK)或者 Native 的可执行程序进行部署,最后呈现在用户面前的是一个 GUI。 开源数字人项目选择了 live2d 作为数字人躯壳,因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然,相比虚幻引擎这些驱动方式又更加轻量和简单。 卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例:https://github.com/Live2D 。 2. 构建数字人灵魂 自建代码实现各模块开发工作量巨大,迭代难度高,对于个人开发者不现实。 推荐借助开源社区的力量,如 dify、fastgpt 等成熟的高质量 AI 编排框架,它们有大量开源工作者维护,集成各种主流的模型供应商、工具以及算法实现等。 在开源项目中,使用了 dify 的框架,利用其编排和可视化交互任意修改流程,构造不同的 AI Agent,并且实现相对复杂的功能,比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口,基于这两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制,从而低门槛做出自己高度定制化的数字人。具体的部署过程参考 B 站视频:https://www.bilibili.com/video/BV1kZWvesE25 。 如果有更加高度定制的模型,也可以在 Dify 中接入 XInference 等模型管理平台,然后部署自己的模型。 数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块,能够保持更好的扩展。 上述 Dify 接口使用注意事项: 必须在应用编排功能中打开文字转语音和语音转文字功能,否则接口会返回未使能的错误。 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商,才会在功能板块中展示出来,Dify 的模型供应商图标下标签有展示该供应商支持哪些功能,这里可以自行选择自己方便使用的。对于 TTS,不同的模型供应商支持的语音人物不同,可以根据个人喜好添加。 二、写在最后 数字人在未来肯定会有很多的应用场景,比如家庭中有数字人管家,全面接管智能家居或其他设备;学校中有数字人老师,孜孜不倦的为学生答疑解惑;商场里有数字人导购,为顾客提供指路、托管个人物品等悉心服务。 数字人在未来肯定还有很多的技术突破,比如可以将五感数据作为输入(例如声音、图像、气味、震动等等),将所有可以控制躯壳的参数也作为输入(例如躯壳骨骼节点,面部混合形状参数等);次世代的算法可以自我迭代升级,也可以拿到感官输入以及躯壳控制方法后,自行演化躯壳控制方式。 作者希望通过 Dify 搭建数字人的开源项目,给大家展现低门槛高度定制数字人的基本思路,但数字人的核心还是在于我们的 Agent,也就是数字人的灵魂,怎样在 Dify 上面去编排专属自己的数字人灵魂是值得大家自己亲自体验的。真诚的希望看到,随着数字人的多模态能力接入、智能化水平升级、模型互动控制更精确,用户在需要使用 AI 的能力时,AI 既可以给你提供高质量的信息,也能关注到你的情绪,给你一个大大的微笑,也许到了那时,数字世界也开始有了温度。
2025-01-22
我能否借助开源社区力量构建高质量的 AI 数字人
您可以借助开源社区力量构建高质量的 AI 数字人。 构建数字人的躯壳有多种方式: 1. 2D 引擎:风格偏向二次元,亲和力强,定制化成本低,代表是 Live2D Cubism。 2. 3D 引擎:风格偏向超写实的人物建模,拟真程度高,定制化成本高,代表是 UE、Unity、虚幻引擎 MetaHuman 等,但个人学习在电脑配置和学习难度上有一定门槛。 3. AIGC:省去建模流程直接生成数字人的展示图片,但存在算法生成的数字人很难保持 ID 一致性、帧与帧连贯性差等弊端。如果对人物模型真实度要求不高,可以使用,典型项目有 wav2lip、videoretalking 等。AIGC 还有直接生成 2D/3D 引擎模型的方向,但仍在探索中。 构建数字人的灵魂需要注意以下几个工程关键点: 1. AI Agent:要让数字人像人一样思考就需要写一个像人一样的 Agent,工程实现所需的记忆模块、工作流模块、各种工具调用模块的构建都是挑战。 2. 驱动躯壳的实现:灵魂部分通过定义接口由躯壳部分通过 API 调用,调用方式可以是 HTTP、webSocket 等。但包含情绪的语音表达以及如何保证躯壳的口型、表情、动作和语音的同步及匹配,目前主流方案只能做到预设一些表情动作,再做一些逻辑判断来播放预设,语音驱动口型相对成熟但闭源。 3. 实时性:由于算法部分组成庞大,几乎不能实现单机部署,特别是大模型部分,所以算法一般会部署到额外的集群或者调用提供出来的 API,这里面就会涉及到网络耗时和模型推理耗时,如果响应太慢就会体验很差,所以低延时也是亟需解决的一个问题。 4. 多元跨模态:不仅仅是语音交互,还可以通过添加摄像头数据获取数据,再通过系列 CV 算法做图像解析等。 5. 拟人化场景:正常和人交流时不是线性对话,会有插话、转移话题等情况,这些情景需要通过工程丝滑处理。 如果都要自建代码实现各模块,开发工作量巨大,迭代难度也很高,对于个人开发者来讲不现实。因此推荐借助开源社区的力量,现在开源社区已经有了像 dify、fastgpt 等等成熟的高质量 AI 编排框架,它们有大量的开源工作者维护,集成各种主流的模型供应商、工具以及算法实现等等。我们可以通过这些框架快速编排出自己的 AI Agent,赋予数字人灵魂。在笔者的开源项目中,使用了 dify 的框架,利用其编排和可视化交互任意修改流程,构造不同的 AI Agent,并且实现相对复杂的功能,比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。同时 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口,基于这个两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制,从而低门槛做出来自己高度定制化的数字人。具体的部署过程参考 B 站视频:https://www.bilibili.com/video/BV1kZWvesE25 。如果有更加高度定制的模型,也可以在 Dify 中接入 XInference 等模型管理平台,然后部署自己的模型。此外,数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块,能够保持更好的扩展,比如实现更加真实性感的语音转换、或者如果有更加 Geek 的 Agent 实现也可以选择直接后端编码扩展实现。 使用 Dify 接口需要注意: 1. 必须在应用编排功能中打开文字转语音和语音转文字功能,否则接口会返回未使能的错误。 2. 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商,才会在功能板块中展示出来,Dify 的模型供应商图标下标签有展示该供应商支持哪些功能,这里可以自行选择自己方便使用的。对于 TTS,不同的模型供应商支持的语音人物不同,可以根据个人喜好添加。
2025-01-21
国内有哪些开源ai可以调用?
国内有以下一些开源 AI 可供调用: MiniMax 推出的 Hailuo Audio HD 此外,还有一些应用于不同领域的 AI 技术和产品,如: 在游戏领域,有根据玩家需求推荐游戏道具的 AI 游戏道具推荐系统。 在天气领域,彩云天气的分时预报利用了 AI 提供精准的分时天气预报。 在医疗领域,医渡云的病历分析系统利用 AI 分析医疗病历,辅助诊断。 在会议领域,讯飞听见的会议总结功能利用 AI 自动总结会议发言内容。 在书法领域,书法临摹软件利用 AI 识别书法作品的笔画和结构,为用户提供临摹指导和评价。
2025-01-20
可开源的AI工具是什么意思,我可以看到她的代码吗
可开源的 AI 工具是指其源代码可以被公开获取和使用的人工智能工具。这意味着您有机会查看和研究其代码的实现方式。 以下为您列举一些常见的可开源的 AI 工具: 1. CodeGeeX:由智谱 AI 推出的开源免费 AI 编程助手,基于 130 亿参数的预训练大模型,能快速生成代码,提升开发效率。 2. :一个带 Web 界面简单易用的声音克隆工具。可使用任何人类音色,将一段文字合成为使用该音色说话的声音,或者将一个声音使用该音色转换为另一个声音。 3. :一个开源的音频、音乐和语音生成整合工具包。 4. :一键部署私人 GPT/LLM 的聊天机器人。支持语音合成、多模态和可扩展的插件系统,可以联网、画图、爬虫等。 5. :能够利用爬虫,自动抓取与整合指定 URL 地址中的各种信息,并生成一个 output.json 的数据文件。将其喂给 ChatGPT,便可快速定制您的专属 GPT,打造个人知识库或者智能助理。 6. :给 AI 看一眼截屏,便能直接生成代码。该项目可借助 GPT4 Vision 的能力,直接给您将屏幕截图转换为 HTML/Tailwind CSS,并利用 DALLE 3 的图像生成能力,生成外观相似的图像。 7. :可在命令行终端,直接调用与展示各种大模型能力。实现了视频和照片编辑、系统配置更改、自动生成并运行 Demo 源码,AI 一对一聊天问答等功能。 需要注意的是,不同的开源 AI 工具在功能和适用场景上可能会有所不同,您可以根据自己的需求选择最适合您的工具。
2025-01-20
开源数字人
以下是关于开源数字人的相关信息: 数字人组合方案: 第一步:先剪出音频,可使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits克隆声音,做出文案的音频。 第二步:使用 wav2lip 整合包,导入视频和音频,对口型得到视频。基础 wav2lip+高清修复整合包下载地址:https://github.com/Rudrabha/Wav2Lip 。 构建高质量的 AI 数字人: 建好的模型可以使用 web 前端页面(Live2D 就提供了 web 端的 SDK)或者 Native 的可执行程序进行部署,最后呈现在用户面前的是一个 GUI。 开源数字人项目(项目地址:https://github.com/wanh/awesomedigitalhumanlive2d)选择了 live2d 作为数字人躯壳,因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然,相比虚幻引擎这些驱动方式又更加轻量和简单;另外超写实的数字人风格在目前的技术能力下,处理不好一致性问题,容易带来虚假的感觉或者产生恐怖谷效应,而卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例:https://github.com/Live2D 。
2025-01-11
中外开源模型概览与分类
以下是关于中外开源模型的概览与分类: 国内方面: 国内模型在 Agent 核心基础能力上已较为接近或部分超过 GPT3.5 水平。 如 ChatGLM3Turbo 在任务分解、多文档问答和检索 API 能力上表现出色。 国内开源模型如 Baichuan213BChat 具备较强竞争力,在某些方面超过一些闭源模型。 国外方面: OpenAI 发布了开源模型,包括 PointE、Whisper、Jukebox 和 CLIP。可访问供研究人员的模型索引详细了解其研究论文中介绍的模型以及 InstructGPT 和 GPT3.5 等模型系列之间的差异。 智谱·AI 开源模型: 多模态模型方面,推出了具有视觉和语言双模态的模型,如 CogAgent18B、CogVLM17B、Visualglm6B 等。 详情可访问:【新基准】SuperCLUEAgent:首个 AI 智能体中文测评基准发布 www.CLUEbenchmarks.com/superclue_agent.html 。
2025-01-06
请问 有哪几款ai是可以使用claude语言的呢?
Claude 是由 Anthropic 公司开发的 AI 助手。目前,Claude 本身就是一款独立的 AI,不存在其他可以使用 Claude 语言的 AI。 要注册 Claude.ai,您可以按照以下步骤进行: 1. 访问 Claude 的官方网站。 2. 点击注册或登录界面中的“Sign Up”或“Continue with email”选项。 3. 填写您的邮箱地址并设置密码,然后提交表单。 4. 系统会向您的邮箱发送一封验证邮件,您需要打开邮件并使用其中的验证码来完成邮箱验证。 如果在注册过程中遇到需要海外手机号接收验证码的问题,以下是一些可能的解决方案: 1. 使用虚拟海外号服务,如 SMSActivate、SMSPool 等,购买一个海外虚拟手机号来接收 Claude 的验证码。 2. 借助第三方服务网站如 uiuihao.com 完成注册您的 Claude 账号。 3. 如果您有海外朋友,可以请他们帮忙接收验证码,并将验证码告诉您。 完成注册后,如果您希望升级到 Claude Pro 版本以获取更强大的功能和更高的 API 调用限额,您需要填写支付信息并选择一个合适的订阅计划。值得注意的是,订阅 Claude Pro 可能需要使用海外支付方式。 请注意,Claude.ai 目前处于公开测试阶段,未付费用户使用平台可能会受到一些限制。如果您在注册过程中遇到任何问题,可以参考其他用户分享的详细注册教程和解决策略。
2025-01-23
推荐几款AIppt工具
以下为您推荐几款 AI PPT 工具: 1. Gamma:从审美角度来看,只要提供内容框架,生成的 PPT/网页审美水平较高。访问链接:https://gamma.app/ 2. AiPPT:爱设计推出的 AI 大模型与 PPT 场景深度结合的产品,能够一键生成专业 PPT,提供丰富模板和低创作门槛。 3. iSlide:有助于提高制作 PPT 的效率。 4. 创客贴:可辅助完成 PPT 制作。 使用这些 AI PPT 工具具有以下优点: 1. 对文本的多级排列有了更高的要求。 2. 便于摒弃呆板单调的表现形式,一键切换多元模版。 3. 熟练使用后,有助于提高效率。 4. 最终的呈现效果可由操作者决定。
2025-01-16
推荐几款陪练ai机器人,用于员工培训
以下为您推荐用于员工培训的陪练 AI 机器人: Coze 平台的英语陪练 AI Bot: 首先打开扣子的首页,直接点击左上角的创建 AI Bot 按钮。 在弹窗输入 Bot 的相关信息即可完成创建,接下来可细化其功能。 根据功能需求设计人设与回复逻辑。 基于需求调整模型设置,比如将对话轮数改为 20 轮。 主要使用了英文名言警句等插件。 设置开场白和预置问题,预置问题有参考价值。 最后设置 AI Bot 的语音,选择亲切的英语音色。 使用建议:直接使用豆包的语音通话方式,效果更好。 实际演示效果:包括视频演示、文字交流中的训练纠错、解读上传图片或文件的英文内容(目前支持在 Coze 端使用,豆包端暂不支持)。 试用链接:Coze 端
2024-12-30
目前最有优势的几款ai软件是什么
以下是目前一些具有优势的 AI 软件: 在移动设备上,图片和视频内容编辑方面,传统创意工具转型的生成式 AI 优先,如排名较高的美图秀秀(第 9 位)、SNOW(第 30 位)和 Adobe Express(第 35 位)。 ChatGPT 第三次以巨大优势成为网络和移动端排名第一的产品。 Perplexity 在网络上排名第三,是一款专注于提供简明、实时和准确查询答案并引用来源的人工智能搜索引擎,其在访问时长方面略胜于 ChatGPT,且首次进入移动端前 50 名榜单。 Anthropic 的 Claude 是 ChatGPT 的直接竞争对手,在网页排名中进入前五,排名第 4。
2024-12-23
帮我提供几款国内产品的AI,使用于小学教学的。
以下是几款适用于小学教学的国内 AI 产品: 1. 语言学习方面:Speak(https://www.speak.com/)、Quazel(https://www.quazel.com/)和 Lingostar(https://www.lingostar.ai/),能够实时交流,并对发音或措辞给予反馈。 2. 数学学习方面:Photomath(https://photomath.com/en)和 Mathly(https://mathly.webflow.io/),可指导学生解决数学问题。 3. 历史学习方面:PeopleAI(https://chatbotkit.com/apps/peopleai?ref=theresanaiforthat)和 Historical Figures(https://twitter.com/scottbelsky/status/1611244139764649991),通过模拟与杰出人物的聊天来教授历史。 4. 写作辅助方面:Grammarly、Orchard(https://orchard.ink/)和 Lex(https://lex.page/~),帮助学生克服写作难题,提升写作水平。 5. 内容创作方面:Tome(https://beta.tome.app/)和 Beautiful.ai(https://www.beautiful.ai/),可协助创建演示文稿。 您还可以了解更多关于(https://a16z.com/2023/02/08/thefutureoflearningeducationknowledgeintheageofai/)。
2024-12-16
帮我提供几款,国内用于小学教师辅助教学的AI
以下是几款国内可用于小学教师辅助教学的 AI: 1. :能够实时交流,并对发音或措辞给予反馈。 2. :提供个性化的学习计划。 3. :辅助语言学习。 4. :指导学生解决数学问题。 5. :帮助学生在数学学习中“摆脱困境”。 6. :通过模拟与杰出人物的聊天来教授历史。 7. :辅助历史教学。 8. Grammarly:帮助学生克服写作难题,并提升写作水平。 9. :协助学生提升写作能力。 10. :助力学生解决写作方面的问题。 此外,处理其他形式内容的产品如。
2024-12-16