开源音频质量检测模型有哪些？

以下是一些开源的数字人工具： 1. 名称：aigcpanel 特点：开源且适合小白用户，具有一键安装包，无需配置环境，简单易用。 功能：能够生成数字人视频，支持语音合成和声音克隆，操作界面中英文可选。 系统兼容：支持 Windows、Linux、macOS。 模型支持：MuseTalk（文本到语音）、CosyVoice（语音克隆）。 使用步骤：下载 8G+3G 语音模型包，启动模型即可。 GitHub 链接： 官网链接： 2. 名称：HeyGen 特点：AI 驱动的平台，可创建逼真的数字人脸和角色。 适用场景：适用于游戏、电影和虚拟现实等应用。 3. 名称：Synthesia 特点：AI 视频制作平台，允许用户创建虚拟角色并进行语音和口型同步。 适用场景：支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 4. 名称：DID 特点：提供 AI 拟真人视频产品服务和开发，只需上传人像照片和输入要说的内容，平台提供的 AI 语音机器人将自动转换成语音，然后就能合成一段非常逼真的会开口说话的视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。请注意，这些工具的具体功能和可用性可能会随着时间和技术的发展而变化。在使用这些工具时，请确保遵守相关的使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。

以下是一些开源的文生图大模型： Kolors： 2024 年 7 月 6 日开源，基于数十亿图文对进行训练，支持 256 的上下文 token 数，支持中英双语。技术细节参考 。 已支持 Diffusers，使用方式可参考 。 支持了 。 支持了 。 关于 Kolors 模型的教学视频： ，作者：BlueBomm 。 ，作者：AI 算法工程师 01 。 ，作者：峰上智行 。 ，作者：设计师学 Ai 。 Kolors 模型能力总结：改进全面，有更强的中文文本编码器、机造的高质量文本描述、人标的高质量图片、强大的中文渲染能力，以及巧妙的 noise schedule 解决高分辨率图加噪不彻底的问题。实测效果很不错，在看到 Kling 视频生成的强大表现，能体现快手的技术实力。

以下是关于开源项目数字人的相关内容： 一、构建高质量的 AI 数字人 1. 构建数字人躯壳 建好的模型可以使用 web 前端页面（Live2D 就提供了 web 端的 SDK）或者 Native 的可执行程序进行部署，最后呈现在用户面前的是一个 GUI。 开源数字人项目选择了 live2d 作为数字人躯壳，因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然，相比虚幻引擎这些驱动方式又更加轻量和简单。 卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例：https://github.com/Live2D 。 2. 构建数字人灵魂 自建代码实现各模块开发工作量巨大，迭代难度高，对于个人开发者不现实。 推荐借助开源社区的力量，如 dify、fastgpt 等成熟的高质量 AI 编排框架，它们有大量开源工作者维护，集成各种主流的模型供应商、工具以及算法实现等。 在开源项目中，使用了 dify 的框架，利用其编排和可视化交互任意修改流程，构造不同的 AI Agent，并且实现相对复杂的功能，比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口，基于这两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制，从而低门槛做出自己高度定制化的数字人。具体的部署过程参考 B 站视频：https://www.bilibili.com/video/BV1kZWvesE25 。 如果有更加高度定制的模型，也可以在 Dify 中接入 XInference 等模型管理平台，然后部署自己的模型。 数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块，能够保持更好的扩展。 上述 Dify 接口使用注意事项： 必须在应用编排功能中打开文字转语音和语音转文字功能，否则接口会返回未使能的错误。 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商，才会在功能板块中展示出来，Dify 的模型供应商图标下标签有展示该供应商支持哪些功能，这里可以自行选择自己方便使用的。对于 TTS，不同的模型供应商支持的语音人物不同，可以根据个人喜好添加。 二、写在最后 数字人在未来肯定会有很多的应用场景，比如家庭中有数字人管家，全面接管智能家居或其他设备；学校中有数字人老师，孜孜不倦的为学生答疑解惑；商场里有数字人导购，为顾客提供指路、托管个人物品等悉心服务。 数字人在未来肯定还有很多的技术突破，比如可以将五感数据作为输入（例如声音、图像、气味、震动等等），将所有可以控制躯壳的参数也作为输入（例如躯壳骨骼节点，面部混合形状参数等）；次世代的算法可以自我迭代升级，也可以拿到感官输入以及躯壳控制方法后，自行演化躯壳控制方式。 作者希望通过 Dify 搭建数字人的开源项目，给大家展现低门槛高度定制数字人的基本思路，但数字人的核心还是在于我们的 Agent，也就是数字人的灵魂，怎样在 Dify 上面去编排专属自己的数字人灵魂是值得大家自己亲自体验的。真诚的希望看到，随着数字人的多模态能力接入、智能化水平升级、模型互动控制更精确，用户在需要使用 AI 的能力时，AI 既可以给你提供高质量的信息，也能关注到你的情绪，给你一个大大的微笑，也许到了那时，数字世界也开始有了温度。

您可以借助开源社区力量构建高质量的 AI 数字人。 构建数字人的躯壳有多种方式： 1. 2D 引擎：风格偏向二次元，亲和力强，定制化成本低，代表是 Live2D Cubism。 2. 3D 引擎：风格偏向超写实的人物建模，拟真程度高，定制化成本高，代表是 UE、Unity、虚幻引擎 MetaHuman 等，但个人学习在电脑配置和学习难度上有一定门槛。 3. AIGC：省去建模流程直接生成数字人的展示图片，但存在算法生成的数字人很难保持 ID 一致性、帧与帧连贯性差等弊端。如果对人物模型真实度要求不高，可以使用，典型项目有 wav2lip、videoretalking 等。AIGC 还有直接生成 2D/3D 引擎模型的方向，但仍在探索中。 构建数字人的灵魂需要注意以下几个工程关键点： 1. AI Agent：要让数字人像人一样思考就需要写一个像人一样的 Agent，工程实现所需的记忆模块、工作流模块、各种工具调用模块的构建都是挑战。 2. 驱动躯壳的实现：灵魂部分通过定义接口由躯壳部分通过 API 调用，调用方式可以是 HTTP、webSocket 等。但包含情绪的语音表达以及如何保证躯壳的口型、表情、动作和语音的同步及匹配，目前主流方案只能做到预设一些表情动作，再做一些逻辑判断来播放预设，语音驱动口型相对成熟但闭源。 3. 实时性：由于算法部分组成庞大，几乎不能实现单机部署，特别是大模型部分，所以算法一般会部署到额外的集群或者调用提供出来的 API，这里面就会涉及到网络耗时和模型推理耗时，如果响应太慢就会体验很差，所以低延时也是亟需解决的一个问题。 4. 多元跨模态：不仅仅是语音交互，还可以通过添加摄像头数据获取数据，再通过系列 CV 算法做图像解析等。 5. 拟人化场景：正常和人交流时不是线性对话，会有插话、转移话题等情况，这些情景需要通过工程丝滑处理。 如果都要自建代码实现各模块，开发工作量巨大，迭代难度也很高，对于个人开发者来讲不现实。因此推荐借助开源社区的力量，现在开源社区已经有了像 dify、fastgpt 等等成熟的高质量 AI 编排框架，它们有大量的开源工作者维护，集成各种主流的模型供应商、工具以及算法实现等等。我们可以通过这些框架快速编排出自己的 AI Agent，赋予数字人灵魂。在笔者的开源项目中，使用了 dify 的框架，利用其编排和可视化交互任意修改流程，构造不同的 AI Agent，并且实现相对复杂的功能，比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。同时 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口，基于这个两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制，从而低门槛做出来自己高度定制化的数字人。具体的部署过程参考 B 站视频：https://www.bilibili.com/video/BV1kZWvesE25 。如果有更加高度定制的模型，也可以在 Dify 中接入 XInference 等模型管理平台，然后部署自己的模型。此外，数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块，能够保持更好的扩展，比如实现更加真实性感的语音转换、或者如果有更加 Geek 的 Agent 实现也可以选择直接后端编码扩展实现。 使用 Dify 接口需要注意： 1. 必须在应用编排功能中打开文字转语音和语音转文字功能，否则接口会返回未使能的错误。 2. 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商，才会在功能板块中展示出来，Dify 的模型供应商图标下标签有展示该供应商支持哪些功能，这里可以自行选择自己方便使用的。对于 TTS，不同的模型供应商支持的语音人物不同，可以根据个人喜好添加。

国内有以下一些开源 AI 可供调用： MiniMax 推出的 Hailuo Audio HD 此外，还有一些应用于不同领域的 AI 技术和产品，如： 在游戏领域，有根据玩家需求推荐游戏道具的 AI 游戏道具推荐系统。 在天气领域，彩云天气的分时预报利用了 AI 提供精准的分时天气预报。 在医疗领域，医渡云的病历分析系统利用 AI 分析医疗病历，辅助诊断。 在会议领域，讯飞听见的会议总结功能利用 AI 自动总结会议发言内容。 在书法领域，书法临摹软件利用 AI 识别书法作品的笔画和结构，为用户提供临摹指导和评价。

可开源的 AI 工具是指其源代码可以被公开获取和使用的人工智能工具。这意味着您有机会查看和研究其代码的实现方式。 以下为您列举一些常见的可开源的 AI 工具： 1. CodeGeeX：由智谱 AI 推出的开源免费 AI 编程助手，基于 130 亿参数的预训练大模型，能快速生成代码，提升开发效率。 2. ：一个带 Web 界面简单易用的声音克隆工具。可使用任何人类音色，将一段文字合成为使用该音色说话的声音，或者将一个声音使用该音色转换为另一个声音。 3. ：一个开源的音频、音乐和语音生成整合工具包。 4. ：一键部署私人 GPT/LLM 的聊天机器人。支持语音合成、多模态和可扩展的插件系统，可以联网、画图、爬虫等。 5. ：能够利用爬虫，自动抓取与整合指定 URL 地址中的各种信息，并生成一个 output.json 的数据文件。将其喂给 ChatGPT，便可快速定制您的专属 GPT，打造个人知识库或者智能助理。 6. ：给 AI 看一眼截屏，便能直接生成代码。该项目可借助 GPT4 Vision 的能力，直接给您将屏幕截图转换为 HTML/Tailwind CSS，并利用 DALLE 3 的图像生成能力，生成外观相似的图像。 7. ：可在命令行终端，直接调用与展示各种大模型能力。实现了视频和照片编辑、系统配置更改、自动生成并运行 Demo 源码，AI 一对一聊天问答等功能。 需要注意的是，不同的开源 AI 工具在功能和适用场景上可能会有所不同，您可以根据自己的需求选择最适合您的工具。

以下工具可以将英文音频转为中文音频：Whisper。它和 llama 类似，采用 make 命令编译，之后去 ggerganov/whisper.cpp下载量化好的模型，然后转换音频即可。目前 Whisper 只接受 wav 格式，可以用 ffmpeg 进行转化。输出的 srt 文件如下所示： |Size|Parameters|Englishonly model|Multilingual model|Required VRAM|Relative speed| ||||||| |tiny|39 M|tiny.en|tiny|~1 GB|~32x| |base|74 M|base.en|base|~1 GB|~16x| |small|244 M|small.en|small|~2 GB|~6x| |medium|769 M|medium.en|medium|~5 GB|~2x| |large|1550 M|N/A|large|~10 GB|1x| 一般来说，对于英文音频，small 模型通常就足够了，但如果是中文音频，最好使用最大的模型。

以下为您推荐两款好用免费的文字转音频的 AI 工具： 1. 飞书妙记（https://www.feishu.cn/product/minutes）：飞书的办公套件之一。 2. 通义听悟（https://tingwu.aliyun.com/home）：阿里推出的 AI 会议转录工具。 另外，您还可以在 WaytoAGI 的工具网站上查看更多相关工具：https://waytoagi.com/sites/category/50 。 请注意，内容由 AI 大模型生成，请仔细甄别。

以下是关于音频驱动视频的相关信息： INFP：字节二元交互的新型音频驱动头部动画生成技术 用户输入一段对话音频，可以自动驱动两个数字人头像自然对话，不需要手动区分对话。AI 可以动态地在说话和聆听状态之间交替，实现自然的口型同步和头部与面部表情动作。它适应多种画风图像，支持歌唱、采访、对话（可以实现多 Agent 实时对话）等场景环境。 地址：https://grisoon.github.io/INFP/ LTX Studio：Face Expression 控制角色表情 LTX Studio 的新功能 Face Expression 可轻松完全控制角色的面部表情。可以从预设情绪中快速选择，在几秒钟内调整角色的表情，也可以使用自定义控件微调眼睛、嘴巴或眉毛等特定特征，打造所需的确切情感。 【TecCreative】帮助手册中的相关内容 音频驱动多场景数字人：支持音频和场景数字人一键合成，快速生成数字人口播视频。操作指引：上传音频链接——选择数字人角色和场景——选择输出类型——点击开始生成。音频文件支持 MP3 和 WAV 格式，文件大小上限 5M。 谷歌 Generating audio for video 为了生成更高质量的音频，并增加引导模型生成特定声音的能力，在训练过程中添加了更多信息，包括人工智能生成的注释，其中包含声音的详细描述和口语对话誊本。通过对视频、音频和附加注释进行训练，技术可以学会将特定音频事件与各种视觉场景联系起来，同时对注释或文本中提供的信息做出响应。

目前在识别中芬双语音频并转换为文字方面，常见的方法包括利用专业的语音识别软件和服务。一些知名的语音识别技术提供商可能会有针对多语言音频识别的解决方案，但具体效果可能会受到音频质量、口音差异等因素的影响。此外，一些在线平台也可能提供相关的功能，但需要您进一步搜索和筛选以找到适合您需求的工具。

以下是一些人工智能音频转写相关的初创公司和免费的会议内容转文字工具： 人工智能音频转写初创公司： ：为聋人和重听者提供专业和基于 AI 的字幕（转录和说话人识别）。 ：专业的基于 AI 的转录和字幕。 ：混合团队高效协作会议所需的一切。 ：音频转录软件 从语音到文本到魔法。 ：99%准确的字幕、转录和字幕服务。 ：为语音不标准的人群提供的应用程序。 ：通过 AI 语音识别实现更快速、更准确的语音应用。 ：会议的 AI 助手。 ：让孩子们的声音被听见的语音技术。 ：使用语音识别自动将音频和视频转换为文本和字幕的 SaaS 解决方案。 ：实时字幕记录面对面小组会议中的发言内容。 ：理解每个声音的自主语音识别技术。 ：支持 35 多种语言的自动转录。 ：端到端的边缘语音 AI，设备上的语音识别。 ：清晰自信地说英语。 ：使用单一 API 为您的产品提供最先进的 AI 转录、翻译和音频智能。 ：将您的音频或视频播客转化为转录、节目笔记、博客文章、视频片段和其他资产，以发布和推广您的节目。 免费的会议内容转文字工具（大部分有使用时间限制，超过免费时间需付费）： 飞书妙记：，飞书的办公套件之一。 通义听悟：，阿里推出的 AI 会议转录工具。 讯飞听见：，讯飞旗下智慧办公服务平台。 Otter AI：，转录采访和会议纪要。 更多会议记录工具请访问网站：https://waytoagi.com/sites/category/29 。请注意，内容由 AI 大模型生成，请仔细甄别。

以下是关于音频转文字的相关信息： 语音转文字推荐 OpenAI 的 wishper，相关链接：https://huggingface.co/openai/whisperlargev2 。一分钟搞定 23 分钟的音频，相关链接：https://huggingface.co/spaces/sanchitgandhi/whisperjax 。这个项目在 JAX 上运行，后端支持 TPU v48，与 A100 GPU 上的 PyTorch 相比，它要快 70 多倍，是目前最快的 Whisper API。 对于更长输入：默认情况下 Whisper API 仅支持小于 25MB 的文件。如果音频文件更长，需要将其分成每个小于 25MB 的块或使用压缩后格式。为避免丢失上下文字信息，应避免在句子中间断开声音。处理此问题可使用 PyDub 开源 Python 软件包来拆分声频文件，但 OpenAI 对于像 PyDub 这样的第三方软件的可用性或安全性不作任何保证。 提示方面：可以使用提示来提高 Whisper API 生成的转录质量。模型将尝试匹配提示的风格，当前的提示系统比其他语言模型受限得多，仅提供对生成音频的有限控制。示例包括改善特定单词或缩略语的识别、利用先前片段的转录保留分段文件的上下文、避免标点符号的跳过、保留填充词汇、处理不同书写风格等。 支持的语言：虽然底层模型在 98 种不同的语言上进行了培训，但只列出了超过 50%单词错误率（WER）的标准行业基准测试所支持的语言，对于未列出的语言，模型也会返回输入结果但质量较低。

以下是为您提供的文档检测相关的提示词： 新闻文章的事实核查员： 角色：你是一个新闻文章的事实核查员。 个人信息：作者为悟空，版本 0.1，语言为中文，工作是确定新闻报道中哪些段落是假的。 目标：首先能区分事实和观点，确定事实和观点是否一致，同时呈现事实和观点，用问号标记缺乏事实支持的观点。 约束：总结事实，原样重述观点。 技能：具备区分事实和观点的能力，使用表情符号、缩写、粗体文本等格式化技术使内容清晰生动。 工作流程：逐步列出文本中的事实和观点，先列事实再列观点，用颜文字符号标记与事实不符的观点并提供判断理由，进一步解释推理。 文章打分器： 角色：文章打分器。 个人信息：作者为李继刚，版本 0.1，语言为中文，基于打分项对文章打分并给出总体得分和各项得分。 目标：了解文章的针对性、观点阐述是否清晰，信息量和文采是否丰富，排版和撰写长度是否符合阅读习惯。 约束：只能对文本文件打分，无法识别图片和视频等非文本内容。 技能：对文字质量有深刻理解，了解优秀文章特征，能进行排版分析和文章长度分析。 工作流程：读取输入文件，包括文章标题和正文。 此外，为您提供一些与文档检测提示词相关的网站： Majinai： 词图： Black Lily： Danbooru 标签超市： 魔咒百科词典： AI 词汇加速器： NovelAI 魔导书： 鳖哲法典： Danbooru tag： AIBooru：

图像融合是将两个或多个图像合成为一个新的图像，以获取比原始图像更全面和丰富的信息。可通过像素级融合、特征级融合和决策级融合等技术实现，在提高图像质量、增加信息量、遥感图像处理及计算机视觉和机器人技术中均有多种用途。 目标检测是计算机视觉领域的重要任务，旨在图像或视频中准确识别和定位特定对象。随着多模态数据的广泛应用，将不同模态信息融合能进一步提升目标检测的性能和鲁棒性。 图像融合和目标检测均是计算机视觉领域的重要技术，在多个领域有广泛应用前景和研究价值。 图像融合的大致原理是将多个不同图像合并成新图像以获得更准确、全面的信息，相关算法有小波变换、基于金字塔变换的多分辨率融合、基于区域的图像融合、基于特征的图像融合等。 目标检测的大致原理是在图像中找到特定目标并进行定位和识别，相关算法有基于深度学习的目标检测算法（如 RCNN、Fast RCNN、Faster RCNN、YOLO、SSD 等）、基于传统计算机视觉技术的目标检测算法（如 HOG、SIFT、SURF 等）。

目前较好的开源目标检测算法包括： 基于深度学习的目标检测算法，如 RCNN、Fast RCNN、Faster RCNN、YOLO、SSD 等。 基于传统计算机视觉技术的目标检测算法，如 HOG、SIFT、SURF 等。 YOLOv8 是一款出色的目标检测跟踪模型，具有快速准确的多对象识别和定位能力，支持实例分割、人体姿态估计等，多平台兼容，是一站式视觉识别解决方案。其详细介绍可参考：https://docs.ultralytics.com/models/ ，GitHub 地址为：https://github.com/ultralytics/ultralytics

Gemini 模型在音频质量检测方面达到了 SOTA 水平。该模型是天生多模态的，在文本、图像、音频和视频上进行联合训练，在广泛的音频基准测试中表现出色。

在计算机视觉中，对比学习在图像分类和检测中有重要应用。 图像分类方面：图像分类是根据图像中的语义信息对不同类别的图像进行区分。对比学习通过让模型学习区分相似和不同的图像样本，从而更好地捕捉图像中的语义特征，提高分类的准确性。 目标检测方面：目标检测需要找出图像或视频中的目标物体，并检测出其位置和大小。对比学习可以帮助模型学习到更具判别性的特征表示，从而更准确地定位和识别目标物体。在多类别目标检测中，对比学习有助于区分不同类别的物体，提高检测的精度和效率。 总之，对比学习为图像分类和检测任务提供了有效的特征学习方法，有助于提升计算机视觉系统的性能。

以下是目标检测领域的一些最新模型： YOLOv8 目标检测跟踪模型：快速准确的多对象识别和定位，支持实例分割、人体姿态估计等，多平台兼容，是一站式视觉识别解决方案。详细介绍：https://docs.ultralytics.com/models/ ，GitHub：https://github.com/ultralytics/ultralytics 。 OpenAI 在 2024 年 2 月发布的 Sora 模型，是一个文本到视频的生成式 AI 模型，能够根据文本提示生成现实或想象场景的视频，在目标检测方面也有一定的应用和潜力。

以下是一些好用的以图生图模型和相关产品： 1. Tusiart： 首页包含模型、帖子、排行榜，可查看不同模型的详细信息，如checkpoint、lora等。 checkpoint是生图必需的基础模型，lora是低阶自适应模型，可有可无，常用于控制细节。 还有ControlNet用于控制特定图像，VAE类似于滤镜可调整饱和度，以及Prompt提示词和负向提示词。 图生图功能可根据上传图片和所选模型等信息重绘。 2. Artguru AI Art Generator：在线平台，能生成逼真图像，为设计师提供灵感，丰富创作过程。 3. Retrato：AI工具，可将图片转换为非凡肖像，有500多种风格选择，适合制作个性头像。 4. Stable Diffusion Reimagine：新型AI工具，通过稳定扩散算法生成精细、具细节的全新视觉作品。 5. Barbie Selfie Generator：专为喜欢梦幻童话风格的人设计的AI工具，能将上传的照片转换为芭比风格。 需要注意的是，这些AI模型可能存在性能不稳定、生成内容不当等局限，使用时需仔细甄别。

AI 大模型是一个复杂且涉及众多技术概念的领域。以下为您详细介绍： 1. 概念：生成式 AI 生成的内容称为 AIGC。 2. 相关技术名词及关系： AI 即人工智能。 机器学习是电脑找规律学习，包括监督学习（有标签的训练数据，算法目标是学习输入和输出之间的映射关系，包括分类和回归）、无监督学习（学习的数据没有标签，算法自主发现规律，经典任务如聚类）、强化学习（从反馈里学习，最大化奖励或最小化损失，类似训小狗）。 深度学习是一种参照人脑有神经网络和神经元的方法（因有很多层所以叫深度），神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型。对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，比如谷歌的 BERT 模型，可用于语义理解（如上下文理解、情感分析、文本分类），但不擅长文本生成。 3. 技术里程碑：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。Transformer 比 RNN 更适合处理文本的长距离依赖性。

大模型在数据分析上有广泛的应用。 首先，了解一下大模型的基本概念。数字化便于计算机处理，为让计算机理解 Token 之间的联系，需将 Token 表示成稠密矩阵向量，即 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力机制来学习不同 token 之间的依赖关系，生成高质量 embedding。大模型的“大”在于用于表达 token 之间关系的参数多，如 GPT3 拥有 1750 亿参数。 大模型因其强大能力，在多个领域有热门应用场景： 1. 文本生成和内容创作：撰写文章、生成新闻报道、创作诗歌和故事等。 2. 聊天机器人和虚拟助手：进行自然对话，提供客户服务、日常任务提醒和信息咨询等。 3. 编程和代码辅助：自动补全、修复 bug 和解释代码，提高编程效率。 4. 翻译和跨语言通信：理解和翻译多种语言，促进不同语言背景用户的沟通和信息共享。 5. 情感分析和意见挖掘：分析社交媒体等中的文本，为市场研究和产品改进提供支持。 6. 教育和学习辅助：创建个性化学习材料、回答学生问题和提供语言学习支持。 7. 图像和视频生成：如 DALLE 等模型可根据文本描述生成相应图像，未来可能扩展到视频。 8. 游戏开发和互动体验：创建游戏角色对话、生成故事情节和增强玩家沉浸式体验。 9. 医疗和健康咨询：回答医疗相关问题，提供初步健康建议和医疗信息查询服务。 10. 法律和合规咨询：解读法律文件，提供合规建议，降低法律服务门槛。 大型模型主要分为两类：大型语言模型专注于处理和生成文本信息；大型多模态模型能处理包括文本、图片、音频等多种类型信息。二者在处理信息类型、应用场景和数据需求方面有所不同。大型语言模型主要用于自然语言处理任务，依赖大量文本数据训练；大型多模态模型能处理多种信息类型，应用更广泛，需要多种类型数据训练。 相对大模型，也有所谓的“小模型”，它们通常是为完成特定任务而设计。

flux1depthdev 模型的存放路径如下： 1. 下载 flux1depthdev 模型放到 ComfyUI/models/diffusion_models/文件夹中。 夸克网盘：链接：https://pan.quark.cn/s/571d174ec17f 百度网盘：见前文 2. 也可以将 depth lora 模型存放到 ComfyUI/models/loras 文件夹中。 depth lora 模型：https://huggingface.co/blackforestlabs/FLUX.1Depthdevlora 3. 百度网盘中也有相关模型： 链接：https://pan.baidu.com/s/10BmYtY3sU1VQzwUy2gpNlw?pwd=qflr 提取码：qflr

以下是一些关于模型的信息： 在 Cursor Chat、Ctrl/⌘K 和终端 Ctrl/⌘K 中，您可以在 AI 输入框下方的下拉列表中选择要使用的模型。默认情况下，Cursor 已准备好使用的模型包括：、cursorsmall。您还可以在 Cursor Settings>Models>Model Names 下添加其他模型。cursorsmall 是 Cursor 的自定义模型，不如 GPT4 智能，但速度更快，用户可无限制访问。 在 Morph Studio 中，支持以下模型生成视频： TexttoVideoMorph0.1：内部文本到视频生成模型，默认具有逼真色调，可通过描述性形容词修改拍摄风格和外观。 ImagetoVideoMorph0.1：内部图像到视频生成模型，用文本提示引导效果更好，使用时可不输入文本，在角色特写和对象动画方面表现较好。 VideotoVideoMorph0.1：内部风格转换模型，支持在文本提示下进行视频到视频的渲染，可将视频风格更改为预设，同时保留原始视频的字符和布局。 ImagetoVideoSVD1.1：由 Stability.ai 提供支持的图像到视频模型，适用于构图中有清晰层次的镜头（风景镜头、B 卷等）。 文本到视频形态0.1 被设置为新创建射击卡的默认模型，型号选择会根据是否上传图像或视频而更改，每个模型有自己的一组参数可供调整，如相机运动（支持静态、放大、缩小、向左平移、向右平移、向上平移、向下平移、顺时针旋转和逆时针旋转，未来将支持一次选择多个相机移动选项）、时间（支持最多 10 秒的视频生成，默认持续时间为 3 秒）。 ComfyUI instantID 目前只支持 sdxl。主要的模型需下载后放在 ComfyUI/models/instantid 文件夹（若没有则新建），地址为：https://huggingface.co/InstantX/InstantID/resolve/main/ipadapter.bin?download=true 。InsightFace 模型是 antelopev2（不是经典的 buffalo_l），下载解压后放在 ComfyUI/models/insightface/models/antelopev2 目录中，地址为：https://huggingface.co/MonsterMMORPG/tools/tree/main 。还需要一个 ControlNet 模型，放在 ComfyUI/models/controlnet 目录下，地址为：https://huggingface.co/InstantX/InstantID/resolve/main/ControlNetModel/diffusion_pytorch_model.safetensors?download=true 。上述模型网络环境不好的，可在网盘 https://pan.baidu.com/s/1FkGTXLmM0Ofynz04NfCaQ?pwd=cycy 下载。

以下是关于图生图美食模型的相关知识： 概念与功能说明： 首页模型、帖子、排行榜：展示其他用户生成的模型、图片。不同模型有 checkpoint 和 lora 两种标签，部分还有 SDXL 标签。点击可查看模型详情，下方有返图区。 基础模型（checkpoint）：生图必需，任何生图操作都要先选定。 lora：低阶自适应模型，类似 checkpoint 的小插件，可控制细节，权重可调整。 ControlNet：控制图片中特定图像，如人物姿态、特定文字等，高阶技能。 VAE：编码器，类似滤镜，调整生图饱和度，可无脑选 840000。 Prompt 提示词：描述想要 AI 生成的内容。 负向提示词（Negative Prompt）：描述想要 AI 避免产生的内容。 图生图：上传图片后，SD 会根据图片、所选模型、输入的 prompt 等信息重绘，重绘幅度越大，输出图与输入图差别越大。 简明操作流程（文生图）： 定主题：确定生成图片的主题、风格和表达信息。 选择基础模型（checkpoint）：按主题找贴近的模型，如麦橘、墨幽的系列模型。 选择 lora：寻找与生成内容重叠的 lora 控制图片效果和质量。 ControlNet：高阶技能，可控制特定图像。 局部重绘：下篇再教。 设置 VAE：选 840000。 Prompt 提示词：用英文写需求，单词、短语组合，用英文半角逗号隔开。 负向提示词（Negative Prompt）：用英文写避免的内容，单词、短语组合，用英文半角逗号隔开。 采样算法：如选 DPM++2M Karras，留意 checkpoint 详情页作者推荐的采样器。 采样次数：根据采样器特征，选 DPM++2M Karras 时，采样次数在 30 40 之间。 尺寸：根据个人喜好和需求选择。