直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

开源音频质量检测模型有哪些？

回答

以下为一些开源音频质量检测模型：

此外，还有：

  • VALL-EX：一个开源的多语言文本到语音合成与语音克隆模型。它支持多种语言（英语、中文和日语）和零样本语音克隆，具有语音情感控制和口音控制等高级功能。
  • 智谱·AI 自 2019 年成立以来推出并开源的多款模型，具体可参考智谱·AI 开源模型列表。但请注意，Token 数代表了模型支持的总 Token 数量，包括了输入+输出的所有 token，且一个 token 约等于 1.8 个汉字。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

模型（Models）

[title]模型（Models）[heading2]概述我们还发布了开源模型，包括[Point-E](https://github.com/openai/point-e)，[Whisper](https://github.com/openai/whisper)，[Jukebox](https://github.com/openai/jukebox)和[CLIP。](https://github.com/openai/CLIP)访问[供研究人员的模型索引](https://platform.openai.com/docs/model-index-for-researchers)详细了解我们的研究论文中介绍了哪些模型以及InstructGPT和GPT-3.5等模型系列之间的差异。

Han：基于现有能力项目应用的思考

[title]Han：基于现有能力项目应用的思考|技术名称|应用场景|技术类型|简介|主要特点|工作原理|其他|官方网站|项目及演示|论文|Github|在线体验|附件|最后更新时间|<br>|-|-|-|-|-|-|-|-|-|-|-|-|-|-|<br>|VALL-EX：一个开源的多语言文本到语音合成与语音克隆模型。|这个和19年百度地图发布的语音定制功能使用的meitron模型很像。这个功能现在依然在百度地图提供的功能里，用户只需在百度地图App上录制20句话、20分钟左右即可生成个人完整语音包。|语音|该模型支持多种语言（英语、中文和日语）和零样本语音克隆，你只需要提供一个人短短几秒钟的录音（3-10秒），就能模仿出那个人的声音。此外，它还具有语音情感控制和口音控制等高级功能。<br><br>同时相对于其他模型，它更轻量、更快速...<br><br>VALL-EX最初由微软发布。但并未发布任何代码或预训练模型。作者认识到了这项技术的潜力和价值，复现并训练了一个开源可用的VALL-E X模型。|VALL-E X模型具有以下显著的功能特点：<br>1.多语言TTS（文本到语音合成）:支持英语、中文和日语，能进行自然和富有表现力的语音合成。<br>2.零样本语音克隆

智谱·AI 开源模型列表

[title]智谱·AI开源模型列表[智谱·AI开源模型列表](https://zhipu-ai.feishu.cn/wiki/YInmwPmyii67VRkzU3BchPNzncg)自2019年成立以来，智谱AI致力于大模型技术的研究和推广工作。在2023年，我们推出并开源了多款模型（如上图所示），它们具有不同的能力，开发者可以对这些模型进行使用和定制。本文档将列出相关模型及链接，方便开发者查阅。请注意：Token数代表了模型支持的总Token数量，包括了输入+输出的所有token。同时，Token数不代表用户输入字符的数量。在我们的模型中，一个token约等于1.8个汉字。

其他人在问
开源的数字人工具
以下是一些开源的数字人工具： 1. HeyGen：这是一个 AI 驱动的平台，能创建逼真的数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等应用。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入内容，平台的 AI 语音机器人能自动转换成语音并合成逼真的说话视频。 此外，还有一些相关的开源算法代码仓库： 1. ASR 语音识别： openai 的 whisper：https://github.com/openai/whisper wenet：https://github.com/wenete2e/wenet speech_recognition（语音识别的接口集合）：https://github.com/Uberi/speech_recognition 2. AI Agent： 大模型部分包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分可使用 LangChain 的模块自定义，包含了 Agent 实现的几个组件：https://www.langchain.com/ 3. TTS： 微软的 edgetts：https://github.com/rany2/edgetts，只能使用预设人物声音，目前接口免费。 VITS：https://github.com/jaywalnut310/vits，还有很多分支版本。 sovitssvc：https://github.com/svcdevelopteam/sovitssvc，专注于唱歌。 请注意，这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时，请确保遵守相关使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。上周 HeyGen 工具创始人的演示视频刷屏，效果很好。LKS 也有相关的数字人介绍视频：https://www.bilibili.com/video/BV1vm4y1x7nm/?share_source=copy_web&vd_source=6c09aa7f53b69992e1cd572bbd2dbf94 。斯坦福 AI 小镇上周正式开源，相关论文链接：https://arxiv.org/abs/2304.03442 。
2024-11-19
如何学习开源机器人，要求是ROS操作系统，如何购置相应的机器人
学习开源机器人并基于 ROS 操作系统购置相应机器人，您可以从以下几个方面入手： 1. 控制系统：负责处理传感器数据、规划路径和执行任务，并与其他子系统协作。通常由嵌入式计算设备或工业计算机组成，通过运行控制算法（如 PID 控制、深度学习模型等）决定机器人运动和操作。 2. 伺服驱动系统：负责驱动机器人关节和执行机构，实现精确运动控制。一般包括伺服电机、伺服驱动器和指令机构。伺服电机作为执行机构实现运动，伺服驱动器作为功率电源控制电机运动，指令机构发出脉冲或速度信号配合工作。能进行速度与转矩控制，以及精确、快速、稳定的位置控制，其结构通常包括电流环、速度环和位置环三个闭环控制。 3. 交互设备：常见的有麦克风、遥控器等，尤其是带屏遥控器，集成了显示屏和控制功能，允许用户直接在遥控器上查看实时图像和进行各种操作。 4. 软件中间件：机器人操作系统中间件负责硬件抽象、设备驱动、库函数、可视化、消息传递和软件包管理等。最常用的元操作系统是 ROS（Robot Operating System），它并非真正的操作系统，而是运行在 Ubuntu 上的软件框架。ROS 将机器人软件功能封装为节点，支持节点间分布式、点对点通信，并由主节点（master）管理调度网络中各节点通信过程。不同节点可使用不同编程语言，可分布式运行在不同主机，这种设计使机器人各模块能松耦合协同工作，便于模块化修改和升级，提高系统容错能力。 在购置相应机器人时，您需要考虑机器人的功能需求、性能指标、价格预算等因素，选择适合您学习和研究的型号。
2024-11-19
目前有哪些开源绘画模型
目前常见的开源绘画模型有： Stable Diffusion：生态最完整，能够加载的框架有 ComfyUI 框架、SD.Next 框架、Stable Diffusion WebUI 框架、diffusers 框架。 MidJourney：模型风格包罗万象，操作简洁，极富美感和艺术感。 Dall·E3（ChatGPT）：具有惊人的语义理解能力，可像甲方一样连续修改。 Fooocus：优化程度高，操作简便，类似本地化 mj。 ComfyUI：门槛高，定制化强。 HunYuanDiT：国内第一个开源绘图模型。 SDXL：开源时间为 2023.7。 SD3：开源时间为 2024.6。 KOLORS：开源时间为 2024.7，目前生图质量最高，有相关的教学视频，如“Kolors 中文生图绘画模型开源，快手接连放出高质量开源项目，是否会成为中国的 StabilityAI”等。 Flux：开源时间为 2024.8。
2024-11-07
有哪些开源或者免费的数字人工具
以下是一些开源或者免费的数字人工具： 1. HeyGen：AI 驱动的平台，能创建逼真的数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入内容，平台的 AI 语音机器人能自动转换成语音并合成逼真的说话视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 此外，还有一些相关的开源代码仓库： ASR 语音识别： openai 的 whisper: https://github.com/openai/whisper wenet: https://github.com/wenete2e/wenet speech_recognition：https://github.com/Uberi/speech_recognition AI Agent： 大模型：ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分：可使用 LangChain 的模块自定义，https://www.langchain.com/ TTS： 微软的 edgetts：https://github.com/rany2/edgetts，只能使用预设人物声音，目前接口免费。 VITS：https://github.com/jaywalnut310/vits，还有很多分支版本。 sovitssvc: https://github.com/svcdevelopteam/sovitssvc，专注于唱歌。 请注意，这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时，请确保遵守相关使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。
2024-11-07
有哪些开源免费的数字人工具
以下是一些开源免费的数字人工具： 1. HeyGen：这是一个 AI 驱动的平台，能创建逼真的数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等应用。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入内容，平台的 AI 语音机器人将自动转换成语音并合成逼真的会开口说话的视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。 请注意，这些工具的具体功能和可用性可能会变化。使用时请遵守相关使用条款和隐私政策，并注意生成内容的版权和伦理责任。 此外，以下是一些与数字人相关的开源代码仓库： ASR 语音识别： openai 的 whisper: https://github.com/openai/whisper wenet: https://github.com/wenete2e/wenet speech_recognition：https://github.com/Uberi/speech_recognition AI Agent： 大模型部分包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分可使用 LangChain 的模块自定义，包含了 Agent 实现的几个组件：https://www.langchain.com/ TTS： 微软的 edgetts：https://github.com/rany2/edgetts，只能使用里面预设的人物声音，目前接口免费。 VITS：https://github.com/jaywalnut310/vits，还有很多分支版本。 sovitssvc: https://github.com/svcdevelopteam/sovitssvc，专注于唱歌。 人物建模模型可通过手动建模（音频驱动）或者 AIGC 的方式生成人物的动态效果（例如 wav2lip 模型）实现。 以下是部分摊位信息中与数字人相关的内容： |编号|摊位活动主题和内容|摊位区域|摊位编号| ||||| |54|AI 数字人的技术以及应用场景|D|D4| |59|百度数字人试拍|D|D3|
2024-11-07
阿里开源的数字人
阿里开源的数字人相关信息如下： 阿里的虚拟数字人：https://www.aliyun.com/product/ai/avatar?spm=5176.21213303.8115314850.1.72de53c9pdvu6T&scm=20140722.S_card@@%E4%BA%A7%E5%93%81@@1161322.S_card0.ID_card@@%E4%BA%A7%E5%93%81@@1161322RL_%E6%95%B0%E5%AD%97%E4%BA%BAOR_serV_2P0_0 关于阿里在 AIGC 实践方面的相关文章： 在构建高质量的 AI 数字人方面，建好的模型可以使用 web 前端页面（Live2D 就提供了 web 端的 SDK）或者 Native 的可执行程序进行部署，最后呈现在用户面前的是一个 GUI。笔者的开源数字人项目（项目地址：https://github.com/wanh/awesomedigitalhumanlive2d）选择了 live2d 作为数字人躯壳，因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然，相比虚幻引擎这些驱动方式又更加轻量和简单；另外超写实的数字人风格在目前的技术能力下，处理不好一致性问题，容易带来虚假的感觉或者产生恐怖谷效应，而卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例：https://github.com/Live2D 。
2024-11-07
音频克隆
以下是关于音频克隆的相关信息： GPTSoVITS 是一个声音克隆和文本到语音转换的开源 Python RAG 框架。其主要特点包括： 1. 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 2. 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出来的声音更接近原声，更自然。 3. 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 4. 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 5. 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 6. 预训练模型：项目提供了一些已经训练好的模型，可直接下载使用。 GitHub 地址： 视频教程： 使用方法： 1. 注册 colab，启动准备：点击进入按照步骤注册，新建笔记本，运行脚本启动 GPTSo VITS。整个过程比较漫长，需要耐心等待，可以整个脚本一起运行，也可以一段一段运行。运行过程包括克隆项目代码库、进入项目目录、安装 Python 依赖包、安装系统依赖、下载 NLTK 资源、启动 Web UI。运行成功后会出现 public URL。 2. 训练音频准备与上传。 此外，还有 XiaoHu.AI 日报中提到的声音克隆相关内容，它由主要模型 SenseVoice 和 CosyVoice 构成，声音克隆仅需几秒音频样本，无需额外训练数据，还能控制情绪情感、语速、音高。详细内容：https://xiaohu.ai/p/10954 项目地址：https://funaudiollm.github.io 在线演示：https://modelscope.cn/studios/iic/CosyVoice300M
2024-11-12
获取视频音频转化成字幕并翻译的插件有么？
以下是一些可以将视频音频转化成字幕并翻译的插件和工具： 1. Reccloud：免费的在线 AI 字幕生成工具，可直接上传视频进行精准识别，能对识别的字幕进行翻译，自动生成双语字幕。声称已处理 1.2 亿+视频，识别准确率接近 100%。 2. 绘影字幕：一站式专业视频自动字幕编辑器，提供简单、准确、快速的字幕制作和翻译服务，支持 95 种语言，准确率高达 98%，还可自定义字幕样式。 3. Arctime：能对视频语音自动识别并转换为字幕，甚至支持自动打轴，支持 Windows 和 Linux 等主流平台，支持 SRT 和 ASS 等字幕功能。 4. 网易见外：国内知名语音平台，支持视频智能字幕功能，转换正确率较高，支持音频转写功能。 此外，关于语音转文本（Speech to text），语音转文本 API 提供了两个端点，基于开源大型v2 Whisper 模型的转录和翻译。目前文件上传限制为 25MB，支持 mp3、mp4、mpeg、mpga、m4a、wav 和 webm 等输入文件类型。 对于提示词翻译，可使用百度翻译 API，方法如下： 1. 下载节点压缩包，并将它放在 custom_nodes 文件夹。 2. 去百度翻译 Api 登记册开发人员的帐户中得到您的 appid 和 secretKey，百度翻译平台地址：https://fanyiapi.baidu.com/manage/developer 。 3. 打开文件 config.py 在记事本或其他编辑工具中，填写您的 secretKey 并保存文件，重启 Comfy 即可。 以上工具各有特点，您可以根据自己的需求选择最适合的。内容由 AI 大模型生成，请仔细甄别。
2024-11-02
音频转文字
以下是关于音频转文字的相关信息： 推荐使用 OpenAI 的 wishper，相关链接：https://huggingface.co/openai/whisperlargev2 。 一分钟搞定 23 分钟音频的相关链接：https://huggingface.co/spaces/sanchitgandhi/whisperjax 。该项目在 JAX 上运行，后端支持 TPU v48，与 A100 GPU 上的 PyTorch 相比，速度快 70 多倍，是目前最快的 Whisper API。 语音转文本 API 提供了转录和翻译两个端点，基于开源大型v2 Whisper 模型。可用于将音频转录为任何语言，将音频翻译并转录成英语。目前文件上传限制为 25MB，支持的输入文件类型包括：mp3、mp4、mpeg、mpga、m4a、wav 和 webm。 转录 API 的输入是要转录的音频文件及所需输出格式的音频文字稿，默认响应类型为包含原始文本的 JSON，可通过添加更多带有相关选项的form 行设置其他参数。 翻译 API 以任何支持的语言作为输入音频文件，并在必要时将音频转录成英文，目前仅支持英语翻译。 支持的语言包括：南非荷兰语、阿拉伯语、亚美尼亚语、阿塞拜疆语、白俄罗斯语、波斯尼亚文、保加利亚文、加泰罗尼亚文、中文、克罗地亚文、捷克文、丹麦文、荷兰文、英国英语、爱沙尼亚文、芬兰文、法国法式英语、加利西亚语、德语、希腊语、希伯来语、印地语、匈牙利语、冰岛语、印度尼西亚语、意大利语、日语、卡纳达语、哈萨克语、韩语、拉脱维亚语、立陶宛语、马其顿语、马来语、马拉地语。
2024-10-31
请总结本知识库，并提炼出11节面向十岁儿童关于AIGC的课程，三节是提示词工程，2节文生文，2节文生图/图生图，2节文生音频，2节文生视频/图生视频，不需要涉及智能体及文生代码
以下是对本知识库的总结： 包含了不同时间段的 AIGC 周刊内容，如 Open AI 发布 ChatGPT 的 iOS 应用、Google 宣布多项 AI 新功能、AI 歌手相关教程等。 有关于提示词工程的课程及相关技巧介绍。 涉及一些特定的 AIGC 技术和方法，如 Donut 文档理解方法。 提到了谷歌的生成式 AI 学习课程。 以下是为十岁儿童设计的 11 节关于 AIGC 的课程： 1. 提示词工程基础 什么是提示词 提示词的作用 简单的提示词示例 2. 提示词工程进阶 复杂提示词的构建 如何优化提示词 提示词的实际应用 3. 提示词工程实践 设计自己的提示词任务 分享与讨论提示词成果 总结提示词的使用技巧 4. 文生文入门 了解文生文的概念 简单的文生文工具介绍 尝试生成一段文字 5. 文生文提高 优化文生文的输入 让生成的文字更有趣 比较不同文生文的效果 6. 文生图/图生图基础 认识文生图和图生图 常见的文生图工具 用简单描述生成一张图片 7. 文生图/图生图进阶 更复杂的描述生成精美图片 对生成的图片进行修改 分享自己生成的图片 8. 文生音频入门 什么是文生音频 简单的文生音频工具 生成一段简单的音频 9. 文生音频提高 让生成的音频更动听 给音频添加特效 欣赏优秀的文生音频作品 10. 文生视频/图生视频基础 文生视频和图生视频的概念 基本的文生视频工具 制作一个简单的视频 11. 文生视频/图生视频进阶 让视频更精彩 视频的后期处理 展示自己制作的视频
2024-10-31
情感丰富音频ai模型
以下为您介绍一些情感丰富音频 AI 模型： 阿里云最新开源模型 FunAudioLLM：这是通义实验室语音团队全新推出的生成式语音大模型，能提供舒适自然的语音合成能力。它可以生成不同情感的语音，如中性、悲伤、快乐等。例如，悲伤情感的语音有“等你熬过那些孤独无助的时刻，你才会发现，原来自己并没有想象中那么脆弱。原来一个人，也可以活成千军万马的模样。我可以安慰很多人，但就是不能安慰自己那颗千疮百孔的心。总有一些人会慢慢淡出你的生活。你要学会接受，而不是怀念。有些事。不管我们如何努力，回不去就是回不去了。我们漫长的岁月中有太多的过客，有太多的无奈。”；快乐情感的语音有“小丽抿着嘴，弓着腰，蹑手蹑脚地，一步一步慢慢地靠近它。靠近了，靠近了，又见她悄悄地将右手伸向蝴蝶，张开的两个手指一合，夹住了粉蝶的翅膀。小丽高兴得又蹦又跳。除夕晚上，儿子孙子都来到她身边，她满脸皱纹都舒展开了，就像盛开的菊花瓣，每根皱纹里都洋溢着笑意。” XiaoHu.AI 日报中提到的模型：它由 SenseVoice 和 CosyVoice 构成。声音克隆仅需几秒音频样本，无需额外训练数据，还能控制情绪情感、语速、音高。详细内容：https://xiaohu.ai/p/10954 项目地址：https://funaudiollm.github.io 在线演示：https://modelscope.cn/studios/iic/CosyVoice300M 此外，还有 LLM 比价工具，可对比不同种类模型型号的订阅价格和 API 价格，传送门：https://huggingface.co/spaces/philschmid/llmpricing 以及浦语灵笔 IXC2.5，能看懂视频，完整书写文章，自动生成网站，由上海人工智能实验室开发，使用 7B LLM 后端，具有与 GPT4V 相当的能力，擅长网页制作和高质量文本图像文章创作。详细内容：https://xiaohu.ai/p/10891
2024-10-28
有什么模型或者工具可以直接完成： 上传音频文件，输出文字稿，并且文字稿会做声纹识别区分说话人
以下是为您提供的相关信息： Hedra：hedra.com 放出了基础模型 Character1 的研究预览版，即日起在 http://hedra.com（桌面和移动）上提供。它可以直接文字转语音，目前有 6 个语音，也可以直接上传音频。 Sovits：关于基于 Sovits 的声音训练及推理，需要准备数据集，百度网盘链接为：https://pan.baidu.com/s/14iK32JKIPvjmf1Kfq21mzg?pwd=hjhj 提取码：hjhj 。模型的安装比较简单，拷贝就行，详情请看网盘里的说明。提取人声的最佳模型是 mdxnet，提取出来的声音一般还需要用 iZotope RX 等软件精细处理，去掉杂音、和声和混响，达到“干声”效果。iZotope RX 软件链接：https://pan.baidu.com/s/1NXh67SViKm39zT08U7zg?pwd=kmhd 提取码：kmhd 。安装时记得把 vst3 和 aax 勾上，主程序安装完成后，替换补丁是直接复制粘贴，不需要双击运行。安装完成后，打开提取的人声，左下角的控件移动到最左边，让图形更加清爽。去混响可按特定顺序操作，并通过调整数值以耳朵为准感受效果，合适则点击渲染应用到整首歌。
2024-10-23
当前最好的开源目标检测
目前较好的开源目标检测算法包括： 基于深度学习的目标检测算法，如 RCNN、Fast RCNN、Faster RCNN、YOLO、SSD 等。 基于传统计算机视觉技术的目标检测算法，如 HOG、SIFT、SURF 等。 YOLOv8 是一款出色的目标检测跟踪模型，具有快速准确的多对象识别和定位能力，支持实例分割、人体姿态估计等，多平台兼容，是一站式视觉识别解决方案。其详细介绍可参考：https://docs.ultralytics.com/models/ ，GitHub 地址为：https://github.com/ultralytics/ultralytics
2024-11-04
音频质量检测方面SOTA模型有？
Gemini 模型在音频质量检测方面达到了 SOTA 水平。该模型是天生多模态的，在文本、图像、音频和视频上进行联合训练，在广泛的音频基准测试中表现出色。
2024-10-16
请阐述对比学习在图像分类和检测中的应用
在计算机视觉中，对比学习在图像分类和检测中有重要应用。 图像分类方面：图像分类是根据图像中的语义信息对不同类别的图像进行区分。对比学习通过让模型学习区分相似和不同的图像样本，从而更好地捕捉图像中的语义特征，提高分类的准确性。 目标检测方面：目标检测需要找出图像或视频中的目标物体，并检测出其位置和大小。对比学习可以帮助模型学习到更具判别性的特征表示，从而更准确地定位和识别目标物体。在多类别目标检测中，对比学习有助于区分不同类别的物体，提高检测的精度和效率。 总之，对比学习为图像分类和检测任务提供了有效的特征学习方法，有助于提升计算机视觉系统的性能。
2024-10-15
目标检测领域最新sota模型
以下是目标检测领域的一些最新模型： YOLOv8 目标检测跟踪模型：快速准确的多对象识别和定位，支持实例分割、人体姿态估计等，多平台兼容，是一站式视觉识别解决方案。详细介绍：https://docs.ultralytics.com/models/ ，GitHub：https://github.com/ultralytics/ultralytics 。 OpenAI 在 2024 年 2 月发布的 Sora 模型，是一个文本到视频的生成式 AI 模型，能够根据文本提示生成现实或想象场景的视频，在目标检测方面也有一定的应用和潜力。
2024-10-10
我计划检测一张图片中的玉米。我使用python怎么实现这个目的。
要使用 Python 检测一张图片中的玉米，您可以考虑使用一些图像处理和机器学习的库，比如 OpenCV 和 TensorFlow 等。 使用 OpenCV 可以进行图像的读取、预处理和特征提取。首先读取图片，然后可能需要进行一些图像增强、滤波等操作来改善图像质量，以便后续的检测。 如果使用 TensorFlow 等深度学习框架，可以构建一个卷积神经网络（CNN）模型来进行玉米的检测。您需要准备包含玉米和非玉米的大量图片数据集，并对数据进行标注，然后训练模型。 但具体的实现会比较复杂，需要您具备一定的图像处理和机器学习知识。
2024-09-18
请介绍聚类分析、异常检测算法
聚类分析是一种将数据集中相似的数据点分组在一起的方法。当数据集中的簇不是明显的球形或高斯分布时，KNN 算法也可用于聚类任务。 异常检测算法用于识别数据集中偏离常态的异常数据点。KNN 算法由于可以识别与大多数邻居不同的点，常用于异常检测。此外，大语言模型（LLM）在识别模式和趋势方面表现出色，也适用于异常检测任务，能够基于一个或多个列值来识别异常数据点。
2024-08-23
企业做自己的小模型，需要用到的工具及工具背后的公司都有哪些？
企业做自己的小模型，可能会用到以下工具及背后的公司： 1. 在编排（Orchestration）方面，涉及的公司如 DUST、FIAVIE、LangChain 等，其提供的工具可帮助管理和协调各部分及任务，确保系统流畅运行。 2. 部署、可扩展性和预训练（Deployment, Scalability, & PreTraining）类别中，像 UWA mosaicm、NMAREL、anyscale 等公司提供的工具，有助于部署模型、保证可扩展性及进行预训练。 3. 处理上下文和嵌入（Context & Embeddings）的工具，相关公司有 TRUDO、Llamalndex、BerriAI 等，能帮助模型处理和理解语言上下文，并将词语和句子转化为计算机可理解的形式。 4. 质量保证和可观察性（QA & Observability）方面，例如 Pinecone、drant、Vald 等公司提供的工具，可确保模型表现并监控其性能和状态。 此外，还有以下工具和相关公司： 1. 图片生成 3D 建模工具，如 Tripo AI（由 VAST 发布）、Meshy、CSM AI（Common Sense Machines）、Sudo AI、VoxCraft（由生数科技推出）等。 企业还可能涉及具身智能、3D 眼镜、AI 绘本、AI 图书、学习机、飞书的多维表格、蚂蚁的智能体、Coze 的智能体、Zeabur 等云平台、0 编码平台、大模型（通义、智谱、kimi、deepseek 等）、编程辅助、文生图（可灵、即梦等）等方面，可能需要相应资质。
2024-11-20
你认为目前最好用的大模型有哪些？
目前最好用的大模型包括： 1. OpenAI 的 GPT4：是最先进和广泛使用的大型语言模型之一，在多种任务上表现卓越，如文本生成、理解、翻译及各种专业和创意写作任务，能通过大量数据学习理解和生成人类语言，处理复杂问题和理解上下文能力出色。 2. Anthropic 公司的 Claude 3。 3. 谷歌的 Gemini。 4. 百度的文心一言。 5. 阿里巴巴的通义大模型。 大型模型主要分为两类： 1. 大型语言模型：专注于处理和生成文本信息。 2. 大型多模态模型：能够处理包括文本、图片、音频等多种类型的信息。 大型多模态模型与大型语言模型的不同点： 1. 处理的信息类型不同：大型语言模型专注于文本，大型多模态模型能处理多种类型信息。 2. 应用场景不同：大型语言模型主要用于自然语言处理任务，大型多模态模型应用领域更广泛。 3. 数据需求不同：大型语言模型依赖大量文本数据训练，大型多模态模型需要多种类型数据训练。 此外，如果想了解国内的大模型效果，可以参考第三方基准评测报告： 。需注意，内容由 AI 大模型生成，请仔细甄别。
2024-11-19
能生成sql语句的ai模型或工具，能提供api调用的
以下是一些能生成 SQL 语句并提供 API 调用的 AI 模型或工具的相关信息： OpenAI 的 GPT 系列模型，如 gpt40613 和 gpt3.5turbo0613 ，可以通过函数调用及其他 API 更新，让开发人员向模型描述函数，并让模型智能地选择输出一个包含调用这些函数所需参数的 JSON 对象。但需要注意的是，为了让 ChatGPT 返回符合要求的 JSON 格式，prompt 的定制尤为重要和复杂。 在使用代码执行来进行更精确的计算或调用外部 API 时，不能依赖模型自行准确地执行算术或长计算。可以指示模型编写和运行代码，例如将代码放入三重反引号中。生成输出后，可以提取并运行代码。同时，模型在正确使用 API 的指导下，可以编写使用 API 的代码，但需要通过提供 API 文档或代码示例进行指导。 但需要注意的是，执行模型生成的代码存在安全风险，建议在安全的沙箱环境中运行代码，避免潜在危害。
2024-11-19
图说AI大模型？
以下是关于 AI 大模型的相关内容： 一、大模型的整体架构 1. 基础层：为大模型提供硬件支撑和数据支持，例如 A100、数据服务器等。 2. 数据层：包括静态的知识库和动态的三方数据集，这里的数据层并非用于基层模型训练的数据基集，而是企业根据自身特性维护的垂域数据。 3. 模型层：包括 LLm（大语言模型，例如 GPT，一般使用 transformer 算法实现）或多模态模型（如市面上的文生图、图生图等模型，训练所用数据与 llm 不同，为图文或声音等多模态的数据集）。 4. 平台层：例如大模型的评测体系或 langchain 平台等，是模型与应用间的组成部分。 5. 表现层：也就是应用层，是用户实际看到的地方。 二、再补充一些概念 AI Agent Agent 是从年前到现在比较火的概念，被很多人认为是大模型的未来主要发展方向。中间的“智能体”其实就是 llm 或大模型，四个箭头分别是为 llm 增加的工具、记忆、行动、规划四个能力。目前行业里主要用到的是 langchain 框架，它把 llm 之间以及 llm 和工具之间通过代码或 prompt 的形式进行串接。 三、必须理解的核心概念 1. 泛化能力：指模型在未曾见过的数据上表现良好的能力，用大白话讲就是“举一反三”的能力，人类泛化能力很强，无需见过世界上每一只猫就能认识猫的概念。 2. 多模态：指多数据类型交互，能提供更接近人类感知的场景，大模型对应的模态有文本、图像、音频、视频等。 3. 对齐能力：指与人类价值观与利益目标保持一致的能力。但目前阶段，有很多提示词注入的方法能绕过各种限制，这也开辟了大模型领域黑白对抗的新战场。
2024-11-19
文生图模型性能排行
以下是一些文生图模型的性能排行相关信息： Kolors 是最近开源的文生图模型中表现出色的一个。它具有更强的中文文本编码器、高质量的文本描述、人标的高质量图片、强大的中文渲染能力以及巧妙解决高分辨率图加噪问题的 noise schedule，实测效果不错。 PIKA1.0 是一个全新的模型，文生视频和文生图的质量都有大幅度提升。在文生图方面稳定得令人惊讶，3D 和 2D 的动画效果出色。 为全面比较 Kolors 与其他模型的生成能力，构建了包含人工评估、机器评估的全面评测内容。在 KolorsPrompts 评估集中，Kolors 在整体满意度方面处于最优水平，其中画面质量显著领先其他模型。具体的平均分数如下： AdobeFirefly：整体满意度平均分 3.03，画面质量平均分 3.46，图文相关性平均分 3.84。 Stable Diffusion 3：整体满意度平均分 3.26，画面质量平均分 3.5，图文相关性平均分 4.2。 DALLE 3：整体满意度平均分 3.32，画面质量平均分 3.54，图文相关性平均分 4.22。 Midjourneyv5：整体满意度平均分 3.32，画面质量平均分 3.68，图文相关性平均分 4.02。 Playgroundv2.5：整体满意度平均分 3.37，画面质量平均分 3.73，图文相关性平均分 4.04。 Midjourneyv6：整体满意度平均分 3.58，画面质量平均分 3.92，图文相关性平均分 4.18。 Kolors：整体满意度平均分 3.59，画面质量平均分 3.99，图文相关性平均分 4.17。所有模型结果取自 2024.04 的产品版本。
2024-11-18
认为如果我是一个大学生，想要通过大模型去参加项目什么样的方向会比较好我应该做一个怎样的大模型？
对于大学生想要通过大模型参加项目，以下是一些方向和相关知识： 大模型的概念： 通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有有资本购买大量 GPU 的才有能力训练自己的大模型。 2. 确定教材：大模型需要大量的数据量，几千亿序列（Token）的输入基本是标配。 3. 找老师：即选择合适的算法让大模型更好地理解 Token 之间的关系。 4. 就业指导：为了让大模型更好地胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。Token 被视为模型处理和生成的文本单位，会对输入进行数字化形成词汇表。 大模型的训练： 一般训练会有 3 个步骤，每个步骤都需要资金投入。 1. 无监督学习：模型通过分析大量文本数据，学习语言的基本结构和常识，具备文本补齐能力而非直接回答问题，将人类的知识通过向量化的方法转换，从而获得基础的语言模型。 2. 清洗出好的数据。 3. 指令微调：模型被训练以理解并执行具体指令，如翻译文本，从而能够回答问题。输入内容包括 3 个部分，中间可能有分隔符。还有对齐过程，通过引入人类的评价标准和处理特定格式要求，进一步优化模型的输出以符合人类的期望。 大模型的微调： 在人工智能领域，通常会根据应用领域将大模型分为通用大模型和领域特定模型。通用大模型如 GPT4.0、GPT3.5 等，通过训练获得广泛的自然语言理解能力，但在特定领域表现可能不理想。微调是对大模型针对特定领域进行的训练过程，通过在特定领域的数据上训练模型，优化所有层的参数，提高其在该领域的专业性。从头开始训练一个具备自然语言处理能力的大模型需要大量时间和资源，小公司负担不起，微调可以在现有模型基础上更经济、高效地适应新的应用领域。
2024-11-18