直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

开源的，新一代的 tts 框架有哪些？

回答

以下是一些开源的新一代 TTS 框架：

  1. GPT-SoVITS：这是一个声音克隆和文本到语音转换的开源 Python RAG 框架。只需 1 分钟语音即可训练一个自己的 TTS 模型，5 秒数据就能模仿，1 分钟的声音数据就能训练出高质量的 TTS 模型，完美克隆声音。它完美适配中文，具有零样本 TTS、少量样本训练、易于使用的界面、跨语言支持、适用于不同操作系统、提供预训练模型等特点。
  2. ChatTTS：针对对话式任务进行了优化，实现自然流畅的语音合成，同时支持多说话人。能够预测和控制细粒度的韵律特征，包括笑声、停顿和插入词等。在韵律方面超越了大部分开源 TTS 模型，并提供预训练模型，但存在模型稳定性不足的问题。目前发布的模型版本中，情感控制仅限于笑声以及一些声音中断，作者计划在未来的版本中开源更多情感控制的功能。如今陆续出现了在线网站和本地增强整合包。
  3. B 站 up“花儿不哭”大佬的开源项目 gpt-sovits 也被用于节目《马上封喉》的 TTS 中，只需 1 分钟的干声素材就可以实现惊艳的效果，甚至实现了 zero-shot（零样本），但单字和中英文混杂的词句效果还有待提高。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

GPT-SoVITS实现声音克隆

GPT-SoVITS：只需1分钟语音即可训练一个自己的TTS模型。GPT-SoVITS是一个声音克隆和文本到语音转换的开源Python RAG框架。5秒数据就能模仿你，1分钟的声音数据就能训练出一个高质量的TTS模型，完美克隆你的声音！根据演示来看完美适配中文，应该是目前中文支持比较好的模型。界面也易用。主要特点：1、零样本TTS：输入5秒的声音样本即可体验即时的文本到语音转换。2、少量样本训练：只需1分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。3、易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和GPT/SoVITS模型。4、适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括Windows。5、预训练模型：项目提供了一些已经训练好的模型，你可以直接下载使用。

卡尔：终于蹲到ChatTTS增强版整合包，AI视频配角们有了自己的声音～

1.✅对话式TTS：ChatTTS针对对话式任务进行了优化，实现了自然流畅的语音合成，同时支持多说话人。2.✅细粒度控制：该模型能够预测和控制细粒度的韵律特征，包括笑声、停顿和插入词等。3.✅更好的韵律：ChatTTS在韵律方面超越了大部分开源TTS模型，并提供预训练模型。4.❌模型稳定性：自回归模型存在稳定性不足的问题，可能会出现声音突然变成其他人的声音，或者音质突然变差，可以通过多次尝试来寻找更好的音频效果。5.⭕️情感控制：目前发布的模型版本中，情感控制仅限于笑声（[laugh]）以及一些声音中断（[uv_break],[lbreak]）。作者计划在未来的版本中开源更多情感控制的功能。几天前，我们还需要在本地和云端安装环境才能运行ChatTTS，玩法较为复杂。如今，陆续出现了在线网站和本地增强整合包。这里给大家介绍一下玩法，首先是网站：我们直接访问https://chattts.com/

节目介绍及投票

TTS用到了B站up"花儿不哭"大佬的开源项目gpt-sovits，只需1分钟的干声素材就可以实现惊艳的效果，甚至实现了zero-shot(零样本)，原理就是利用LLM(大语言模型)帮助声音模型进行预测推理。由于素材少，所以对质量的要求更高，最终呈现出的声音质感、语气、情感都与训练素材及参考音频息息相关。RVC则是将输入音频转换为训练的声音，也就是变声，对训练素材量级要求更高一些，最少也要20分钟的素材才能达到理想的效果，并且可以选择是否关联音高，来区分说话和唱歌两个不同的场景。这次的AI马季主要还是以gpt-sovits为主。要说不足嘛也有，比如单字和中英文混杂的词句效果还有很大进步空间，希望能和大家多交流找到更好的解决方案。”--金属文

其他人在问
F5-TTS有相关的文章吗？
上海交通大学开源了 F5TTS 语音合成技术，这是一种完全非自回归的文本到语音系统，通过流匹配与扩散变换器实现。它简化了传统的 TTS 系统设计，不需要复杂的时长模型、文本编码器和音素对齐，而是将文本输入用填充标记填充到与输入语音相同的长度，并利用 ConvNeXt 模型对文本表示进行细化以与语音对齐。 F5TTS 的模型特点包括： 1. 零样本声音克隆。 2. 速度控制（基于总时长）。 3. 可以控制合成语音的情感表现。 4. 长文本合成。 5. 支持中文和英文多语言合成。 6. 在 10 万小时数据上训练。 7. 最重要的是支持商用。 相关链接： 1. 论文： 2. 模型下载： 3. 演示 Demo：https://huggingface.co/spaces/mrfakename/E2F5TTS
2024-11-01
有没有好用的 tts 的 api 推荐啊
以下为您推荐一些好用的 TTS API： 1. 出门问问 Mobvoi： API 官网：https://openapi.mobvoi.com/ 语音合成（TTS）API 地址：https://openapi.mobvoi.com/pages/soundlibrary 语音合成（TTS）操作文档：https://openapi.mobvoi.com/document?name=%E8%AF%AD%E9%9F%B3%E5%90%88%E6%88%90%EF%BC%88TTS%EF%BC%89 接口请求域名：https://open.mobvoi.com/api/tts/v1 接口请求频率限制：5 次/秒 提供多种方言和风格，满足不同场景需求，实时合成支持 SSML。 2. Eleven Labs：https://elevenlabs.io/ ElevenLabs Prime Voice AI 是一款功能强大且多功能的 AI 语音软件，使创作者和出版商能够生成逼真、高品质的音频。人工智能模型能够高保真地呈现人类语调和语调变化，并能够根据上下文调整表达方式。 3. Speechify：https://speechify.com/ Speechify 是一款人工智能驱动的文本转语音工具，使用户能够将文本转换为音频文件。它可作为 Chrome 扩展、Mac 应用程序、iOS 和 Android 应用程序使用，可用于收听网页、文档、PDF 和有声读物。 4. Azure AI Speech Studio：https://speech.microsoft.com/portal Microsoft Azure Speech Studio 是一套服务，它赋予应用程序能力，让它们能够“听懂、理解并与客户进行对话”。该服务提供了支持 100 多种语言和方言的语音转文本和文本转语音功能。此外，它还提供了自定义的语音模型，这些模型能够适应特定领域的术语、背景噪声以及不同的口音。 5. Voicemaker：https://voicemaker.in/ AI 工具可将文本转换为各种区域语言的语音，并允许您创建自定义语音模型。Voicemaker 易于使用，非常适合为视频制作画外音或帮助视障人士。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2024-10-30
tts工具
以下为您推荐一些在线 TTS 工具： 1. Eleven Labs：https://elevenlabs.io/ ，是一款功能强大且多功能的 AI 语音软件，能高保真地呈现人类语调和语调变化，并能根据上下文调整表达方式。 2. Speechify：https://speechify.com/ ，是一款人工智能驱动的文本转语音工具，可作为多种应用程序使用，用于收听网页、文档、PDF 和有声读物。 3. Azure AI Speech Studio：https://speech.microsoft.com/portal ，是一套服务，提供了支持 100 多种语言和方言的语音转文本和文本转语音功能，还提供了自定义的语音模型。 4. Voicemaker：https://voicemaker.in/ ，可将文本转换为各种区域语言的语音，并允许创建自定义语音模型，易于使用，适合为视频制作画外音或帮助视障人士。 此外，还有免费的 AI 真人语音入门工具：GPTSoVITS + BertVITS2。这两个项目均免费且好用，直接找到需要的音色，输入文字，点击“合成语音”生成后就能下载。两个项目提供的在线模型中采用了很多网络红人的语音作为训练集。 在了解 TTS 工具之前，先为您介绍一些语音的基本概念：声波通过空气传播，被麦克风接收，通过采样、量化、编码转换为离散的数字信号，即波形文件。音量、音高和音色是声音的基本属性。 内容由 AI 大模型生成，请仔细甄别。
2024-10-26
移动设备下，可集成到 iOS/anrdroid 的 app 中 的 tts 框架有哪些？
目前常见的可集成到 iOS 和 Android 移动设备 App 中的 TTS（TexttoSpeech，文本转语音）框架有以下几种： 1. Google TexttoSpeech：在 Android 平台上较为常用，提供了多种语言和声音选择。 2. Apple 的 Speech Synthesis：专为 iOS 开发，具有高质量的语音合成效果。 3. Microsoft Azure Cognitive Services Speech：支持多种平台，包括 iOS 和 Android，提供丰富的语音选项和功能。 但具体选择哪种框架，还需要根据您的应用需求、开发技术栈以及预算等因素来综合考虑。
2024-08-23
本地部署tts
在 Linux 上本地部署 ChatTTS 的步骤如下： 1. 前提条件：需要有一张 4G 以上显存的 GPU 显卡。 2. 具体步骤： 下载代码仓库。 安装依赖（注意有两个依赖未放在 requirements.txt 里）。 启动 webui 的 demo 程序，然后用浏览器登陆服务器的 ip:8080 就能试玩。 第一次启动后生成语音时，需要查看控制台输出，它会下载一些模型文件，因此比较慢，而且可能因网络问题有各种失败。但第一次加载成功后，后面就会顺利。 3. demo 提供的参数： server_name：服务器的 IP 地址，默认 0.0.0.0。 servic_port：即将开启的端口号。 local_path：模型存储的本地路径。 4. webui 上可设置的参数： text：指需要转换成语音的文字内容。 Refine text：选择是否自动对输入的文本进行优化处理。 Audio Seed：语音种子，是一个数字参数，用于选择声音的类型，默认值为 2，是一个很知性的女孩子的声音。 Text Seed：文本种子，是一个正整数参数，用于 refine 文本的停顿。实测文本的停顿设置会影响音色、音调。 效果试用方面： 1. 语音效果：接近真人语音语调，用的更接近日常普通人的音色。 2. 运算速度：基于 L4 GPU 本地部署，22s 的音频需要 12s 的推理时间。若用 4090，速度约为 L4 的 2 倍，即 6s 左右。模型未做优化，优化后有望在 4090 上只用 2 3s 推理时间。 3. 功能试玩：提供的功能简单。 4. 音色更换：可通过调整 Audio seed 和 Text seed 等参数实现。
2024-08-17
chat tts
以下是关于 ChatTTS 的详细介绍： 在作者提供的样例中，中英文混合和语气停顿效果令人印象深刻。常调整的参数主要是 Seed，不同的 Seed 对应不同的声音，目前较火的 Seed 为 2222。 线上体验下来，ChatTTS 在功能上少了微调、长文本等模块。但在 B 站有一个整合包，增加了音质增强、批量处理、长文本切分等功能，并制作了 Mac 和 Windows 版本。安装前需注意显卡限制，对于 30s 的音频，需要 4G 的显存。Mac 版本默认绑定 8080 窗口，推出应用后需执行相关操作避免端口占用。 增强版整合包的使用：首先可试试增强音质，输入文本准备生成时，可勾选音频增强和降噪进一步处理。文本内容很多时，可勾选文本切割处理，默认为五十字符切割，还能将音频片段合并为一整段音频，切割的音频片段也支持增强处理。保存后的音频文件结构清晰，包括 concatenated Audio（合成的一整段音频）、Enhanced Audio（增强处理后的整段音频）、Audio clip 文件夹（切分的音频片段，Enhanced 开头的是增强处理的音频片段，不带 Enhanced 是普通音频片段）。该版本还增加了批量处理功能，勾选后可上传按每句换行格式的 TXT 文本。最后是音色固定，可通过点击随机按钮多尝试找到满意音色，并保存设置和音色种子到配置文件方便下次使用。 ChatTTS 的特点： 针对对话式任务进行了优化，实现自然流畅的语音合成，同时支持多说话人。 能够预测和控制细粒度的韵律特征，包括笑声、停顿和插入词等。 在韵律方面超越了大部分开源 TTS 模型，并提供预训练模型。 存在自回归模型稳定性不足的问题，可能出现声音突然变化或音质变差，可多次尝试寻找更好的音频效果。 目前发布的模型版本中，情感控制仅限于笑声（），作者计划在未来的版本中开源更多情感控制功能。 玩法：几天前运行 ChatTTS 玩法复杂，需在本地和云端安装环境。如今有在线网站（https://chattts.com/）和本地增强整合包。
2024-08-15
开源的数字人工具
以下是一些开源的数字人工具： 1. HeyGen：这是一个 AI 驱动的平台，能创建逼真的数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等应用。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入内容，平台的 AI 语音机器人能自动转换成语音并合成逼真的说话视频。 此外，还有一些相关的开源算法代码仓库： 1. ASR 语音识别： openai 的 whisper：https://github.com/openai/whisper wenet：https://github.com/wenete2e/wenet speech_recognition（语音识别的接口集合）：https://github.com/Uberi/speech_recognition 2. AI Agent： 大模型部分包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分可使用 LangChain 的模块自定义，包含了 Agent 实现的几个组件：https://www.langchain.com/ 3. TTS： 微软的 edgetts：https://github.com/rany2/edgetts，只能使用预设人物声音，目前接口免费。 VITS：https://github.com/jaywalnut310/vits，还有很多分支版本。 sovitssvc：https://github.com/svcdevelopteam/sovitssvc，专注于唱歌。 请注意，这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时，请确保遵守相关使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。上周 HeyGen 工具创始人的演示视频刷屏，效果很好。LKS 也有相关的数字人介绍视频：https://www.bilibili.com/video/BV1vm4y1x7nm/?share_source=copy_web&vd_source=6c09aa7f53b69992e1cd572bbd2dbf94 。斯坦福 AI 小镇上周正式开源，相关论文链接：https://arxiv.org/abs/2304.03442 。
2024-11-19
如何学习开源机器人，要求是ROS操作系统，如何购置相应的机器人
学习开源机器人并基于 ROS 操作系统购置相应机器人，您可以从以下几个方面入手： 1. 控制系统：负责处理传感器数据、规划路径和执行任务，并与其他子系统协作。通常由嵌入式计算设备或工业计算机组成，通过运行控制算法（如 PID 控制、深度学习模型等）决定机器人运动和操作。 2. 伺服驱动系统：负责驱动机器人关节和执行机构，实现精确运动控制。一般包括伺服电机、伺服驱动器和指令机构。伺服电机作为执行机构实现运动，伺服驱动器作为功率电源控制电机运动，指令机构发出脉冲或速度信号配合工作。能进行速度与转矩控制，以及精确、快速、稳定的位置控制，其结构通常包括电流环、速度环和位置环三个闭环控制。 3. 交互设备：常见的有麦克风、遥控器等，尤其是带屏遥控器，集成了显示屏和控制功能，允许用户直接在遥控器上查看实时图像和进行各种操作。 4. 软件中间件：机器人操作系统中间件负责硬件抽象、设备驱动、库函数、可视化、消息传递和软件包管理等。最常用的元操作系统是 ROS（Robot Operating System），它并非真正的操作系统，而是运行在 Ubuntu 上的软件框架。ROS 将机器人软件功能封装为节点，支持节点间分布式、点对点通信，并由主节点（master）管理调度网络中各节点通信过程。不同节点可使用不同编程语言，可分布式运行在不同主机，这种设计使机器人各模块能松耦合协同工作，便于模块化修改和升级，提高系统容错能力。 在购置相应机器人时，您需要考虑机器人的功能需求、性能指标、价格预算等因素，选择适合您学习和研究的型号。
2024-11-19
目前有哪些开源绘画模型
目前常见的开源绘画模型有： Stable Diffusion：生态最完整，能够加载的框架有 ComfyUI 框架、SD.Next 框架、Stable Diffusion WebUI 框架、diffusers 框架。 MidJourney：模型风格包罗万象，操作简洁，极富美感和艺术感。 Dall·E3（ChatGPT）：具有惊人的语义理解能力，可像甲方一样连续修改。 Fooocus：优化程度高，操作简便，类似本地化 mj。 ComfyUI：门槛高，定制化强。 HunYuanDiT：国内第一个开源绘图模型。 SDXL：开源时间为 2023.7。 SD3：开源时间为 2024.6。 KOLORS：开源时间为 2024.7，目前生图质量最高，有相关的教学视频，如“Kolors 中文生图绘画模型开源，快手接连放出高质量开源项目，是否会成为中国的 StabilityAI”等。 Flux：开源时间为 2024.8。
2024-11-07
有哪些开源或者免费的数字人工具
以下是一些开源或者免费的数字人工具： 1. HeyGen：AI 驱动的平台，能创建逼真的数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入内容，平台的 AI 语音机器人能自动转换成语音并合成逼真的说话视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 此外，还有一些相关的开源代码仓库： ASR 语音识别： openai 的 whisper: https://github.com/openai/whisper wenet: https://github.com/wenete2e/wenet speech_recognition：https://github.com/Uberi/speech_recognition AI Agent： 大模型：ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分：可使用 LangChain 的模块自定义，https://www.langchain.com/ TTS： 微软的 edgetts：https://github.com/rany2/edgetts，只能使用预设人物声音，目前接口免费。 VITS：https://github.com/jaywalnut310/vits，还有很多分支版本。 sovitssvc: https://github.com/svcdevelopteam/sovitssvc，专注于唱歌。 请注意，这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时，请确保遵守相关使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。
2024-11-07
有哪些开源免费的数字人工具
以下是一些开源免费的数字人工具： 1. HeyGen：这是一个 AI 驱动的平台，能创建逼真的数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等应用。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入内容，平台的 AI 语音机器人将自动转换成语音并合成逼真的会开口说话的视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。 请注意，这些工具的具体功能和可用性可能会变化。使用时请遵守相关使用条款和隐私政策，并注意生成内容的版权和伦理责任。 此外，以下是一些与数字人相关的开源代码仓库： ASR 语音识别： openai 的 whisper: https://github.com/openai/whisper wenet: https://github.com/wenete2e/wenet speech_recognition：https://github.com/Uberi/speech_recognition AI Agent： 大模型部分包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分可使用 LangChain 的模块自定义，包含了 Agent 实现的几个组件：https://www.langchain.com/ TTS： 微软的 edgetts：https://github.com/rany2/edgetts，只能使用里面预设的人物声音，目前接口免费。 VITS：https://github.com/jaywalnut310/vits，还有很多分支版本。 sovitssvc: https://github.com/svcdevelopteam/sovitssvc，专注于唱歌。 人物建模模型可通过手动建模（音频驱动）或者 AIGC 的方式生成人物的动态效果（例如 wav2lip 模型）实现。 以下是部分摊位信息中与数字人相关的内容： |编号|摊位活动主题和内容|摊位区域|摊位编号| ||||| |54|AI 数字人的技术以及应用场景|D|D4| |59|百度数字人试拍|D|D3|
2024-11-07
阿里开源的数字人
阿里开源的数字人相关信息如下： 阿里的虚拟数字人：https://www.aliyun.com/product/ai/avatar?spm=5176.21213303.8115314850.1.72de53c9pdvu6T&scm=20140722.S_card@@%E4%BA%A7%E5%93%81@@1161322.S_card0.ID_card@@%E4%BA%A7%E5%93%81@@1161322RL_%E6%95%B0%E5%AD%97%E4%BA%BAOR_serV_2P0_0 关于阿里在 AIGC 实践方面的相关文章： 在构建高质量的 AI 数字人方面，建好的模型可以使用 web 前端页面（Live2D 就提供了 web 端的 SDK）或者 Native 的可执行程序进行部署，最后呈现在用户面前的是一个 GUI。笔者的开源数字人项目（项目地址：https://github.com/wanh/awesomedigitalhumanlive2d）选择了 live2d 作为数字人躯壳，因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然，相比虚幻引擎这些驱动方式又更加轻量和简单；另外超写实的数字人风格在目前的技术能力下，处理不好一致性问题，容易带来虚假的感觉或者产生恐怖谷效应，而卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例：https://github.com/Live2D 。
2024-11-07
常用的结构化提示词框架有哪些？
以下是一些常用的结构化提示词框架： 1. 基础的结构化编写 Prompt 框架： Role: Profile: author:作者 version:版本 language:中文 description: Goals: 1. 2. Constrains: Skills: Workflows: 1. 2. 2. CRISPE 框架（Capacity and Role,Insight,Statement,Personality,Experiment） 3. BROKE 框架（Background,Role,Objectives,Key Results,Evolve） 4. ICIO 框架： Instruction（指令）：明确定义 AI 需要执行的任务，遵循简洁明了、具体详细、行动导向、单一任务等原则。 Context（背景信息）：提供任务的相关背景，包括任务目的、目标受众、相关背景、限制条件、角色扮演等。 Input Data（输入数据）：为 AI 提供执行任务所需的具体信息或数据。 Output Indicator（输出引导）：指导 AI 如何构建和呈现输出结果，包括格式要求、语气和风格、长度限制、结构指引、特殊要求、评估标准等。
2024-11-14
利用 AI 生成培训框架
以下是为您生成的培训框架相关内容： 一、AI 在教育培训中的应用 1. 数字教师 借助大型语言模型，人工智能生成的角色可以作为数字教师，如让牛顿亲自授课《牛顿运动定律》，让白居易为您讲述《长恨歌》背后的故事。 数字教师可以实现一对一辅导，不受情绪左右，提高学生参与感。 能够根据学生的学习情况、兴趣和偏好提供定制化的学习计划和资源，实现因材施教，提高学习效率和成果，缓解教育资源不平等问题。 2. 数字陪伴 人工智能生成的虚拟角色可以作为孩子的玩伴，来自他人的赞美等社会奖励，促进儿童成长，提高学习成绩。 二、AI 相关技术原理与概念 1. 概念 生成式 AI 生成的内容称为 AIGC。 2. 相关技术名词 AI：人工智能。 机器学习：电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习：有标签的训练数据，算法学习输入和输出之间的映射关系，包括分类和回归。 无监督学习：学习的数据没有标签，算法自主发现规律，经典任务如聚类。 强化学习：从反馈里学习，最大化奖励或最小化损失，类似训小狗。 深度学习：参照人脑有神经网络和神经元，因有很多层所以叫深度，神经网络可用于多种学习方式。 生成式 AI：可以生成文本、图片、音频、视频等内容形式。 LLM：大语言模型，对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 3. 技术里程碑 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出 Transformer 模型，它完全基于自注意力机制处理序列数据，比 RNN 更适合处理文本的长距离依赖性。
2024-10-29
我计划编写一本关于生成式人工智能的书籍，但是在开始前，我需要确定一个合适的大纲框架来组织我的思路。这个框架应该包括那些部分，以及如何将各个部分连接起来，以便读者能够理解掌握AIGC的概念和应用
以下是为您编写关于生成式人工智能书籍提供的大纲框架建议： 一、引言 介绍编写本书的目的和背景，引导读者进入生成式人工智能的世界。 二、基础概念 1. 什么是生成式人工智能（AIGC） 定义和特点 与传统人工智能的区别 2. 相关技术名词 AI（人工智能） 机器学习（包括监督学习、无监督学习、强化学习） 深度学习（神经网络、神经元） 生成式 AI（可生成文本、图片、音频、视频等内容形式） LLM（大语言模型） 三、AIGC 的应用领域 1. 文字生成（如使用大型语言模型生成文章、故事、对话等） 2. 图像生成（如使用 Stable Diffusion、DALLE 等模型生成艺术作品、照片等） 3. 视频生成（如使用 Runway、KLING 等模型生成动画、短视频等） 四、AIGC 与其他内容生成方式的关系 1. AIGC 与 UGC（用户生成内容） 区别与联系 各自的优势和适用场景 2. AIGC 与 PGC（专业生成内容） 区别与联系 相互的影响和融合 五、技术原理 1. Transformer 模型 自注意力机制 处理序列数据的优势 2. 技术里程碑（如谷歌团队发表的《Attention is All You Need》论文） 六、实际案例分析 展示不同领域中成功的 AIGC 应用案例，分析其实现过程和效果。 七、挑战与展望 1. 面临的挑战（如数据隐私、伦理问题等） 2. 未来发展趋势和前景 八、结论 总结全书重点内容，对 AIGC 的未来发展进行展望。 各个部分之间可以通过逻辑递进、案例引用、对比分析等方式进行连接，使读者能够逐步深入理解掌握 AIGC 的概念和应用。
2024-10-23
什么是LangGPT框架
LangGPT 是由云中江树开发的一款开源提示词框架。它旨在解决传统提示词在系统性、灵活性和用户友好性方面的不足，更好地挖掘和利用大模型的潜力。 随着 GPT4 等新一代模型的发布，提示词的重要性日益凸显，其编写过程逐渐成为 AI 时代的一种编程语言，而 LangGPT 提示词框架就是为了应对高效编写高质量提示词这一需求而研发的。 云中江树早在 2023 年 3 月就提出了结构化构建提示词的方法，并于 5.4 青年节开源发布，很快收藏破千，成为 GitHub 开源社区全球趋势热榜前十项目，还撰写了学术论文开源发表。 LangGPT 提出的结构化提示词已被百度、智谱、字节、华为等国内主流大模型智能体平台使用，当前已发展成为国内最具影响力的高质量提示词工程师学习交流社群。其愿景是让人人都能写出高质量提示词，为大众提供一套可操作、可复现的提示词方法论、工具和交流社群。 使用框架时，可以换着不同的预设角度去描述同样一个物体。例如，去年有人用 LangGPT 的框架，模拟一个能以善解人意的方式讲解任何学科概念的老师进行输出。
2024-10-21
12种Prompt框架
以下是 12 种 Prompt 框架： 1. Key Result（关键结果）：说明想要的具体效果，试验并调整。包括改进输入（从答案不足之处着手改进背景、目标与关键结果）、改进答案（在后续对话中指正 ChatGPT 答案缺点）、重新生成（在 Prompt 不变情况下多次生成结果，优中选优）。 2. Evolve（试验并改进）：三种改进方法自由组合。 3. APE 框架：未提供具体说明。 4. COAST 框架：未提供具体说明。 5. CONTEXT（上下文背景）：为对话设定舞台。 6. OBJECTIVE（目的）：描述目标。 7. ACTION（行动）：解释所需的动作。 8. SCENARIO（方案）：描述场景。 9. TASK（任务）：描述任务。 10. ICIO 框架：相关链接 。 11. CRISPE 框架：相关链接 。 12. BROKE 框架：作者陈财猫，相关链接 。 此外还有： 1. 框架集合：右侧附件做成了海报。 2. Instruction（指令）：即希望 AI 执行的具体任务，比如翻译或者写一段文字。 3. Context（背景信息）：给 AI 更多背景信息引导模型做出更贴合需求的回复。 4. Input Data（输入数据）：告知模型需要处理的数据。 5. Output Indicator（输出引导）：告知模型要输出的类型或风格。 6. Capacity and Role（能力和角色）：ChatGPT 应扮演的角色。 7. Insight（见解）：提供请求的背后见解、背景和上下文。 8. Statement（声明）：要求 ChatGPT 做什么。 9. Personality（个性）：希望 ChatGPT 以何种风格、个性或方式回应。 10. Experiment（实验）：请求 ChatGPT 为您回复多个示例。 其他框架： 1. ACTION（行动）：描述想做什么。 2. RESULT（结果）：描述所需的结果。 3. EXAMPLE（示例）：举一个例子来说明观点。 4. ROSES 框架：未提供具体说明。 5. ROLE（角色）：指定 ChatGPT 的角色。 6. OBJECTIVE（目的）：陈述目标或目标。 7. SCENARIO（方案）：描述情况。 8. EXPECTED SOLUTION（解决方案）：定义所需的结果。 9. STEPS（步骤）：要求达到解决方案所需的措施。 10. RACE 框架：未提供具体说明。 11. PATFU 泡芙提示词框架：作者口袋君。 12. Problem（问题）：清晰地表述需要解决的问题。 13. Aera（领域）：问题所在领域以及需要扮演的角色。 14. Task（任务）：解决问题需要执行的具体任务。
2024-10-21
知识库都有哪些提示词框架
以下是一些常见的提示词框架： ICIO 框架：包括 Instruction（指令）、Context（背景信息）、Input Data（输入数据）、Output Indicator（输出引导）。 CRISPE 框架：涵盖 Capacity and Role（能力和角色）、Insight（见解）、Statement（声明）、Personality（个性）、Experiment（实验）。 BROKE 框架：包含 Background（背景）、Role（角色）、Objectives（目标）、Key Result（关键结果）。 TRACE 框架：有 TASK（任务）、REQUEST（请求）、ACTION（行动）、CONTEXT（上下文）、EXAMPLE（示例）。 ERA 框架：包括 EXPECTATION（期望）、ROLE（角色）、ACTION（行动）。 CARE 框架：由 CONTEXT（上下文）、ACTION（行动）、RESULT（结果）、EXAMPLE（示例）组成。 ROSES 框架：包含 ROLE（角色）、OBJECTIVE（目的）、SCENARIO（方案）。 Evolve 框架：包括试验并改进，通过改进输入、改进答案、重新生成等方法。 APE 框架。 COAST 框架：包含 CONTEXT（上下文背景）、OBJECTIVE（目的）、ACTION（行动）、SCENARIO（方案）、TASK（任务）。 TAG 框架：包括 TASK（任务）、ACTION（行动）、GOAL（目标）。 RISE 框架。
2024-10-17