直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

有哪些高质量 sft 多轮对话数据集

回答

高质量的SFT（Supervised Fine-Tuning）多轮对话数据集在训练对话系统时至关重要。以下是一些公认的高质量多轮对话数据集：

1. ConvAI2 Dataset

ConvAI2数据集是基于Persona-Chat数据集构建的，用于ConvAI2挑战赛。它包含了多轮对话，且每个对话都有明确的角色和背景信息，有助于训练更具个性化的对话系统。

2. DSTC系列数据集

DSTC（Dialogue State Tracking Challenge）系列数据集是多轮对话系统研究中的经典数据集，涵盖了多种任务和领域，如任务导向对话、对话状态跟踪等。

  • DSTC2: 专注于餐馆预订任务。
  • DSTC3: 扩展了DSTC2，增加了更多的任务和对话状态。
  • DSTC6: 涉及对话行为理解和对话状态跟踪。
  • 链接: DSTC Challenge

3. MultiWOZ Dataset

MultiWOZ（Multi-Domain Wizard of Oz）是一个大规模、多领域任务导向对话数据集，涵盖了多个对话场景，如餐馆预订、酒店预订、出租车预订等。数据集中的对话是由实际用户和客服人员通过Wizard-of-Oz方法生成的，质量较高。

4. Ubuntu Dialogue Corpus

Ubuntu Dialogue Corpus是一个大规模、多轮对话数据集，基于Ubuntu的IRC日志。数据集包含技术支持对话，适用于训练技术支持和问答系统。

5. CoQA Dataset

CoQA（Conversational Question Answering）数据集用于对话式问答系统的训练。数据集中每个对话包含一个给定的文本和相关的问题-回答对。

6. Topical-Chat Dataset

Topical-Chat数据集是微软创建的，用于开发和评估开放领域对话系统。数据集包括不同主题的多轮对话，涉及科技、娱乐、体育等多个领域。

7. Persona-Chat Dataset

Persona-Chat数据集包含多轮对话，每个对话参与者都有预定义的个人信息或“persona”，旨在开发更具个性化和情感的对话系统。

总结

这些数据集覆盖了多种对话场景和任务类型，是开发高质量对话系统的重要资源。在使用这些数据集进行训练时，可以结合具体的应用场景和需求，选择合适的数据集进行SFT。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

LLM开源中文大语言模型及数据集集合

项目介绍：清洗/构造/翻译中文的ChatGPT数据，推进国内AI的发展，人人可炼优质中文Chat模型。本数据集为ChatGPT约九万个对话数据，由ShareGPT API获得（英文68000，中文11000条，其他各国语言）。项目所有数据最终将以CC0协议并入Multilingual Share GPT语料库。Guanaco地址：[https://huggingface.co/datasets/JosephusCheung/GuanacoDataset](https://huggingface.co/datasets/JosephusCheung/GuanacoDataset)数据集说明：一个使用Self-Instruct的主要包含中日英德的多语言指令微调数据集。chatgpt-corpus地址：[https://github.com/PlexPt/chatgpt-corpus](https://github.com/PlexPt/chatgpt-corpus)数据集说明：开源了由ChatGPT3.5生成的300万自问自答数据，包括多个领域，可用于用于训练大模型。SmileConv地址：[https://github.com/qiuhuachuan/smile](https://github.com/qiuhuachuan/smile)数据集说明：数据集通过ChatGPT改写真实的心理互助QA为多轮的心理健康支持多轮对话（single-turn to multi-turn inclusive language expansion via ChatGPT），该数据集含有56k个多轮对话，其对话主题、词汇和篇章语义更加丰富多样，更加符合在长程多轮对话的应用场景。

（3）ChatBot是怎么炼成的?

MOSS中文名为小苔藓，是上海复旦大学计算机系的类ChatGPT开源模型，也完整经过了SFT和PM阶段，但是PPO阶段使用了另外一种更加简单的方式。数据搜集如前文所说，对话数据的质量是调教ChatBot非常重要的因素，这里MOSS充分借助了ChatGPT的能力，协助生成instruction和conversation，如下所示用户提问instruction。人工写好符合HHH(helpfulness,harmlessness,and honesty)原则的种子问题，然后使用self-instrcution让ChatGPT进行扩展，得到更多的符合HHH的instruction多伦对话conversation。写一个prompt模板，输入由下面3部分组成，喂入ChatGPT，搜集输出结果，和输入拼接在一起，形成完整的多轮对话第一部分：介绍背景，描述是一个Human和AI的对话，让ChatGPT模拟这个对话第二部分：约束Human和AI的对话符合HHH原则第三部分：把上面经过self-instrcution生成的大量instruction作为对话初始状态经过上面的过程，就可以得到若干多伦对话conversation训练数据，将其切分为SFT和PM两部分，分别在对应的阶段使用。SFT&PM阶段训练方法跟InstructGPT和Anthropic差不多PPO阶段MOSS里首先列举了一下当得到了SFT和RM之后，如何进一步提高ChatBot表现的几种方法

LLM开源中文大语言模型及数据集集合

XrayGLM，首个会看胸部X光片的中文多模态医学大模型：地址：[https://github.com/WangRongsheng/XrayGLM](https://github.com/WangRongsheng/XrayGLM)简介：该项目为促进中文领域医学多模态大模型的研究发展，发布了XrayGLM数据集及模型，其在医学影像诊断和多轮交互对话上显示出了非凡的潜力。MeChat，中文心理健康支持对话大模型：地址：[https://github.com/qiuhuachuan/smile](https://github.com/qiuhuachuan/smile)简介：该项目开源的中文心理健康支持通用模型由ChatGLM-6B LoRA 16-bit指令微调得到。数据集通过调用gpt-3.5-turbo API扩展真实的心理互助QA为多轮的心理健康支持多轮对话，提高了通用语言大模型在心理健康支持领域的表现，更加符合在长程多轮对话的应用场景。MedicalGPT地址：[https://github.com/shibing624/MedicalGPT](https://github.com/shibing624/MedicalGPT)简介：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。发布中文医疗LoRA模型shibing624/ziya-llama-13b-medical-lora，基于Ziya-LLaMA-13B-v1模型，SFT微调了一版医疗模型，医疗问答效果有提升，发布微调后的LoRA权重。

其他人在问
你在设计大模型语音座舱功能，怎么设计上下文多轮对话的场景，比如否定、指代、延展等
在设计大模型语音座舱功能中的上下文多轮对话场景时，对于否定的情况，需要准确识别用户表达的否定意图，并据此调整后续的回应策略。例如，当用户说“不要这样做”，系统要理解并停止当前可能进行的相关操作。 指代方面，要能够解析用户话语中的各种指代关系，比如“那个东西”“这个方案”等，通过上下文和语境来明确其具体所指。 延展的场景设计则要鼓励用户进一步展开话题，例如当用户提到一个主题后，系统可以通过提问或提供相关信息来引导用户深入阐述，比如“能再多和我讲讲吗？”或者“那您对这方面还有其他的想法吗？”
2024-08-27
如何用字节的扣子（coze）实现多轮对话
Coze 是字节跳动旗下的智能对话机器人服务平台，你可以使用 Coze 实现多轮对话。以下是一些步骤： 1. 创建一个 Coze 应用并配置你的模型：首先，你需要在 Coze 平台上创建一个应用，并选择一个适合你需求的模型。你可以选择使用预训练的模型，也可以上传自己的模型进行训练。 2. 配置对话流程：在 Coze 中，你可以配置对话流程，包括设置对话轮数、添加对话节点等。你可以根据你的需求配置不同的对话流程。 3. 训练你的模型：在配置完对话流程后，你需要训练你的模型。你可以使用 Coze 提供的训练数据进行训练，也可以上传自己的训练数据进行训练。 4. 部署你的模型：在训练完你的模型后，你可以将其部署到 Coze 平台上，并开始使用它进行多轮对话。 需要注意的是，Coze 是一个智能对话机器人服务平台，它提供了一些工具和功能来帮助你实现多轮对话。但是，你需要根据你的需求和场景进行配置和调整，以确保它能够满足你的需求。
2024-06-13
多轮会话
多轮会话是指在一个对话中进行多次交互的过程。这种对话形式通常在聊天机器人、客服机器人等场景中使用。在多轮会话中，用户可以在一个对话中提出多个问题或请求，机器人会根据用户的输入进行相应的回答或操作。 多轮会话的实现需要依赖于自然语言处理技术和对话管理机制。在自然语言处理方面，需要对用户输入的文本进行理解和分析，包括词法分析、句法分析、语义理解等。在对话管理方面，需要对对话过程进行跟踪和管理，包括对话状态的维护、对话历史的记录、对话策略的制定等。 为了实现多轮会话，通常需要使用到一些对话管理机制，例如对话状态跟踪、对话历史记录、对话策略制定等。这些机制可以帮助机器人更好地理解用户的意图和需求，从而提供更加准确和有效的回答和操作。 此外，多轮会话还需要考虑到一些其他的因素，例如对话的轮次限制、对话的时长限制、对话的中断和恢复等。这些因素需要在对话管理机制中进行考虑和处理，以确保对话的顺利进行和用户体验的良好。 总的来说，多轮会话是一种自然、灵活的对话形式，可以为用户提供更加便捷和高效的服务。
2024-06-11
有没有可以根据我的需求，自动生成搜索高质量query的prompt
以下是为您整理的关于自动生成搜索高质量 query 的 prompt 的相关内容： 1. JackeyLiu （JK）： 作为 ChatGPT 的深度用户，为节省每次构建 Prompt 的力气，打算写一个基于初始问题自动生成优质 Prompt 的 Prompt。其构建 Prompt 的方法论来自于。 2. 做调研： 生成调研报告的 prompt 构建过程艰难，经过多次尝试和迭代，包括试用 webpolit 和 web browsing 等，最终在群里大佬的建议下，通过在需要搜索网络信息的章节处打上标签让 GPT4 自主搜索信息来生成内容，并选择使用 webpolit 插件，放弃了 web browsing 模式，完成了调研报告的 prompt。且在解决问题前，用前几版 prompt 帮团队和同学完成了 3 篇调研报告。 3. 生成式 AI：下一个消费者平台： 这种根据特定需求生成策划过的选项列表的搜索方式在产品推荐方面有价值，例如为特定的宠物推荐狗粮或特定条件下推荐服装。在企业内部搜索应用中也有巨大潜力，如允许用户查询视频会议记录。
2024-08-09
做 video lip sync 的高质量项目有哪些？
以下为一些关于 video lip sync（视频唇形同步）的高质量项目介绍： 谷歌的“Generating audio for video”项目正在开展进一步研究。该项目具有以下特点： 1. 与现有视频音频解决方案相比，它能够理解原始像素，并且添加文字提示是可选的。 2. 系统无需手动调整生成的声音和视频，避免了对声音、视觉效果和时间等不同元素进行繁琐的调整。 3. 但仍存在一些限制因素需要解决，比如音频输出质量依赖于视频输入质量，视频中的假象或失真超出模型训练分布范围会导致音频质量明显下降。 4. 正在改进涉及语音的视频唇形同步。V2A 尝试从输入的文稿生成语音并与角色的唇形动作同步，但配对的视频生成模型可能不受文稿条件的限制，这会造成不匹配，导致唇形同步不自然。 需要注意的是，这一项目仍在不断完善和改进中。
2024-07-24
为什么说“当下的人工智能技术，只有高质量输入，才能得到高质量输出？”
之所以说"当下的人工智能技术，只有高质量输入，才能得到高质量输出"，主要有以下几个原因： 1. 数据驱动的本质 现有的人工智能技术，尤其是深度学习技术，高度依赖于训练数据的质量。模型的学习能力、推理能力都来源于训练数据。如果输入的训练数据质量不佳（含噪声、偏差、覆盖面不全等），模型很难学习到有效的模式，自然也难以产出高质量的输出结果。 2. 无监督学习的局限性 目前主流的人工智能方法大多采用无监督学习的范式，通过自主发现数据中的模式和规律进行建模。这种方式对训练数据的质量要求更高，因为只有高质量数据才能真实反映潜在的知识模式。低质量数据往往会导致模型学习到错误规律。 3. 缺乏逻辑推理能力 现有人工智能系统缺乏对因果逻辑的深刻理解能力，无法对输入数据的合理性和正确性进行有效判断，从而依赖于训练数据的质量来保证输出质量。 4. 黑箱特性和可解释性不足 深度学习模型本质上是一个黑箱，我们难以判断其内在机制是否符合逻辑，也无法完全解释模型输出的依据和原因。因此只能最大程度地保证输入质量来期望获得理想输出。 5. 显式知识和常识缺失 大多数人工智能模型缺乏对现实世界的显式知识和常识理解能力，无法对输入数据中的明显错误或矛盾进行识别和纠正，从而也需要高质量的输入数据作为前提。 总的来说，当前人工智能技术在自主学习和逻辑推理能力上还有不足，更多依赖于训练数据的质量。只有保证高质量的输入，才能最大限度地利用人工智能系统的优势，获得令人满意的输出结果。这也是人工智能领域需要继续改进的重要方向之一。
2024-05-02
目前大部分的高质量的ai图片都是那些网站，是不是都要付费？
目前大部分的高质量的 AI 图片主要来自于例如 Midjourney、DALL·E 等。这些工具通常需要付费使用，但是，也有一些免费的 AI 绘画工具，但是它们的图片质量可能不如付费工具高。
2024-04-18
图生视频有什么办法生成高质量视频
有以下几种方法可以生成高质量的图生视频： 1. 使用阿里妈妈推出的 AtomoVideo 框架 AtomoVideo 可以将静态图片自动转换为高质量视频动效 采用了多项新技术，如优质数据集构建、多粒度图像注入、渐进性动作强度增加等 可与现有的文生图（T2I）模型进行兼容，生成视频保真度高 2. 使用 Runway ML Gen2 视频生成器 Runway ML Gen2 是一个多模式人工智能系统，可以从文本、图像或视频剪辑生成新颖的视频 允许用户通过文本到视频生成来创建各种风格的视频 提供高级设置来微调生成效果，如调整分辨率、插值等 3. 使用 Kaiber AI 视频生成器 Kaiber AI 可以从图像、音频或视频开始，生成高品质的视频 提供精选样式和提示模板，帮助用户获得更多灵感 易于使用，适合初学者 4. 使用 SD 社区的 I2VAdapter 插件 I2VAdapter 可以与 Stable Diffusion 等图生模型进行兼容 通过时空建模等技术，生成高质量的视频内容 为图生视频领域的创意应用开辟了新的可能性 总的来说，这些基于 AI 的图生视频技术都可以帮助用户快速生成高质量的视频内容，大大提高创作效率。
2024-04-18
这个对话，是怎么调用WaytoAGI知识库的？
在 WaytoAGI.com 网站，新增了智能对话功能，您可以在首页输入 AI 相关问题，系统会迅速提供答案要点和参考文章。在导航目录下，还能看到别人在问的 AI 问题。该功能的上线离不开飞书 Aily 团队的支持。
2024-09-19
如何让对话几条消息合并意图回复
默认情况下，Cursor Chat 位于 AI 窗格中，与您的主要侧边栏相对。用户消息包含您键入的文本以及您引用的上下文。您可以返回任何以前的用户消息来编辑和重新运行查询，这将覆盖此后的所有消息并重新生成新消息。AI 消息是您选择的 AI 模型生成的响应，它们与前面的用户消息配对，可能包含已解析的代码块，这些代码块可以通过添加到您的代码库中。同一线程中的所有用户/AI 消息称为聊天线程，每个聊天线程都保存在您的聊天历史记录中。
2024-09-16
如何搭建一个微信对话AI
以下是搭建微信对话 AI 的步骤： 1. 配置极简未来（Link.AI）平台 按照官方教程操作：https://docs.linkai.tech/platform/createapp ，学习补充：https://docs.linkai.tech/platform/quickstart 。 注意以下几点： 教程中的应用是创建具体的 AI 问答机器人应用。 教程中的知识库是给绑定到指定问答机器人的资料数据集，让机器人基于这些内容回答问题。 知识库应用中的应用设定是给 AI 机器人的提示词内容或者人设，具体可看教程：https://waytoagi.feishu.cn/wiki/OqJQwzq2wi9EIOkFtFkclM24nSe 。 创建成功的 AI 应用，记住应用 ID，用于后续对接微信聊天机器人。 2. 配置腾讯云轻量应用服务器 配置部署 COW 组件，例如配置 GROUP_NAME_WHITE_LIST 参数来设定哪些群组的消息需要自动回复。 基于创建的模板切换到容器编排界面进行 COW 服务部署，等待部署成功。 3. 登录微信绑定 COW 组件 若扫描二维码等出现意外情况，可退回到容器配置处重启容器服务，重新扫码登录。 后续若想修改 COW 组件的配置，如修改机器人回复的前缀或开启语音识别等，进入编排模板的配置界面修改参数，保存后回到容器编排界面重新部署新的容器编排。 至此，完成 COW 组件的部署和微信号的绑定，即可开始与机器人微信号进行对话。
2024-09-10
ai 视频对话，会有哪些应用场景呢，能解决哪些文字性ai 解决不了的复杂性问题呢
AI 视频对话具有以下应用场景和能够解决的文字性 AI 难以处理的复杂问题： 快速的视频剪辑：仅需输入镜头脚本，即可从素材库提取内容进行拼接。 快速的图生视频：结合图像识别，根据镜头脚本提取相同 seed 值的图片，通过特定思路生成短时长视频并自动化拼接。 快速诊断：类似于医疗诊断。 为视觉障碍人士提供视频内容的音频描述。 在视频监控中自动识别和报告重要事件。 一些领先的视频配音特效 AI 工具包括： Wavel Studio：支持 30 多种语言的配音，音质自然流畅，能自动去除背景噪音和杂音，提供添加字幕和文本叠加层的工具，界面友好且有多种自定义选项。 Elai.io：支持 65 多种语言的配音，音色和语调真实，能自动将唇形与语音同步，生成字幕提高视频可访问性，支持多位配音者适合复杂对话场景。 Rask AI：支持 130 多种语言的配音，包括稀有和濒危语言，采用先进语音合成技术音质高保真，提供语音参数自定义和音效添加工具，与多种视频编辑平台和工作流程整合。 Notta：提供快速实惠的多语言配音解决方案，保留原声说话风格和细微差别，提供调整语音速度和音调的工具，支持批量处理。 Dubverse：支持 60 多种语言的配音，音质接近真人，提供文本转语音和语音克隆功能，提供语音参数自定义和情感添加工具。 MMVID 能够执行的任务包括： 音频描述：为视觉障碍人士提供视频内容的详细音频描述。 基于视频的问答：根据视频内容回答问题，需深入理解情节和上下文。 视频摘要：创建视频的摘要，突出重要或有趣部分。 说话人识别：在视频中识别说话人。
2024-09-10
有支持语音的外语对话ai吗
以下是一些支持语音的外语对话 AI： 1. Google Assistant：支持多种语言，可用于日常对话练习和词汇学习。使用方法是设置目标语言，通过语音命令或文本输入与助手进行互动，练习日常用语。 2. ChatGPT：能够模拟对话练习，帮助提高语言交流能力。在聊天界面选择目标语言，与 AI 进行对话练习，可以询问语法、词汇等问题，甚至模拟实际交流场景。
2024-09-06
你认为Agent和ChatBot聊天对话机器人的差异在哪？
Agent（智能体）和 ChatBot 聊天对话机器人存在以下差异： 任务执行方式：Agent 是执行特定任务的 AI 实体，拥有复杂的工作流程，可以迭代运行，模型本质上能够自我对话，无需人类驱动每一部分的交互；而 ChatBot 通常是用户提出问题后获得一个答案作为回应。 组成和功能：Agent 是大型语言模型（LLM）、记忆（Memory）、任务规划（Planning Skills）以及工具使用（Tool Use）的集合，例如在自动驾驶、家居自动化、游戏 AI、金融交易、客服聊天、机器人等领域发挥作用；而 ChatBot 相对功能较为单一。 处理能力和效率：像 Coze Agent 这样的多 Agent 模式采用分布式计算范式，将复杂任务分解为多个子任务并由独立的智能体并行处理，从而提高系统的处理能力和效率。 参考文章： https://logankilpatrick.medium.com/whataregptagentsadeepdiveintotheaiinterfaceofthefuture3c376dcb0824 https://lilianweng.github.io/posts/20230623agent/ https://waytoagi.feishu.cn/record/1sfvuej0sATQfbO6zbeEAWk02
2024-09-04