Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

什么样的数据集适合测试大语言模型?

Answer

以下是一些适合测试大语言模型的数据集:

  • Guanaco:地址为[https://huggingface.co/datasets/JosephusCheung/GuanacoDataset],是一个使用 Self-Instruct 的主要包含中日英德的多语言指令微调数据集。
  • chatgpt-corpus:地址为[https://github.com/PlexPt/chatgpt-corpus],开源了由 ChatGPT3.5 生成的 300 万自问自答数据,包括多个领域,可用于训练大模型。
  • SmileConv:地址为[https://github.com/qiuhuachuan/smile],数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话,含有 56k 个多轮对话,其对话主题、词汇和篇章语义更加丰富多样,更符合长程多轮对话的应用场景。

用于评估大语言模型的框架和基准有:

  • GAOKAO-Bench:地址为[https://github.com/OpenLMLab/GAOKAO-Bench],是以中国高考题目为数据集,测评大模型语言理解能力、逻辑推理能力的测评框架,收集了 2010 - 2022 年全国高考卷的题目,包括 1781 道客观题和 1030 道主观题。
  • AGIEval:地址为[https://github.com/microsoft/AGIEval],是由微软发布的新型基准测试,选取 20 种面向普通人类考生的官方、公开、高标准往常和资格考试,包括普通大学入学考试(中国高考和美国 SAT 考试)、法学入学考试、数学竞赛、律师资格考试、国家公务员考试等。
  • Xiezhi:地址为[https://github.com/mikegu721/xiezhibenchmark],是由复旦大学发布的一个综合的、多学科的、能够自动更新的领域知识评估 Benchmark,包含 13 个学科门类,24 万道学科题目,516 个具体学科,249587 道题目。

此外,在多语言能力评测方面,还使用了以下数据集:

  • M-MMLU:来自 Okapi 的多语言常识理解数据集,在阿、德、西、法、意、荷、俄、乌、越、中这几个子集进行测试。
  • MGSM:包含德、英、西、法、日、俄、泰、中和孟在内的数学评测。针对人工评测,使用内部评估集比较了 Qwen2-72B-Instruct 与 GPT3.5、GPT4 和 Claude-3-Opus,该评测集包括 10 种语言:ar(阿拉伯语)、es(西班牙语)、fr(法语)、ko(韩语)、th(泰语)、vi(越南语)、pt(葡萄牙语)、id(印度尼西亚语)、ja(日语)和 ru(俄语)。
Content generated by AI large model, please carefully verify (powered by aily)

References

LLM开源中文大语言模型及数据集集合

Guanaco地址:[https://huggingface.co/datasets/JosephusCheung/GuanacoDataset](https://huggingface.co/datasets/JosephusCheung/GuanacoDataset)数据集说明:一个使用Self-Instruct的主要包含中日英德的多语言指令微调数据集。chatgpt-corpus地址:[https://github.com/PlexPt/chatgpt-corpus](https://github.com/PlexPt/chatgpt-corpus)数据集说明:开源了由ChatGPT3.5生成的300万自问自答数据,包括多个领域,可用于用于训练大模型。SmileConv地址:[https://github.com/qiuhuachuan/smile](https://github.com/qiuhuachuan/smile)数据集说明:数据集通过ChatGPT改写真实的心理互助QA为多轮的心理健康支持多轮对话(single-turn to multi-turn inclusive language expansion via ChatGPT),该数据集含有56k个多轮对话,其对话主题、词汇和篇章语义更加丰富多样,更加符合在长程多轮对话的应用场景。

LLM开源中文大语言模型及数据集集合

GAOKAO-Bench:地址:[https://github.com/OpenLMLab/GAOKAO-Bench](https://github.com/OpenLMLab/GAOKAO-Bench)简介:GAOKAO-bench是一个以中国高考题目为数据集,测评大模型语言理解能力、逻辑推理能力的测评框架,收集了2010-2022年全国高考卷的题目,其中包括1781道客观题和1030道主观题,构建起GAOKAO-bench的数据部分。AGIEval:地址:[https://github.com/microsoft/AGIEval](https://github.com/microsoft/AGIEval)简介:由微软发布的一项新型基准测试,这项基准选取20种面向普通人类考生的官方、公开、高标准往常和资格考试,包括普通大学入学考试(中国高考和美国SAT考试)、法学入学考试、数学竞赛、律师资格考试、国家公务员考试等等。Xiezhi:地址:[https://github.com/mikegu721/xiezhibenchmark](https://github.com/mikegu721/xiezhibenchmark)简介:由复旦大学发布的一个综合的、多学科的、能够自动更新的领域知识评估Benchmark,包含了哲学、经济学、法学、教育学、文学、历史学、自然科学、工学、农学、医学、军事学、管理学、艺术学这13个学科门类,24万道学科题目,516个具体学科,249587道题目。

Qwen 2开源了 模型性能超越目前所有开源模型和国内闭源模型

我们通过多个跨语言开放基准测试以及人工评估,比较了Qwen2指令微调模型与其他近期的大型语言模型。对于基准测试,我们展示了在2个评估数据集上的结果:M-MMLU:来自Okapi的多语言常识理解数据集(我们在阿、德、西、法、意、荷、俄、乌、越、中这几个子集进行测试)MGSM:包含德、英、西、法、日、俄、泰、中和孟在内的数学评测。结果如下所示:针对人工评测,我们使用内部评估集比较了Qwen2-72B-Instruct与GPT3.5、GPT4和Claude-3-Opus,该评测集包括10种语言:ar(阿拉伯语)、es(西班牙语)、fr(法语)、ko(韩语)、th(泰语)、vi(越南语)、pt(葡萄牙语)、id(印度尼西亚语)、ja(日语)和ru(俄语)。将上述结果分类求平均后,结果如下所示:以上结果均反映了Qwen2指令微调模型突出的多语言能力。

Others are asking
如何通过AI进行软件测试?有什么好用的AI工具,以及详细的步骤是什么?
以下是关于如何通过 AI 进行软件测试以及相关好用的 AI 工具和详细步骤的介绍: 一、基于规则的测试生成 1. 测试用例生成工具 Randoop:基于代码路径和规则生成测试用例,适用于 Java 应用程序。 Pex:微软开发的智能测试生成工具,自动生成高覆盖率的单元测试,适用于.NET 应用。 2. 模式识别 Clang Static Analyzer:利用静态分析技术识别代码模式和潜在缺陷,生成相应的测试用例。 Infer:Facebook 开发的静态分析工具,自动生成测试用例,帮助发现和修复潜在错误。 二、基于机器学习的测试生成 1. 深度学习模型 DeepTest:利用深度学习模型生成自动驾驶系统的测试用例,模拟不同驾驶场景,评估系统性能。 DiffTest:基于对抗生成网络(GAN)生成测试用例,检测系统的脆弱性。 2. 强化学习 RLTest:利用强化学习生成测试用例,通过与环境交互学习最优测试策略,提高测试效率和覆盖率。 A3C:基于强化学习的测试生成工具,通过策略梯度方法生成高质量测试用例。 三、基于自然语言处理(NLP)的测试生成 1. 文档驱动测试生成 Testim:AI 驱动的测试平台,通过分析文档和用户故事自动生成测试用例,减少人工编写时间。 Test.ai:利用 NLP 技术从需求文档中提取测试用例,确保测试覆盖业务需求。 2. 自动化测试脚本生成 Selenium IDE + NLP:结合 NLP 技术扩展 Selenium IDE,从自然语言描述中生成自动化测试脚本。 Cucumber:使用 Gherkin 语言编写的行为驱动开发(BDD)框架,通过解析自然语言描述生成测试用例。 四、基于模型的测试生成 1. 状态模型 GraphWalker:基于状态模型生成测试用例,适用于复杂系统的行为测试。 Spec Explorer:微软开发的模型驱动测试工具,通过探索状态模型生成测试用例。 2. 场景模拟 Modelbased Testing :基于系统模型自动生成测试用例,覆盖各种可能的操作场景和状态转换。 Tosca Testsuite:基于模型的测试工具,自动生成和执行测试用例,适用于复杂应用的端到端测试。 五、实践中的应用示例 1. Web 应用测试:使用 Testim 分析用户行为和日志数据,自动生成高覆盖率的测试用例,检测不同浏览器和设备上的兼容性问题。 2. 移动应用测试:利用 Test.ai 从需求文档中提取测试用例,确保覆盖关键功能和用户路径,提高测试效率和质量。 3. 复杂系统测试:采用 GraphWalker 基于系统状态模型生成测试用例,确保覆盖所有可能的状态和操作场景,检测系统的边界情况和异常处理能力。 六、好用的 AI 工具 Testim:AI 驱动的自动化测试平台,生成和管理测试用例。 Test.ai:基于 NLP 技术的测试用例生成工具,适用于移动应用和 Web 应用。 DeepTest:利用深度学习生成自动驾驶系统测试用例。 GraphWalker:基于状态模型生成测试用例,适用于复杂系统的行为测试。 Pex:微软开发的智能测试生成工具,自动生成高覆盖率的单元测试。 希望以上内容对您有所帮助。
2025-03-16
帮我找一点生成小红书的 Ai 提示词测试一下看看
以下是为您提供的一些生成小红书的 AI 提示词示例: 1. 五津:DeepSeek+扣子:1 分钟生成小红书爆款单词视频 角色:您是一个专业的单词生成助手,擅长围绕各种主题挖掘相关英语单词,为用户提供精准且实用的单词、中文、美式音标内容。 技能:当用户输入主题{{zhuti}}时,分析主题内涵,运用专业知识,输出{{shuliang}}个与该主题紧密关联的英语单词、中文翻译、美式音标,将该单词用于一句英文中(不超过 15 个单词),并将这句英文句子翻译成中文句子,并以数组形式呈现。 限制:仅围绕用户输入主题输出相关英语单词、中文翻译、美式音标,不涉及其他领域内容。输出必须为符合要求的数组形式,英文单词对应变量 yingwen,中文翻译对应变量 zhongwen,美式音标对应变量 yinbiao,英文句子对应变量 juzi_yingwen,中文句子翻译对应变量 juzi_zhongwen,不得有其他格式偏差。 2. 夙愿:用 AI 化繁为简,解决复杂问题的指南 提示词链:一个月前,通过逐步构建和不断优化提示词,最终迭代出一个小红书视频标题生成助手。收集高质量的标题示例作为后续分析的基础(纯人类),询问 GPT 分析标题特点的维度(人机协同),让 GPT 根据这些维度分析标题特点(人机协同),编写提示词(纯人类),测试提示词(人机协同),迭代提示词(人机协同)。 3. 一泽 Eze:样例驱动的渐进式引导法——利用 AI 高效设计提示词,生成预期内容 引言:一个精彩的 Prompt 是驱动 AI Agent 稳定运作的核心。例如常见的“小红书爆文生成 AI”提示词,包含精确、巧妙的提示。高质量的 Prompt 极度依赖用户通过逻辑思考,从知识经验中抽象表达出关键方法与要求。
2025-03-14
1、Puzzle 选择一个你(们)感兴趣的社会问题或者现象。 “赛博信仰”指在网络环境下衍生的一系列超现实、寄托心理期许的新兴文化现象。这种现象反映了人们在数字化时代中对精神寄托、心理安慰和未来预测的需求。赛博信仰不仅是一种文化现象,也反映了现代社会中人们对科技、信仰和现实之间关系的重新思考。 2、Facts 关于这个问题/现象,都有哪些基本事实? 比如有人购买电子形式的马克思、爱因斯坦的脑子,象征着对智慧的渴望;借助塔罗测试程序、deepseek算命等AI工具,尝试预知命运;夸赞鹿童、转发锦鲤
关于“赛博信仰”这一现象,目前所了解到的基本事实包括:有人购买电子形式的马克思、爱因斯坦的脑子以象征对智慧的渴望;借助塔罗测试程序、deepseek 算命等 AI 工具尝试预知命运;夸赞鹿童、转发锦鲤等。但目前掌握的相关事实相对有限,还需要进一步的研究和观察来更全面地了解这一现象。
2025-03-13
测试集
以下是关于测试集的相关信息: Meta 开源视频生成模型的测试集包括 Movie Gen Video Bench 和 Audio Bench。Movie Gen Video Bench 是目前规模最大、最全面的视频生成评估基准,包含 1000 多个提示词,涵盖多种概念并有不同运动幅度的测试。Movie Gen Audio Bench 用于评估视频音效生成及视频配音能力,包含 527 个视频及相应提示。 2023 年度中文大模型基准测评采用多维度、多视角的综合性测评方案,由多轮开放问题 SuperCLUEOPEN 和三大能力客观题 SuperCLUEOPT 两部分测评结果组成。评测集共 4273 题,其中 1060 道多轮简答题(OPEN),3213 道客观选择题(OPT)。测评采用待评估模型与基准模型对比,由超级模型评判,计算胜和率作为 OPEN 得分,最终 OPEN 分=0.7OPEN 分+0.3OPT 分,并经过人工校验。 在嵌入(Embeddings)相关内容中,通过对用户和产品的所有评论进行平均获得嵌入,并在单独的测试集上评估其有用性,发现甚至在用户收到产品之前,就可以比随机预测更好地预测用户是否喜欢该产品。此外,嵌入在聚类和文本搜索任务中也有应用。
2025-03-12
我想用ai对一个网站进行渗透测试 可以用哪些工具
以下是一些可用于对网站进行渗透测试的 AI 相关工具和信息: GPT4 能够在设计用于数字取证和渗透测试的 Linux 发行版上执行命令,并能扫描网络、确定目标主机、尝试常见密码等操作,但需要注意其使用应在合法范围内。 XBOW 正在开发的 AI 渗透测试员,其性能可与优秀的人类渗透测试员相媲美。 对于学习网络安全知识和技术,可参考以下合法途径: 阅读相关的书籍、论文、博客等。 参加专业的网络安全培训课程。 在合法的实验室环境下进行网络安全实验,如搭建虚拟网络环境、进行漏洞扫描和渗透测试等。 加入网络安全社区,与其他爱好者交流经验和技术。 同时,请确保所有的测试和实践都在合法和道德的范围内进行。
2025-03-10
利用 AI,基于需求文档生成 测试用例
以下是关于利用 AI 基于需求文档生成测试用例的相关内容: 基于规则的测试生成: 测试用例生成工具: Randoop:基于代码路径和规则生成测试用例,适用于 Java 应用程序。 Pex:微软开发的智能测试生成工具,自动生成高覆盖率的单元测试,适用于.NET 应用。 模式识别: Clang Static Analyzer:利用静态分析技术识别代码模式和潜在缺陷,生成相应的测试用例。 Infer:Facebook 开发的静态分析工具,自动生成测试用例,帮助发现和修复潜在错误。 基于机器学习的测试生成: 深度学习模型: DeepTest:利用深度学习模型生成自动驾驶系统的测试用例,模拟不同驾驶场景,评估系统性能。 DiffTest:基于对抗生成网络(GAN)生成测试用例,检测系统的脆弱性。 强化学习: RLTest:利用强化学习生成测试用例,通过与环境交互学习最优测试策略,提高测试效率和覆盖率。 A3C:基于强化学习的测试生成工具,通过策略梯度方法生成高质量测试用例。 基于自然语言处理(NLP)的测试生成: 文档驱动测试生成: Testim:AI 驱动的测试平台,通过分析文档和用户故事自动生成测试用例,减少人工编写时间。 Test.ai:利用 NLP 技术从需求文档中提取测试用例,确保测试覆盖业务需求。 自动化测试脚本生成: Selenium IDE + NLP:结合 NLP 技术扩展 Selenium IDE,从自然语言描述中生成自动化测试脚本。 Cucumber:使用 Gherkin 语言编写的行为驱动开发(BDD)框架,通过解析自然语言描述生成测试用例。 基于模型的测试生成: 状态模型: GraphWalker:基于状态模型生成测试用例,适用于复杂系统的行为测试。 Spec Explorer:微软开发的模型驱动测试工具,通过探索状态模型生成测试用例。 场景模拟: Modelbased Testing:基于系统模型自动生成测试用例,覆盖各种可能的操作场景和状态转换。 Tosca Testsuite:基于模型的测试工具,自动生成和执行测试用例,适用于复杂应用的端到端测试。 实践中的应用示例: Web 应用测试:使用 Testim 分析用户行为和日志数据,自动生成高覆盖率的测试用例,检测不同浏览器和设备上的兼容性问题。 移动应用测试:利用 Test.ai 从需求文档中提取测试用例,确保覆盖关键功能和用户路径,提高测试效率和质量。 复杂系统测试:采用 GraphWalker 基于系统状态模型生成测试用例,确保覆盖所有可能的状态和操作场景,检测系统的边界情况和异常处理能力。 相关工具和平台: Testim:AI 驱动的自动化测试平台,生成和管理测试用例。 Test.ai:基于 NLP 技术的测试用例生成工具,适用于移动应用和 Web 应用。 DeepTest:利用深度学习生成自动驾驶系统测试用例。 GraphWalker:基于状态模型生成测试用例,适用于复杂系统的行为测试。 Pex:微软开发的智能测试生成工具,自动生成高覆盖率的单元测试。 此外,在编程中,用户故事也很重要。其目的在于确保开发团队能够理解用户需求,并从用户角度设计和开发功能。常规模板为:“作为。”在卡密系统中,写用户故事有三点作用:让执行者了解想要做什么样的应用,从而更准确地搭建代码框架;中途作为关键的上下文信息,确保方向不偏移;可以让 Cursor 依据用户故事生成对应的测试用例,保持功能的完整和准确。可以在 Cursor 里生成 MVP 的用户故事(用其他 AI 功能生成也可以),如点击 Cursor 后,选择提前创建的一个文件夹,创建需求文档,输入简短的需求描述,让 AI 帮助生成用户故事,然后按照实际情况接受并修改。
2025-03-05
手绘风格图片生成模型
以下是关于手绘风格图片生成模型的相关内容: 艺术字生成: 模型选择:图片 2.1,输入提示词(可参考案例提示词)。 案例参考提示词: 金色立体书法,“立冬”,字体上覆盖着积雪,雪山背景,冬季场景,冰雪覆盖,枯树点缀,柔和光影,梦幻意境,温暖与寒冷对比,静谧氛围,传统文化,唯美中国风。 巨大的春联,金色的书法字体,线条流畅,艺术美感,“万事如意”。 巨大的字体,书法字体,线条流畅,艺术美感,“书法”二字突出,沉稳,大气,背景是水墨画。 巨大的奶白色字体“柔软”,字体使用毛绒材质,立在厚厚的毛绒面料上,背景是蓝天。 原文链接:https://mp.weixin.qq.com/s/jTMFYKxsN8dYNZu3VHKBnA 【06】在线生图定制主题海报: 操作步骤: 选择模型:推荐使用的模型,如(例图 1)风格模型>中国风>水墨工笔;(例图 2)风格模型>儿童>童话绘本;(例图 3)风格模型>MJ>剪纸艺术;(例图 4)风格模型>儿童>皮克斯(模型选择过程如图所示)。 输入画面描述:更好地描述画面的方法包括使用本课件提供的自选关键词、按主体+氛围+视角+画质的顺序输入关键词、使用括号()强调关键词。 选择画面大小:无界 AI 已将尺寸与用途标注在选项中,制作主题海报可选择 9:16 的宣传海报比例,选择 17283072 的分辨率可以更快生成图片。 其他设置:增加作图数量可以在同样参数的控制下一次性生成多幅图片,方便挑选。 优化海报:使用可画(https://www.canva.cn/?displaycomoption=true)在线编辑海报。 0 基础手搓 AI 拍立得: 背景:每次使用大模型工具时流程繁琐冗长,出于简化操作、提升效率的需求,萌生了“AI 拍立得”的概念,即拍即得,简化流程,让操作更直观、更高效。之前的直播分享内容中也有提到关于 AI 拍立得的能力,往期回顾: 在线体验:快速体验 AI 拍立得,微信小程序搜索:Pailido,丰富场景自由切换,可快速生成闲鱼文案、生成外卖/大众点评。 交互逻辑:用户选择拍摄场景类型并立即拍照,AI 自动识别和分析照片中的内容信息,依据预设场景规则迅速生成符合情境的反馈,避免繁琐操作。 实现场景: 图片转成文本:逻辑为用户上传图片后,大模型根据选择的场景生成与内容相关的文字描述或解说文本,核心是图片理解和文本整理润色,场景包括生成美食点评、朋友圈发布文案、闲鱼上架示例模版等。 图片转绘图片:逻辑为用户上传图片后,大模型按照指定的风格快速生成图像的转绘版本,适应不同风格和场景需求,核心是图片风格化滤镜,场景包括图片粘土风、图片积木风、图片像素风等。
2025-03-18
2025.3.18 新的大模型新闻
以下是 2025 年 3 月 18 日的一些新的大模型新闻: DeepSeek 深夜发布大一统模型 JanusPro,将图像理解和生成统一在一个模型中。其官网发声渠道包括微信公众号:DeepSeek;小红书:@DeepSeek(deepseek_ai);X:DeepSeek(@deepseek_ai);知乎账号(2025 年 3 月 1 日注册)。模型(7B)和(1B)的相关信息可参考特定链接。 2025 年 3 月 10 日的新闻:《大模型的未来,是 Agent 还是 App?》中提到 OpenAI 的 Deep Research 被视为一种新型的研究语言模型,具备自主执行搜索任务的能力。 2025 年 3 月 3 日的新闻:2025 年将是智谱的开源年,即将发布全新大模型并开源。2024 年 12 月,智谱已完成 D+轮 30 亿元人民币融资。
2025-03-18
写学术论文用哪一个 AI大模型比较好
在写学术论文时,以下 AI 大模型可供选择: 1. 智谱 AI 大模型开放平台:其 GLM 系列模型凭借强大的语义理解能力,能够快速总结论文内容、进行精准翻译。模型通用性强,能适应不同学科和复杂文本,提炼核心观点,为研究工作提速。在使用前,需将文献转换为可供模型解析的文本格式,可借助平台工具高效完成文件内容的提取。 2. 对于论文排版,有以下工具: Grammarly:不仅是语法和拼写检查工具,还提供排版功能,可改进文档风格和流畅性。 QuillBot:AI 驱动的写作和排版工具,能改进文本清晰度和流畅性。 Latex:广泛用于学术论文排版,使用标记语言描述文档格式,有许多 AI 辅助的编辑器和插件简化排版过程。 PandaDoc:文档自动化平台,使用 AI 帮助创建、格式化和自动化文档生成,适合商业和技术文档。 Wordtune:AI 写作助手,可重新表述和改进文本。 Overleaf:在线 Latex 编辑器,提供丰富模板和协作工具,适合学术写作和排版。 选择合适的工具取决于具体需求,如文档类型、出版标准和个人偏好。对于学术论文,Latex 和 Overleaf 通常是受欢迎的选择;对于一般文章和商业文档,Grammarly 和 PandaDoc 等可能更适用。
2025-03-18
哪些模型的视频理解能力比较好?
以下是一些视频理解能力较好的模型: 1. 通义千问的 Qwen2.5VL 模型:具有以下优势: 视觉理解能力:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。 视频理解能力:支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。 万物识别:擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位:采用矩形框和点的多样化方式对通用物体定位,支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解:提升 OCR 识别能力,增强多场景、多语言和多方向的文本识别和文本定位能力。 增强的视频理解:引入动态帧率(FPS)训练和绝对时间编码技术,支持小时级别的超长视频理解,具备秒级的事件定位能力。 开源平台: Huggingface:https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope:https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat:https://chat.qwenlm.ai 2. Sora 模型:周鸿祎认为其技术思路完全不同,能像人一样理解现实世界,将大语言模型和 Diffusion 结合起来训练,实现了对现实世界的理解和模拟两层能力,对物理世界的模拟将对机器人具身智能和自动驾驶带来巨大影响。 3. 腾讯的混元模型:在语义理解方面表现出色,能够精准还原复杂的场景和动作,例如一只银渐层在游乐园里奔跑跳到小女孩怀里、一位紫衣女修在竹林中抚琴、星系边缘宇宙战舰引爆反物质引擎等场景。
2025-03-18
大语言模型的技术原理
大语言模型的技术原理包括以下几个方面: 1. 相关概念与关系: AI 即人工智能。 机器学习是电脑找规律学习,包括监督学习(有标签的训练数据,算法目标是学习输入和输出之间的映射关系,包括分类和回归)、无监督学习(学习的数据没有标签,算法自主发现规律,经典任务如聚类)、强化学习(从反馈里学习,最大化奖励或最小化损失,类似训小狗)。 深度学习是一种参照人脑有神经网络和神经元的方法(因有很多层所以叫深度),神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 即大语言模型,对于生成式 AI,生成图像的扩散模型不是大语言模型;对于大语言模型,生成只是其中一个处理任务,如谷歌的 BERT 模型可用于语义理解(不擅长文本生成),如上下文理解、情感分析、文本分类。 2. 技术里程碑:2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出了 Transformer 模型,它完全基于自注意力机制(SelfAttention)来处理序列数据,而不需要依赖于循环神经网络(RNN)或卷积神经网络(CNN)。 3. 工作原理: 包括训练数据、算力、模型参数,在训练数据一致情况下,模型参数越大能力越强。 Transformer 是大语言模型训练架构,具备自我注意力机制能理解上下文和文本关联,其工作原理是单词预测,通过嵌入、位置编码、自注意力机制生成内容,模型调教中有控制输出的 temperature。 Transformer 模型通过不断检索和匹配来寻找依赖关系,处理词和词之间的位置组合,预测下一个词的概率,是一个偏向概率预测的统计模型。 4. 可能存在的问题:大模型可能因错误数据导致给出错误答案,即大模型幻觉,优质数据集对其很重要。 5. 相关应用: 国内大模型有通用模型如文心一言、讯飞星火等,处理自然语言;还有垂直模型,专注特定领域如小语种交流、临床医学、AI 蛋白质结构预测等。 Prompt 分为 system prompt、user prompt 和 assistant prompt,写好 prompt 的法则包括清晰说明、指定角色、使用分隔符、提供样本等,核心是与模型好好沟通。 Fine tuning 微调是基于通用大模型,针对特定领域任务提供数据进行学习和调整,以适应特定领域的需求。
2025-03-18
我准备用无影云电脑部署一个独属于我们公司的AI,在大模型方面我准备用deepseek的满血版,你有什么建议吗
以下是关于您准备用无影云电脑部署公司专属 AI 并使用 deepseek 满血版大模型的一些建议: 1. 本地部署方面:如果拥有云服务器,要了解如何进行本地部署以及满血版本地部署的实际情况。 2. 免费额度:在 freely.aliyun.com 可领取 500 元免费额度,但有使用限制,不能部署满血版和较大的增流模型。 3. 平台服务差异:了解 DLC、DSW 和 EAS 等模型部署平台服务的差别。 4. 模型蒸馏微调:可以学习并实践模型的蒸馏和微调相关知识。 5. 获取 DeepSeekR1 满血版密钥: 注册并登录火山引擎,点击立即体验进入控制台。 创建一个接入点,点击在线推理创建推理接入点。 为接入点命名为 DeepSeekR1。 若有提示未开通模型,点击“立即开通”,勾选全部模型和协议一路开通。 确认无误后点击“确认接入”按钮。 复制推理点的 ID 并保存。 点击【API 调用】按钮,复制 API Key 并保存。 6. 模型选择与配置:可以参考理想的配置,如推理模型选择 gemini2.0flashthinking,代码模型选择 claude3.5sonet 或 gpt4omini,多模态模型选择 gemini2.0flash,常规模型选择 DeepSeek V3。同时,了解 OpenRouter 新发布的 BYOK 功能,它能集成第三方 Key,整合免费额度并解放更多槽位。若对现有供应商支持的模型不满意,还可考虑 simpleoneapi。
2025-03-18
请推荐1~2款适合初学者的AI编程助手和编程学习工具
以下是 1 2 款适合初学者的 AI 编程助手和编程学习工具: v0:适合初学者,能为编程提供一定的辅助和支持。 Bolt:对新手友好,有助于初学者在编程过程中获得帮助和指导。 此外,还有一些其他常见的适合初学者的工具,如 GitHub Copilot,它支持多种语言和 IDE,能为程序员快速提供代码建议;通义灵码,提供行级/函数级实时续写、自然语言生成代码等多种能力。您可以根据自己的需求选择最适合您的工具。
2025-03-18
有没有适合记录会议纪要的AI
以下是一些适合记录会议纪要的 AI 工具和方法: 1. 案例一:【普通人秒变效率王】AI 工作流秒记会议纪要 视频讲解:https://m.okjike.com/originalPosts/65fa9d1112ed2fda68e6215e?s=eyJ1IjoiNTlhZDcyZDUwYjAyYTEwMDEyMjc3YmZmIiwiZCI6MX0%3D 工作流概述: 文本导出:使用飞书妙记将会议对话导出为 txt 文件 纪要生成:启动 Kimichat 输入会议纪要 prompt 提示词并上传 txt 文件 内容完善:与 Kimichat 对话并补充会议中未记录或需强调的信息 纪要微调:审阅 Kimichat 生成的会议纪要草稿进行必要微调 成品输出:确认会议纪要内容无误后,输出最终版文档 和 Kimichat 的完整对话(点击可直接复用并接着聊):https://kimi.moonshot.cn/share/cnsk08phmfr6s04umlrg 2. 总结类 AI 工具: 3. 免费的会议语音转文字工具: 飞书妙记:https://www.feishu.cn/product/minutes ,飞书的办公套件之一 通义听悟:https://tingwu.aliyun.com/home ,阿里推出的 AI 会议转录工具 讯飞听见:https://www.iflyrec.com/ ,讯飞旗下智慧办公服务平台 Otter AI:https://otter.ai/ ,转录采访和会议纪要 更多会议记录工具请访问网站:https://waytoagi.com/sites/category/29 。请注意,内容由 AI 大模型生成,请仔细甄别。
2025-03-18
我自己想做一个英语背单词的游戏,让AI写出Markdown代码运行后,发现问题很大,但是我有不知如何修改这些代码。所以我觉得自己应该懂Markdown 代码语言。但是我不知道Markdown是最适合的编程语言吗?
Markdown 语言不太适合用于编写复杂的英语背单词游戏。虽然 Markdown 简单易用,常用于文档格式化,但在实现游戏逻辑和功能方面存在较大局限性。 如果您想开发英语背单词游戏,更适合使用编程语言,如 Python 等。在处理代码问题时,您可以参考以下方法: 1. 对于编程小白,向 AI 提供代码范例,尤其是新进入代码节点的 IDE 中的范例,减少对 AI 所写代码的改动。 2. 向 AI 说清楚输入变量与输出变量的类型。 3. 说明与工作流中匹配或想要的变量名称,以减少二次修改。 4. 列出输入变量的具体书写形式,对于复杂形式可使用特定方法获取。 5. 说清楚代码要实现的功能,复杂功能尽量将运行逻辑描述清楚,多用变量名称指代涉及的变量。 如果代码运行效果不尽人意,可把当前的代码、输入变量、预期结果提供给 AI,并告知错误的结果或者报错信息,让 AI 帮忙寻找问题并提供修改方案。提问时可参考以下方式: 以上是我目前的 python 代码,我的输入变量。 但是代码运行后的实际结果却是。 另外,在游戏开发与修改过程中,还需注意文件的存放要求、功能优化、平台上传等方面的问题。例如,三个重要文件需在一个文件夹,本地内置图像、音乐等也需在同一文件夹。游戏功能可增加关卡、调整金币获取和技能点花费、解决 Bug 等。研究将游戏发布到 4399 开放平台时,需注册、实名制,审核较严格。获取游戏素材可从官网免费下载或淘宝购买抠好的素材。
2025-03-18
什么样的数据集适合训练大语言模型?
以下是一些适合训练大语言模型的数据集: 1. Guanaco:这是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集,地址为:。 2. chatgptcorpus:开源了由 ChatGPT3.5 生成的 300 万自问自答数据,包括多个领域,可用于训练大模型,地址为:。 3. SmileConv:数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话,含有 56k 个多轮对话,其对话主题、词汇和篇章语义更加丰富多样,更加符合在长程多轮对话的应用场景,地址为:。 虽然许多早期的大型语言模型主要使用英语语言数据进行训练,但该领域正在迅速发展。越来越多的新模型在多语言数据集上进行训练,并且越来越关注开发专门针对世界语言的模型。然而,在确保不同语言的公平代表性和性能方面仍然存在挑战,特别是那些可用数据和计算资源较少的语言。 大模型的预训练数据通常非常大,往往来自于互联网上,包括论文、代码以及可进行爬取的公开网页等等,一般来说,现在最先进的大模型一般都是用 TB 级别的数据进行预训练。
2025-03-17
有什么适合亲子互动用的智能体吗
以下为您推荐两款适合亲子互动的智能体: 1. 名字写对联智能体 作者:韦恩 体验链接:https://tbox.alipay.com/pro/share/202501APggwb00197427?platform=WebService 智能体名称:名字写对联 智能体简介:我是常师傅,别的不懂,春联咱在行,快过年了,用对联送祝福,今年可以不一样 应用场景: 目标人群:想了解对联,想写对联,给朋友送对联祝福的人 解决的问题:想给朋友特殊祝福的人,送春联祝福显得尤为特别,是一份特别的礼物 智能体主要功能: 玩法一:发送朋友名字和祝福,获得一副特殊的对联。 玩法二:发送您的幸运数字,获得您的幸运对联。 玩法三:随便聊聊,对对联,聊聊对联历史。 智能体设计思路: 编排方式:工作流对话模式,可以多轮对话,获得上下文,体验更好。 功能结构:根据用户意图进入不同的流程。 智能体功能实现: 幸运数字模块:发送您的幸运数字,获得您专属幸运对联。 送祝福模块:发送朋友名字祝福,活动给朋友的定制对联。 互动模块:用户可以随意聊,获得您想要的对联相关信息。 2. 旅行青蛙智能体 智能体设计思路: 创意:来源于多年前的火爆 APP——旅行青蛙,采用旅行明信片的方式来与用户互动,一方面让青蛙远游时发回当地景点的明信片,激发用户想去旅游的念头,另一方面通过大模型进行诗歌和文案的创作,可作为自媒体的素材 编排方式:采用单 Agent 的多分支模式,通过意图识别来确定用户的旅行意图,目前运行流畅稳定,有较高的趣味性,效果惊艳。 功能结构:基础功能包括时间季节提取、目的地景点提取、旅行日记文案、景点诗句、文生图提示词编写、风格固定、自定义 FLUX 插件,这些功能相互关联,共同构成一个完整的旅行体验智能体。 智能体功能实现: 随机目的地的旅行模块:青蛙自主选择说走就走的目的地旅行,发回明信片。 指定季节和目的地的旅行模块:青蛙会根据对应的时间和指定的地点,发回来自未来的旅行邮件。 互动模块:用户可以投喂各种食物,与青蛙进行亲密互动。 历史上的今天:当用户选择宅在家里时,青蛙会返回历史上的今天的新闻,并绘制相关的图片 小细节:使用了获取用户 ID,坐标,避免出现推荐与用户同一地区的景点
2025-03-17
适合客户端使用的 asr 模型有什么
以下是一些适合客户端使用的 ASR 模型: 1. Ollama: 支持多种大型语言模型,如通义千问、Llama 2、Mistral 和 Gemma 等,适用于不同应用场景。 易于使用,适用于 macOS、Windows 和 Linux 系统,同时支持 CPU 和 GPU。 提供模型库,用户可从中下载不同参数和大小的模型以满足不同需求和硬件条件,可通过 https://ollama.com/library 查找。 支持用户自定义模型,例如修改模型的温度参数来调整创造性和连贯性,或者设置特定的系统消息。 提供 REST API 用于运行和管理模型,以及与其他应用程序的集成选项。 社区贡献丰富,包括多种集成插件和界面,如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 2. FishAudio 的 Fish Agent: 集成了自动语音识别(ASR)和文本到语音(TTS)技术,无需传统的语义编码器/解码器,即可实现语音到语音的直接转换。 模型经过 700,000 小时的多语言音频内容训练,支持包括英语、中文在内的多种语言,能够精准捕捉和生成环境音频信息。文本方面由 Qwen2.53B 处理。 相关链接: https://huggingface.co/fishaudio/fishagentv0.13b https://github.com/fishaudio/fishspeech 3. Gemini: Gemini Nano1 和 Gemini Pro 模型在各种 Benchmark 上的自动语音识别(ASR)任务中表现出色,如在 FLEURS、多语言 Librispeech 以及语音翻译任务 CoVoST 2 等测试集中。 相关链接:未提及。
2025-03-17
大模型就是指大语言模型吗?有哪些常见的非语言类大模型和小模型,两者的区别和联系是什么?
大模型并非仅指大语言模型。大型模型主要分为两类:一是大型语言模型,专注于处理和生成文本信息;二是大型多模态模型,能够处理包括文本、图片、音频等多种类型的信息。 大型多模态模型与大型语言模型存在以下区别: 1. 处理的信息类型不同:大型语言模型专注于文本信息,而大型多模态模型能处理多种信息类型。 2. 应用场景不同:大型语言模型主要用于自然语言处理任务,如文本翻译、生成、情感分析等;大型多模态模型可应用于图像识别与描述、视频分析、语音识别与生成等更广泛的领域。 3. 数据需求不同:大型语言模型主要依赖大量文本数据训练,大型多模态模型则需要多种类型数据。 当我们提到“小模型”时,是相对大型模型而言,规模较小。这些小模型通常是为完成特定任务而设计,比如最初用于图像分类,只能分辨是或不是某一个东西(如猫、狗)。 “小模型”在特定任务上表现出色,但“大模型”像多功能基础平台,能处理多种任务,应用范围广泛,拥有更多通识知识。 大模型并不拥有无限知识,其知识来源于训练过程中的有限数据,只能回答训练中见过或类似的问题,知识库不会自动更新,在某些特定或专业领域的知识可能不够全面。 大型语言模型的运作机制主要是通过大量数据训练学习语言结构和模式,然后根据输入生成相应文本,类似于词语接龙游戏,永远在猜测下一个字符将要生成什么。
2025-03-16
可以给出国内出名的大语言模型的信息吗,包括其模型名称,版本,发布时间,发布公司,模型参数,性能特点等信息,尽可能覆盖更多的大模型,使用表格输出,并按照发布时间排序
|模型名称|版本|发布时间|发布公司|模型参数|性能特点|适合应用| |||||||| |Baichuan213BChat|Baichuan2192K|10月31日|百川智能|未提及|在逻辑推理、知识百科、生成与创作、上下文对话等基础能力上排名200亿参数量级国内模型第一,在计算和代码能力上有一定优化空间|场景相对广泛且可以私有化部署,重点推荐在小说/广告/公文写作等内容创作场景、智能客服/语音助手以及任务拆解规划等场景,可部署在教育、医疗、金融等垂直行业中应用,同时可部署在低算力终端处理基础智能任务| |文心一言|V4.0|10月17日|百度|未提及|在计算、逻辑推理、生成与创作、传统安全这4大基础能力上排名国内第一,在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三,各项能力表现均衡且绝大部分能力有很高的水平|能力栈较为广泛,可应用的场景较多,重点推荐在查询搜索知识应用、任务拆解规划Agent、文案写作以及代码编写及纠错等方面的应用,由于在逻辑推理方面的不俗表现,可以重点关注在科学研究、教育、工业方面的落地能力| |通义千问 2.0|2.0|10月31日|阿里云|千亿级参数|未提及|未提及|
2025-03-15
我需要把文字转语言,并且生成一些图片,做成视频,用到那些AIr
目前有多种 AI 工具可以帮助您实现将文字转换为语言并生成图片制作视频的需求。例如,一些语音合成工具如百度语音、科大讯飞等可以将文字转换为语言;在图片生成方面,像 DALL·E2、StableDiffusion 等工具表现出色;而制作视频时,您可以考虑使用剪映等软件结合上述生成的语音和图片来完成。
2025-03-10