Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

请画出一张图,显示主流大语言 模型擅长领域

Answer

以下是主流大语言模型擅长领域的相关信息:

  1. Encoder-only 模型:通常适用于自然语言理解任务,如分类和情感分析,代表模型是 BERT。
  2. Encoder-decoder 模型:同时结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容,用例包括翻译和摘要,代表是 Google 的 T5。
  3. Decoder-only 模型:更擅长自然语言生成任务,如故事写作和博客生成,众多 AI 助手基本采用此结构,包括 ChatGPT。

大模型的特点:

  1. 预训练数据非常大,往往来自互联网上的论文、代码、公开网页等,先进的大模型一般用 TB 级别的数据进行预训练。
  2. 参数非常多,如 Open 在 2020 年发布的 GPT-3 就已达到 170B 的参数。

国内大模型分类:

  1. 通用模型:如文心一言、讯飞星火等,处理自然语言。
  2. 垂直模型:专注特定领域,如小语种交流、临床医学、AI 蛋白质结构预测等。

大型模型主要分类:

  1. 大型语言模型:专注于处理和生成文本信息。
  2. 大型多模态模型:能够处理包括文本、图片、音频等多种类型的信息。

大型多模态模型与大型语言模型的不同:

  1. 处理的信息类型不同:大型语言模型专注于文本信息,大型多模态模型能处理多种类型信息。
  2. 应用场景不同:大型语言模型主要用于自然语言处理任务,大型多模态模型可应用于更广泛领域,如图像识别与描述、视频分析、语音识别与生成等。
  3. 数据需求不同:大型语言模型主要依赖大量文本数据训练,大型多模态模型需要多种类型数据训练。

相对大型模型的“小模型”:是在相对比较下规模较小的模型,实际是被设计来完成特定任务的,如最初用于图像分类的模型,只能分辨是或不是某一个东西。

Content generated by AI large model, please carefully verify (powered by aily)

References

从 0 到 1 了解大模型安全,看这篇就够了

encoder-only:这些模型通常适用于可以自然语言理解任务,例如分类和情感分析.最知名的代表模型是BERTencoder-decoder:此类模型同时结合了Transformer架构的encoder和decoder来理解和生成内容。该架构的一些用例包括翻译和摘要。encoder-decoder的代表是google的T5decoder-only:此类模型更擅长自然语言生成任务。典型使用包括故事写作和博客生成。这也是我们现在所熟知的众多AI助手的结构我们目前耳熟能详的AI助手基本都来自左侧的灰色分支,当然也包括ChatGPT。这些架构都是根据谷歌2017年发布的论文“attention is all you need”中提出的transformer衍生而来的,在transformer中,包括Encoder,Decoder两个结构目前的大型语言模型就是右侧只使用Decoder的Decoder-only架构的模型大模型又大在哪呢?第一,大模型的预训练数据非常大,这些数据往往来自于互联网上,包括论文,代码,以及可进行爬取的公开网页等等,一般来说,现在最先进的大模型一般都是用TB级别的数据进行预训练。第二,参数非常多,Open在2020年发布的GPT-3就已经达到170B的参数在GPT3中,模型可以根据用户输入的任务描述,或给出详细的例子,完成任务但这与我们熟知的ChatGPT仍然有着很大的差距,使用ChatGPT只需要像和人类一样对话,就可以完成任务。除了形式上的不同之外,还有一个更加重要的差距,那就是安全性上的差别。

02-基础通识课

[heading2]总结大语言模型的介绍与原理国内大模型的分类:国内大模型有通用模型如文心一言、讯飞星火等,处理自然语言;还有垂直模型,专注特定领域如小语种交流、临床医学、AI蛋白质结构预测等。大模型的体验:以‘为什么我爸妈结婚的时候没有邀请我参加婚礼’和‘今天我坐在凳子上’为例,体验了Kimi、通义千问、豆包等大模型的回答和续写能力,发现回复有差异,且大模型基于统计模型预测生成内容。大语言模型的工作原理:大语言模型工作原理包括训练数据、算力、模型参数,在训练数据一致情况下,模型参数越大能力越强,参数用b链形容大小。Transformer架构:Transformer是大语言模型训练架构,17年出现用于翻译,具备自我注意力机制能理解上下文和文本关联,其工作原理是单词预测,通过嵌入、位置编码、自注意力机制生成内容,模型调教中有控制输出的temperature。关于大语言模型的原理、应用及相关概念Transformer模型原理:通过不断检索和匹配来寻找依赖关系,处理词和词之间的位置组合,预测下一个词的概率,是一个偏向概率预测的统计模型。大模型幻觉:大模型通过训练数据猜测下一个输出结果,可能因错误数据导致给出错误答案,优质数据集对其很重要。Prompt的分类和法则:分为system prompt、user prompt和assistant prompt,写好prompt的法则包括清晰说明、指定角色、使用分隔符、提供样本等,核心是与模型好好沟通。Fine tuning微调:基于通用大模型,针对特定领域任务提供数据进行学习和调整,以适应特定领域的需求。RAG概念:未对RAG的具体内容进行详细阐述,仅提出了这个概念。

十七问解读生成式人工智能

大型模型主要分为两类:一是大型语言模型,专注于处理和生成文本信息;二是大型多模态模型,这类模型能够处理包括文本、图片、音频等多种类型的信息。[heading1]问题八、大型多模态模型与大型语言模型有何不同?[content]1.二者处理的信息类型不同。大型语言模型专注于处理和生成文本信息,通过分析大量的文本数据来理解和生成自然语言。而大型多模态模型不仅能处理文本信息,还能理解和生成图片、音频等多种类型的信息,这使得它们能够在更多样化的任务中应用。2.应用场景也有所不同。大型语言模型主要用于自然语言处理任务,如文本翻译、文本生成、情感分析等。而大型多模态模型由于能够处理多种信息类型,可以应用于更广泛的领域,例如图像识别与描述、视频分析、语音识别与生成等。3.在数据需求方面也有所不同。大型语言模型主要依赖于大量的文本数据进行训练,而大型多模态模型则需要多种类型的数据进行训练,包括文本、图片、音频等,以便在不同模态间建立关联。[heading1]问题九、有了大模型,是不是还有小模型?[content]当我们谈论所谓的“小模型”时,实际上是在相对地比较。与那些拥有海量参数和训练数据的大型模型相比,这些模型的规模显得更小一些。因此,在日常交流中,我们习惯将它们称作“小模型”。但如果要更精确地描述,这些模型其实是被设计来完成特定任务的,比如最初用于图像分类的模型,只能分辨是或不是某一个东西(比如猫🐱、狗🐶)。

Others are asking
科学问题二:XXX(小标题) 问题挑战:如何通过构建合理的先验知识或模型假设,刻画出数据中的可变性?如何利用从少量样本中提取到的变化信息来预测未见数据的表现? XXX XXX(问题挑战一的方法) XXX)问题挑战二的方法) 请将XXX补充完整,重点在预测,如何刻画和利用数据分布的“变化性”
以下是为您补充完整的内容: 对于如何通过构建合理的先验知识或模型假设,刻画出数据中的可变性,以及如何利用从少量样本中提取到的变化信息来预测未见数据的表现,我们可以参考以下方法: 在准备 LLM 数据方面,对于制作 LLM 微调数据集,首先获取文本格式非结构式和网络式结构式的数据。对于 QA 数据集,主要依靠已有的大语言模型生成,根据不同文本设定不同的提示词以获取尽可能多且信息量丰富的 QA。先对文件中的文本进行切割,将每一大部分放进一个约 200 字的 txt 文件里,然后设定提示词模板。例如对于公司产品手册,模板可以是:“你是一个聪明的 xxx 公司的 xxx 产品的产品经理。给你一段 xxxxx 有限公司 xx 产品相关的文本,你必须依据文本想出十个不同的问题和这十个问题对应的答案。你想出的问题可以被用来测试公司内部 xxx 职员的专业能力。你想出的问题可以是使用公司产品的用户会想到的问题。你想出的问题和答案必须和所给文本相关。你回答得答案必须可以让使用产品的用户理解。当你想出问题和答案后,你必须用以下格式回复:```
2024-10-21
用什么AI工具,绘画出的美女,如同真人照片。
以下几种 AI 工具可以绘画出如同真人照片的美女: 1. 谷歌的文生图 AI 模型 Imagen 2,实测效果逼真细腻,生成的美女图仿佛真人照片,其对提示的还原程度已经超越了 DALL·E 3 和 Midjourney。 2. Visual Electric 是一个不需要操心技术的 AI 绘画网站,您只需要发挥创意就行。 需要注意的是,使用 AI 绘画工具时可能会遇到一些问题,比如在独立游戏开发中使用 AI 绘画可能会出现风格不合适、缺乏叙事性、素材有限、泛化性差等情况。但通过不断尝试和优化,如更换 Embedding、CKPT、Lora 等方式,以及进行一些特殊处理,如为引导前景后景区分明显的画专门绘制引导图、对人物朝向做镜像处理等,也能获得较为理想的效果。
2024-10-08
AI画出来的图一般都用在哪些场景
AI 画出来的图通常应用于以下场景: 1. 广告设计:能够快速生成各种创意概念图,为广告策划提供灵感和初稿。 2. 游戏开发:用于创建游戏场景、角色形象等,有助于提高开发效率。 3. 影视制作:辅助生成特效场景、概念设计等。 4. 建筑设计:帮助设计师构想建筑外观和内部布局。
2024-09-29
如何用AI绘画画出皮具设计图纸
以下是关于如何用 AI 绘画画出皮具设计图纸的相关指导: 首先,选择合适的 AI 绘图工具,可根据您的具体需求来决定。然后注册并登录该平台。 接着,利用平台提供的模板库,选择适合皮具设计需求的模板。之后添加相关内容,根据设计需求编辑图形和文字,并利用 AI 自动布局功能优化图纸布局。如果需要团队协作,可以邀请团队成员一起编辑。完成后导出并分享图纸。 在 AI 绘图工具方面,存在一些可以辅助或自动生成 CAD 图的工具和插件。例如: 1. CADtools 12 是 Adobe Illustrator(AI)插件,添加了 92 个绘图和编辑工具,包括图形绘制、编辑、标注、尺寸标注、转换、创建和实用工具。 2. Autodesk Fusion 360 是 Autodesk 开发的一款集成了 AI 功能的云端 3D CAD/CAM 软件,能创建复杂几何形状和优化设计。 3. nTopology 是基于 AI 的设计软件,可创建复杂 CAD 模型,包括拓扑优化、几何复杂度和轻量化设计等。 4. ParaMatters CogniCAD 是基于 AI 的 CAD 软件,能根据输入的设计目标和约束条件自动生成 3D 模型,适用于拓扑优化、结构设计和材料分布等领域。 5. 一些主流 CAD 软件,如 Autodesk 系列、SolidWorks 等,提供了基于 AI 的生成设计工具,可根据输入的设计目标和约束条件自动产生多种设计方案。 但这些工具通常需要一定的 CAD 知识和技能才能有效使用。对于 CAD 初学者,建议先学习基本的 3D 建模技巧,然后尝试使用这些 AI 工具来提高设计效率。 另外,在学习 AI 绘画时,发现其不会完全替代设计师,而是能提高出图质量和效率。比如可以用 midjourney 生成线稿,PS 稍微修正,再用 controlnet 控制,stable diffusion 上色,多套 AI 组合使用,能快速生成效果惊艳的图。
2024-09-20
ai可以画出来服饰吗
AI 可以画出服饰。以下为您介绍一些相关案例和制作方法: 电商方面,如 AI 小绿裙,单价 239 卖了 1160 多份,几个月共卖 27 万。制作此类 AI 服装,如果您对 AI 操作熟练,可以用 sd 或者 mj 来做;如果是新手,可以用 mewxai 或者幻火来做。前者上手有难度但可控性强,后者难度较低。 DynamicWang 制作了充满前卫时尚与沉浸式、强烈梦境景象的服装设计,Post Dreamcore 美学暗示了这件服饰不仅是用来穿的,而是用来体验的,仿佛穿戴者用生动梦境的碎片装饰自己。 小码哥创作了 AI 绘画十二生肖之唐装系,如“A little white rat in a soft Chinese Tang Dynasty Chinese costume,super cute,cinematic lighting,intricate filigree design,Pixar style,anthropomorphic,holding a pink lantern,big eyes,smile,peach blossom,flow,charming,immortal,fluffy,shiny bristles,ptals,fairy tale,unreal engine 5 and octane rendering,incredibly detailed,4K,trending in art station,gorgeous,Super wide angle,4K ar 10:16 test video upbeta”等。
2024-08-20
AI绘图 SD 我想画出国风女性,比较真实的,该用什么正负面的提示词呢,英语提示词
以下是一些用于绘制国风真实女性的 AI 绘图 SD 的正负面提示词: 正面提示词: 国风女性 精致五官 优雅姿态 传统服饰(如旗袍、汉服等) 细腻肌肤 乌黑长发 柳叶眉 丹凤眼 樱桃小口 优美曲线 柔和光线 古典配饰(如发簪、耳环等) 负面提示词: NSFw 皮肤斑点 痤疮 皮肤瑕疵 老年斑 变异的手 模糊 多余的四肢 低质量 坏的手 缺手指 多余的手指 受伤的手 缺失的手指 您可以根据实际需求对这些提示词进行调整和组合,以获得满意的绘图效果。
2024-08-17
哪种AI更擅长数学模型搭建与计算
以下几种 AI 在数学模型搭建与计算方面表现较为出色: 1. Llama 3.1:是迄今为止最大版本,在推理、数学、多语言和长上下文任务中能够与 GPT4 相抗衡。 2. AlphaGeometry:在奥林匹克级几何问题基准测试中表现出色,解决了 30 题中的 25 题,接近人类国际数学奥林匹克金牌得主的表现。 3. 由 DeepSeek、零一万物、知谱 AI 和阿里巴巴开发的中国模型:在 LMSYS 排行榜上取得了优异的成绩,尤其在数学和编程方面表现尤为出色,且中国模型更能优先考虑计算效率。 4. MathGLM 系列模型: MathGLM2B:在训练数据充足的情况下,能够准确地执行多位算术运算,准确率几乎可以达到 100%,结果显著超越 GPT4。 MathGLMLarge:采用不同变体作为骨干来训练,赋予其基本的语言理解能力,使其能够有效理解数学应用题中包含的语言信息。 大型语言模型处理数学计算的一些解决办法包括: 1. 引入编程插件:将数学问题转化为编程问题,并引入编程插件来处理。 2. 教会模型数学法则:教导语言模型数学计算的规则。 3. 标准化自然数加法计算 prompt 模板:创建标准模板,使语言模型按预定义规则和步骤执行加法计算。 4. 结合图像模型:对于涉及空间概念的数学问题,结合图像模型辅助处理。 5. 提供充足的语料和样本:为语言模型提供充足的数学计算样本和语料,让模型从中学习并改进数学计算能力。
2024-12-10
你是一位擅长儿童学习编程的老师,如果结合AI一起帮助儿童学习,有什么方法能介绍一下吗?
以下是结合 AI 帮助儿童学习编程的一些方法: 1. 先让儿童通过手动编写代码来学习编程基础知识,熟练掌握语言后,再将 AI 生成的代码作为节省时间的工具。 2. 利用自适应学习平台,如结合了 AI 技术的编程学习平台,为儿童量身定制学习计划,提供个性化的学习内容和练习。 3. 借助智能导师和对话机器人,让儿童与它们进行编程相关的交流和问题探讨,提高编程思维和解决问题的能力。 需要注意的是,在使用 AI 辅助学习的过程中,要确保儿童真正理解和掌握编程的原理和知识,而不是过度依赖 AI 完成学习任务。
2024-11-28
哪个AI比较擅长医学相关领域?
以下是一些在医学相关领域表现出色的 AI: 1. AlphaFold:由 DeepMind 开发,在蛋白质结构预测方面表现出色,其预测准确度超过其他系统,为科学家和药物开发提供了巨大帮助。 2. ESMFold(Meta 的蛋白质结构预测 AI 模型):截至目前已经进行了 7 亿次预测。 3. 多伦多大学研究人员开发的新 AI 系统:利用类似 Stable Diffusion、Midjourney 的生成扩散技术创造出自然界中不存在的蛋白质。 4. 华盛顿大学 David Baker 教授团队开发的 RF Diffusion:基于 DALLE 的人工智能系统,用于根据科学家的需求生成合适的蛋白质结构。 5. 洛桑联邦理工学院科学家们开发的 PeSTo:基于神经网络的新工具,可以预测蛋白质如何与其他物质相互作用,速度快、且通用性强。 6. Surrey 大学开发的人工智能系统:用于识别个体细胞中的蛋白质模式,这一进展可用于理解肿瘤的差异并开发药物。 此外,ChatGPT、Google Bard 等技术在日常工作生活中很有用,也极大加速了医疗健康生物制药的研究,AI 已经在抗癌、抗衰老、早期疾病防治(如提前三年诊断胰腺癌、帮助早期诊断帕金森等)、寻找阿尔兹海默症的治疗方法等方面起着重要作用。例如: 1. 两名高中生与医疗技术公司 Insilico Medicine 及其人工智能平台 PandaOmics 合作,发现了与胶质母细胞瘤相关的三个新靶基因,这些基因对于有效对抗这种癌症至关重要。 2. 由 Integrated Biosciences 领导的一项最新研究通过使用人工智能筛查了超过 800,000 种化合物,专家们发现了三种高效的药物候选物,其药理学性质优于目前已知的抗衰老物质。 3. 亚利桑那大学与哈佛大学共同利用人工智能对健康神经元在疾病进展过程中的分子变化研究,以识别阿尔茨海默病的原因和潜在药物靶点。 相关文献参考: 1. https://www.sciencedaily.com/releases/2023/05/230504121014.htm 2. https://www.wevolver.com/article/pestoanewaitoolforpredictingproteininteractions 3. https://www.sciencedirect.com/science/article/pii/S0958166923000514 4. https://hms.harvard.edu/news/aipredictsfuturepancreaticcancer 5. https://finance.yahoo.com/news/teenagegeniusesaiuncovercancer163541619.html 6. https://www.earth.com/news/artificialintelligenceidentifiesnewantiagingcompounds/ 7. https://medicalxpress.com/news/202305scientistsaidrugalzheimer.html
2024-11-17
秘塔AI擅长处理什么事情
秘塔 AI 具有以下功能和擅长处理的事项: 1. 作为搜索引擎,提供多模式搜索、无广告干扰、结构化展示和信息聚合等功能,旨在提升用户的搜索效率和体验。 2. 在调研工作中,可进行定向搜索,为深度调研提供支持。 3. 作为智能写作助手,能辅助用户进行高质量写作,例如检查语法、拼写错误,进行智能润色和内容创作辅助。
2024-11-11
如果我想要让AI回答高等数学相关的问题,请帮我推荐一下现在国内的哪个大模型更擅长?
在国内的大模型中,对于回答高等数学相关问题,以下几个大模型具有一定的优势: 通义千问(阿里):在翻译、电商、法律、推理、数学等方面表现较好。 讯飞星火(科大讯飞):在中小学教育学习、翻译等方面有一定能力。 需要注意的是,不同大模型的表现可能会因具体问题和使用场景而有所差异。您还可以参考第三方基准评测报告: 。但报告内容由 AI 大模型生成,请仔细甄别。
2024-11-09
哪些工具擅长中文白皮书写作?
以下是一些在中文白皮书写作方面表现出色的工具: 1. 文献管理和搜索: Zotero:结合 AI 技术,能自动提取文献信息,便于管理和整理参考文献。 Semantic Scholar:由 AI 驱动的学术搜索引擎,可提供相关文献推荐和引用分析。 2. 内容生成和辅助写作: Grammarly:通过 AI 技术进行文本校对、语法修正和写作风格建议,提升语言质量。 Quillbot:基于 AI 的重写和摘要工具,能精简和优化内容。 3. 研究和数据分析: Google Colab:提供云环境的 Jupyter 笔记本,支持 AI 和机器学习研究,利于数据分析和可视化。 Knitro:用于数学建模和优化的软件,可进行复杂数据分析和模型构建。 4. 论文结构和格式: LaTeX:虽非纯粹 AI 工具,但结合自动化和模板,能高效处理格式和数学公式。 Overleaf:在线 LaTeX 编辑器,有丰富模板库和协作功能,简化编写过程。 5. 研究伦理和抄袭检测: Turnitin:广泛使用的抄袭检测工具,确保原创性。 Crossref Similarity Check:通过与已发表作品比较,检测潜在抄袭问题。 需要注意的是,使用这些工具时,应结合自身写作风格和需求,选择最合适的辅助工具。同时,内容由 AI 大模型生成,请仔细甄别。
2024-10-31
目前在各个应用领域,主流的AI工具有哪些,请分别介绍.
以下是一些主流的 AI 工具及其应用领域的介绍: 1. AI 菜谱口味调整工具:如“下厨房口味调整功能”,使用自然语言处理和数据分析技术,市场规模达数亿美元。它能根据用户反馈调整菜谱口味,例如增加甜度、减少辣味等。 2. AI 语言学习纠错平台:像“英语流利说纠错功能”,运用自然语言处理和机器学习,市场规模达数十亿美元。可帮助语言学习者纠正发音、语法等错误,并提供纠正建议和练习。 3. AI 电影剧情分析系统:例如“豆瓣电影剧情分析工具”,借助数据分析和自然语言处理,市场规模达数亿美元。能够分析电影剧情,为用户提供深度解读。 4. AI 办公文件分类系统:比如“腾讯文档分类功能”,采用数据分析和机器学习,市场规模达数亿美元。可自动分类办公文件,方便管理。 5. AI 美容护肤方案定制平台:“美丽修行定制方案功能”,利用图像识别和数据分析,市场规模达数亿美元。能根据用户肤质定制护肤方案,包括产品推荐和使用顺序。 6. AI 游戏道具推荐系统:在一些游戏中的“游戏内商城推荐功能”,通过数据分析和机器学习,市场规模达数亿美元。可根据玩家需求推荐游戏道具,如武器、装备等。 7. AI 天气预报分时服务:“彩云天气分时预报”,运用数据分析和机器学习,市场规模达数亿美元。提供精准的分时天气预报,帮助用户更好地安排出行和活动。 8. AI 医疗病历分析平台:“医渡云病历分析系统”,借助数据分析和自然语言处理,市场规模达数十亿美元。可分析医疗病历,为医生提供辅助诊断建议。 9. AI 会议发言总结工具:“讯飞听见会议总结功能”,使用自然语言处理和机器学习,市场规模达数亿美元。能够自动总结会议发言内容,方便回顾和整理。 10. AI 书法作品临摹辅助工具:“书法临摹软件”,利用图像识别和数据分析,市场规模达数亿美元。帮助书法爱好者进行临摹,提供临摹指导和评价。 11. 超级简历优化助手:“AI 简历优化工具”,运用自然语言处理,市场规模达数亿美元。帮助用户优化简历,提高求职成功率。 12. 酷家乐等设计软件:“AI 室内设计方案生成”,借助图像生成和机器学习,市场规模达数十亿美元。能快速生成个性化室内设计方案。 13. Amper Music:“AI 音乐创作辅助工具”,采用机器学习和音频处理,市场规模达数亿美元。协助音乐创作者进行创作,可根据用户需求生成旋律和编曲。 14. 松果倾诉智能助手:“AI 情感咨询助手”,通过自然语言处理和情感分析,市场规模达数亿美元。为用户提供情感支持和建议,通过文字或语音交流。 15. 小佩宠物智能设备:“AI 宠物健康监测设备”,利用传感器数据处理和机器学习,市场规模达数十亿美元。可实时监测宠物健康状况,提供健康预警。 16. 马蜂窝智能行程规划:“AI 旅游行程规划器”,借助数据分析和自然语言处理,市场规模达数十亿美元。能根据用户需求生成个性化旅游行程。
2025-01-20
目前主流的AI大模型有哪些
目前主流的 AI 大模型主要有以下几种: 1. OpenAI 系列:包括 GPT3.5 和 GPT4 等。GPT3.5 在 11 月启动了当前的 AI 热潮,GPT4 功能更强大。ChatGPT 也属于 OpenAI 系列。 2. 微软 Bing:使用 GPT4 和 GPT3.5 的混合,通常是 GPT4 家族中首个推出新功能的模型,能创建和查看图像,还能在网页浏览器中阅读文档,并连接到互联网。 3. 谷歌 Bard:由各种基础模型驱动,最近是 PaLM 2 模型。 4. Anthropic Claude 2:其特点是有非常大的上下文窗口,不太可能恶意行事。 此外,大模型的架构也有所不同,如 encoderonly 模型(代表模型是 BERT)、encoderdecoder 模型(代表是 google 的 T5)、decoderonly 模型(适用于自然语言生成任务,如故事写作和博客生成,众多 AI 助手包括 ChatGPT 都属于此类)。大模型的“大”体现在预训练数据量大(往往来自互联网,包括论文、代码、公开网页等,一般用 TB 级别的数据进行预训练)和参数多(如 OpenAI 在 2020 年发布的 GPT3 就已达到 170B 的参数)。
2025-01-07
主流TTS-语音合成技术
语音合成(Speech Synthesis)是将文本转换为可听的声音信息,赋予了像人一样说话的能力,是人机交互的重要接口。一般而言,语音合成的概念比文语转换(TexttoSpeech,TTS)涵盖范围更广,包括 TTS、歌唱合成等领域,但多数情况下可混用。提供了一些端到端语音合成模型的样例,可感受目前语音合成的发展。 人类通过一整套发音器官合成语音,肺相当于动力源,喉相当于调制器,声道相当于滤波器,口唇相当于扩音器。研究人员提出以源滤波器(sourcefilter)模型为代表的多种模型建模该过程,语音中有清音和浊音,分别由声带周期性振动对应的周期声源和声带不振动时紊乱气流对应的非周期声源产生。 当代工业界主流语音合成系统包含文本前端和声学后端两部分。文本前端将输入文本转换为层次化的语音学表征,主要有文本规范化、韵律分析和文本转音素等模块。声学后端基于文本前端给出的层次化语言学表征生成语音,主要技术路线包括单元挑选波形拼接、统计参数和端到端语音合成方法,当代主要采用端到端声学后端。端到端声学后端通常包括声学模型和声码器两部分,也出现了直接从音素映射为波形的完全端到端语音合成系统。声学模型负责将语言学特征转换为中间声学特征(如梅尔频谱),直接决定合成语音的韵律;声码器将中间声学特征转换为语音波形,直接决定合成语音的音质。
2025-01-07
主流TTS-语音合成技术
语音合成(Speech Synthesis)是将文本转换为可听的声音信息,赋予了像人一样说话的能力,是人机交互的重要接口。一般而言,语音合成的概念比文语转换(TexttoSpeech,TTS)涵盖范围更广,包括 TTS、歌唱合成等领域,但多数情况下可混用。提供了一些端到端语音合成模型的样例,可感受目前语音合成的发展。 人类通过一整套发音器官合成语音,肺相当于动力源,喉相当于调制器,声道相当于滤波器,口唇相当于扩音器。研究人员提出以源滤波器(sourcefilter)模型为代表的多种模型建模该过程,语音中有清音和浊音,分别由声带周期性振动对应的周期声源和声带不振动时紊乱气流对应的非周期声源产生。 当代工业界主流语音合成系统包含文本前端和声学后端两部分。文本前端把输入文本转换为层次化的语音学表征,主要有文本规范化、韵律分析和文本转音素等模块。声学后端基于文本前端给出的层次化语言学表征(linguistics feature)生成语音,主要技术路线包括单元挑选波形拼接、统计参数和端到端语音合成方法,当代主要采用端到端声学后端。端到端声学后端通常包括声学模型和声码器两部分,也出现了直接从音素映射为波形的完全端到端语音合成系统。声学模型负责将语言学特征转换为中间声学特征(如梅尔频谱),直接决定合成语音的韵律;声码器将中间声学特征转换为语音波形,直接决定合成语音的音质。
2025-01-07
国外比较主流的大模型有哪些
国外比较主流的大模型有: 1. GPT4Turbo:OpenAI 于 2023 年 11 月 7 日发布的 GPT4 的升级版本。 2. GPT4(网页版):OpenAI GPT4 官方网页版本,支持联网功能。 3. GPT4(API):OpenAI GPT4 官方 API 版本,不支持联网功能。 4. Claude2:Anthropic 官方发布的模型。 5. Geminipro:Google 官方发布的模型。 6. GPT3.5Turbo:OpenAI 的模型。 7. Llama_2_13B_Chat:Meta 发布的模型。
2025-01-03
ai换装,目前主流工具有哪些
目前主流的 AI 换装工具包括:InterAlia(https://interalia.vcflab.org/)。需要注意的是,虽然底层都是大模型,但 AI 工具各有侧重,不同公司也会进行各自的优化。关于每一种工具的详细入门、讲解和应用,WayToAIG 已经分好了类目。
2025-01-02
大模型训练方式
大模型的训练方式如下: 1. 通俗来讲,大模型是输入大量语料,让计算机获得类似人类的“思考”能力,能进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比其训练和使用过程: 找学校:训练大模型需要大量计算,GPU更合适,只有购买得起大量GPU的才有资本训练。 确定教材:大模型需要大量数据,几千亿序列(Token)的输入基本是标配。 找老师:即选择合适算法讲述“书本”内容,让大模型更好理解Token之间的关系。 就业指导:为让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 搬砖:就业指导完成后,进行如翻译、问答等工作,在大模型里称之为推导(infer)。Token被视为模型处理和生成的文本单位,能代表单个字符、单词等,在将输入进行分词时,会形成词汇表。 2. 100基础训练大模型的步骤: 步骤一·创建数据集:进入厚德云模型训练数据集(https://portal.houdeyun.cn/sd/dataset),在数据集一栏中点击右上角创建数据集,输入数据集名称。zip文件可以是包含图片+标签txt,也可以只有图片没有打标文件,也可以一张一张单独上传照片,但建议提前把图片和标签打包成zip上传。Zip文件里图片名称与标签文件应当匹配,例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传zip以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,可预览到数据集的图片以及对应的标签。 步骤二·Lora训练:点击Flux,基础模型会默认是FLUX 1.0D版本,选择数据集,点击右侧箭头,会跳出所有上传过的数据集。触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数,如果不知道如何设置,可以默认20重复次数和10轮训练轮数,可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力,然后等待训练,会显示预览时间和进度条,训练完成的会显示出每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三·Lora生图:点击预览模型中间的生图会自动跳转到相应页面。模型上的数字代表模型强度,可在0.61.0之间调节,也可以自己添加lora文件,点击后会显示训练过的所有lora的所有轮次。VAE不需要替换,正向提示词输入写的提示词,可以选择基于这个提示词一次性生成几张图,选择生成图片的尺寸,横板、竖版、正方形。采样器和调度器新手小白可以默认,迭代步数可以在2030之间调整,CFG可以在3.57.5之间调整,随机种子1代表随机生成图。所有设置都好了以后,点击开始生态,生成的图会显示在右侧。如果有哪次生成结果觉得很不错,想要微调或者高分辨率修复,可以点开那张图,往下滑,划到随机种子,复制下来,粘贴到随机种子这里,这样下次生成的图就会和这次的结果近似。如果确认了一张很合适的种子和参数,想要搞清放大,则点开高清修复,可以选择想放大的倍数,新手小白可以就默认这个算法,迭代步数建议在2030之间,重回幅度根据需求调整,正常在0.30.7之间调整。 3. 今日作业:按照比赛要求,收集六个主题中一个主题的素材并且训练出lora模型后提交lora模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd
2025-01-23
大模型下文档投喂后,大模型是如何解读文档提取出答案?
大模型在文档投喂后解读文档并提取答案的过程通常包括以下步骤: 1. 问题解析阶段:接收并预处理问题,通过嵌入模型(如 Word2Vec、GloVe、BERT)将问题文本转化为向量,以确保问题向量能有效用于后续检索。 2. 知识库检索阶段:知识库中的文档同样向量化后,比较问题向量与文档向量,选择最相关的信息片段,并抽取相关信息传递给下一步骤。 3. 信息整合阶段:接收检索到的信息,与上下文构建形成融合、全面的信息文本。整合信息准备进入生成阶段。 4. 大模型生成回答:整合后的信息被转化为向量并输入到 LLM(大语言模型),模型逐词构建回答,最终输出给用户。 在这个过程中还包括以下信息处理步骤: 1. 信息筛选与确认:系统会对检索器提供的信息进行评估,筛选出最相关和最可信的内容,同时对信息的来源、时效性和相关性进行验证。 2. 消除冗余:识别和去除多个文档或数据源中可能存在的重复信息,以防在生成回答时出现重复或相互矛盾的信息。 3. 关系映射:分析不同信息片段之间的逻辑和事实关系,如因果、对比、顺序等,构建一个结构化的知识框架,使信息在语义上更加连贯。 4. 上下文构建:将筛选和结构化的信息组织成一个连贯的上下文环境,包括对信息进行排序、归类和整合,形成一个统一的叙述或解答框架。 5. 语义融合:在必要时,合并意义相近但表达不同的信息片段,以减少语义上的重复并增强信息的表达力。 6. 预备生成阶段:整合好的上下文信息被编码成适合生成器处理的格式,如将文本转化为适合输入到生成模型的向量形式。 最终,全新的上下文被一起传递给大语言模型。由于这个上下文包括了检索到的信息,大语言模型相当于同时拿到了问题和参考答案,通过 LLM 的全文理解,最后生成一个准确和连贯的答案。 相关概念: LLM:Large language model 的缩写,即大语言模型。 Prompt:中文译作提示词,是输入给大模型的文本内容,可以理解为和大模型说的话、下达的指令。 Token:大模型语言体系中的最小单元,不同厂商的大模型对中文文本的切分方法不同,通常 1Token≈12 个汉字,大模型的收费计算方法及对输入输出长度的限制通常以 token 为单位计量。 上下文:英文通常翻译为 context,指对话聊天内容前、后的内容信息,上下文长度和上下文窗口都会影响大模型回答的质量。
2025-01-23
SD模型
Stable Diffusion(SD)模型是由 Stability AI 和 LAION 等公司共同开发的生成式模型,参数量约 1B,可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。 文生图任务是将文本输入到 SD 模型,经过一定迭代次数生成符合描述的图片。例如输入“天堂,巨大的,海滩”,模型生成美丽沙滩图片。 图生图任务在输入文本基础上再输入一张图片,模型根据文本提示重绘输入图片使其更符合描述,如在沙滩图片上添加“海盗船”。 输入的文本信息需通过“桥梁”CLIP Text Encoder 模型转换为机器数学信息。该模型作为 SD 模型中的前置模块,将输入文本编码生成 Text Embeddings 特征矩阵,用于控制图像生成。 目前 SD 模型使用的是中的 Text Encoder 模型,其只包含 Transformer 结构,由 12 个 CLIPEncoderLayer 模块组成,模型参数大小为 123M,输出 Text Embeddings 的维度为 77x768。 以下是相关资源获取方式: SD 模型权重:关注 Rocky 的公众号 WeThinkIn,后台回复“SD 模型”,可获得包含多种模型权重的资源链接。 SD 保姆级训练资源:关注 Rocky 的公众号 WeThinkIn,后台回复“SDTrain”,可获得包含数据处理、模型微调训练及基于 SD 的 LoRA 模型训练代码等全套资源。 Stable Diffusion 中 VAE、UNet 和 CLIP 三大模型的可视化网络结构图:关注 Rocky 的公众号 WeThinkIn,后台回复“SD 网络结构”,即可获得网络结构图资源链接。
2025-01-22
到今天,大语言模型还会产生“幻觉”吗
截至今天,大语言模型仍会产生“幻觉”。 大语言模型偶尔会根据输入输出一些荒谬或不符合事实的内容,目前各家大语言模型在该问题上的表现都不尽如人意。产生“幻觉”的原因包括: 1. 样本存在错误(Imitative Falsehoods):如果大语言模型学习的“教材”中有错误,它也容易给出错误回答。缓解该问题的一个办法是上采样(Up Sampling)。 2. 信息过时(Outdated Factual Knowledge):以前正确的信息现在可能过时了。 此外,大语言模型通过训练数据猜测下一个输出结果,可能因错误数据导致给出错误答案,优质数据集对其很重要。如果在其训练过程中,模型被暴露于大量知识之中,它并没有完美地记忆所见到的信息,并不十分清楚自己的知识边界,可能会尝试回答有关深奥话题的问题,并虚构听起来有道理但实际不正确的内容。 在构建应用程序时,可以使用一些技术来避免这种情况,例如要求模型先从文本中找到相关引文,然后使用引文回答问题,并将答案追溯回源文件,这通常有助于减少“幻觉”的发生。
2025-01-22
本地部署大模型
以下是关于本地部署大模型的详细步骤: 1. 部署大语言模型: 下载并安装 Ollama: 根据电脑系统,从 https://ollama.com/download 下载 Ollama。 下载完成后,双击打开,点击“Install”。 安装完成后,将 http://127.0.0.1:11434/ 复制进浏览器,若出现相关字样则表示安装完成。 下载 qwen2:0.5b 模型(若设备充足可下载更大模型): Windows 电脑:点击 win+R,输入 cmd 点击回车。 Mac 电脑:按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,选择“终端”应用程序。 复制相关命令行,粘贴进入并回车,等待自动下载完成。 2. ComfyUI ollama 本地大模型部署: 先下载 ollama 安装,安装完成后可在电脑桌面右下角或隐藏图标中找到。 下载对应的模型,选择模型并复制对应的命令。 打开命令行界面,输入对应的模型获取命令,等待下载完成。 模型下载后会保存到 D:\\ollama\\blobs 。 进行 docker 安装,安装会下载一些文件,安装后更改目录,不要放在 C 盘。 进行 Open webui 安装,输入相关命令,安装成功后回到 docker,点击会自动打开网页,第一次使用需注册账号,选择下载好的模型即可开始使用。 3. 错误解决: 端口占用问题,在 Windows 上可能出现,运行相关两条命令可解决。 4. 相关链接: comfyuiollama:https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama:https://ollama.com/ docker:https://www.docker.com/ Open webui:https://openwebui.com/ 此外,还有一篇思路来源于视频号博主黄益贺的相关内容,作者按照其视频进行了实操并附加了一些关于 RAG 的额外知识。文中提到读完本文可以学习到如何使用 Ollama 一键部署本地大模型、通过搭建本地聊天工具了解 ChatGPT 信息流转、RAG 的概念及核心技术、通过 AnythingLLM 软件搭建完全本地化的数据库等内容。虽然大多数人不需要自己部署大模型,但期望通过本文的指导能够折腾一遍,从而做到知其然且知其所以然。
2025-01-22
大模型评分
大模型评分通常会根据不同的赛事或评估体系有所差异。 在金融行业的大模型挑战赛中,评测任务形式为给定一组参考文档和问题,要求模型按指定格式生成答案。赛事主办方会根据选手提供的回答与参考答案对比,并根据关键字段命中情况进行评分。评分公式涉及关键词命中总次数、关键词总数、小题数和得分等参数。例如在示例问题中,根据每个小题的回答正确情况计算得分,完全正确得满分 1 分,部分正确则根据命中比例计算得分。 在其他的大模型评估方面: FlagEval(天秤)大模型评测体系及开放平台,旨在建立科学、公正、开放的评测基准、方法、工具集,创新构建了“能力任务指标”三维评测框架,细粒度刻画基础模型的认知能力边界,可视化呈现评测结果。地址:https://github.com/FlagOpen/FlagEval 。 CEval 构造了一个覆盖多个学科的中文知识和推理型测试集,并给出了当前主流中文 LLM 的评测结果。地址:https://github.com/SJTULIT/ceval 。 SuperCLUElyb 是中文通用大模型匿名对战评价基准,以众包方式提供匿名、随机的对战,并发布了初步结果和基于 Elo 评级系统的排行榜。地址:https://github.com/CLUEbenchmark/SuperCLUElyb 。 斯坦福发布的大模型排行榜 AlpacaEval 支持两种模式的模型评估方式:alpaca_eval 和 alpaca_eval evaluate_from_model 。评测过程分为选择评估集并计算输出、计算 golden 输出、通过指定的自动标注器计算胜率等步骤。相对于人工标注,全自动化的 AlpacaEval 具有较低的经济成本和时间成本。
2025-01-22