Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

大模型就是指大语言模型吗?有哪些常见的非语言类大模型和小模型,两者的区别和联系是什么?

Answer

大模型并非仅指大语言模型。大型模型主要分为两类:一是大型语言模型,专注于处理和生成文本信息;二是大型多模态模型,能够处理包括文本、图片、音频等多种类型的信息。

大型多模态模型与大型语言模型存在以下区别:

  1. 处理的信息类型不同:大型语言模型专注于文本信息,而大型多模态模型能处理多种信息类型。
  2. 应用场景不同:大型语言模型主要用于自然语言处理任务,如文本翻译、生成、情感分析等;大型多模态模型可应用于图像识别与描述、视频分析、语音识别与生成等更广泛的领域。
  3. 数据需求不同:大型语言模型主要依赖大量文本数据训练,大型多模态模型则需要多种类型数据。

当我们提到“小模型”时,是相对大型模型而言,规模较小。这些小模型通常是为完成特定任务而设计,比如最初用于图像分类,只能分辨是或不是某一个东西(如猫、狗)。

“小模型”在特定任务上表现出色,但“大模型”像多功能基础平台,能处理多种任务,应用范围广泛,拥有更多通识知识。

大模型并不拥有无限知识,其知识来源于训练过程中的有限数据,只能回答训练中见过或类似的问题,知识库不会自动更新,在某些特定或专业领域的知识可能不够全面。

大型语言模型的运作机制主要是通过大量数据训练学习语言结构和模式,然后根据输入生成相应文本,类似于词语接龙游戏,永远在猜测下一个字符将要生成什么。

Content generated by AI large model, please carefully verify (powered by aily)

References

十七问解读生成式人工智能

大型模型主要分为两类:一是大型语言模型,专注于处理和生成文本信息;二是大型多模态模型,这类模型能够处理包括文本、图片、音频等多种类型的信息。[heading1]问题八、大型多模态模型与大型语言模型有何不同?[content]1.二者处理的信息类型不同。大型语言模型专注于处理和生成文本信息,通过分析大量的文本数据来理解和生成自然语言。而大型多模态模型不仅能处理文本信息,还能理解和生成图片、音频等多种类型的信息,这使得它们能够在更多样化的任务中应用。2.应用场景也有所不同。大型语言模型主要用于自然语言处理任务,如文本翻译、文本生成、情感分析等。而大型多模态模型由于能够处理多种信息类型,可以应用于更广泛的领域,例如图像识别与描述、视频分析、语音识别与生成等。3.在数据需求方面也有所不同。大型语言模型主要依赖于大量的文本数据进行训练,而大型多模态模型则需要多种类型的数据进行训练,包括文本、图片、音频等,以便在不同模态间建立关联。[heading1]问题九、有了大模型,是不是还有小模型?[content]当我们谈论所谓的“小模型”时,实际上是在相对地比较。与那些拥有海量参数和训练数据的大型模型相比,这些模型的规模显得更小一些。因此,在日常交流中,我们习惯将它们称作“小模型”。但如果要更精确地描述,这些模型其实是被设计来完成特定任务的,比如最初用于图像分类的模型,只能分辨是或不是某一个东西(比如猫🐱、狗🐶)。

从 0 到 1 了解大模型安全,看这篇就够了

encoder-only:这些模型通常适用于可以自然语言理解任务,例如分类和情感分析.最知名的代表模型是BERTencoder-decoder:此类模型同时结合了Transformer架构的encoder和decoder来理解和生成内容。该架构的一些用例包括翻译和摘要。encoder-decoder的代表是google的T5decoder-only:此类模型更擅长自然语言生成任务。典型使用包括故事写作和博客生成。这也是我们现在所熟知的众多AI助手的结构我们目前耳熟能详的AI助手基本都来自左侧的灰色分支,当然也包括ChatGPT。这些架构都是根据谷歌2017年发布的论文“attention is all you need”中提出的transformer衍生而来的,在transformer中,包括Encoder,Decoder两个结构目前的大型语言模型就是右侧只使用Decoder的Decoder-only架构的模型大模型又大在哪呢?第一,大模型的预训练数据非常大,这些数据往往来自于互联网上,包括论文,代码,以及可进行爬取的公开网页等等,一般来说,现在最先进的大模型一般都是用TB级别的数据进行预训练。第二,参数非常多,Open在2020年发布的GPT-3就已经达到170B的参数在GPT3中,模型可以根据用户输入的任务描述,或给出详细的例子,完成任务但这与我们熟知的ChatGPT仍然有着很大的差距,使用ChatGPT只需要像和人类一样对话,就可以完成任务。除了形式上的不同之外,还有一个更加重要的差距,那就是安全性上的差别。

十七问解读生成式人工智能

“小模型”确实有其优势,尤其是在特定任务上表现得非常出色。比如,如果你训练了一个专门识别猫🐱或狗🐶的模型,它在这个任务上可能非常精准。然而,这个模型就无法用于其他任务(因为用来训练模型的数据主要是由猫猫狗狗的照片组成的)。而“大模型”则不同,它像一个多功能的基础平台(有时也被称为“基座模型”)。大模型可以处理多种不同的任务,应用范围非常广泛,并且拥有更多的通识知识。这就是为什么尽管“小模型”在某些特定领域内表现优异,我们仍然需要“大模型”的原因:它们能够在更广泛的场景中提供支持和解决问题。[heading1]问题十一、大模型拥有无限知识吗?[content]大模型并不拥有无限知识。大模型的知识来源于它们在训练过程中接触到的数据,而这些数据是有限的。虽然大模型可以处理和生成大量的信息,但它们的知识来自于它们所训练的数据集,这些数据集虽然庞大,但仍然是有限的。因此,大模型只能回答它们在训练过程中见过或类似的问题。大模型在训练之后,其知识库不会自动更新。也就是说,它们无法实时获取最新的信息,除非重新训练或通过其他方式更新模型。大模型在某些特定或专业领域的知识可能不够全面,因为这些领域的数据在训练集中可能较少。[heading1]问题十二、大型语言模型的运作机制是什么?[content]大型语言模型的运作机制主要是通过大量的数据训练来学习语言的结构和模式,然后根据输入生成相应的文本。这些模型通过阅读大量的文本数据,学习到语言中的词汇、语法、句子结构以及上下文关系。当你给它一个输入时,它会根据这些学习到的知识生成一个连贯的回答。所以它永远在猜测下一个字符将要生成什么,类似于词语接龙游戏。

Others are asking
用哪个大模型,在PDF和图片识别上精度高
在 PDF 和图片识别方面,对于图片,ChatGPT 依靠视觉模型解析,复杂图片建议使用最新模型(如 GPT4.5)。对于 PDF,ChatGPT 仅能识别文本,无法读取图表、图片,复杂布局可能导致误读。一些初步实验表明,一些开源的 PDF 解析方法可能无法达到高质量要求,而当辅以可以有效提取文档中的结构化信息并将其整合为提示词(Prompt)的 PDF 解析器时,大语言模型能够作出更准确的响应。
2025-03-18
手绘风格图片生成模型
以下是关于手绘风格图片生成模型的相关内容: 艺术字生成: 模型选择:图片 2.1,输入提示词(可参考案例提示词)。 案例参考提示词: 金色立体书法,“立冬”,字体上覆盖着积雪,雪山背景,冬季场景,冰雪覆盖,枯树点缀,柔和光影,梦幻意境,温暖与寒冷对比,静谧氛围,传统文化,唯美中国风。 巨大的春联,金色的书法字体,线条流畅,艺术美感,“万事如意”。 巨大的字体,书法字体,线条流畅,艺术美感,“书法”二字突出,沉稳,大气,背景是水墨画。 巨大的奶白色字体“柔软”,字体使用毛绒材质,立在厚厚的毛绒面料上,背景是蓝天。 原文链接:https://mp.weixin.qq.com/s/jTMFYKxsN8dYNZu3VHKBnA 【06】在线生图定制主题海报: 操作步骤: 选择模型:推荐使用的模型,如(例图 1)风格模型>中国风>水墨工笔;(例图 2)风格模型>儿童>童话绘本;(例图 3)风格模型>MJ>剪纸艺术;(例图 4)风格模型>儿童>皮克斯(模型选择过程如图所示)。 输入画面描述:更好地描述画面的方法包括使用本课件提供的自选关键词、按主体+氛围+视角+画质的顺序输入关键词、使用括号()强调关键词。 选择画面大小:无界 AI 已将尺寸与用途标注在选项中,制作主题海报可选择 9:16 的宣传海报比例,选择 17283072 的分辨率可以更快生成图片。 其他设置:增加作图数量可以在同样参数的控制下一次性生成多幅图片,方便挑选。 优化海报:使用可画(https://www.canva.cn/?displaycomoption=true)在线编辑海报。 0 基础手搓 AI 拍立得: 背景:每次使用大模型工具时流程繁琐冗长,出于简化操作、提升效率的需求,萌生了“AI 拍立得”的概念,即拍即得,简化流程,让操作更直观、更高效。之前的直播分享内容中也有提到关于 AI 拍立得的能力,往期回顾: 在线体验:快速体验 AI 拍立得,微信小程序搜索:Pailido,丰富场景自由切换,可快速生成闲鱼文案、生成外卖/大众点评。 交互逻辑:用户选择拍摄场景类型并立即拍照,AI 自动识别和分析照片中的内容信息,依据预设场景规则迅速生成符合情境的反馈,避免繁琐操作。 实现场景: 图片转成文本:逻辑为用户上传图片后,大模型根据选择的场景生成与内容相关的文字描述或解说文本,核心是图片理解和文本整理润色,场景包括生成美食点评、朋友圈发布文案、闲鱼上架示例模版等。 图片转绘图片:逻辑为用户上传图片后,大模型按照指定的风格快速生成图像的转绘版本,适应不同风格和场景需求,核心是图片风格化滤镜,场景包括图片粘土风、图片积木风、图片像素风等。
2025-03-18
2025.3.18 新的大模型新闻
以下是 2025 年 3 月 18 日的一些新的大模型新闻: DeepSeek 深夜发布大一统模型 JanusPro,将图像理解和生成统一在一个模型中。其官网发声渠道包括微信公众号:DeepSeek;小红书:@DeepSeek(deepseek_ai);X:DeepSeek(@deepseek_ai);知乎账号(2025 年 3 月 1 日注册)。模型(7B)和(1B)的相关信息可参考特定链接。 2025 年 3 月 10 日的新闻:《大模型的未来,是 Agent 还是 App?》中提到 OpenAI 的 Deep Research 被视为一种新型的研究语言模型,具备自主执行搜索任务的能力。 2025 年 3 月 3 日的新闻:2025 年将是智谱的开源年,即将发布全新大模型并开源。2024 年 12 月,智谱已完成 D+轮 30 亿元人民币融资。
2025-03-18
写学术论文用哪一个 AI大模型比较好
在写学术论文时,以下 AI 大模型可供选择: 1. 智谱 AI 大模型开放平台:其 GLM 系列模型凭借强大的语义理解能力,能够快速总结论文内容、进行精准翻译。模型通用性强,能适应不同学科和复杂文本,提炼核心观点,为研究工作提速。在使用前,需将文献转换为可供模型解析的文本格式,可借助平台工具高效完成文件内容的提取。 2. 对于论文排版,有以下工具: Grammarly:不仅是语法和拼写检查工具,还提供排版功能,可改进文档风格和流畅性。 QuillBot:AI 驱动的写作和排版工具,能改进文本清晰度和流畅性。 Latex:广泛用于学术论文排版,使用标记语言描述文档格式,有许多 AI 辅助的编辑器和插件简化排版过程。 PandaDoc:文档自动化平台,使用 AI 帮助创建、格式化和自动化文档生成,适合商业和技术文档。 Wordtune:AI 写作助手,可重新表述和改进文本。 Overleaf:在线 Latex 编辑器,提供丰富模板和协作工具,适合学术写作和排版。 选择合适的工具取决于具体需求,如文档类型、出版标准和个人偏好。对于学术论文,Latex 和 Overleaf 通常是受欢迎的选择;对于一般文章和商业文档,Grammarly 和 PandaDoc 等可能更适用。
2025-03-18
哪些模型的视频理解能力比较好?
以下是一些视频理解能力较好的模型: 1. 通义千问的 Qwen2.5VL 模型:具有以下优势: 视觉理解能力:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。 视频理解能力:支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。 万物识别:擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位:采用矩形框和点的多样化方式对通用物体定位,支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解:提升 OCR 识别能力,增强多场景、多语言和多方向的文本识别和文本定位能力。 增强的视频理解:引入动态帧率(FPS)训练和绝对时间编码技术,支持小时级别的超长视频理解,具备秒级的事件定位能力。 开源平台: Huggingface:https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope:https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat:https://chat.qwenlm.ai 2. Sora 模型:周鸿祎认为其技术思路完全不同,能像人一样理解现实世界,将大语言模型和 Diffusion 结合起来训练,实现了对现实世界的理解和模拟两层能力,对物理世界的模拟将对机器人具身智能和自动驾驶带来巨大影响。 3. 腾讯的混元模型:在语义理解方面表现出色,能够精准还原复杂的场景和动作,例如一只银渐层在游乐园里奔跑跳到小女孩怀里、一位紫衣女修在竹林中抚琴、星系边缘宇宙战舰引爆反物质引擎等场景。
2025-03-18
大语言模型的技术原理
大语言模型的技术原理包括以下几个方面: 1. 相关概念与关系: AI 即人工智能。 机器学习是电脑找规律学习,包括监督学习(有标签的训练数据,算法目标是学习输入和输出之间的映射关系,包括分类和回归)、无监督学习(学习的数据没有标签,算法自主发现规律,经典任务如聚类)、强化学习(从反馈里学习,最大化奖励或最小化损失,类似训小狗)。 深度学习是一种参照人脑有神经网络和神经元的方法(因有很多层所以叫深度),神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 即大语言模型,对于生成式 AI,生成图像的扩散模型不是大语言模型;对于大语言模型,生成只是其中一个处理任务,如谷歌的 BERT 模型可用于语义理解(不擅长文本生成),如上下文理解、情感分析、文本分类。 2. 技术里程碑:2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出了 Transformer 模型,它完全基于自注意力机制(SelfAttention)来处理序列数据,而不需要依赖于循环神经网络(RNN)或卷积神经网络(CNN)。 3. 工作原理: 包括训练数据、算力、模型参数,在训练数据一致情况下,模型参数越大能力越强。 Transformer 是大语言模型训练架构,具备自我注意力机制能理解上下文和文本关联,其工作原理是单词预测,通过嵌入、位置编码、自注意力机制生成内容,模型调教中有控制输出的 temperature。 Transformer 模型通过不断检索和匹配来寻找依赖关系,处理词和词之间的位置组合,预测下一个词的概率,是一个偏向概率预测的统计模型。 4. 可能存在的问题:大模型可能因错误数据导致给出错误答案,即大模型幻觉,优质数据集对其很重要。 5. 相关应用: 国内大模型有通用模型如文心一言、讯飞星火等,处理自然语言;还有垂直模型,专注特定领域如小语种交流、临床医学、AI 蛋白质结构预测等。 Prompt 分为 system prompt、user prompt 和 assistant prompt,写好 prompt 的法则包括清晰说明、指定角色、使用分隔符、提供样本等,核心是与模型好好沟通。 Fine tuning 微调是基于通用大模型,针对特定领域任务提供数据进行学习和调整,以适应特定领域的需求。
2025-03-18
我自己想做一个英语背单词的游戏,让AI写出Markdown代码运行后,发现问题很大,但是我有不知如何修改这些代码。所以我觉得自己应该懂Markdown 代码语言。但是我不知道Markdown是最适合的编程语言吗?
Markdown 语言不太适合用于编写复杂的英语背单词游戏。虽然 Markdown 简单易用,常用于文档格式化,但在实现游戏逻辑和功能方面存在较大局限性。 如果您想开发英语背单词游戏,更适合使用编程语言,如 Python 等。在处理代码问题时,您可以参考以下方法: 1. 对于编程小白,向 AI 提供代码范例,尤其是新进入代码节点的 IDE 中的范例,减少对 AI 所写代码的改动。 2. 向 AI 说清楚输入变量与输出变量的类型。 3. 说明与工作流中匹配或想要的变量名称,以减少二次修改。 4. 列出输入变量的具体书写形式,对于复杂形式可使用特定方法获取。 5. 说清楚代码要实现的功能,复杂功能尽量将运行逻辑描述清楚,多用变量名称指代涉及的变量。 如果代码运行效果不尽人意,可把当前的代码、输入变量、预期结果提供给 AI,并告知错误的结果或者报错信息,让 AI 帮忙寻找问题并提供修改方案。提问时可参考以下方式: 以上是我目前的 python 代码,我的输入变量。 但是代码运行后的实际结果却是。 另外,在游戏开发与修改过程中,还需注意文件的存放要求、功能优化、平台上传等方面的问题。例如,三个重要文件需在一个文件夹,本地内置图像、音乐等也需在同一文件夹。游戏功能可增加关卡、调整金币获取和技能点花费、解决 Bug 等。研究将游戏发布到 4399 开放平台时,需注册、实名制,审核较严格。获取游戏素材可从官网免费下载或淘宝购买抠好的素材。
2025-03-18
什么样的数据集适合测试大语言模型?
以下是一些适合测试大语言模型的数据集: Guanaco:地址为,是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集。 chatgptcorpus:地址为,开源了由 ChatGPT3.5 生成的 300 万自问自答数据,包括多个领域,可用于训练大模型。 SmileConv:地址为,数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话,含有 56k 个多轮对话,其对话主题、词汇和篇章语义更加丰富多样,更符合长程多轮对话的应用场景。 用于评估大语言模型的框架和基准有: GAOKAOBench:地址为,是以中国高考题目为数据集,测评大模型语言理解能力、逻辑推理能力的测评框架,收集了 2010 2022 年全国高考卷的题目,包括 1781 道客观题和 1030 道主观题。 AGIEval:地址为,是由微软发布的新型基准测试,选取 20 种面向普通人类考生的官方、公开、高标准往常和资格考试,包括普通大学入学考试(中国高考和美国 SAT 考试)、法学入学考试、数学竞赛、律师资格考试、国家公务员考试等。 Xiezhi:地址为,是由复旦大学发布的一个综合的、多学科的、能够自动更新的领域知识评估 Benchmark,包含 13 个学科门类,24 万道学科题目,516 个具体学科,249587 道题目。 此外,在多语言能力评测方面,还使用了以下数据集: MMMLU:来自 Okapi 的多语言常识理解数据集,在阿、德、西、法、意、荷、俄、乌、越、中这几个子集进行测试。 MGSM:包含德、英、西、法、日、俄、泰、中和孟在内的数学评测。针对人工评测,使用内部评估集比较了 Qwen272BInstruct 与 GPT3.5、GPT4 和 Claude3Opus,该评测集包括 10 种语言:ar(阿拉伯语)、es(西班牙语)、fr(法语)、ko(韩语)、th(泰语)、vi(越南语)、pt(葡萄牙语)、id(印度尼西亚语)、ja(日语)和 ru(俄语)。
2025-03-17
什么样的数据集适合训练大语言模型?
以下是一些适合训练大语言模型的数据集: 1. Guanaco:这是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集,地址为:。 2. chatgptcorpus:开源了由 ChatGPT3.5 生成的 300 万自问自答数据,包括多个领域,可用于训练大模型,地址为:。 3. SmileConv:数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话,含有 56k 个多轮对话,其对话主题、词汇和篇章语义更加丰富多样,更加符合在长程多轮对话的应用场景,地址为:。 虽然许多早期的大型语言模型主要使用英语语言数据进行训练,但该领域正在迅速发展。越来越多的新模型在多语言数据集上进行训练,并且越来越关注开发专门针对世界语言的模型。然而,在确保不同语言的公平代表性和性能方面仍然存在挑战,特别是那些可用数据和计算资源较少的语言。 大模型的预训练数据通常非常大,往往来自于互联网上,包括论文、代码以及可进行爬取的公开网页等等,一般来说,现在最先进的大模型一般都是用 TB 级别的数据进行预训练。
2025-03-17
可以给出国内出名的大语言模型的信息吗,包括其模型名称,版本,发布时间,发布公司,模型参数,性能特点等信息,尽可能覆盖更多的大模型,使用表格输出,并按照发布时间排序
|模型名称|版本|发布时间|发布公司|模型参数|性能特点|适合应用| |||||||| |Baichuan213BChat|Baichuan2192K|10月31日|百川智能|未提及|在逻辑推理、知识百科、生成与创作、上下文对话等基础能力上排名200亿参数量级国内模型第一,在计算和代码能力上有一定优化空间|场景相对广泛且可以私有化部署,重点推荐在小说/广告/公文写作等内容创作场景、智能客服/语音助手以及任务拆解规划等场景,可部署在教育、医疗、金融等垂直行业中应用,同时可部署在低算力终端处理基础智能任务| |文心一言|V4.0|10月17日|百度|未提及|在计算、逻辑推理、生成与创作、传统安全这4大基础能力上排名国内第一,在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三,各项能力表现均衡且绝大部分能力有很高的水平|能力栈较为广泛,可应用的场景较多,重点推荐在查询搜索知识应用、任务拆解规划Agent、文案写作以及代码编写及纠错等方面的应用,由于在逻辑推理方面的不俗表现,可以重点关注在科学研究、教育、工业方面的落地能力| |通义千问 2.0|2.0|10月31日|阿里云|千亿级参数|未提及|未提及|
2025-03-15
我需要把文字转语言,并且生成一些图片,做成视频,用到那些AIr
目前有多种 AI 工具可以帮助您实现将文字转换为语言并生成图片制作视频的需求。例如,一些语音合成工具如百度语音、科大讯飞等可以将文字转换为语言;在图片生成方面,像 DALL·E2、StableDiffusion 等工具表现出色;而制作视频时,您可以考虑使用剪映等软件结合上述生成的语音和图片来完成。
2025-03-10
图生图 / img2img:上传一张图片,然后系统会在这个图片的基础上生成一张新图片,修改一些提示词(Prompt)来改变新图片的效果 , 给我推荐这类大模型
以下为您推荐可用于图生图(img2img)的大模型: 1. Stable Diffusion(SD)模型:由 Stability AI 和 LAION 等公司共同开发,参数量约 1B,可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。在图生图任务中,SD 模型会根据输入的文本提示,对输入图片进行重绘以更符合文本描述。输入的文本信息通过 CLIP Text Encoder 模型编码成机器能理解的数学信息,用于控制图像生成。 2. Adobe Firefly image 2 模型:上周发布了 Beta 测试版本,增加了众多功能,模型质量提升。默认图片分辨率为 20482048,对图片的控制能力增强,具有更高质量的图像和插图生成、自定义选项和改进的动态范围。支持生成匹配(img2img),应用预先选择的图像集中的风格或上传自己的风格参考图像以创建相似图像,还有照片设置、提示建议、提示链接共享、反向提示词等功能。
2025-02-12
语言类大模型如何微调
语言类大模型的微调主要包括以下内容: 传统微调:在通用数据集上预训练的模型,通过复制该模型,以学习到的权重为起点,在新的特定领域数据集上重新训练模型。但由于语言类大模型规模较大,更新每个权重可能需要很长时间的训练工作,且计算成本高,为模型提供服务也有麻烦和成本,所以可能不是最佳选择。 参数有效调优:这是一种创新的调优方法,旨在通过仅训练一部分参数来减少微调的挑战。这些参数可能是现有模型参数的子集,也可以是一组全新的参数,例如向模型添加额外的层或额外的嵌入到提示。 实际操作:在Generative AI Studio的语言部分选择调整,创建调整模型时提供名称,并指向训练数据的本地或Cloud Storage位置。参数有效调整适用于拥有“适度”数量训练数据的场景,训练数据应以文本到文本格式构建为受监督的训练数据集。 此外,大模型通俗来讲是输入大量语料,让计算机获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。其训练过程类似上学参加工作,包括找学校(需要大量计算资源)、确定教材(需要大量数据)、找老师(选择算法)、就业指导(微调)、搬砖(推导)。在LLM中,Token被视为模型处理和生成的文本单位。 在Andrej Karpathy亲授的内容中,微调是根据问答文档进行训练,获得助理模型,该模型能以助手形式回答未包含在训练集中的问题,且能利用预训练阶段积累的知识。预训练阶段在互联网上大规模训练积累知识,微调阶段则是将格式转换为类似有用助手的问答形式。预训练成本高昂,通常只在公司内部进行。
2024-12-05
学术类大模型
以下是关于学术类大模型的相关信息: 大模型商业化落地的现状: 在医疗行业,大模型的应用主要涵盖疾病的诊断与预测、药物研发以及个性化医疗三个方向。例如,2020 年麻省理工学院利用 AI 发现了新型广谱抗生素 Halicin,研究者先构建由两千个性能已知分子组成的训练集来训练 AI,让其学习分子特点并总结规律,再对美国 FDA 已通过的六万多个分子进行分析,最终识别出符合要求的分子。目前很多医疗研究机构都在进行医疗大模型的开发研究,大模型在医疗领域潜力巨大。 什么是大模型: 通俗来讲,大模型是输入大量语料,让计算机获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练、使用过程: 1. 找学校:训练大模型需要大量计算,GPU 更合适,只有购买得起大量 GPU 的才有资本训练。 2. 确定教材:大模型需要大量数据,几千亿序列(Token)的输入基本是标配。 3. 找老师:用合适算法讲述“书本”内容,让大模型更好理解 Token 之间的关系。 4. 就业指导:为让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:就业指导完成后,进行如翻译、问答等工作,在大模型里称为推导(infer)。 此外,清华大学计算机科学系的学生小 A(aaronxic)投稿了 Transformer 101 系列,从自身经验出发总结梳理新手友好的 transformer 入坑指南。其知乎个人主页:https://www.zhihu.com/people/aaronxic 。欢迎更多共建者一起投稿、充实知识库。
2024-08-09