Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

大模型家族、类别、应用场景

Answer

大模型主要分为以下两类：

  1. 大型语言模型：专注于处理和生成文本信息，主要应用于自然语言处理任务，如文本翻译、文本生成、情感分析等。
  2. 大型多模态模型：能够处理包括文本、图片、音频等多种类型的信息，可以应用于更广泛的领域，例如图像识别与描述、视频分析、语音识别与生成等。

大型多模态模型与大型语言模型的不同点包括：

  1. 处理的信息类型不同：大型语言模型专注于文本信息，大型多模态模型能处理多种类型信息。
  2. 应用场景不同：大型语言模型主要用于自然语言处理任务，大型多模态模型应用领域更广泛。
  3. 数据需求不同：大型语言模型主要依赖大量文本数据训练，大型多模态模型需要多种类型数据训练。

对于聊天大模型的深度用户，把同一个问题让不同的大模型解答是高频操作，主要适用于以下场景：

  1. 对回答的精准性、全面性要求较高的问题，因为不同大模型在解决不同问题时各有优劣。
  2. 需要多方交叉验证，规避模型幻觉的客观事实类问题。

常用的模型网站有：

  1. Civitai|Stable Diffusion models,embeddings,hypernetworks and more
  2. Models-Hugging Face
  3. SD-WebUI资源站
  4. 元素法典AI模型收集站-AI绘图指南wiki(aiguidebook.top)
  5. AI绘画模型博物馆(subrecovery.top)

下载模型后需要将之放置在指定的目录下，不同类型的模型放置目录不同：

  1. 大模型（Ckpt）：放入 models\Stable-diffusion
  2. VAE 模型：一些大模型需要配合 vae 使用，对应的 vae 同样放置在 models\Stable-diffusion 或 models\VAE 目录，然后在 webui 的设置栏目选择。
  3. Lora/LoHA/LoCon 模型：放入 extensions\sd-webui-additional-networks\models\lora，也可以在 models/Lora 目录
  4. Embedding 模型：放入 embeddings 目录

模型的类型可以通过Stable Diffusion 法术解析检测。

Content generated by AI large model, please carefully verify (powered by aily)

References

十七问解读生成式人工智能

大型模型主要分为两类：一是大型语言模型，专注于处理和生成文本信息；二是大型多模态模型，这类模型能够处理包括文本、图片、音频等多种类型的信息。[heading1]问题八、大型多模态模型与大型语言模型有何不同？[content]1.二者处理的信息类型不同。大型语言模型专注于处理和生成文本信息，通过分析大量的文本数据来理解和生成自然语言。而大型多模态模型不仅能处理文本信息，还能理解和生成图片、音频等多种类型的信息，这使得它们能够在更多样化的任务中应用。2.应用场景也有所不同。大型语言模型主要用于自然语言处理任务，如文本翻译、文本生成、情感分析等。而大型多模态模型由于能够处理多种信息类型，可以应用于更广泛的领域，例如图像识别与描述、视频分析、语音识别与生成等。3.在数据需求方面也有所不同。大型语言模型主要依赖于大量的文本数据进行训练，而大型多模态模型则需要多种类型的数据进行训练，包括文本、图片、音频等，以便在不同模态间建立关联。[heading1]问题九、有了大模型，是不是还有小模型？[content]当我们谈论所谓的“小模型”时，实际上是在相对地比较。与那些拥有海量参数和训练数据的大型模型相比，这些模型的规模显得更小一些。因此，在日常交流中，我们习惯将它们称作“小模型”。但如果要更精确地描述，这些模型其实是被设计来完成特定任务的，比如最初用于图像分类的模型，只能分辨是或不是某一个东西（比如猫🐱、狗🐶）。

军师联盟BOT｜同时询问多个大模型并返回汇总梳理后的结果

原文链接：https://developer.volcengine.com/articles/7386930202595000357#heading19作者:时髦Simon[heading1]一，应用简介[content][heading3]主要功能[content]由5个不同大模型组成的【军师联盟】为您倾情答疑解惑！我们不仅帮您提炼他们“英雄所见略同”的【共识意见】还会为您罗列他们“八仙过海各显神通”的【差异看法】[heading3]效果示例[heading1]二，适用场景[content]对于聊天大模型的深度用户来说，把同一个问题让不同的大模型去解答是一个高频的操作。主要场景有：1.对回答的精准性、全面性要求较高的问题。因为不同的大模型在解决不同的问题时都各有优劣，兼听则明，偏听则暗。2.需要多方交叉验证，规避模型幻觉的客观事实类问题。

SD新手：入门图文教程

模型能够有效地控制生成的画风和内容。常用的模型网站有：[Civitai|Stable Diffusion models,embeddings,hypernetworks and more](https://link.zhihu.com/?target=https%3A//civitai.com/)>[Models-Hugging Face](https://link.zhihu.com/?target=https%3A//huggingface.co/models)>[SD-WebUI资源站](https://link.zhihu.com/?target=https%3A//www.123114514.xyz/models/ckpt)>[元素法典AI模型收集站-AI绘图指南wiki(aiguidebook.top)](https://link.zhihu.com/?target=https%3A//aiguidebook.top/index.php/model/)>[AI绘画模型博物馆(subrecovery.top)](https://link.zhihu.com/?target=https%3A//aimodel.subrecovery.top/)[heading3]模型安装[content]下载模型后需要将之放置在指定的目录下，请注意，不同类型的模型应该拖放到不同的目录下。模型的类型可以通过[Stable Diffusion法术解析](https://link.zhihu.com/?target=https%3A//spell.novelai.dev/)检测。大模型（Ckpt）：放入models\Stable-diffusionVAE模型：一些大模型需要配合vae使用，对应的vae同样放置在models\Stable-diffusion或models\VAE目录，然后在webui的设置栏目选择。Lora/LoHA/LoCon模型：放入extensions\sd-webui-additional-networks\models\lora，也可以在models/Lora目录Embedding模型：放入embeddings目录

Others are asking
大模型家族、类别、应用场景
大模型主要分为以下两类： 1. 大型语言模型：专注于处理和生成文本信息，主要应用于自然语言处理任务，如文本翻译、文本生成、情感分析等。其训练主要依赖大量的文本数据。 2. 大型多模态模型：能够处理包括文本、图片、音频等多种类型的信息，可以应用于更广泛的领域，例如图像识别与描述、视频分析、语音识别与生成等。其训练需要多种类型的数据，包括文本、图片、音频等。 此外，还有相对规模较小的模型，这些模型通常是为完成特定任务而设计的。 大模型的应用场景包括： 1. 对于回答的精准性、全面性要求较高的问题，不同的大模型各有优劣，可兼听获取更好的答案。 2. 需要多方交叉验证，规避模型幻觉的客观事实类问题。 常用的模型网站有： 1. 2. 3. 4. 5. 下载模型后，不同类型的模型放置位置不同： 1. 大模型（Ckpt）：放入 models\\Stablediffusion 2. VAE 模型：一些大模型需要配合 vae 使用，对应的 vae 同样放置在 models\\Stablediffusion 或 models\\VAE 目录，然后在 webui 的设置栏目选择。 3. Lora/LoHA/LoCon 模型：放入 extensions\\sdwebuiadditionalnetworks\\models\\lora，也可以在 models/Lora 目录 4. Embedding 模型：放入 embeddings 目录
2025-01-06
大模型家族、类别、应用场景
大模型主要分为以下两类： 1. 大型语言模型：专注于处理和生成文本信息，主要应用于自然语言处理任务，如文本翻译、文本生成、情感分析等。 2. 大型多模态模型：能够处理包括文本、图片、音频等多种类型的信息，可以应用于更广泛的领域，例如图像识别与描述、视频分析、语音识别与生成等。 大型多模态模型与大型语言模型的不同点包括： 1. 处理的信息类型不同：大型语言模型专注于文本，大型多模态模型能处理多种类型信息。 2. 应用场景不同：大型语言模型主要用于自然语言处理任务，大型多模态模型应用领域更广泛。 3. 数据需求不同：大型语言模型主要依赖大量文本数据训练，大型多模态模型需要多种类型数据训练。 对于聊天大模型的深度用户，常见的应用场景有： 1. 对回答的精准性、全面性要求较高的问题，因为不同大模型各有优劣。 2. 需要多方交叉验证，规避模型幻觉的客观事实类问题。 常用的模型网站有： 1. 2. 3. 4. 5. 下载模型后，不同类型的模型放置位置如下： 1. 大模型（Ckpt）：放入 models\\Stablediffusion 2. VAE 模型：一些大模型需要配合 vae 使用，对应的 vae 同样放置在 models\\Stablediffusion 或 models\\VAE 目录，然后在 webui 的设置栏目选择。 3. Lora/LoHA/LoCon 模型：放入 extensions\\sdwebuiadditionalnetworks\\models\\lora，也可以在 models/Lora 目录 4. Embedding 模型：放入 embeddings 目录
2025-01-06
帮我生成一个 AI 写作领域的产业图谱，只关注应用层，按照产品的类别来分类和举例
以下是 AI 写作领域应用层的产业图谱分类及举例： |序号|产品|主题|使用技术|市场规模|一句话介绍| ||||||| |1|Grammarly、秘塔写作猫|AI 智能写作助手|自然语言处理|数十亿美元|利用 AI 技术辅助用户进行高质量写作。| |2|阿里小蜜等电商客服|AI 智能客服外包服务|自然语言处理、机器学习|数十亿美元|为企业提供智能客服解决方案。|
2024-10-28
多模态的应用场景
多模态的应用场景广泛，主要包括以下方面： 1. 娱乐领域：如与 AI 导师进行视频聊天、与 AI 合作迭代和编写电视剧剧本等，为消费者提供更加引人入胜、连贯和全面的体验。 2. 内容生成：改变娱乐、学习与发展以及跨各种消费者和企业用例的内容生成。 3. 工具使用：使大语言模型能够使用设计给人类使用但没有自定义集成的工具，例如传统的企业资源计划（ERP）系统、桌面应用程序、医疗设备或制造机械。 4. 视频处理：包括视频搜索，通过描述性语言在数小时的视频内容中快速找到用户想要的瞬间；视频文本生成，从视频生成文本摘要、关键点、标签和标题等；定制化模型，允许用户微调自己的模型以满足特定领域需求。 5. 落地场景：如广告插入与内容审核，区分视频内容的性质；流媒体内容分析，自动生成媒体分析报告；运动赛事视频分析，帮助精彩瞬间捕捉、技术动作分析、比赛策略分析等。 6. 扩展到物理现实：通过机器人、自动驾驶车辆和其他需要与物理世界实时交互的应用程序，将大语言模型扩展到我们自己的物理现实中。
2025-01-06
RAG的经典应用场景
RAG（检索增强生成）的经典应用场景主要包括以下方面： 1. 构建智能问答客服：用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 2. 知识问答系统：用户提问后，RAG 从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到提示词中，提交给大模型，大模型的回答会充分考虑到“包含答案的内容”。
2025-01-06
RAG的经典应用场景
RAG（检索增强生成）的经典应用场景主要包括以下方面： 1. 构建智能问答客服：用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 2. 知识问答系统：用户提出问题，RAG 可以从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到提示词中，提交给大模型，大模型的回答会充分考虑到“包含答案的内容”。
2025-01-06
请给我推荐一些AI工具配上相关的AI培训视频。同时分析一下每个AI工具的使用场景，优势和缺点以及相似的工具推荐。要求这些AI工具适用于办公环境生产环境
以下为适用于办公环境生产环境的一些 AI 工具推荐，并对其使用场景、优势、缺点及相似工具进行分析： Keep： 使用场景：提供全面的健身解决方案，适用于个人健身计划制定和跟踪。 优势：中国最大的健身平台，资源丰富，能满足多种健身需求。 缺点：可能存在广告过多，部分功能需付费。 相似工具：Fiture Fiture： 使用场景：集硬件、课程内容、教练和社区于一体，适合追求综合健身体验的用户。 优势：由核心 AI 技术打造，提供一体化服务。 缺点：硬件设备可能价格较高。 相似工具：Keep Fitness AI： 使用场景：专注于利用人工智能进行锻炼，增强力量和速度。 优势：针对性强，对力量和速度训练有特定帮助。 缺点：功能相对较单一。 相似工具：暂无明确相似工具。 Planfit： 使用场景：提供健身房家庭训练与 AI 健身计划，适合在家健身的用户。 优势：AI 教练基于大量数据和 ChatGPT 实时提供指导。 缺点：可能对网络要求较高。 相似工具：暂无明确相似工具。 腾讯文档分类功能： 使用场景：自动分类办公文件，方便文件管理。 优势：提高文件管理效率，与腾讯文档集成方便。 缺点：分类准确性可能受文件内容复杂性影响。 相似工具：暂无明确相似工具。 英语流利说纠错功能： 使用场景：帮助语言学习者纠正发音、语法等错误。 优势：针对性纠错，有助于提高语言水平。 缺点：可能对某些特定语言习惯或方言的适应性不足。 相似工具：暂无明确相似工具。 下厨房口味调整功能： 使用场景：根据用户反馈调整菜谱口味。 优势：方便用户优化烹饪效果。 缺点：口味调整的精准度可能有限。 相似工具：暂无明确相似工具。 美丽修行定制方案功能： 使用场景：根据用户肤质定制护肤方案。 优势：个性化护肤推荐。 缺点：对肤质判断的准确性依赖用户输入的信息。 相似工具：暂无明确相似工具。 以上是部分适用于办公和生产环境的 AI 工具推荐及分析，您可以根据具体需求选择使用。
2025-01-06
如何理解AI网站和AI大模型的关系
AI 网站和 AI 大模型之间存在着密切的关系。 首先，AI 大模型是人工智能领域的核心技术之一。它是基于深度学习等方法构建的具有大规模参数和强大能力的模型，例如能够处理自然语言、生成文本、进行语义理解等。 生成式 AI 生成的内容称为 AIGC。相关技术名词包括： 1. AI 即人工智能。 2. 机器学习是电脑找规律学习，涵盖监督学习（有标签的训练数据，学习输入和输出之间的映射关系，包括分类和回归）、无监督学习（学习的数据无标签，算法自主发现规律，如聚类）、强化学习（从反馈中学习，最大化奖励或最小化损失，类似训小狗）。 3. 深度学习参照人脑，有神经网络和神经元，因层数多被称为深度，神经网络可用于多种学习方式。 4. LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不属于大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解（如上下文理解、情感分析、文本分类），但不擅长文本生成。 技术方面，2017 年 6 月谷歌团队发表的《Attention is All You Need》论文首次提出了 Transformer 模型，它基于自注意力机制处理序列数据，比 RNN 更适合处理文本的长距离依赖性。 AI 网站通常是展示和应用 AI 大模型的平台。通过网站，用户可以与 AI 大模型进行交互，获取其提供的服务和功能，例如进行文本生成、问答、翻译等。同时，AI 网站也为 AI 大模型的推广、应用和改进提供了渠道。
2025-01-07
多模态模型与多模态问答
多模态模型与多模态问答相关内容如下： Gemini 模型在图像理解方面表现出色，在多个基准测试中处于领先地位。它在高级对象识别、细粒度转录、空间理解和多模态推理等任务中展现出强大性能，在 zeroshot QA 评估中优于其他模型，在学术基准测试中如 MathVista 和 InfographicVQA 有显著改进，在 MMMU 基准测试中取得最好分数。 智谱·AI 推出了具有视觉和语言双模态的模型，如 CogAgent18B、CogVLM17B 和 Visualglm6B。CogAgent18B 拥有 110 亿视觉参数和 70 亿语言参数，支持高分辨率图像理解，具备 GUI 图像的 Agent 能力。CogVLM17B 是多模态权威学术榜单上综合成绩第一的模型。VisualGLM6B 是支持图像、中文和英文的多模态对话语言模型。 Zhang 等人（2023）提出了一种多模态思维链提示方法，将文本和视觉融入到一个两阶段框架中，多模态 CoT 模型（1B）在 ScienceQA 基准测试中的表现优于 GPT3.5。
2025-01-07
什么是多模态模型
多模态模型是指能够处理和融合多种不同模态信息（如视觉、语言、音频等）的模型。 智谱·AI 推出了具有视觉和语言双模态的模型，例如： CogAgent18B：基于 CogVLM17B 改进的开源视觉语言模型，拥有 110 亿视觉参数和 70 亿语言参数，支持 11201120 分辨率的图像理解，具备 GUI 图像的 Agent 能力。 CogVLM17B：强大的开源视觉语言模型（VLM），在多模态权威学术榜单上综合成绩优异，能实现视觉语言特征的深度融合。 Visualglm6B：开源的支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM6B，图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁。 RDM：Relay Diffusion Model，级联扩散模型，可以从任意给定分辨率的图像快速生成，而无需从白噪声生成。 Gemini 模型本身也是多模态的，展示了无缝结合跨模态能力，能从表格、图表或图形中提取信息和空间布局，具有强大的推理能力，在识别输入中的细微细节、在空间和时间上聚合上下文，以及在一系列视频帧和/或音频输入上应用这些能力方面表现出色。
2025-01-07
飞书如何接入大模型？
飞书接入大模型的步骤如下： 1. 搭建，用于汇聚整合多种大模型接口，并获取白嫖大模型接口的方法。 2. 搭建作为知识库问答系统，将知识文件放入其中，并接入上面的大模型。如果不想接入微信，搭建到这里即可，它有问答界面。 3. 搭建接入微信，并配置FastGpt将知识库问答系统接入微信。建议先用小号以防封禁风险。完成上述3步即可。 另外，对于将相关内容发布到飞书： 1. 目标是发布到飞书并在飞书中调用。 2. 尝试发布，在页面右上角点击发布，若飞书未授权则点击配置，然后再次点击发布。 3. 发布成功后可在飞书工作台中找到并使用。但可能存在与所说步骤不完全一致的情况，可通过workflow解决。 对于重度用户，工作流的最好教程参见官方文档：https://www.coze.cn/docs/guides/welcome 。工作流可以解决大模型调用写邮件插件时可能出现的速度慢和可能出错等问题，例如采取工作流+代码的组合方法，将用户原始输入直接传送给插件WebPilot，并通过另一个工作流AI Project进行样式注入等。
2025-01-07
国内大预言模型能力对比
以下是关于国内大语言模型能力对比的相关信息： 小七姐的测评： 测评机制：以同组提示词下 ChatGPT 4.0 生成的内容做对标参照，对智谱清言、文心一言 4.0、KimiChat 进行测评。 能力考量：包括复杂提示词理解和执行（结构化提示词）、推理能力（CoT 表现）、文本生成能力（写作要求执行）、提示词设计能力（让模型设计提示词）、长文本归纳总结能力（论文阅读）。 测评轮次：共五轮，分别针对上述不同能力进行不同任务和模型的测试。 中文大模型基准测评 2023 年度报告： 国内大模型历月前三甲：在工具使用的测评中，GPT4 Turbo 取得满分，国内智谱清言排名第一，文心一言 4.0等也有不错表现。 国内外大模型发展趋势：国内外差距依然明显，GPT 4 Turbo 总分遥遥领先，国内最好的文心一言 4.0与 GPT4Turbo 有一定差距，但过去 1 年国内大模型有长足进步，综合能力超过 GPT 3.5 的模型有多个。在 SuperCLUE 测评中，国外模型平均成绩高于国内模型，但差距在缩小，国内开源模型在中文上表现好于国外开源模型。
2025-01-07
常用的多模态大模型
以下是一些常用的多模态大模型： 1. InstructBLIP：基于预训练的BLIP2模型进行训练，在MM IT期间仅更新QFormer。通过引入指令感知的视觉特征提取和相应的指令，能够提取灵活多样的特征。 2. PandaGPT：是一种开创性的通用模型，能够理解6种不同模式的指令并根据指令采取行动，包括文本、图像/视频、音频、热、深度和惯性测量单位。 3. PaLIX：使用混合VL目标和单峰目标进行训练，包括前缀完成和屏蔽令牌完成。这种方法对于下游任务结果和在微调设置中实现帕累托前沿都是有效的。 4. VideoLLaMA：引入了多分支跨模式PT框架，使LLMs能够在与人类对话的同时处理给定视频的视觉和音频内容，使视觉与语言以及音频与语言保持一致。 5. 视频聊天GPT：专门为视频对话设计的模型，能够通过集成时空视觉表示来生成有关视频的讨论。 6. Shikra：Chen等人介绍了一种简单且统一的预训练MMLLM，专为参考对话（涉及图像中区域和对象的讨论的任务）而定制，展示了值得称赞的泛化能力，可以有效处理看不见的设置。 7. DLP：提出PFormer来预测理想提示，并在单模态句子数据集上进行训练，展示了单模态训练增强MM学习的可行性。 8. BuboGPT：通过学习共享语义空间构建，用于全面理解MM内容，探索不同模式之间的细粒度关系。 9. ChatSpot：引入了一种简单而有效的方法来微调MMLLM的精确引用指令，促进细粒度的交互。 10. QwenVL：多语言MMLLM，支持英文和中文，还允许在训练阶段输入多个图像，提高其理解视觉上下文的能力。 11. NExTGPT：端到端、通用的anytoany MMLLM，支持图像、视频、音频、文本的自由输入输出，采用轻量级对齐策略。 12. MiniGPT5：集成了生成voken的反演以及与稳定扩散的集成，擅长为MM生成执行交错VL输出，在训练阶段加入无分类器指导可以提高生成质量。 13. Flamingo：代表了一系列视觉语言模型，旨在处理交错的视觉数据和文本，生成自由格式的文本作为输出。 14. BLIP2：引入了资源效率更高的框架，包括用于弥补模态差距的轻量级QFormer，实现对冻结LLMs的充分利用，利用LLMs可以使用自然语言提示进行零样本图像到文本的生成。 15. LLaVA：率先将IT技术应用到MM领域，引入了使用ChatGPT/GPT4创建的新型开源MM指令跟踪数据集以及MM指令跟踪基准LLaVABench。 16. MiniGPT4：提出了一种简化的方法，仅训练一个线性层即可将预训练的视觉编码器与LLM对齐，能够复制GPT4所展示的功能。 17. mPLUGOwl：提出了一种新颖的MMLLMs模块化训练框架，结合了视觉上下文，包含一个名为OwlEval的教学评估数据集。 18. XLLM：扩展到包括音频在内的各种模式，并表现出强大的可扩展性。利用QFormer的语言可迁移性，成功应用于汉藏语境。 19. VideoChat：开创了一种高效的以聊天为中心的MMLLM用于视频理解对话，为该领域的未来研究制定标准，并为学术界和工业界提供协议。
2025-01-06