Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

大模型家族、类别、应用场景

Answer

大模型主要分为以下两类：

  1. 大型语言模型：专注于处理和生成文本信息，主要应用于自然语言处理任务，如文本翻译、文本生成、情感分析等。其训练主要依赖大量的文本数据。
  2. 大型多模态模型：能够处理包括文本、图片、音频等多种类型的信息，可以应用于更广泛的领域，例如图像识别与描述、视频分析、语音识别与生成等。其训练需要多种类型的数据，包括文本、图片、音频等。

此外，还有相对规模较小的模型，这些模型通常是为完成特定任务而设计的。

大模型的应用场景包括：

  1. 对于回答的精准性、全面性要求较高的问题，不同的大模型各有优劣，可兼听获取更好的答案。
  2. 需要多方交叉验证，规避模型幻觉的客观事实类问题。

常用的模型网站有：

  1. Civitai|Stable Diffusion models,embeddings,hypernetworks and more
  2. Models-Hugging Face
  3. SD-WebUI资源站
  4. 元素法典 AI 模型收集站-AI 绘图指南 wiki(aiguidebook.top)
  5. AI 绘画模型博物馆(subrecovery.top)

下载模型后，不同类型的模型放置位置不同：

  1. 大模型（Ckpt）：放入 models\Stable-diffusion
  2. VAE 模型：一些大模型需要配合 vae 使用，对应的 vae 同样放置在 models\Stable-diffusion 或 models\VAE 目录，然后在 webui 的设置栏目选择。
  3. Lora/LoHA/LoCon 模型：放入 extensions\sd-webui-additional-networks\models\lora，也可以在 models/Lora 目录
  4. Embedding 模型：放入 embeddings 目录
Content generated by AI large model, please carefully verify (powered by aily)

References

十七问解读生成式人工智能

大型模型主要分为两类：一是大型语言模型，专注于处理和生成文本信息；二是大型多模态模型，这类模型能够处理包括文本、图片、音频等多种类型的信息。[heading1]问题八、大型多模态模型与大型语言模型有何不同？[content]1.二者处理的信息类型不同。大型语言模型专注于处理和生成文本信息，通过分析大量的文本数据来理解和生成自然语言。而大型多模态模型不仅能处理文本信息，还能理解和生成图片、音频等多种类型的信息，这使得它们能够在更多样化的任务中应用。2.应用场景也有所不同。大型语言模型主要用于自然语言处理任务，如文本翻译、文本生成、情感分析等。而大型多模态模型由于能够处理多种信息类型，可以应用于更广泛的领域，例如图像识别与描述、视频分析、语音识别与生成等。3.在数据需求方面也有所不同。大型语言模型主要依赖于大量的文本数据进行训练，而大型多模态模型则需要多种类型的数据进行训练，包括文本、图片、音频等，以便在不同模态间建立关联。[heading1]问题九、有了大模型，是不是还有小模型？[content]当我们谈论所谓的“小模型”时，实际上是在相对地比较。与那些拥有海量参数和训练数据的大型模型相比，这些模型的规模显得更小一些。因此，在日常交流中，我们习惯将它们称作“小模型”。但如果要更精确地描述，这些模型其实是被设计来完成特定任务的，比如最初用于图像分类的模型，只能分辨是或不是某一个东西（比如猫🐱、狗🐶）。

军师联盟BOT｜同时询问多个大模型并返回汇总梳理后的结果

原文链接：https://developer.volcengine.com/articles/7386930202595000357#heading19作者:时髦Simon[heading1]一，应用简介[content][heading3]主要功能[content]由5个不同大模型组成的【军师联盟】为您倾情答疑解惑！我们不仅帮您提炼他们“英雄所见略同”的【共识意见】还会为您罗列他们“八仙过海各显神通”的【差异看法】[heading3]效果示例[heading1]二，适用场景[content]对于聊天大模型的深度用户来说，把同一个问题让不同的大模型去解答是一个高频的操作。主要场景有：1.对回答的精准性、全面性要求较高的问题。因为不同的大模型在解决不同的问题时都各有优劣，兼听则明，偏听则暗。2.需要多方交叉验证，规避模型幻觉的客观事实类问题。

SD新手：入门图文教程

模型能够有效地控制生成的画风和内容。常用的模型网站有：[Civitai|Stable Diffusion models,embeddings,hypernetworks and more](https://link.zhihu.com/?target=https%3A//civitai.com/)>[Models-Hugging Face](https://link.zhihu.com/?target=https%3A//huggingface.co/models)>[SD-WebUI资源站](https://link.zhihu.com/?target=https%3A//www.123114514.xyz/models/ckpt)>[元素法典AI模型收集站-AI绘图指南wiki(aiguidebook.top)](https://link.zhihu.com/?target=https%3A//aiguidebook.top/index.php/model/)>[AI绘画模型博物馆(subrecovery.top)](https://link.zhihu.com/?target=https%3A//aimodel.subrecovery.top/)[heading3]模型安装[content]下载模型后需要将之放置在指定的目录下，请注意，不同类型的模型应该拖放到不同的目录下。模型的类型可以通过[Stable Diffusion法术解析](https://link.zhihu.com/?target=https%3A//spell.novelai.dev/)检测。大模型（Ckpt）：放入models\Stable-diffusionVAE模型：一些大模型需要配合vae使用，对应的vae同样放置在models\Stable-diffusion或models\VAE目录，然后在webui的设置栏目选择。Lora/LoHA/LoCon模型：放入extensions\sd-webui-additional-networks\models\lora，也可以在models/Lora目录Embedding模型：放入embeddings目录

Others are asking
大模型家族、类别、应用场景
大模型主要分为以下两类： 1. 大型语言模型：专注于处理和生成文本信息，主要应用于自然语言处理任务，如文本翻译、文本生成、情感分析等。 2. 大型多模态模型：能够处理包括文本、图片、音频等多种类型的信息，可以应用于更广泛的领域，例如图像识别与描述、视频分析、语音识别与生成等。 大型多模态模型与大型语言模型的不同点包括： 1. 处理的信息类型不同：大型语言模型专注于文本信息，大型多模态模型能处理多种类型信息。 2. 应用场景不同：大型语言模型主要用于自然语言处理任务，大型多模态模型应用领域更广泛。 3. 数据需求不同：大型语言模型主要依赖大量文本数据训练，大型多模态模型需要多种类型数据训练。 对于聊天大模型的深度用户，把同一个问题让不同的大模型解答是高频操作，主要适用于以下场景： 1. 对回答的精准性、全面性要求较高的问题，因为不同大模型在解决不同问题时各有优劣。 2. 需要多方交叉验证，规避模型幻觉的客观事实类问题。 常用的模型网站有： 1. 2. 3. 4. 5. 下载模型后需要将之放置在指定的目录下，不同类型的模型放置目录不同： 1. 大模型（Ckpt）：放入 models\\Stablediffusion 2. VAE 模型：一些大模型需要配合 vae 使用，对应的 vae 同样放置在 models\\Stablediffusion 或 models\\VAE 目录，然后在 webui 的设置栏目选择。 3. Lora/LoHA/LoCon 模型：放入 extensions\\sdwebuiadditionalnetworks\\models\\lora，也可以在 models/Lora 目录 4. Embedding 模型：放入 embeddings 目录 模型的类型可以通过检测。
2025-01-06
大模型家族、类别、应用场景
大模型主要分为以下两类： 1. 大型语言模型：专注于处理和生成文本信息，主要应用于自然语言处理任务，如文本翻译、文本生成、情感分析等。 2. 大型多模态模型：能够处理包括文本、图片、音频等多种类型的信息，可以应用于更广泛的领域，例如图像识别与描述、视频分析、语音识别与生成等。 大型多模态模型与大型语言模型的不同点包括： 1. 处理的信息类型不同：大型语言模型专注于文本，大型多模态模型能处理多种类型信息。 2. 应用场景不同：大型语言模型主要用于自然语言处理任务，大型多模态模型应用领域更广泛。 3. 数据需求不同：大型语言模型主要依赖大量文本数据训练，大型多模态模型需要多种类型数据训练。 对于聊天大模型的深度用户，常见的应用场景有： 1. 对回答的精准性、全面性要求较高的问题，因为不同大模型各有优劣。 2. 需要多方交叉验证，规避模型幻觉的客观事实类问题。 常用的模型网站有： 1. 2. 3. 4. 5. 下载模型后，不同类型的模型放置位置如下： 1. 大模型（Ckpt）：放入 models\\Stablediffusion 2. VAE 模型：一些大模型需要配合 vae 使用，对应的 vae 同样放置在 models\\Stablediffusion 或 models\\VAE 目录，然后在 webui 的设置栏目选择。 3. Lora/LoHA/LoCon 模型：放入 extensions\\sdwebuiadditionalnetworks\\models\\lora，也可以在 models/Lora 目录 4. Embedding 模型：放入 embeddings 目录
2025-01-06
帮我生成一个 AI 写作领域的产业图谱，只关注应用层，按照产品的类别来分类和举例
以下是 AI 写作领域应用层的产业图谱分类及举例： |序号|产品|主题|使用技术|市场规模|一句话介绍| ||||||| |1|Grammarly、秘塔写作猫|AI 智能写作助手|自然语言处理|数十亿美元|利用 AI 技术辅助用户进行高质量写作。| |2|阿里小蜜等电商客服|AI 智能客服外包服务|自然语言处理、机器学习|数十亿美元|为企业提供智能客服解决方案。|
2024-10-28
最近Agent方面的场景案例
以下是一些关于 Agent 方面的场景案例： 1. 吴恩达最新演讲中提到的四种 Agent 设计范式： Reflection（反思）：例如让用 Reflection 构建好的 AI 系统写代码，AI 会把代码加上检查正确性和修改的话术再返回给自己，通过反复操作完成自我迭代，虽不能保证修改后代码质量，但效果通常更好。 Tool Use（工具使用）：大语言模型调用插件，极大拓展了 LLM 的边界能力。 Planning（规划）：属于比较新颖且有前景的方式。 Multiagent（多智能体）：也具有发展潜力。 2. Ranger 文章中的相关内容： Agent 被认为是大模型未来的主要发展方向。 中间的“智能体”通常是 LLM 或大模型，通过为其增加工具、记忆、行动、规划这四个能力来实现。 行业里主要用到的是 langchain 框架，它在 prompt 层和工具层完成主要的设计，将 LLM 与 LLM 以及 LLM 与工具进行串接。 3. 从词源和历史变迁来看： 在不同时期，“Agent”在商业、政府、情报、娱乐、体育等领域都有重要角色，涵盖贸易代理、公司代理商、情报特工、艺人经纪人等多种职业。 “Agent”一词具有行动和替身的含义，多数情况下指“拥有行动的替身，替代他人做某事”。
2025-01-07
我作为一名OA软件的行业的售前，我的工作中会涉及到AI与OA结合落地的智能化场景，所以我对AI知识有简单的了解，我现在想转型AI行业的售前，我该如何系统的学习AI的相关知识，请帮我制定一个计划
以下是为您制定的从 OA 软件售前转型到 AI 行业售前的系统学习计划： 一、了解 AI 基本概念 首先，建议阅读「」部分，熟悉 AI 的术语和基础概念。了解什么是人工智能，它的主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。同时，浏览入门文章，这些文章通常会介绍 AI 的历史、当前的应用和未来的发展趋势。 二、开始 AI 学习之旅 在「」中，您将找到一系列为初学者设计的课程。特别推荐李宏毅老师的课程。您还可以通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 三、选择感兴趣的模块深入学习 AI 领域广泛，比如图像、音乐、视频等。您可以根据自己的兴趣选择特定的模块进行深入学习。同时，一定要掌握提示词的技巧，它上手容易且很有用。 四、实践和尝试 理论学习之后，实践是巩固知识的关键。尝试使用各种产品做出您的作品。在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 五、体验 AI 产品 与现有的 AI 产品进行互动是学习 AI 的另一种有效方式。尝试使用如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。通过与这些 AI 产品的对话，您可以获得对 AI 在实际应用中表现的第一手体验，并激发您对 AI 潜力的认识。 六、掌握相关技能和知识 1. 从编程语言入手学习：可以从 Python、JavaScript 等编程语言开始学习，学习编程语法、数据结构、算法等基础知识，为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台：可以使用 ChatGPT、Midjourney 等 AI 生成工具，体验 AI 的应用场景。探索一些面向中学生的 AI 教育平台，如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识：了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目：可以参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。尝试利用 AI 技术解决生活中的实际问题，培养动手能力。 5. 关注 AI 发展的前沿动态：关注 AI 领域的权威媒体和学者，了解 AI 技术的最新进展。思考 AI 技术对未来社会的影响，培养对 AI 的思考和判断能力。 总之，作为转型者，您可以从以上多个方面入手，全面系统地学习 AI 知识和技能，为未来在 AI 行业的售前工作做好准备。
2025-01-07
多模态的应用场景
多模态的应用场景广泛，主要包括以下方面： 1. 娱乐领域：如与 AI 导师进行视频聊天、与 AI 合作迭代和编写电视剧剧本等，为消费者提供更加引人入胜、连贯和全面的体验。 2. 内容生成：改变娱乐、学习与发展以及跨各种消费者和企业用例的内容生成。 3. 工具使用：使大语言模型能够使用设计给人类使用但没有自定义集成的工具，例如传统的企业资源计划（ERP）系统、桌面应用程序、医疗设备或制造机械。 4. 视频处理：包括视频搜索，通过描述性语言在数小时的视频内容中快速找到用户想要的瞬间；视频文本生成，从视频生成文本摘要、关键点、标签和标题等；定制化模型，允许用户微调自己的模型以满足特定领域需求。 5. 落地场景：如广告插入与内容审核，区分视频内容的性质；流媒体内容分析，自动生成媒体分析报告；运动赛事视频分析，帮助精彩瞬间捕捉、技术动作分析、比赛策略分析等。 6. 扩展到物理现实：通过机器人、自动驾驶车辆和其他需要与物理世界实时交互的应用程序，将大语言模型扩展到我们自己的物理现实中。
2025-01-06
RAG的经典应用场景
RAG（检索增强生成）的经典应用场景主要包括以下方面： 1. 构建智能问答客服：用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 2. 知识问答系统：用户提问后，RAG 从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到提示词中，提交给大模型，大模型的回答会充分考虑到“包含答案的内容”。
2025-01-06
RAG的经典应用场景
RAG（检索增强生成）的经典应用场景主要包括以下方面： 1. 构建智能问答客服：用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 2. 知识问答系统：用户提出问题，RAG 可以从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到提示词中，提交给大模型，大模型的回答会充分考虑到“包含答案的内容”。
2025-01-06
文生图模型打分的排行榜
以下是关于文生图模型打分的排行榜相关信息： SuperCLUEImage 测评基准首次公布，DALLE 3 以 76.94 分高居榜首，显示其在图像生成质量、多样性和文本一致性方面的卓越表现。百度文心一格和 vivo 的 BlueLMArt 位列国内前列，但与国际领先模型仍有差距。 在包含人工评估、机器评估的全面评测中，Kolors 具有非常有竞争力的表现，达到业界领先水平。构建了包含 14 种垂类、12 个挑战项、总数量为一千多个 prompt 的文生图评估集 KolorsPrompts。 人工评测方面，邀请了 50 个具有图像领域知识的专业评估人员对不同模型的生成结果进行对比评估，衡量维度为画面质量、图文相关性、整体满意度三个方面。Kolors 在整体满意度方面处于最优水平，其中画面质量显著领先其他模型。具体平均分如下： AdobeFirefly：整体满意度平均分 3.03，画面质量平均分 3.46，图文相关性平均分 3.84。 Stable Diffusion 3：整体满意度平均分 3.26，画面质量平均分 3.5，图文相关性平均分 4.2。 DALLE 3：整体满意度平均分 3.32，画面质量平均分 3.54，图文相关性平均分 4.22。 Midjourneyv5：整体满意度平均分 3.32，画面质量平均分 3.68，图文相关性平均分 4.02。 Playgroundv2.5：整体满意度平均分 3.37，画面质量平均分 3.73，图文相关性平均分 4.04。 Midjourneyv6：整体满意度平均分 3.58，画面质量平均分 3.92，图文相关性平均分 4.18。 Kolors：整体满意度平均分 3.59，画面质量平均分 3.99，图文相关性平均分 4.17。所有模型结果取自 2024.04 的产品版本。
2025-01-07
目前主流的AI大模型有哪些
目前主流的 AI 大模型主要有以下几种： 1. OpenAI 系列：包括 GPT3.5 和 GPT4 等。GPT3.5 在 11 月启动了当前的 AI 热潮，GPT4 功能更强大。ChatGPT 也属于 OpenAI 系列。 2. 微软 Bing：使用 GPT4 和 GPT3.5 的混合，通常是 GPT4 家族中首个推出新功能的模型，能创建和查看图像，还能在网页浏览器中阅读文档，并连接到互联网。 3. 谷歌 Bard：由各种基础模型驱动，最近是 PaLM 2 模型。 4. Anthropic Claude 2：其特点是有非常大的上下文窗口，不太可能恶意行事。 此外，大模型的架构也有所不同，如 encoderonly 模型（代表模型是 BERT）、encoderdecoder 模型（代表是 google 的 T5）、decoderonly 模型（适用于自然语言生成任务，如故事写作和博客生成，众多 AI 助手包括 ChatGPT 都属于此类）。大模型的“大”体现在预训练数据量大（往往来自互联网，包括论文、代码、公开网页等，一般用 TB 级别的数据进行预训练）和参数多（如 OpenAI 在 2020 年发布的 GPT3 就已达到 170B 的参数）。
2025-01-07
用于训练销售助手类型业务的私有模型
以下是关于训练销售助手类型业务私有模型的相关信息： 1. 提示词方面：设计了一套模拟江南皮革厂销售的拟人化提示词模板，并将其应用于国内的豆包角色扮演模型，生成吸引人的广告词。若与语音技术结合用于宣传，能创造出有趣且有效的销售助手，吸引顾客注意。拟人化提示词母体可通过关注作者微信领取。 2. 增加私有知识方面：通过前面步骤拥有可与客户对话的 AI 助手后，若想让其像公司员工一样精准专业回答商品相关问题，需为大模型应用配置知识库。例如在售卖智能手机的公司，网站上有很多相关信息，不同机型的详细配置清单可参考相关文档。
2025-01-07
给文生图ai模型打分的权威标准是什么
给文生图 AI 模型打分的权威标准通常包括以下方面： 1. 图像生成质量：如清晰度、细节丰富程度、色彩准确性等。 2. 多样性：生成图像的风格、主题和表现形式的丰富程度。 3. 文本一致性：生成的图像与输入的文本描述的匹配程度。 在具体的测评中，会构建包含人工评估和机器评估的全面评测内容。人工评测方面，会邀请具有图像领域知识的专业评估人员，从画面质量、图文相关性、整体满意度等维度为生成图像打分。例如，在对 Kolors 与其他模型的比较中，就从这些维度进行了评估。 此外，像 SuperCLUEImage 测评基准首次公布的结果中，DALLE 3 以 76.94 分高居榜首，显示其在图像生成质量、多样性和文本一致性方面的卓越表现。百度文心一格和 vivo 的 BlueLMArt 位列国内前列，但与国际领先模型仍有差距。
2025-01-07
多模态大模型与图像、视频生成
多模态大模型与图像、视频生成相关知识如下： 多模态大模型的架构和原理：基于大圆模型，能识别页面组件结构和位置绝对值信息，并与组件、文本映射。由解码器、backbone、Generator 等部件组成，左侧多模态理解，右侧生成输出。 Stable Diffusion 模型原理：是生成模型，通过加噪和去噪实现图像的正向扩散和反向还原，解决潜在空间模型中的速度问题。其应用场景包括带货商品图生成、模特服装展示、海报生成、装修设计等。 吉梦 AI 和吐司平台的使用体验：吉梦 AI 提供 AI 视频生成等能力，通过简单提示词生成图像，对数字体有专项场景训练；吐司是类似的在线生成平台，具备多种 AI 能力，有模型、在线训练、上传模型工作流等功能，可通过输入提示词生成图片。 模型训练：训练模型需要大量图像数据和标签化处理。 AI 视频生成原理：主要基于 Sara 的整体架构，采用 diffusion Transformer 架构，以扩散模型通过随机造点、加噪和去噪得到连续图像帧，输入视频可看成若干帧图片，经处理后生成视频。 模态生成器 MG_X 一般用于生成不同的模态来输出。当前的工作一般使用现成的扩大模型（Latent diffusion model），例如 Stable Diffusion 用于图像生成，Zeroscope 用于视频生成，AudioLDM2 用于音频生成。 多模态模型的技术架构：如果模型既支持 3D 生成，又支持视频生成，就可以实现图文编辑以及具有强一致性的视频生成。Open AI 可能会尝试把图片、视频、3D 变为一个自然空间。Transformer 架构的多模态模型给机器提供了像人类一样与世界互动的新机会，杨立昆（Yann LeCun）提出的世界模型可能是近一年值得关注的研究点。
2025-01-07
多模态大模型与图像、视频生成
多模态大模型与图像、视频生成相关知识如下： 多模态大模型的架构和原理：基于大圆模型，能识别页面组件结构和位置绝对值信息，并与组件、文本映射。由解码器、backbone、Generator 等部件组成，左侧多模态理解，右侧生成输出。 Stable Diffusion 模型原理：是生成模型，通过加噪和去噪实现图像的正向扩散和反向还原，解决潜在空间模型中的速度问题。其应用场景包括带货商品图生成、模特服装展示、海报生成、装修设计等。 吉梦 AI 和吐司平台的使用体验：吉梦 AI 提供 AI 视频生成等能力，通过简单提示词生成图像，对数字体有专项场景训练；吐司是类似的在线生成平台，具备多种 AI 能力，有模型、在线训练、上传模型工作流等功能，可通过输入提示词生成图片。 模型训练：训练模型需要大量图像数据和标签化处理。 AI 视频生成原理：主要基于 Sara 的整体架构，采用 diffusion Transformer 架构，以扩散模型通过随机造点、加噪和去噪得到连续图像帧，输入视频可看成若干帧图片，经处理后生成视频。 模态生成器 MG_X 一般用于生成不同的模态来输出。当前的工作一般使用现成的扩大模型（Latent diffusion model），例如 Stable Diffusion 用于图像生成，Zeroscope 用于视频生成，AudioLDM2 用于音频生成。 多模态模型的技术架构：如果模型既支持 3D 生成，又支持视频生成，就可以实现图文编辑以及具有强一致性的视频生成。Open AI 可能会尝试把图片、视频、3D 变为一个自然空间，Google 的 VideoPoet 已在这个方向上有尝试，但分辨率不够高。Transformer 架构的多模态模型给机器提供了像人类一样与世界互动的新机会，杨立昆（Yann LeCun）提出的世界模型可能是近一年值得关注的研究点。
2025-01-07