Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

多模态达模型排行

Answer

以下是一些常见的多模态模型排行及相关信息：

  1. 智谱·AI 开源模型：
    • CogAgent-18B：基于 CogVLM-17B 改进的开源视觉语言模型，拥有 110 亿视觉参数和 70 亿语言参数，支持 1120*1120 分辨率的图像理解，在 CogVLM 功能基础上具备 GUI 图像的 Agent 能力。代码链接：CogVLM&CogAgent，模型下载：Huggingface、魔搭社区、Swanhub。
    • CogVLM-17B：强大的开源视觉语言模型（VLM），在多模态权威学术榜单上综合成绩第一，在 14 个数据集上取得了 state-of-the-art 或者第二名的成绩。代码链接：Huggingface，模型下载：魔搭社区。
    • Visualglm-6B：开源的支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM-6B，具有 62 亿参数；图像部分通过训练 BLIP2-Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。代码链接：VisuaGLM，模型下载：Huggingface、魔搭社区。
  2. Gemini 模型：Gemini Ultra 在表 7 中的各种图像理解基准测试中都是最先进的，在回答自然图像和扫描文档的问题，以及理解信息图表、图表和科学图解等各种任务中表现出强大的性能。在 zero-shot 评估中表现更好，超过了几个专门在基准训练集上进行微调的现有模型，适用于大多数任务。在 MMMU 基准测试中取得了最好的分数，比最先进的结果提高了 5 个百分点以上，并在 6 个学科中的 5 个学科中超过了以前的最佳结果。
  3. 多模态思维链提示方法：Zhang 等人（2023）提出了一种多模态思维链提示方法，多模态 CoT 模型（1B）在 ScienceQA 基准测试中的表现优于 GPT-3.5。
Content generated by AI large model, please carefully verify (powered by aily)

References

智谱·AI 开源模型列表

，我们推出了具有视觉和语言双模态的模型。|模型|介绍|代码链接|模型下载||-|-|-|-||CogAgent-18B|基于CogVLM-17B改进的开源视觉语言模型。CogAgent-18B拥有110亿视觉参数和70亿语言参数，支持1120*1120分辨率的图像理解，在CogVLM功能的基础上，具备GUI图像的Agent能力。|[CogVLM&CogAgent](https://github.com/THUDM/CogVLM)|[Huggingface](https://huggingface.co/THUDM/CogVLM)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/cogagent-chat/summary)|[Swanhub](https://swanhub.co/ZhipuAI/cogagent-chat-hf)|始智社区||CogVLM-17B|强大的开源视觉语言模型（VLM）。基于对视觉和语言信息之间融合的理解，CogVLM可以在不牺牲任何NLP任务性能的情况下，实现视觉语言特征的深度融合。我们训练的CogVLM-17B是目前多模态权威学术榜单上综合成绩第一的模型，在14个数据集上取得了state-of-the-art或者第二名的成绩。||[Huggingface](https://huggingface.co/THUDM/cogvlm-chat-hf)|[魔搭社区](https://modelscope.cn/models/AI-ModelScope/cogvlm-chat/summary)||Visualglm-6B|VisualGLM-6B是一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于[ChatGLM-6B](https://github.com/THUDM/ChatGLM-6B)，具有62亿参数；图像部分通过训练[BLIP2-Qformer](https://arxiv.org/abs/2301.12597)构建起视觉模型与语言模型的桥梁，整体模型共78亿参数。|[VisuaGLM](https://github.com/THUDM/VisualGLM-6B)|[Huggingface](https://huggingface.co/THUDM/visualglm-6b)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/visualglm-6b/summary)|

Gemini report 中文翻译

我们评估了模型在四个不同的能力上：使用caption或问答任务（如VQAv2）进行高级对象识别；使用TextVQA和DocVQA等任务进行细粒度转录，要求模型识别low-level的细节；使用ChartQA和InfographicVQA任务要求模型理解输入布局的空间理解以及使用Ai2D、MathVista和MMMU等任务进行多模态推理。对于zero-shot QA评估，模型被指示提供与特定基准对齐的简短答案。所有数字都是通过Greedy Sampling获得的，没有使用任何外部OCR工具。我们发现Gemini Ultra在表7中的各种图像理解基准测试中都是最先进的。它在回答自然图像和扫描文档的问题，以及理解信息图表、图表和科学图解等各种任务中表现出强大的性能。与其他模型（尤其是GPT-4V）公开报告的结果相比，Gemini在zero-shot评估中表现更好。它还超过了几个专门在基准训练集上进行微调的现有模型，适用于大多数任务。Gemini模型的能力在学术基准测试中取得了显著的改进，如MathVista（+3.1%）或InfographicVQA（+5.2%）。MMMU（Yue等人，2023）是一个最近发布的评估基准，其中包含了关于图像的问题，涵盖了6个学科，每个学科中又有多个主题，需要大学水平的知识来解答这些问题。Gemini Ultra在这个基准测试中取得了最好的分数，比最先进的结果提高了5个百分点以上，并在6个学科中的5个学科中超过了以前的最佳结果（见表8），从而展示了它的多模态推理能力。

多模态思维链提示方法

[Zhang等人（2023）(opens in a new tab)](https://arxiv.org/abs/2302.00923)提出了一种多模态思维链提示方法。传统的思维链提示方法侧重于语言模态。相比之下，多模态思维链提示将文本和视觉融入到一个两阶段框架中。第一步涉及基于多模态信息的理性生成。接下来是第二阶段的答案推断，它利用生成的理性信息。多模态CoT模型（1B）在ScienceQA基准测试中的表现优于GPT-3.5。图片来源：[Zhang et al.(2023)(opens in a new tab)](https://arxiv.org/abs/2302.00923)进一步阅读：[语言不是你所需要的全部：将感知与语言模型对齐(opens in a new tab)](https://arxiv.org/abs/2302.14045)（2023年2月）

Others are asking
多模态应用
以下是一些多模态应用的案例： 1. 电商领域： 拍立淘：由淘宝推出，用户拍照即可识别商品并直接进入购物页面，简化购物搜索步骤。 探一下：支付宝推出的图像搜索引擎，拍照后 AI 能识别并搜索相关商品或信息。 2. 创意领域： 诗歌相机：拍照能生成一首诗，还能打印，将诗意与现代技术结合，并做成硬件形式。 3. 技术平台： 阿里云百炼大模型平台为企业侧提供各种原子级别能力，包括多模态能力。 4. 其他应用场景： 融图：如把图二中的机器人合成到图一的环境中，保持比例、细节、光影和氛围感统一。 小红书风格卡片：使用特定风格生成关于特定内容的卡片。 Logo 转 3D 效果：将图标改成 3D 立体、毛玻璃、毛绒等效果。 示意图转卡通漫画：把示意图转成幼儿园小朋友能看懂的漫画并配中文说明。 遥感理解（图像数据）：识别图中的建筑物并用色块标注。 包装图直出效果：生成图片对应的包装侧面效果图。 参考生成海报图：参考小红书封面生成 PPT 设计相关封面图。 三维建模模拟：将图片转化为 3D max 建模渲染界面并加入 UI 界面。 手办三视图：保留人物样貌、神态，制作成特定要求的 3D 手办三视图。
2025-04-18
多模态是什么，
多模态指多数据类型交互，能够提供更接近人类感知的场景。大模型对应的模态包括文本、图像、音频、视频等。 随着生成式 AI 和大模型的发展，我们逐渐进入多模态灵活转换的新时代，即能用 AI 实现文本、图像、音频、视频及其他更多模态之间的互相理解和相互转换，这一变革依靠一系列革新性的算法。 在感知不同模态数据时，AI 借助高维向量空间来理解，不再局限于传统的单一模态处理方式，将图像或文字“压缩”成抽象的向量，捕捉深层关系。 Gemini 模型本身就是多模态的，展示了无缝结合跨模态的能力，在识别输入细节、聚合上下文以及在不同模态上应用等方面表现出强大性能。
2025-04-13
多模态Agent最新动态
以下是关于多模态 Agent 的最新动态： 《质朴发言：视觉语言理解模型的当前技术边界与未来应用想象｜Z 研究第 2 期》 近期，生成式 AI 领域的浪潮催化了多模态模型的探索，研究人员不断尝试使用更多模态数据的编码，以训练出能够理解和处理多种类型数据的模型。本份研究报告集中讨论了基于 Transformer 架构的视觉语言模型，报告范围专注于视觉和语言之间的交互，不考虑单纯的视觉到视觉的计算机视觉任务。 从 2022 年 11 月 18 日到 2023 年 7 月 26 日，多模态 Agents 迅速增长。 LLM 多模态 agent 是将现有技术融合的新尝试，是一种集成了多种模态数据处理能力的 AI 技术。 优点：高度的灵活性和扩展性，可根据不同任务需求调用最合适的模型处理任务，适应多样化任务和数据类型，优化资源使用，提升效率；无需训练，系统开发周期快，成本低。 局限性：调试和工程化难度较高，维护和升级成本高；多个组件紧密耦合，单点故障可能导致整个系统风险增加；没有涌现出新的能力。 适用场景：需要综合处理视频、语音和文本等多种信息的复杂环境，如自动驾驶汽车；高度交互和灵活的用户界面，如客户服务机器人或交互式娱乐应用。 《2024 年度 AI 十大趋势报告》 随着大模型对图像和视频信息的处理能力快速提升，预计 2025 年将开始出现更为综合性的多模态交互，AI 能够通过物联网、特定信息等多种感知通道进行协同。 多模态输入和输出使 AI 交互性更强、交互频次更高，适用场景也更加丰富，AI 产品整体水平显著提升。 Agent 作为融合感知、分析、决策和执行能力的智能体，能够根据用户历史行为和偏好，主动提供建议、提醒并个性化执行能力，为用户提供高度个性化的任务。从 2025 年开始，AI Agent 即将广泛投入使用。 从个性化推荐到直接生成个性化内容，AIGC 能够使用户体验的个性化程度有明显提升，这将帮助产品进一步完善用户体验，并通过提高用户忠诚度和迁移成本，实现差异化定价和进一步的服务增值，对产品的差异化竞争有重大意义。目前，基于 AIGC 的高度个性化已经在 AI 教育、AI 陪伴、AI 营销领域有明显进展。在硬件端搭载的多款 AI 智能助手也已开始以高度个性的个人助理作为宣传重点。
2025-03-31
Qwen 多模态模型哪一个最顶？
目前阿里发布的 Qwen 多模态模型中，Qwen2.5VL 较为突出。它可处理长达数小时的视频，并在电脑上执行自动化任务。提供 3B、7B、72B 三种规模，旗舰版对标 GPT4o、Claude 3.5 Sonnet。具备全文档解析能力，支持手写、表格、图表、化学公式等多场景识别，还可操作电脑或手机界面，执行自动化任务，如点击按钮、填表等。详情可参考：https://www.xiaohu.ai/c/xiaohuai/qwen25vl285cee 。此外，Qwen2.5Max 也是阿里通义千问的大型专家模型（MoE），基于 SFT 和 RLHF 策略训练，在多项基准如 Arena Hard、LiveBench、LiveCodeBench、GPQADiamond 上超越 DeepSeek V3，引发社区关注。更多体验方式包括支持官方 Chat、API 接口、Hugging Face Demo 等，详情可参考：https://qwenlm.github.io/blog/qwen2.5max/ 、https://chat.qwenlm.ai 、https://alibabacloud.com/help/en/modelstudio/gettingstarted/firstapicalltoqwen?spm=a2c63.p38356.helpmenu2400256.d_0_1_0.1f6574a72ddbKE 、https://huggingface.co/spaces/Qwen/Qwen2.5MaxDemo 。
2025-03-25
如何构建多模态知识库？
构建多模态知识库可以参考以下步骤： 1. 图像知识库方面：通过多模态的能力对图片信息进行检索理解。效果测试时，上传一张图片，在图像数据库里找到相关信息，然后结合内容进行回复。 2. 构建图片索引： 新建结构化数据表时，将图片索引所在列的字段类型设置为 link。需注意新建数据表后，无法再新增或修改字段类型为 link。 创建结构化知识库时，对于需要建立图片索引的 link 类型字段，在旁边的下拉列表中选择图片。创建知识库后，无法再新建或修改图片索引。 3. 多模态知识库还包括构建图片型索引需结构化数据表，字段类型设置为 link，以实现 FAQ 中向用户推送图片信息。
2025-03-19
【深度拆解】ChatGPT-4o背后的技术革新：从语言模型到多模态跨越
ChatGPT4o 背后的技术革新具有重要意义。人类的感知多样，仅靠语言描述世界远远不够，多模态理解非常有用，能更全面学习世界、理解人类需求等。2023 年 9 月 GPT4v 发布，将大语言模型竞赛带入多模态模型时代，如 ChatGPT 能看图说话、画图，Google 的 Gemini 支持多种模态，但 OpenAI 常抢先发布。今年 5 月 OpenAI 发布 GPT4o，向智能体方向迈进，其是之前技术的集大成者，通过端到端神经网络混合训练视觉、语音和文本数据，平均音频输入反应时间为 300 毫秒，能感悟人类表达的情绪等。OpenAI 未公开 GPT4o 技术细节，唯一线索来自内部炼丹师的博客 AudioLM。此外，GPT4 是 OpenAI 的多模态工具，在编程任务中表现出色，ChatGPT 是用户友好界面，可与高级语言模型交互。2024 年 5 月 14 日 OpenAI 发布 GPT4o，效率高、价格降低、延迟缩短。9 月 16 日 OpenAI 推出 o1 系列模型，在复杂任务中表现优异，o1mini 适合编码任务，两个模型已在 ChatGPT 中提供，有免费或收费版本。
2025-03-09
最新的AI排行榜
以下是最新的 AI 排行榜相关信息： 3 月 9 日榜单： 文生图：Ideogram 2a（官方评价这是 Ideogram 迄今为止最快、最实惠的文生图模型） 文生视频：SkyReels、海螺01director、Pixverse4.0 图生视频：SkyReels、Pixverse4.0、Adobe Firefly 测评涵盖了 Midjourney，Flux，即梦，Recraft，ideogram，SD3.5，Sora，可灵，通义，即梦，海螺，pixverse，pika，vidu，luma 等 50+国内外热门模型，还有 Veo 2.0 等最新模型上线。本周最出乎意料的是最新上的模型 SkyReels，在文生视频和图生视频榜单都排名靠前。 生成式 AI 季度数据报告 2024 月 1 3 月： 赛道方面：天花板潜力为数亿美金；对标公司有 Xmind 等；总体趋势平稳增长，15.93%；月平均增速 34 万 PV/月；原生产品占比中等。 竞争方面：Top1 占比 32%；Top3 占比 82%；马太效应弱；网络效应中；大厂是否入局是，但大厂占比较低；技术门槛中。 23 年 12 月至 24 年 3 月月访问量排行榜及变化情况： 非大厂的 Top1 公司及产品：Whimsical Al，估值融资 3000 万$（2021），最新月 PV 为 237 万。2023 年 4 月，月访问量 382 万，Whimsical AI、gitmind AI 分别位列第一、第二的位置，月访问量合计占比 84%。2024 年 3 月，月访问量 812 万，Whimsical AI 整年看处于增长态势，仍位列第一，月访问量达到 237 万；ProcessOn 凭借其原有客户积累，月访问量快速增长，位列第二名，占比 25%。 记忆辅助榜单中，2023 年 4 月，月访问量为 83 万，Rewind AI 以 43 万的访问量位居第一，占赛道月总访问量的 52%。Personal.ai 和 Heyday 分别以 25 万和 8 万的访问量位列二、三，分别占赛道月总访问量的 30%和 10%。2024 年 3 月，月访问量增长至 245 万，rabbit inc.以 128 万的访问量跃居第一，占赛道月总访问量的 52%。Humane 和 Rewind AI 分别以 46 万和 22 万的访问量位列二、三，分别占赛道月总访问量的 19%和 9%。 相关网址： https://www.xiaohongshu.com/user/profile/65890e73000000003d035101?xsec_token=AB67OV1KW_ANCcrYRU_oRTJKJ9xLtexbMgyoJq68rxQA%3D&xsec_source=pc_search aiwatch.ai
2025-04-15
大语言模型能力排行榜
以下是一些大语言模型能力排行榜的相关信息： Open LLM Leaderboard： 地址： 简介：由HuggingFace组织的一个LLM评测榜单，目前已评估了较多主流的开源LLM模型。评估主要包括AI2 Reasoning Challenge、HellaSwag、MMLU、TruthfulQA四个数据集上的表现，主要以英文为主。 chinesellmbenchmark： 地址： 简介：中文大模型能力评测榜单，覆盖百度文心一言、chatgpt、阿里通义千问、讯飞星火、belle/chatglm6b等开源大模型，多维度能力评测。不仅提供能力评分排行榜，也提供所有模型的原始输出结果。 聊天机器人竞技场：由伯克利的一个团队管理，根据ELO评级对不同的语言模型进行排名，计算ELO的方式与国际象棋中的计算方式非常相似。 智源评测：豆包模型在其中表现出色，荣获大语言模型第一，视觉理解第二、文生图第二、文生视频第二，在匿名投票竞技场中排名第二，仅次于OpenAI。 地址：
2025-03-31
当前所有大模型的能力排行
目前大模型的能力排行情况较为复杂，以下为您提供部分相关信息： 8 月正式上线的国内大模型包括北京的百度（文心一言）https://wenxin.baidu.com 、抖音（云雀大模型）https://www.doubao.com 、智谱 AI（GLM 大模型）https://chatglm.cn 、中科院（紫东太初大模型）https://xihe.mindspore.cn 、百川智能（百川大模型）https://www.baichuanai.com/ ，上海的商汤（日日新大模型）https://www.sensetime.com/ 、MiniMax（ABAB 大模型）https://api.minimax.chat 、上海人工智能实验室（书生通用大模型）https://internai.org.cn 。在聊天状态下，能生成 Markdown 格式的有智谱清言、商量 Sensechat、MiniMax ；目前不能进行自然语言交流的有昇思、书生；受限制使用的有 MiniMax 。特色功能方面，昇思能生图，MiniMax 能语音合成。阿里通义千问、360 智脑、讯飞星火等不在首批获批名单中，广东地区获批公司分别为华为、腾讯，科大讯飞系其他地区获批产品。 2023 年度中文大模型基准测评报告显示，在语言与知识的测评中，GPT4 Turbo 依然领先，是唯一超过 90 分的大模型。国内大模型也表现相对较好，有 14 个模型的得分高于 GPT3.5，有 9 个模型的得分高于 GeminiPro。其中 OPPO 的 AndesGPT、阿里云的通义千问 2.0、月之暗面的 Moonshot 分列国内 13 位，较为接近 GPT4。在开源模型中，零一万物的 Yi34BChat、阿里云的 Qwen72BChat、百川智能的 Baichuan213BChat 取得了不错的成绩，均超过了 50 分，分列国内模型的 13 名。总体来看，在中文语言与知识能力上，国内大模型已基本追赶上国外头部大模型。 关于大模型的评测榜单还有： Open LLM Leaderboard：地址 ，由 HuggingFace 组织，目前已评估了较多主流的开源 LLM 模型，评估主要包括 AI2 Reasoning Challenge,HellaSwag,MMLU,TruthfulQA 四个数据集上的表现，主要以英文为主。 chinesellmbenchmark：地址 ，覆盖百度文心一言、chatgpt、阿里通义千问、讯飞星火、belle/chatglm6b 等开源大模型，多维度能力评测，不仅提供能力评分排行榜，也提供所有模型的原始输出结果。 SafetyPrompts：地址 ，由清华大学提出，是一个关于 LLM 安全评测 benchmark，包括安全评测平台等，用于评测和提升大模型的安全性，囊括了多种典型的安全场景和指令攻击的 prompt。
2025-03-28
文生图模型打分的排行榜
以下是文生图模型的打分排行榜（从高到低）： 文生图模型： Imagen 3：真实感满分，指令遵从强。 Recraft：真实感强，风格泛化很好，指令遵从较好（会受风格影响）。 Midjourney：风格化强，艺术感在线，但会失真，指令遵从较差。 快手可图：影视场景能用，风格化较差。 Flux.1.1：真实感强，需要搭配 Lora 使用。 文生图大模型 V2.1L（美感版）：影视感强，但会有点油腻，细节不够，容易糊脸。 Luma：影视感强，但风格单一，糊。 美图奇想 5.0：AI 油腻感重。 腾讯混元：AI 油腻感重，影视感弱，空间结构不准。 SD 3.5 Large：崩。 文生视频模型： 海螺：语意遵循不错，模型解析有待提高，自带电影滤镜，但有些用力过猛，得益于海量的影视数据。 可灵 1.5：颜色失真，缺少质感，偏科严重，物理规律和提示词遵循较强。 智谱：语意遵循，质感较差，画质一言难尽。 mochi：动态丰富，想象力丰富，美学质感较好。 pd 2.0 pro：PPT 效果，训练数据较少，但是联想启发性很好。 runway：空间感强，语意遵循较差，流体效果一绝。 Seaweed 2.0 pro：质感略弱于可灵 1.5，整体感觉师出同门。 sora：运镜丰富，物理逻辑混乱。 Pixverse v3：动态稳，丝滑，整体美学强于可灵 1.5。 luma 1.6：语意遵循差，提示词随便，动起来算我输。
2025-03-07
AI编程大模型排行榜
以下是一些关于 AI 编程大模型的相关信息： 1. ShowMeAI 周刊 No.13 中提到的相关内容： Learn About：继 NotebookLM 之后又一个 AI Native 产品，谷歌真正的 AI Native Education 尝试。 ima.copilot V.S. 秘塔 V.S. 天工：国区 Perplexity 青出于蓝而胜于蓝，秘塔一骑绝尘。 Markdown：技术圈（最）常用的文本编辑语言，一种「四通八达」的中转格式，并附上好用的转换工具。 把 17 岁高中生涂津豪的 Thinking Claude 提示词，设置在 Cursor 里。 两篇优秀的 AI 编程教程：跟着资深工程师&全栈开发者，挖掘 LLM 编程能力的极限。 恭喜阶跃星辰！step2 在 LiveBench 榜单杀进前 5，斩获国产大模型第 1 名，并顺带聊聊榜单和测评的「内幕」。 举个栗子：当把大模型「开源」用「做饭吃饭」来解释，一起都豁然开朗起来，甚至还玩起了谐音梗。 很有共鸣：为什么大部分人用不起来 AI？可能还没体验到效率飞升的 Aha Moment。 集体讨论：大家都是怎么快速处理长视频、长音频、长文本材料的？都有哪些工作流和工具的配合应用？ 2. Trae：字节开发的一款和 AI 深度集成的 AI 编程工具，可让用户限时免费无限量使用地球上最强大的编程大模型 Claude Sonnet，全自动化进行 AI 编程。包含完整的 IDE 功能，如代码编写、项目管理、插件管理、源代码管理等，提供智能问答、实时代码建议、代码片段生成、从 0 到 1 开发项目。 3. 8 月正式上线的国内大模型： 北京的五家企业机构：百度（文心一言）https://wenxin.baidu.com ；抖音（云雀大模型）https://www.doubao.com ；智谱 AI（GLM 大模型）https://chatglm.cn ；中科院（紫东太初大模型）https://xihe.mindspore.cn ；百川智能（百川大模型）https://www.baichuanai.com/ 。 上海的三家企业机构：商汤（日日新大模型）https://www.sensetime.com/ ；MiniMax（ABAB 大模型）https://api.minimax.chat ；上海人工智能实验室（书生通用大模型）https://internai.org.cn 。 能生成 Markdown 格式的：智谱清言、商量 Sensechat、MiniMax 。 目前不能进行自然语言交流的：昇思（可以对文本进行是否由 AI 生成的检测，类似论文查重，准确度不错）、书生 。 受限制使用：MiniMax（无法对生成的文本进行复制输出，且只有 15 元的预充值额度进行体验，完成企业认证后可以进行充值） 。 特色功能：昇思——生图，MiniMax——语音合成 。 阿里通义千问、360 智脑、讯飞星火等均不在首批获批名单中。广东地区获批公司分别为华为、腾讯，科大讯飞系其他地区获批产品。
2025-02-24
2024 AI工具排行榜
以下是 2024 年部分 AI 工具的相关信息： 开发者工具： 23 年 12 月至 24 年 3 月的访问量排行榜中，非大厂的 Top1 公司是 Langchain，其 3 月 PV 为 356 万，单 PV 价值为 56.18 美元。 赛道方面，天花板潜力 TAM 为 120 亿美元，总体趋势平稳增长，月平均增速为 82 万 PV/月，原生产品占比高。 竞争方面，Top1 占 19%，Top3 占 54%，马太效应弱，网络效应强，大厂已入局，技术门槛中。 教育工具： 23 年 12 月至 24 年 3 月的访问量排行榜中，非大厂的 Top1 公司是 Quizlet，其 3 月 PV 为 1.3 亿。 赛道方面，天花板潜力 TAM 约为 30 亿，总体趋势快速增长，月平均增速为 1793 万 PV/月，原生产品占比低。 竞争方面，Top1 占 45%，Top3 占 76%，马太效应弱，网络效应弱，大厂未入局，技术门槛中。 此外，在展望 2025 时，AI 行业的创新机会方面，2024 年 9 月 OpenAI 发布了新一代语言模型 o1，业界推测其采用了全新的训练与推理方案，结合强化学习技术，显著增强了推理能力，可能借鉴了下围棋的 AlphaGo Zero 的技术思路。
2025-01-26
大模型的系统提示词
大模型的系统提示词主要包括以下方面： 1. 在“五津：一键生成‘摸鱼打工猫’视频”中，针对用户选择的主题和回答，总结用户的创作意图，如“打工猫摸鱼的 2 小时，在巴厘岛能看一场日落”，并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词，以数组形式输出到“tishici”，将用户意图输出到“biaoti”。 2. 在“云中江树：智能对决：提示词攻防中的 AI 安全博弈”中，系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意；模型侧对于有能力的厂商应增强安全性并平衡性能，开发者则要在开发中带着安全意识优化系统提示词，加入安全引导和禁止内容等；输出侧可使用传统防御和内容过滤手段，并针对大模型特点进行私有数据泄露等检查。此外，还提到间接注入和提示词泄露的情况，间接注入常发生在应用获取依赖外部数据资源时，攻击者通过隐藏恶意指令完成攻击；提示词泄露指试图操纵模型输出获取部分或全部系统提示词，大模型输出内容可分为系统提示词、用户提示和助手提示词三段，通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash，这3个视觉理解大模型哪个最厉害？
以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面，较为突出的有 DeepSeek 的 JanusPro 模型，它将图像理解和生成统一在一个模型中；还有通义千问的视觉理解模型，其价格有较大降幅。此外，Pixverse V3.5 是全球最快的 AI 视频生成模型，在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型，因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点： 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验，具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接，产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务，适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景，如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点： 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情，全靠用户脑补，导致用户上头期短，疲劳度高，长期留存低。 3. 无法回答私有领域问题（如公司制度、人员信息等）。 4. 无法及时获取最新信息（如实时天气、比赛结果等）。 5. 无法准确回答专业问题（如复杂数学计算、图像生成等）。
2025-04-14