Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

视觉模型有哪些

Answer

以下为一些常见的视觉模型：

  • Sora：符合视觉模型的规模化原则，展示了新兴能力，包括遵循指令、视觉提示工程和视频理解等显著功能。
  • 智谱·AI 开源模型：
    • CogAgent-18B：基于 CogVLM-17B 改进的开源视觉语言模型，拥有 110 亿视觉参数和 70 亿语言参数，支持高分辨率图像理解，具备 GUI 图像的 Agent 能力。
    • CogVLM-17B：强大的开源视觉语言模型，在多模态权威学术榜单上综合成绩优异。
    • Visualglm-6B：开源的支持图像、中文和英文的多模态对话语言模型，整体模型共 78 亿参数。
    • RDM：Relay Diffusion Model，级联扩散模型，能从任意给定分辨率的图像快速生成。
  • ComfyUI IPAdapter 中的图像模型：如 CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors 和 CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors，下载后需按特定名称命名并放入指定文件夹。
Content generated by AI large model, please carefully verify (powered by aily)

References

Sora：大型视觉模型的背景、技术、局限性和机遇综述 【官方论文】

视觉模型的规模化定律。有了LLMs的规模化定律，自然会问视觉模型的发展是否遵循类似的规模化定律。最近，Zhai等人[24]展示了，有足够训练数据的ViT模型的性能-计算前沿大致遵循（饱和）幂律。继他们之后，谷歌研究[25]提出了一种高效稳定训练22B参数ViT的方法。结果显示，使用冻结模型产生嵌入，然后在顶部训练薄层可以实现出色的性能。Sora作为一个大型视觉模型（LVM），符合这些规模化原则，揭示了文本到视频生成中的几种新兴能力。这一重大进展强调了LVMs实现类似LLMs所见进步的潜力。新兴能力。LLMs中的新兴能力是在某些规模上——通常与模型参数的大小有关——表现出的复杂行为或功能，这些行为或功能并未被开发者明确编程或预期。这些能力被称为“新兴”，因为它们源于模型在多样化数据集上的全面训练，以及其庞大的参数数量。这种组合使模型能够形成联系并做出超越简单模式识别或死记硬背的推断。通常，这些能力的出现不能通过从小规模模型的性能外推来直接预测。虽然许多LLMs，如ChatGPT和GPT-4，展示了新兴能力，但直到Sora的出现，展示类似能力的视觉模型还很少。根据Sora的技术报告，它是第一个展示确认新兴能力的视觉模型，标志着计算机视觉领域的一个重要里程碑。除了其新兴能力，Sora还展示了其他显著能力，包括遵循指令、视觉提示工程和视频理解。Sora的这些功能方面代表了视觉领域的重大进步，并将在后续部分进行探讨和讨论。

智谱·AI 开源模型列表

[title]智谱·AI开源模型列表[heading2]多模态模型��模态的模型。|模型|介绍|代码链接|模型下载|<br>|-|-|-|-|<br>|CogAgent-18B|基于CogVLM-17B改进的开源视觉语言模型。CogAgent-18B拥有110亿视觉参数和70亿语言参数，支持1120*1120分辨率的图像理解，在CogVLM功能的基础上，具备GUI图像的Agent能力。|[CogVLM & CogAgent](https://github.com/THUDM/CogVLM)|[Huggingface](https://huggingface.co/THUDM/CogVLM)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/cogagent-chat/summary)|[Swanhub](https://swanhub.co/ZhipuAI/cogagent-chat-hf)|始智社区|<br>|CogVLM-17B|强大的开源视觉语言模型（VLM）。基于对视觉和语言信息之间融合的理解，CogVLM可以在不牺牲任何NLP任务性能的情况下，实现视觉语言特征的深度融合。我们训练的CogVLM-17B是目前多模态权威学术榜单上综合成绩第一的模型，在14个数据集上取得了state-of-the-art或者第二名的成绩。||[Huggingface](https://huggingface.co/THUDM/cogvlm-chat-hf)|[魔搭社区](https://modelscope.cn/models/AI-ModelScope/cogvlm-chat/summary)|<br>|Visualglm-6B|VisualGLM-6B是一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于[ChatGLM-6B](https://github.com/THUDM/ChatGLM-6B)，具有62亿参数；图像部分通过训练[BLIP2-Qformer](https://arxiv.org/abs/2301.12597)构建起视觉模型与语言模型的桥梁，整体模型共78亿参数。|[VisuaGLM](https://github.com/THUDM/VisualGLM-6B)|[Huggingface](https://huggingface.co/THUDM/visualglm-6b)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/visualglm-6b/summary)|<br>|RDM|Relay Diffusion Model：级联扩散模型，可以从任意给定分辨率的图像快速生成，而无需从白噪声生成。|[RDM](https://github.com/THUDM/RelayDiffusion)||

ComfyUI IPAdapter

模型下载后,需要严格按照下面的名称命名,为了使用后面的IPAdapter统一加载器(这个很方便)图像处理的模型,这两个模型的区别在于参数量的大小不一样.另外在后续操作时候,也需要做对应的区分,注意IPAdpter模型和IPAdapter预处理的对应[CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors](https://huggingface.co/h94/IP-Adapter/resolve/main/models/image_encoder/model.safetensors),download and rename CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors，下载并重命名[CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors](https://huggingface.co/h94/IP-Adapter/resolve/main/sdxl_models/image_encoder/model.safetensors),download and rename CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors，下载并重命名下载后放入/ComfyUI/models/clip_vision这里需要注意的是，clip vison只能编码224x224大小的正方形图片，所以后续使用时候，需要注意下，把图片做一下裁剪，特别是不是正方形的图片。

Others are asking
视觉理解技术最新动态和趋势
以下是视觉理解技术的最新动态和趋势： 一、视觉分析技术 1. Transformer 视觉模型优点 2. Transformer 视觉模型的局限 二、图像语言模型 三、视频语言模型 四、LLM 多模态 Agent 五、应用场景 1. 多模态内容理解与处理 2. 智能交互与自动化 3. 具身智能 4. 未来发展趋势（2024 ？） 5. 视频生成模型 mapping 六、未来发展方向 1. 技术路径而言：利用预训练 LLMs 进行指令调整 最初，多模态融合方法常采用预训练的目标检测器，如 ViLBERT、VisualBERT 和 UnicoderVL，通过提取图像特征和执行交叉模态预训练任务，为后续的图像 文本任务奠定基础。 随着 ViT 的出现和普及，更多方法开始利用 ViT 作为图像编码器，强调大规模预训练，以提高模型的性能和泛化能力，例如 Flamingo。 近期，向多模态 LLMs 发展，从进行预训练到向指令调整（instruction tuning）转变，如 LLaVA 和 MiniGPT4，融合视觉和语言信息，能更有效地完成视觉理解相关任务，提升模型对于指令的理解能力和零样本性能，更好地泛化到未见过的任务和领域。 2. 应用场景而言：赋予机器理解多模态的能力 此外，李飞飞在 2015 年的 TED 演讲《我们怎么教计算机理解图片？》中提到了计算机视觉方面的研究进展，指出虽然在科技上取得了很多进步，但在计算机视觉方面仍存在一些问题，如自动驾驶车辆的视觉敏锐度、向盲人传递画面、无人机的视觉技术等。
2025-01-10
有没有视觉识别的模型
以下是一些视觉识别的模型： 1. siglipso400mpatch14384：由 Google 开发的视觉特征提取模型，负责理解和编码图像内容。工作流程包括接收输入图像、分析图像的视觉内容（如物体、场景、颜色、纹理等）、将这些视觉信息编码成一组特征向量。可在 ComfyUI\models\clip 中下载，若因环境问题，也可在网盘中下载。下载好后，目录的文件包括 image_adapter.pt（适配器），其连接视觉模型和语言模型，优化数据转换。工作流程包括接收来自视觉模型的特征向量、转换和调整这些特征使其适合语言模型处理、进行一些特定任务的优化或微调（如图片到文字）。可通过 https://huggingface.co/spaces/fancyfeast/joycaptionprealpha/tree/main/wpkklhc6 下载，放到 models 的 Joy_caption 文件夹里，若该文件夹不存在，新建一个。 2. Comfyui IPAdapter 中的图像模型： ，下载并重命名。 ，下载并重命名。下载后放入/ComfyUI/models/clip_vision。需要注意的是，clip vison 只能编码 224x224 大小的正方形图片，后续使用时若图片不是正方形，需进行裁剪。
2024-12-19
我想找关于视觉识别相关的api
很抱歉，目前知识库中没有关于视觉识别相关 API 的具体信息。但您可以通过以下途径寻找： 1. 一些知名的云服务提供商，如阿里云、腾讯云、百度云等，它们通常提供视觉识别相关的 API 服务。 2. 专门的人工智能和计算机视觉技术公司的官方网站，可能会有相关的 API 介绍和使用文档。 3. 技术社区和开发者论坛，例如 CSDN、掘金等，您可以在这些地方与其他开发者交流，获取相关的推荐和经验分享。
2024-12-19
国内做视觉理解的大模型厂商有哪些
国内做视觉理解的大模型厂商有以下这些： 北京： 百度（文心一言）：https://wenxin.baidu.com 抖音（云雀大模型）：https://www.doubao.com 智谱 AI（GLM 大模型）：https://chatglm.cn 中科院（紫东太初大模型）：https://xihe.mindspore.cn 百川智能（百川大模型）：https://www.baichuanai.com 上海： 商汤（日日新大模型）：https://www.sensetime.com MiniMax（ABAB 大模型）：https://api.minimax.chat 上海人工智能实验室（书生通用大模型）：https://internai.org.cn 此外，在 0 基础手搓 AI 拍立得的模型供应商选择中，还有以下视觉类大模型厂商： 智谱 GLM4V：通用视觉类大模型，拍立得最早使用的模型，接口响应速度快，指令灵活性差一些，一个接口支持图片/视频/文本，视频和图片类型不能同时输入，调用成本为 0.05 元/千 tokens， 阿里云百炼 qwenvlplus：通用视觉类大模型，拍立得目前使用的模型，指令灵活性比较丰富，接口调用入门流程长一些，密钥安全性更高，调用成本为¥0.008/千 tokens，训练成本为¥0.03/千 tokens， 阶跃星辰：通用视觉类大模型，响应速度快，支持视频理解，输入成本为¥0.005～0.015/千 tokens，输出成本为¥0.02～0.07/千 tokens， 百度 PaddlePaddle：OCR，垂直小模型，文本识别能力补齐增强，私有化部署服务费，API 调用在¥0.05～0.1/次，
2024-12-19
有哪些好的将文本转换为视觉的AI工具
以下是一些将文本转换为视觉的 AI 工具： 1. Pika：出色的文本生成视频 AI 工具，擅长动画制作，支持视频编辑。 2. SVD：Stable Diffusion 的插件，可在图片基础上生成视频，由 Stability AI 开源。 3. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频功能，但收费。 4. Kaiber：视频转视频 AI，能将原视频转换成各种风格的视频。 5. Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 6. Napkin AI：将文本内容转换为视觉图像，生成图表、流程图等，可编辑和个性化设计元素，并导出多种格式。 7. Trellis AI：能从非结构化内容中提取数据，将复杂数据源高效转换成结构化的 SQL 格式。 更多的文生视频的网站可以查看：https://www.waytoagi.com/category/38 。 此外，在软件架构设计中，以下工具可用于绘制逻辑视图、功能视图和部署视图： 1. Lucidchart：流行的在线绘图工具，支持多种图表创建。 2. Visual Paradigm：全面的 UML 工具，提供多种架构视图创建功能。 3. ArchiMate：开源建模语言，与 Archi 工具配合使用支持逻辑视图创建。 4. Enterprise Architect：强大的建模、设计和生成代码工具，支持多种架构视图创建。 5. Microsoft Visio：广泛使用的图表和矢量图形应用程序，提供丰富模板。 6. draw.io（现称 diagrams.net）：免费在线图表软件，支持多种图表创建。 7. PlantUML：文本到 UML 转换工具，可自动生成多种视图。 8. Gliffy：基于云的绘图工具，提供架构图创建功能。 9. Archi：免费开源工具，支持逻辑视图创建。 10. Rational Rose：IBM 的 UML 工具，支持多种视图创建。
2024-12-12
(defun 生成记忆卡片 (单词) "生成单词记忆卡片的主函数" (let* ((词根 (分解词根 单词)) (联想 (mapcar #'词根联想 词根)) (故事 (创造生动故事 联想)) (视觉 (设计SVG卡片 单词 词根 故事))) (输出卡片 单词 词根 故事 视觉))) (defun 设计SVG卡片 (单词 词根 故事) "创建SVG记忆卡片" (design_rule "合理使用负空间，整体排版要有呼
以下是关于生成记忆卡片和 SVG 卡片的相关信息： 卡片类的应用被定义为词生卡片，如李继刚的《汉语新解》、一泽的《名片设计》、云中江树的《AI 简历》等，都是通过给大模型优化过的 Prompt，让其生成 HTML 代码或 SVG 代码，再通过浏览器渲染效果。 把提示词丢给 Claude ，如在 Poe 平台上的 Claude 模型，大概率会直接输出 SVG 代码，但对于子步骤是否执行等情况难以知晓。Andrej Karpathy 认为，模型需要 tokens 来思考，如果大语言模型未将思考过程外化，则几乎等于没思考。 甲木介绍了让 Claude 生成古诗词卡片的方法，流程包括输入 Prompt 、用户输入主题和风格，AI 输出最终结果。获取提示词已开源，创作过程主要是根据给定主题和方向生成匹配的中国古诗词，创建设计感强烈、富有中国传统美学的 SVG 卡片展示诗词，并提供相关信息，还支持根据用户提供的主题和方向生成对应语境的 prompt 并配图生成 SVGCard 。但对于“逼格高”的看法因人而异，可将选择权交给 AI 。
2024-11-28
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
大模型产品对比
以下是对一些大模型产品的对比介绍： 智谱清言：由智谱 AI 和清华大学推出，基础模型为 ChatGLM 大模型。2023 年 10 月 27 日，智谱 AI 于 2023 中国计算机大会（CNCC）上推出了全自研的第三代基座大模型 ChatGLM3 及相关系列产品。 模型特点：在工具使用排名国内第一，在计算、逻辑推理、传统安全能力上排名国内前三。更擅长专业能力，但代码能力有优化空间，知识百科稍显不足，是很有竞争力的大模型。 适合应用：场景广泛，可优先推进在 AI 智能体方面相关的应用，包括任务规划、工具使用及长文本记忆相关场景，在较复杂推理应用上效果不错，也适用于广告文案、文学写作。 其他大模型产品： OpenAI 发布 GPT4 科大讯飞发布星火 1.0 及升级至星火 3.0 百度发布文心一言 1.0 及升级至 V3.5 清华开源 ChatGLM 360 发布 360 智脑 1.0 及升级至智脑 4.0 复旦开源 MOSS 元语开源 ChatYuan 阿里云发布通义千问 1.0 及开源 Qwen7B 商汤科技发布商量 1.0 及升级至商量 2.0、商量 3.0 昆仑万维发布天工 1.0 出门问问发布序列猴子 华为发布盘古 3.0 西湖心辰发布西湖大模型 云从科技发布从容大模型 理想汽车发布 MindGPT OPPO 发布 AndesGPT vivo 发布 BlueLM 小米发布大模型 MiLM 元象科技开源 XVERSE13B Google 发布多模态大模型 Gemini 上海人工智能实验室开源 InternLM20B 百川智能发布 Baichuan2—Turbo 关于大模型在营销方面的应用： 大模型在实体类产品的营销标语生成上表现较好，虚拟类产品相对欠佳。可能是因为大模型训练数据中实体类语料多，更能调用已有知识加工，而虚拟类产品非标准品，大模型认识不足。 情绪价值在营销领域有很多用武之地，除快消商品外，很多产品的营销需要反复沟通，虚拟产品对感性成交依赖更大，大模型在这方面仍有很大发展空间。
2025-02-18
我想创业，花多少钱，能够搭建一个视频领域的AI模型
在视频领域搭建 AI 模型的成本因多种因素而异。对于创业者或小公司来说，这个领域存在一定的挑战。 腾讯的混元 AI 视频模型目前只支持文生视频，且已开源免费。 在模型供应商方面，不同供应商的特点和成本有所不同： 智谱 GLM4V 是通用视觉类大模型，为拍立得最早使用的模型，接口响应速度快，指令灵活性差一些，调用成本为 0.05 元/千 tokens。 阿里云百炼 qwenvlplus 也是通用视觉类大模型，是拍立得目前使用的模型，指令灵活性比较丰富，接口调用入门流程长一些，密钥安全性更高，调用成本为 0.008 元/千 tokens，训练成本为 0.03 元/千 tokens。 阶跃星辰是通用视觉类大模型，响应速度快，支持视频理解，输入成本为 0.005 0.015 元/千 tokens，输出成本为 0.02 0.07 元/千 tokens。 百度 PaddlePaddle 是 OCR 垂直小模型，文本识别能力补齐增强，私有化部署有服务费，API 调用在 0.05 0.1 元/次。 此外，获取高质量数据的难度较高，大厂在该领域的护城河深厚。大公司在争取大模型 API 客户方面更具优势，且开源大模型的发展可能会影响创业公司的业务。去年为大客户定制一个大模型的最高订单额可达 1000 万元，而今年则快速降到了百万元级别乃至更低。
2025-02-18
你的底层大模型用的是哪个？
目前常见的大型语言模型多采用右侧只使用 Decoder 的 Decoderonly 架构，例如我们熟知的 ChatGPT 等。这些架构都是基于谷歌 2017 年发布的论文“attention is all you need”中提出的 Transformer 衍生而来，其中包括 Encoder 和 Decoder 两个结构。 大模型的特点在于： 1. 预训练数据非常大，往往来自互联网上的论文、代码、公开网页等，一般用 TB 级别的数据进行预训练。 2. 参数非常多，如 Open 在 2020 年发布的 GPT3 就已达到 170B 的参数。 大模型之所以能有效生成高质量有意义的回答，关键在于“大”。例如 GPT1 的参数规模是 1.5 亿，GPT2 Medium 的参数规模是 3.5 亿，到 GPT3.5 时，参数规模达到惊人的 1750 亿，参数规模的增加实现了量变到质变的突破，“涌现”出惊人的“智能”。 大模型的预训练机制是指其“脑袋”里存储的知识都是预先学习好的，预训练需要花费相当多的时间和算力资源。在没有其他外部帮助的情况下，大模型所知道的知识信息总是不完备且滞后的。
2025-02-18
怎么用大模型构建一个属于我自己的助手
以下是用大模型构建属于自己的助手的几种方法： 1. 在网站上构建： 创建百炼应用获取大模型推理 API 服务： 进入百炼控制台的，在页面右侧点击新增应用，选择智能体应用并创建。 在应用设置页面，模型选择通义千问Plus，其他参数保持默认，也可以输入一些 Prompt 来设置人设。 在页面右侧提问验证模型效果，点击右上角的发布。 获取调用 API 所需的凭证： 在我的应用>应用列表中查看所有百炼应用 ID 并保存到本地。 在顶部导航栏右侧，点击人型图标，点击 APIKEY 进入我的 APIKEY 页面，创建新 APIKEY 并保存到本地。 2. 微信助手构建： 搭建，用于汇聚整合多种大模型接口，并获取白嫖大模型接口的方法。 搭建，作为知识库问答系统，将大模型接入用于回答问题，若不接入微信，搭建完成即可使用其问答界面。 搭建接入微信，配置 FastGpt 将知识库问答系统接入微信，建议先用小号以防封禁风险。 3. 基于 COW 框架构建： COW 是基于大模型搭建的 Chat 机器人框架，可将多模型塞进微信。 基于张梦飞同学的更适合小白的使用教程：。 实现功能包括打造属于自己的 ChatBot（文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等）、常用开源插件的安装应用。 注意事项： 微信端因非常规使用有封号危险，不建议主力微信号接入。 只探讨操作步骤，请依法合规使用。 大模型生成的内容注意甄别，确保操作符合法律法规要求。 禁止用于非法目的，处理敏感或个人隐私数据时注意脱敏，以防滥用或泄露。 支持多平台接入，如微信、企业微信、公众号、飞书、钉钉等。 支持多模型选择，如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型，能处理文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能。 支持多部署方法，如本地运行、服务器运行、Docker 的方式。
2025-02-17