直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

视觉模型有哪些

回答

以下为一些常见的视觉模型：

  • Sora：符合视觉模型的规模化原则，展示了新兴能力，包括遵循指令、视觉提示工程和视频理解等显著功能。
  • 智谱·AI 开源模型：
    • CogAgent-18B：基于 CogVLM-17B 改进的开源视觉语言模型，拥有 110 亿视觉参数和 70 亿语言参数，支持高分辨率图像理解，具备 GUI 图像的 Agent 能力。
    • CogVLM-17B：强大的开源视觉语言模型，在多模态权威学术榜单上综合成绩优异。
    • Visualglm-6B：开源的支持图像、中文和英文的多模态对话语言模型，整体模型共 78 亿参数。
    • RDM：Relay Diffusion Model，级联扩散模型，能从任意给定分辨率的图像快速生成。
  • ComfyUI IPAdapter 中的图像模型：如 CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors 和 CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors，下载后需按特定名称命名并放入指定文件夹。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

Sora：大型视觉模型的背景、技术、局限性和机遇综述 【官方论文】

视觉模型的规模化定律。有了LLMs的规模化定律，自然会问视觉模型的发展是否遵循类似的规模化定律。最近，Zhai等人[24]展示了，有足够训练数据的ViT模型的性能-计算前沿大致遵循（饱和）幂律。继他们之后，谷歌研究[25]提出了一种高效稳定训练22B参数ViT的方法。结果显示，使用冻结模型产生嵌入，然后在顶部训练薄层可以实现出色的性能。Sora作为一个大型视觉模型（LVM），符合这些规模化原则，揭示了文本到视频生成中的几种新兴能力。这一重大进展强调了LVMs实现类似LLMs所见进步的潜力。新兴能力。LLMs中的新兴能力是在某些规模上——通常与模型参数的大小有关——表现出的复杂行为或功能，这些行为或功能并未被开发者明确编程或预期。这些能力被称为“新兴”，因为它们源于模型在多样化数据集上的全面训练，以及其庞大的参数数量。这种组合使模型能够形成联系并做出超越简单模式识别或死记硬背的推断。通常，这些能力的出现不能通过从小规模模型的性能外推来直接预测。虽然许多LLMs，如ChatGPT和GPT-4，展示了新兴能力，但直到Sora的出现，展示类似能力的视觉模型还很少。根据Sora的技术报告，它是第一个展示确认新兴能力的视觉模型，标志着计算机视觉领域的一个重要里程碑。除了其新兴能力，Sora还展示了其他显著能力，包括遵循指令、视觉提示工程和视频理解。Sora的这些功能方面代表了视觉领域的重大进步，并将在后续部分进行探讨和讨论。

智谱·AI 开源模型列表

[title]智谱·AI开源模型列表[heading2]多模态模型��模态的模型。|模型|介绍|代码链接|模型下载|<br>|-|-|-|-|<br>|CogAgent-18B|基于CogVLM-17B改进的开源视觉语言模型。CogAgent-18B拥有110亿视觉参数和70亿语言参数，支持1120*1120分辨率的图像理解，在CogVLM功能的基础上，具备GUI图像的Agent能力。|[CogVLM & CogAgent](https://github.com/THUDM/CogVLM)|[Huggingface](https://huggingface.co/THUDM/CogVLM)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/cogagent-chat/summary)|[Swanhub](https://swanhub.co/ZhipuAI/cogagent-chat-hf)|始智社区|<br>|CogVLM-17B|强大的开源视觉语言模型（VLM）。基于对视觉和语言信息之间融合的理解，CogVLM可以在不牺牲任何NLP任务性能的情况下，实现视觉语言特征的深度融合。我们训练的CogVLM-17B是目前多模态权威学术榜单上综合成绩第一的模型，在14个数据集上取得了state-of-the-art或者第二名的成绩。||[Huggingface](https://huggingface.co/THUDM/cogvlm-chat-hf)|[魔搭社区](https://modelscope.cn/models/AI-ModelScope/cogvlm-chat/summary)|<br>|Visualglm-6B|VisualGLM-6B是一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于[ChatGLM-6B](https://github.com/THUDM/ChatGLM-6B)，具有62亿参数；图像部分通过训练[BLIP2-Qformer](https://arxiv.org/abs/2301.12597)构建起视觉模型与语言模型的桥梁，整体模型共78亿参数。|[VisuaGLM](https://github.com/THUDM/VisualGLM-6B)|[Huggingface](https://huggingface.co/THUDM/visualglm-6b)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/visualglm-6b/summary)|<br>|RDM|Relay Diffusion Model：级联扩散模型，可以从任意给定分辨率的图像快速生成，而无需从白噪声生成。|[RDM](https://github.com/THUDM/RelayDiffusion)||

ComfyUI IPAdapter

模型下载后,需要严格按照下面的名称命名,为了使用后面的IPAdapter统一加载器(这个很方便)图像处理的模型,这两个模型的区别在于参数量的大小不一样.另外在后续操作时候,也需要做对应的区分,注意IPAdpter模型和IPAdapter预处理的对应[CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors](https://huggingface.co/h94/IP-Adapter/resolve/main/models/image_encoder/model.safetensors),download and rename CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors，下载并重命名[CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors](https://huggingface.co/h94/IP-Adapter/resolve/main/sdxl_models/image_encoder/model.safetensors),download and rename CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors，下载并重命名下载后放入/ComfyUI/models/clip_vision这里需要注意的是，clip vison只能编码224x224大小的正方形图片，所以后续使用时候，需要注意下，把图片做一下裁剪，特别是不是正方形的图片。

其他人在问
gpt4o视觉模型
GPT4o 是 OpenAI 推出的模型。开发人员现在可在 API 中将其作为文本和视觉模型进行访问。与 GPT4 Turbo 相比，具有速度快 2 倍、价格减半、速率限制高出 5 倍的优势。未来几周计划向 API 中的一小群受信任的合作伙伴推出对其新音频和视频功能的支持。 GPT4o（“o”代表“omni”）是迈向更自然人机交互的一步，能接受文本、音频和图像的任意组合作为输入，并生成文本、音频和图像输出的任意组合。它在 232 毫秒内可响应音频输入，平均为 320 毫秒，与人类响应时间相似。在英语文本和代码上的 GPT4 Turbo 性能相匹配，在非英语语言的文本上有显著改进，在 API 中更快且便宜 50%，在视觉和音频理解方面表现出色。 在 GPT4o 之前，语音模式由三个独立模型组成的管道实现，存在信息丢失等问题。而 GPT4o 是在文本、视觉和音频上端到端训练的新模型，所有输入和输出都由同一个神经网络处理，但对其能做什么及局限性仍在探索。
2024-11-14
介绍一下视觉算法产品，以及该方向产品经理需要做的内容，以及面试可能会考察的知识点
目前知识库中暂时没有关于视觉算法产品、该方向产品经理工作内容以及面试考察知识点的相关信息。但一般来说，视觉算法产品是利用计算机视觉技术来实现特定功能的产品，例如图像识别、目标检测、视频分析等。 视觉算法产品经理需要做的工作内容可能包括： 1. 市场调研与需求分析：了解市场需求、竞争对手情况，挖掘潜在的用户需求。 2. 产品规划与定义：明确产品的目标、功能、性能指标等。 3. 算法选型与整合：根据需求选择合适的视觉算法，并进行整合和优化。 4. 项目管理与推进：协调开发团队、测试团队等，确保项目按时交付。 5. 与客户沟通：收集反馈，优化产品。 在面试视觉算法产品经理时，可能会考察以下知识点： 1. 计算机视觉基础知识，如常见的算法和模型。 2. 对相关行业和市场的了解。 3. 产品管理的方法和流程。 4. 项目管理经验和能力。 5. 沟通协调和团队合作能力。
2024-11-01
AI 辅助文案创作与视觉设计
以下是关于 AI 辅助文案创作与视觉设计的相关内容： 视觉设计： 在名片设计的最后阶段——视觉设计中，核心是将名片文案转化为精美的可视化样式。考虑到用户模块文案长度差异，采用前端网页代码构建样式框架比直接文生图兼容性更好。Claude Artifacts 功能在网页布局设计和前端开发方面表现出色，能自动生成代码并提供实时预览效果。通过连续对话验证其能生成符合审美要求的社交名片，证明完全依赖 AI 完成视觉设计可行。若能通过一段提示词让 AI 稳定输出预期结果，还可省去单独工程化处理，降低应用开发复杂度，引入随机样式提升用户体验。 文案创作： 在制作《AI 你·南京》AIGC 城市宣传 MV 时，一开始打算用旁白朗诵方式，对文案要求高。直接让 GPT 写文案结果平淡，需更具体提需求。利用 360 浏览器字幕提取功能捕捉《爱我中华》视频文案，让 kimi 和 gpt 分析学习，对比两者结果，kimi 在中文理解和写作能力上更突出。完成文案分析后让 AI 按风格写作，整合调整，使文案更顺口，还可让 AI 输出简单画面分镜。 生成 Logo 的 AI 产品： 以下是一些生成 Logo 的 AI 产品： 1. Looka：在线 Logo 设计平台，根据用户品牌信息和设计偏好生成方案供选择定制。 2. Tailor Brands：AI 驱动的品牌创建工具，通过回答问题生成 Logo 选项。 3. Designhill：利用 AI 技术创建个性化 Logo 设计，用户选择元素和风格生成方案。 4. LogoMakr：提供简单易用的设计工具，可利用 AI 建议的元素和颜色方案。 5. Canva：广受欢迎的在线设计工具，提供 Logo 设计模板和元素及 AI 辅助建议。 6. LogoAI by Tailor Brands：根据用户输入快速生成 Logo 设计方案。 7. 标小智：中文 AI Logo 设计工具，创建个性化 Logo。 使用这些工具时，用户可根据品牌理念和视觉偏好通过简单交互获得设计方案，并进一步定制优化。还可访问获取更多好用工具。
2024-10-29
qwen大语言模型有视觉模式吗？
Qwen 大语言模型具有视觉模式。以下是相关信息： 有博主称 QwenVL 已迁移到 ComfyUI 中，它支持本地图像、上下文窗口多轮对话，支持 PLUS 和 MAX 双视觉模型，支持百万像素、任意规格图像，具有超强细节和文字识别能力，在开源领域表现出色，中文能力突出，目前 API 免费开放。 关于部署 Qwen 大语言模型，如在 Windows 电脑上，可点击 win+R，输入 cmd 回车；在 Mac 电脑上，按下 Command（⌘）+ Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”选择“终端”应用程序，然后复制相关命令行粘贴回车进行下载。
2024-10-11
有代码基础和数学基础，帮我制定一份AI的学习计划，主要方向是数据分析、计算机视觉和AIGC
以下是一份针对您有代码基础和数学基础，以数据分析、计算机视觉和 AIGC 为主要方向的 AI 学习计划： 一、基础知识学习 1. 深入学习 AI 相关的基本概念，包括但不限于： AI（人工智能）：了解其定义、发展历程和应用领域。 机器学习：掌握监督学习、无监督学习和强化学习的原理和应用。 深度学习：理解神经网络和神经元的工作原理。 2. 学习相关数学知识，如线性代数、概率论、统计学等，为后续的学习打下坚实基础。 二、数据分析方向 1. 学习数据分析的基本流程和方法，包括数据收集、清洗、预处理和可视化。 2. 掌握常见的数据分析工具和库，如 Python 的 Pandas、NumPy、Matplotlib 等。 3. 学习数据挖掘和机器学习算法在数据分析中的应用，如分类、回归、聚类等。 三、计算机视觉方向 1. 学习计算机视觉的基本概念和原理，如图像处理、特征提取、目标检测等。 2. 掌握深度学习框架，如 TensorFlow、PyTorch 等，并学习使用它们进行计算机视觉任务的开发。 3. 实践常见的计算机视觉项目，如人脸识别、图像分类、目标跟踪等。 四、AIGC 方向 1. 了解 AIGC 的发展现状和应用场景。 2. 学习生成式模型，如生成对抗网络（GAN）、变分自编码器（VAE）等。 3. 实践 AIGC 相关的项目，如文本生成、图像生成等。 五、学习资源推荐 1. 在线课程：Coursera 上的《机器学习》《深度学习专项课程》等。 2. 书籍：《机器学习》（周志华）、《深度学习》（伊恩·古德费洛等）。 3. 开源项目：在 GitHub 上寻找相关的优秀开源项目进行学习和实践。 4. 视频资源： ：某知识 up 主老石谈芯专访安克创新 CEO 阳萌的视频，一共两期，内容硬核，值得观看。 六、实践与项目经验积累 积极参与实际项目，将所学知识应用到实际中，不断提升自己的能力。 请注意，学习是一个持续的过程，需要不断地实践和总结，祝您学习顺利！
2024-09-18
AI视觉算法
以下是关于 AI 视觉算法的相关内容： GPT4 Vision GPT4 Vision 是 OpenAI 高级模型 GPT4 的创新功能，于 2023 年 9 月推出，能够解释视觉内容和文本，为用户提供更丰富、更直观的交互体验。 GPT4V 模型使用带有预训练组件的视觉编码器进行视觉感知，将编码的视觉特征与语言模型对齐。它建立在复杂的深度学习算法之上，能有效处理复杂的视觉数据。 GPT4V 允许用户上传图像作为输入并询问有关图像的问题，这种任务类型称为视觉问答（VQA）。 GPT4V 的工作原理： 利用先进的机器学习技术解释和分析视觉和文本信息。 对庞大数据集进行训练，包括文本和各种视觉元素。 训练过程结合强化学习，采用两阶段训练方法，先掌握视觉语言知识，再对更小、更高质量的数据集进行微调，以提高生成的可靠性和可用性。 计算机视觉 图像分类和物体识别：将图片作为输入，输出图像的内容分类，应用于面部识别。 物体识别：不仅分类或识别物体，还检测物体是否出现在图像中。 图像分割算法：识别物体位置，并标记不同物体对应的像素点，如用于识别 X 光照射图片。 视觉追踪：检测视频中的奔跑者，并追踪其轨迹和运动方向。 自然语言处理 文本分类：识别邮箱或文本中的内容并归类，可用于情绪识别。 信息检索：输入关键字，找出相关文档。 名称实体识别：找出句子中的名称，自动提取电话、姓名、国籍等。 机械翻译：进行语言翻译。 解析与语音部分标注技术：标注句子词性，让 AI 系统找出需留意的词语。 解析器：将单词组合成短语和句子，也是一种分类标签。 语音识别：将麦克风记录的空气高速压力变化数据转化为文本。 触发词检测：识别触发词。 语音 ID 识别：通过倾听说话来识别身份。
2024-09-05
企业做自己的小模型，需要用到的工具及工具背后的公司都有哪些？
企业做自己的小模型，可能会用到以下工具及背后的公司： 1. 在编排（Orchestration）方面，涉及的公司如 DUST、FIAVIE、LangChain 等，其提供的工具可帮助管理和协调各部分及任务，确保系统流畅运行。 2. 部署、可扩展性和预训练（Deployment, Scalability, & PreTraining）类别中，像 UWA mosaicm、NMAREL、anyscale 等公司提供的工具，有助于部署模型、保证可扩展性及进行预训练。 3. 处理上下文和嵌入（Context & Embeddings）的工具，相关公司有 TRUDO、Llamalndex、BerriAI 等，能帮助模型处理和理解语言上下文，并将词语和句子转化为计算机可理解的形式。 4. 质量保证和可观察性（QA & Observability）方面，例如 Pinecone、drant、Vald 等公司提供的工具，可确保模型表现并监控其性能和状态。 此外，还有以下工具和相关公司： 1. 图片生成 3D 建模工具，如 Tripo AI（由 VAST 发布）、Meshy、CSM AI（Common Sense Machines）、Sudo AI、VoxCraft（由生数科技推出）等。 企业还可能涉及具身智能、3D 眼镜、AI 绘本、AI 图书、学习机、飞书的多维表格、蚂蚁的智能体、Coze 的智能体、Zeabur 等云平台、0 编码平台、大模型（通义、智谱、kimi、deepseek 等）、编程辅助、文生图（可灵、即梦等）等方面，可能需要相应资质。
2024-11-20
你认为目前最好用的大模型有哪些？
目前最好用的大模型包括： 1. OpenAI 的 GPT4：是最先进和广泛使用的大型语言模型之一，在多种任务上表现卓越，如文本生成、理解、翻译及各种专业和创意写作任务，能通过大量数据学习理解和生成人类语言，处理复杂问题和理解上下文能力出色。 2. Anthropic 公司的 Claude 3。 3. 谷歌的 Gemini。 4. 百度的文心一言。 5. 阿里巴巴的通义大模型。 大型模型主要分为两类： 1. 大型语言模型：专注于处理和生成文本信息。 2. 大型多模态模型：能够处理包括文本、图片、音频等多种类型的信息。 大型多模态模型与大型语言模型的不同点： 1. 处理的信息类型不同：大型语言模型专注于文本，大型多模态模型能处理多种类型信息。 2. 应用场景不同：大型语言模型主要用于自然语言处理任务，大型多模态模型应用领域更广泛。 3. 数据需求不同：大型语言模型依赖大量文本数据训练，大型多模态模型需要多种类型数据训练。 此外，如果想了解国内的大模型效果，可以参考第三方基准评测报告： 。需注意，内容由 AI 大模型生成，请仔细甄别。
2024-11-19
能生成sql语句的ai模型或工具，能提供api调用的
以下是一些能生成 SQL 语句并提供 API 调用的 AI 模型或工具的相关信息： OpenAI 的 GPT 系列模型，如 gpt40613 和 gpt3.5turbo0613 ，可以通过函数调用及其他 API 更新，让开发人员向模型描述函数，并让模型智能地选择输出一个包含调用这些函数所需参数的 JSON 对象。但需要注意的是，为了让 ChatGPT 返回符合要求的 JSON 格式，prompt 的定制尤为重要和复杂。 在使用代码执行来进行更精确的计算或调用外部 API 时，不能依赖模型自行准确地执行算术或长计算。可以指示模型编写和运行代码，例如将代码放入三重反引号中。生成输出后，可以提取并运行代码。同时，模型在正确使用 API 的指导下，可以编写使用 API 的代码，但需要通过提供 API 文档或代码示例进行指导。 但需要注意的是，执行模型生成的代码存在安全风险，建议在安全的沙箱环境中运行代码，避免潜在危害。
2024-11-19
图说AI大模型？
以下是关于 AI 大模型的相关内容： 一、大模型的整体架构 1. 基础层：为大模型提供硬件支撑和数据支持，例如 A100、数据服务器等。 2. 数据层：包括静态的知识库和动态的三方数据集，这里的数据层并非用于基层模型训练的数据基集，而是企业根据自身特性维护的垂域数据。 3. 模型层：包括 LLm（大语言模型，例如 GPT，一般使用 transformer 算法实现）或多模态模型（如市面上的文生图、图生图等模型，训练所用数据与 llm 不同，为图文或声音等多模态的数据集）。 4. 平台层：例如大模型的评测体系或 langchain 平台等，是模型与应用间的组成部分。 5. 表现层：也就是应用层，是用户实际看到的地方。 二、再补充一些概念 AI Agent Agent 是从年前到现在比较火的概念，被很多人认为是大模型的未来主要发展方向。中间的“智能体”其实就是 llm 或大模型，四个箭头分别是为 llm 增加的工具、记忆、行动、规划四个能力。目前行业里主要用到的是 langchain 框架，它把 llm 之间以及 llm 和工具之间通过代码或 prompt 的形式进行串接。 三、必须理解的核心概念 1. 泛化能力：指模型在未曾见过的数据上表现良好的能力，用大白话讲就是“举一反三”的能力，人类泛化能力很强，无需见过世界上每一只猫就能认识猫的概念。 2. 多模态：指多数据类型交互，能提供更接近人类感知的场景，大模型对应的模态有文本、图像、音频、视频等。 3. 对齐能力：指与人类价值观与利益目标保持一致的能力。但目前阶段，有很多提示词注入的方法能绕过各种限制，这也开辟了大模型领域黑白对抗的新战场。
2024-11-19
文生图模型性能排行
以下是一些文生图模型的性能排行相关信息： Kolors 是最近开源的文生图模型中表现出色的一个。它具有更强的中文文本编码器、高质量的文本描述、人标的高质量图片、强大的中文渲染能力以及巧妙解决高分辨率图加噪问题的 noise schedule，实测效果不错。 PIKA1.0 是一个全新的模型，文生视频和文生图的质量都有大幅度提升。在文生图方面稳定得令人惊讶，3D 和 2D 的动画效果出色。 为全面比较 Kolors 与其他模型的生成能力，构建了包含人工评估、机器评估的全面评测内容。在 KolorsPrompts 评估集中，Kolors 在整体满意度方面处于最优水平，其中画面质量显著领先其他模型。具体的平均分数如下： AdobeFirefly：整体满意度平均分 3.03，画面质量平均分 3.46，图文相关性平均分 3.84。 Stable Diffusion 3：整体满意度平均分 3.26，画面质量平均分 3.5，图文相关性平均分 4.2。 DALLE 3：整体满意度平均分 3.32，画面质量平均分 3.54，图文相关性平均分 4.22。 Midjourneyv5：整体满意度平均分 3.32，画面质量平均分 3.68，图文相关性平均分 4.02。 Playgroundv2.5：整体满意度平均分 3.37，画面质量平均分 3.73，图文相关性平均分 4.04。 Midjourneyv6：整体满意度平均分 3.58，画面质量平均分 3.92，图文相关性平均分 4.18。 Kolors：整体满意度平均分 3.59，画面质量平均分 3.99，图文相关性平均分 4.17。所有模型结果取自 2024.04 的产品版本。
2024-11-18
认为如果我是一个大学生，想要通过大模型去参加项目什么样的方向会比较好我应该做一个怎样的大模型？
对于大学生想要通过大模型参加项目，以下是一些方向和相关知识： 大模型的概念： 通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有有资本购买大量 GPU 的才有能力训练自己的大模型。 2. 确定教材：大模型需要大量的数据量，几千亿序列（Token）的输入基本是标配。 3. 找老师：即选择合适的算法让大模型更好地理解 Token 之间的关系。 4. 就业指导：为了让大模型更好地胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。Token 被视为模型处理和生成的文本单位，会对输入进行数字化形成词汇表。 大模型的训练： 一般训练会有 3 个步骤，每个步骤都需要资金投入。 1. 无监督学习：模型通过分析大量文本数据，学习语言的基本结构和常识，具备文本补齐能力而非直接回答问题，将人类的知识通过向量化的方法转换，从而获得基础的语言模型。 2. 清洗出好的数据。 3. 指令微调：模型被训练以理解并执行具体指令，如翻译文本，从而能够回答问题。输入内容包括 3 个部分，中间可能有分隔符。还有对齐过程，通过引入人类的评价标准和处理特定格式要求，进一步优化模型的输出以符合人类的期望。 大模型的微调： 在人工智能领域，通常会根据应用领域将大模型分为通用大模型和领域特定模型。通用大模型如 GPT4.0、GPT3.5 等，通过训练获得广泛的自然语言理解能力，但在特定领域表现可能不理想。微调是对大模型针对特定领域进行的训练过程，通过在特定领域的数据上训练模型，优化所有层的参数，提高其在该领域的专业性。从头开始训练一个具备自然语言处理能力的大模型需要大量时间和资源，小公司负担不起，微调可以在现有模型基础上更经济、高效地适应新的应用领域。
2024-11-18