直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

视觉模型有哪些

回答

以下为一些常见的视觉模型：

  • Sora：符合视觉模型的规模化原则，展示了新兴能力，包括遵循指令、视觉提示工程和视频理解等显著功能。
  • 智谱·AI 开源模型：
    • CogAgent-18B：基于 CogVLM-17B 改进的开源视觉语言模型，拥有 110 亿视觉参数和 70 亿语言参数，支持高分辨率图像理解，具备 GUI 图像的 Agent 能力。
    • CogVLM-17B：强大的开源视觉语言模型，在多模态权威学术榜单上综合成绩优异。
    • Visualglm-6B：开源的支持图像、中文和英文的多模态对话语言模型，整体模型共 78 亿参数。
    • RDM：Relay Diffusion Model，级联扩散模型，能从任意给定分辨率的图像快速生成。
  • ComfyUI IPAdapter 中的图像模型：如 CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors 和 CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors，下载后需按特定名称命名并放入指定文件夹。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

Sora：大型视觉模型的背景、技术、局限性和机遇综述 【官方论文】

视觉模型的规模化定律。有了LLMs的规模化定律，自然会问视觉模型的发展是否遵循类似的规模化定律。最近，Zhai等人[24]展示了，有足够训练数据的ViT模型的性能-计算前沿大致遵循（饱和）幂律。继他们之后，谷歌研究[25]提出了一种高效稳定训练22B参数ViT的方法。结果显示，使用冻结模型产生嵌入，然后在顶部训练薄层可以实现出色的性能。Sora作为一个大型视觉模型（LVM），符合这些规模化原则，揭示了文本到视频生成中的几种新兴能力。这一重大进展强调了LVMs实现类似LLMs所见进步的潜力。新兴能力。LLMs中的新兴能力是在某些规模上——通常与模型参数的大小有关——表现出的复杂行为或功能，这些行为或功能并未被开发者明确编程或预期。这些能力被称为“新兴”，因为它们源于模型在多样化数据集上的全面训练，以及其庞大的参数数量。这种组合使模型能够形成联系并做出超越简单模式识别或死记硬背的推断。通常，这些能力的出现不能通过从小规模模型的性能外推来直接预测。虽然许多LLMs，如ChatGPT和GPT-4，展示了新兴能力，但直到Sora的出现，展示类似能力的视觉模型还很少。根据Sora的技术报告，它是第一个展示确认新兴能力的视觉模型，标志着计算机视觉领域的一个重要里程碑。除了其新兴能力，Sora还展示了其他显著能力，包括遵循指令、视觉提示工程和视频理解。Sora的这些功能方面代表了视觉领域的重大进步，并将在后续部分进行探讨和讨论。

智谱·AI 开源模型列表

[title]智谱·AI开源模型列表[heading2]多模态模型��模态的模型。|模型|介绍|代码链接|模型下载|<br>|-|-|-|-|<br>|CogAgent-18B|基于CogVLM-17B改进的开源视觉语言模型。CogAgent-18B拥有110亿视觉参数和70亿语言参数，支持1120*1120分辨率的图像理解，在CogVLM功能的基础上，具备GUI图像的Agent能力。|[CogVLM & CogAgent](https://github.com/THUDM/CogVLM)|[Huggingface](https://huggingface.co/THUDM/CogVLM)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/cogagent-chat/summary)|[Swanhub](https://swanhub.co/ZhipuAI/cogagent-chat-hf)|始智社区|<br>|CogVLM-17B|强大的开源视觉语言模型（VLM）。基于对视觉和语言信息之间融合的理解，CogVLM可以在不牺牲任何NLP任务性能的情况下，实现视觉语言特征的深度融合。我们训练的CogVLM-17B是目前多模态权威学术榜单上综合成绩第一的模型，在14个数据集上取得了state-of-the-art或者第二名的成绩。||[Huggingface](https://huggingface.co/THUDM/cogvlm-chat-hf)|[魔搭社区](https://modelscope.cn/models/AI-ModelScope/cogvlm-chat/summary)|<br>|Visualglm-6B|VisualGLM-6B是一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于[ChatGLM-6B](https://github.com/THUDM/ChatGLM-6B)，具有62亿参数；图像部分通过训练[BLIP2-Qformer](https://arxiv.org/abs/2301.12597)构建起视觉模型与语言模型的桥梁，整体模型共78亿参数。|[VisuaGLM](https://github.com/THUDM/VisualGLM-6B)|[Huggingface](https://huggingface.co/THUDM/visualglm-6b)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/visualglm-6b/summary)|<br>|RDM|Relay Diffusion Model：级联扩散模型，可以从任意给定分辨率的图像快速生成，而无需从白噪声生成。|[RDM](https://github.com/THUDM/RelayDiffusion)||

ComfyUI IPAdapter

模型下载后,需要严格按照下面的名称命名,为了使用后面的IPAdapter统一加载器(这个很方便)图像处理的模型,这两个模型的区别在于参数量的大小不一样.另外在后续操作时候,也需要做对应的区分,注意IPAdpter模型和IPAdapter预处理的对应[CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors](https://huggingface.co/h94/IP-Adapter/resolve/main/models/image_encoder/model.safetensors),download and rename CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors，下载并重命名[CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors](https://huggingface.co/h94/IP-Adapter/resolve/main/sdxl_models/image_encoder/model.safetensors),download and rename CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors，下载并重命名下载后放入/ComfyUI/models/clip_vision这里需要注意的是，clip vison只能编码224x224大小的正方形图片，所以后续使用时候，需要注意下，把图片做一下裁剪，特别是不是正方形的图片。

其他人在问
AI 辅助文案创作与视觉设计
以下是关于 AI 辅助文案创作与视觉设计的相关内容： 视觉设计： 在名片设计的最后阶段——视觉设计中，核心是将名片文案转化为精美的可视化样式。考虑到用户模块文案长度差异，采用前端网页代码构建样式框架比直接文生图兼容性更好。Claude Artifacts 功能在网页布局设计和前端开发方面表现出色，能自动生成代码并提供实时预览效果。通过连续对话验证其能生成符合审美要求的社交名片，证明完全依赖 AI 完成视觉设计可行。若能通过一段提示词让 AI 稳定输出预期结果，还可省去单独工程化处理，降低应用开发复杂度，引入随机样式提升用户体验。 文案创作： 在制作《AI 你·南京》AIGC 城市宣传 MV 时，一开始打算用旁白朗诵方式，对文案要求高。直接让 GPT 写文案结果平淡，需更具体提需求。利用 360 浏览器字幕提取功能捕捉《爱我中华》视频文案，让 kimi 和 gpt 分析学习，对比两者结果，kimi 在中文理解和写作能力上更突出。完成文案分析后让 AI 按风格写作，整合调整，使文案更顺口，还可让 AI 输出简单画面分镜。 生成 Logo 的 AI 产品： 以下是一些生成 Logo 的 AI 产品： 1. Looka：在线 Logo 设计平台，根据用户品牌信息和设计偏好生成方案供选择定制。 2. Tailor Brands：AI 驱动的品牌创建工具，通过回答问题生成 Logo 选项。 3. Designhill：利用 AI 技术创建个性化 Logo 设计，用户选择元素和风格生成方案。 4. LogoMakr：提供简单易用的设计工具，可利用 AI 建议的元素和颜色方案。 5. Canva：广受欢迎的在线设计工具，提供 Logo 设计模板和元素及 AI 辅助建议。 6. LogoAI by Tailor Brands：根据用户输入快速生成 Logo 设计方案。 7. 标小智：中文 AI Logo 设计工具，创建个性化 Logo。 使用这些工具时，用户可根据品牌理念和视觉偏好通过简单交互获得设计方案，并进一步定制优化。还可访问获取更多好用工具。
2024-10-29
qwen大语言模型有视觉模式吗？
Qwen 大语言模型具有视觉模式。以下是相关信息： 有博主称 QwenVL 已迁移到 ComfyUI 中，它支持本地图像、上下文窗口多轮对话，支持 PLUS 和 MAX 双视觉模型，支持百万像素、任意规格图像，具有超强细节和文字识别能力，在开源领域表现出色，中文能力突出，目前 API 免费开放。 关于部署 Qwen 大语言模型，如在 Windows 电脑上，可点击 win+R，输入 cmd 回车；在 Mac 电脑上，按下 Command（⌘）+ Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”选择“终端”应用程序，然后复制相关命令行粘贴回车进行下载。
2024-10-11
有代码基础和数学基础，帮我制定一份AI的学习计划，主要方向是数据分析、计算机视觉和AIGC
以下是一份针对您有代码基础和数学基础，以数据分析、计算机视觉和 AIGC 为主要方向的 AI 学习计划： 一、基础知识学习 1. 深入学习 AI 相关的基本概念，包括但不限于： AI（人工智能）：了解其定义、发展历程和应用领域。 机器学习：掌握监督学习、无监督学习和强化学习的原理和应用。 深度学习：理解神经网络和神经元的工作原理。 2. 学习相关数学知识，如线性代数、概率论、统计学等，为后续的学习打下坚实基础。 二、数据分析方向 1. 学习数据分析的基本流程和方法，包括数据收集、清洗、预处理和可视化。 2. 掌握常见的数据分析工具和库，如 Python 的 Pandas、NumPy、Matplotlib 等。 3. 学习数据挖掘和机器学习算法在数据分析中的应用，如分类、回归、聚类等。 三、计算机视觉方向 1. 学习计算机视觉的基本概念和原理，如图像处理、特征提取、目标检测等。 2. 掌握深度学习框架，如 TensorFlow、PyTorch 等，并学习使用它们进行计算机视觉任务的开发。 3. 实践常见的计算机视觉项目，如人脸识别、图像分类、目标跟踪等。 四、AIGC 方向 1. 了解 AIGC 的发展现状和应用场景。 2. 学习生成式模型，如生成对抗网络（GAN）、变分自编码器（VAE）等。 3. 实践 AIGC 相关的项目，如文本生成、图像生成等。 五、学习资源推荐 1. 在线课程：Coursera 上的《机器学习》《深度学习专项课程》等。 2. 书籍：《机器学习》（周志华）、《深度学习》（伊恩·古德费洛等）。 3. 开源项目：在 GitHub 上寻找相关的优秀开源项目进行学习和实践。 4. 视频资源： ：某知识 up 主老石谈芯专访安克创新 CEO 阳萌的视频，一共两期，内容硬核，值得观看。 六、实践与项目经验积累 积极参与实际项目，将所学知识应用到实际中，不断提升自己的能力。 请注意，学习是一个持续的过程，需要不断地实践和总结，祝您学习顺利！
2024-09-18
AI视觉算法
以下是关于 AI 视觉算法的相关内容： GPT4 Vision GPT4 Vision 是 OpenAI 高级模型 GPT4 的创新功能，于 2023 年 9 月推出，能够解释视觉内容和文本，为用户提供更丰富、更直观的交互体验。 GPT4V 模型使用带有预训练组件的视觉编码器进行视觉感知，将编码的视觉特征与语言模型对齐。它建立在复杂的深度学习算法之上，能有效处理复杂的视觉数据。 GPT4V 允许用户上传图像作为输入并询问有关图像的问题，这种任务类型称为视觉问答（VQA）。 GPT4V 的工作原理： 利用先进的机器学习技术解释和分析视觉和文本信息。 对庞大数据集进行训练，包括文本和各种视觉元素。 训练过程结合强化学习，采用两阶段训练方法，先掌握视觉语言知识，再对更小、更高质量的数据集进行微调，以提高生成的可靠性和可用性。 计算机视觉 图像分类和物体识别：将图片作为输入，输出图像的内容分类，应用于面部识别。 物体识别：不仅分类或识别物体，还检测物体是否出现在图像中。 图像分割算法：识别物体位置，并标记不同物体对应的像素点，如用于识别 X 光照射图片。 视觉追踪：检测视频中的奔跑者，并追踪其轨迹和运动方向。 自然语言处理 文本分类：识别邮箱或文本中的内容并归类，可用于情绪识别。 信息检索：输入关键字，找出相关文档。 名称实体识别：找出句子中的名称，自动提取电话、姓名、国籍等。 机械翻译：进行语言翻译。 解析与语音部分标注技术：标注句子词性，让 AI 系统找出需留意的词语。 解析器：将单词组合成短语和句子，也是一种分类标签。 语音识别：将麦克风记录的空气高速压力变化数据转化为文本。 触发词检测：识别触发词。 语音 ID 识别：通过倾听说话来识别身份。
2024-09-05
详细介绍一个移动端-图片视觉处理的方法，如试卷拍照去除书写笔迹
移动端图片视觉处理方法在试卷拍照去除书写笔迹方面可以采用图像处理和机器学习技术的结合。以下是一个详细的方法介绍： 图像预处理： 图像去噪：使用去噪算法（如高斯滤波、中值滤波）去除图像中的噪声。 图像增强：通过增强算法（如直方图均衡化、对比度增强）提升图像的清晰度和对比度。 图像分割： 使用图像分割算法将试卷图像中的书写笔迹和背景分离。常用的分割算法包括阈值分割、边缘检测和基于区域的分割方法。 文字检测： 在分割后的图像中，使用文字检测算法（如基于深度学习的文本检测模型）识别出试卷上的文字区域。 文字识别： 对检测到的文字区域进行文字识别，将文字内容转换为计算机可处理的文本数据。常用的文字识别技术包括基于深度学习的端到端文本识别模型和传统的OCR（Optical Character Recognition）技术。 后处理： 根据需求进行后处理，如去除残余的噪点、填补文字区域的空白等。 机器学习模型训练（可选）： 如有足够的数据，可以采用机器学习技术训练模型，通过学习样本中的书写笔迹特征来自动去除试卷上的笔迹。 优化算法： 对整个处理流程进行优化，提高处理速度和准确度。可以采用并行计算、硬件加速等方法提升算法的效率。 移动端集成： 将设计好的算法和模型集成到移动应用程序中，以实现试卷拍照去除书写笔迹的功能。可以使用移动端开发框架（如iOS的Core ML、Android的TensorFlow Lite）来实现模型的部署和调用。 通过以上方法，可以在移动端实现对试卷拍照图像进行书写笔迹去除的功能，提高试卷的清晰度和可读性。
2024-03-20
clip模型能应用与跨模态检索
CLIP 模型能应用于跨模态检索。以下是关于 CLIP 模型的一些详细信息： 对比语言图像预训练（CLIP）通过将图像和文本转换成固定大小的向量，使它们在一个共同的嵌入空间中对齐来训练模型，对于多模态信息检索和相关任务非常重要。 在 Stable Diffusion 中，CLIP 模型作为文生图模型的文本编码模块，决定了语义信息的优良程度，影响图片生成的多样性和可控性。它包含 Text Encoder 和 Image Encoder 两个模型，分别用于提取文本和图像的特征，可灵活切换，且具有强大的 zeroshot 分类能力。其庞大的图片与标签文本数据的预训练赋予了其强大的能力，把自然语言领域的抽象概念带到了计算机视觉领域。 自 2021 年以来，多模态模型成为热门议题，CLIP 作为开创性的视觉语言模型，将 Transformer 架构与视觉元素相结合，便于在大量文本和图像数据集上进行训练，可在多模态生成框架内充当图像编码器。 为解决 CLIP 模型在仅文本任务中表现不如专门用于文本的模型，导致信息检索系统处理仅文本和多模态任务时效率低下的问题，已提出新颖的多任务对比训练方法训练相关模型，使其在文本图像和文本文本检索任务中达到最先进性能。
2024-10-31
如何能让大模型自动读取到微信上的聊天内容。
要让大模型自动读取到微信上的聊天内容，可以参考以下几种方法： 1. 搭建，用于汇聚整合多种大模型接口，方便后续更换使用各种大模型，并可白嫖大模型接口。 2. 搭建，这是一个知识库问答系统，将知识文件放入，并接入上面的大模型作为分析知识库的大脑，最后回答问题。若不想接入微信，搭建完成即可使用其问答界面。 3. 搭建，其中的cow插件能进行文件总结、MJ绘画等。 此外，还有作者张梦飞的方法，即把自己微信中的聊天记录导出，用自己的聊天记录去微调一个模型，最终将这个微调后的模型接入微信中替您回复消息。 另外，在创作方面，鉴于聊天记录属于绝对的个人隐私，不适合接入第三方大模型提取信息，可本地化部署LLM。例如采用百川2的国产大模型开源，如Baichuan2作为底模，先用提示工程对聊天记录进行信息提取，并在此基础上使用自有数据进行模型微调。
2024-10-31
sora模型不同于其他同类模型的优势
Sora 模型不同于其他同类模型的优势主要体现在以下几个方面： 1. 视频生成能力：能够根据文本提示生成长达 1 分钟的高质量视频，而早期模型通常只能生成短视频片段。生成的长视频具有高视觉质量和引人入胜的视觉连贯性，从第一帧到最后一帧有良好的视觉一致性。 2. 处理复杂指令：展示了准确解释和执行复杂人类指令的显著能力，能生成包含多个执行特定动作的角色以及复杂背景的详细场景。 3. 数据预处理：能够在原始尺寸上训练、理解和生成视频及图像，拥抱视觉数据的多样性，在从宽屏 1920x1080p 视频到竖屏 1080x1920p 视频以及之间的任何格式上采样，而不会损害原始尺寸。在原始尺寸上训练数据显著改善了生成视频的构图和框架，实现更自然和连贯的视觉叙事。 4. 符合规模化定律：作为大型视觉模型，符合规模化原则，揭示了文本到视频生成中的几种新兴能力，是第一个展示确认新兴能力的视觉模型，标志着计算机视觉领域的一个重要里程碑。此外，还展示了包括遵循指令、视觉提示工程和视频理解等显著能力。
2024-10-30
大模型下的数据生产和应用
大模型下的数据生产和应用主要包括以下方面： 整体架构： 基础层：为大模型提供硬件支撑和数据支持，例如 A100、数据服务器等。 数据层：包括企业根据自身特性维护的静态知识库和动态的三方数据集。 模型层：如 LLm（大语言模型），一般使用 Transformer 算法实现，还有多模态模型，如文生图、图生图等，其训练数据与 LLm 不同，为图文或声音等多模态数据集。 平台层：如大模型的评测体系或 langchain 平台等，是模型与应用间的组成部分。 表现层：即应用层，是用户实际看到的地方。 模型特点： 预训练数据量大，往往来自互联网上的论文、代码、公开网页等，通常以 TB 级别计。 参数众多，如 Open 在 2020 年发布的 GPT3 已达 170B 的参数。 架构方面，目前常见的大模型多为右侧只使用 Decoder 的 Decoderonly 架构，如 ChatGPT 等。 工作流程： 训练过程类似于上学参加工作，包括找学校（需要大量 GPU 等硬件支持）、确定教材（需要大量数据）、找老师（选择合适算法）、就业指导（微调）、搬砖（推导）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，输入文本会被分割并数字化形成词汇表。
2024-10-30
大模型的数字资产管理系统
大模型的数字资产管理系统涉及以下方面： 大模型的整体架构： 1. 基础层：为大模型提供硬件支撑和数据支持，例如 A100、数据服务器等。 2. 数据层：包括静态的知识库和动态的三方数据集，是企业根据自身特性维护的垂域数据。 3. 模型层：包含 LLm（大语言模型，如 GPT，一般使用 transformer 算法实现）或多模态模型（如文生图、图生图等模型，训练数据与 llm 不同，用的是图文或声音等多模态的数据集）。 4. 平台层：如大模型的评测体系或 langchain 平台等，是模型与应用间的组成部分。 5. 表现层：即应用层，是用户实际看到的地方。 大模型的通俗理解： 大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练、使用过程： 1. 找学校：训练 LLM 需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练大模型。 2. 确定教材：大模型需要大量数据，几千亿序列（Token）的输入基本是标配。 3. 找老师：用合适算法让大模型更好理解 Token 之间的关系。 4. 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。 企业大模型的误区： 1. 总想搞一个宏大的产业大模型：目前大模型能力不足以支持，更适合在场景里解决专业问题。 2. 总想用一个万能大模型解决所有企业问题：企业不同场景可能需要不同的大模型。 3. 认为有了大模型，原来的 IT 系统就淘汰了：大模型需要与原业务系统连接协同工作，原数字化搞得越好，大模型效果越好。 4. 认为大模型不用做数字化，直接一步到位弯道超车：企业没有基本的 IT 系统、数字化系统，没有数据积累和知识沉淀，无法做大模型。
2024-10-30
《2024大模型人才报告》
以下是与您查询的相关报告： 2024 年 9 月 10 日： 《》由蚂蚁集团和中国信通院联合发布，探讨了大模型在金融、医疗、政务等行业的应用挑战和解决方案。报告提出了一个系统化的可信应用框架，强调了专业性、可控性、真实性和安全性四个核心要素，并从数据质量、模型能力、推理过程、系统安全等方面提供了具体的技术实现建议。 《》 《》 《》 《》 2024 年 7 月 10 日： 极客邦科技通过《》报告深入探讨 AIGC 技术在企业中的应用，提供实战经验和趋势洞察。这份报告集合了多篇文章和案例，覆盖互联网产品、企业生产、医疗、教育等行业，展现大模型应用潜力。 《》 《》 《》 《》 2024 年 9 月 18 日： 《》探讨了 AI 技术，尤其是大模型技术对劳动力市场的影响。 《》探讨了 AI 技术在营销领域的应用现状和发展趋势。 《》 《》 您可以通过相应的链接获取更详细的内容。
2024-10-29