Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

deepseek的多模态大模型？

Answer

DeepSeek 发布了大一统模型 Janus-Pro，将图像理解和生成统一在一个模型中。以下是关于该模型的一些重要信息：

  • 最新消息：DeepSeek 深夜发布该模型，它是一个强大的框架。
  • 特点：
    • 统一了多模态理解和生成，通过将视觉编码解耦为独立路径解决先前方法的局限性，利用单一的统一 Transformer 架构进行处理，缓解了视觉编码器在理解和生成中的角色冲突，增强了框架的灵活性。
    • 超越了之前的统一模型，匹配或超过了特定任务模型的性能，其简单性、高灵活性和有效性使其成为下一代统一多模态模型的有力候选者。
  • 规模：提供 1B 和 7B 两种规模，适配多元应用场景。
  • 开源及商用：全面开源，支持商用，采用 MIT 协议，部署使用便捷。
  • 测试案例：
    • 模型直接支持中文交互（图像理解+图像生成）。
    • 云上 L4 测试，显存需 22GB。
    • 图像生成速度约 15s/张。
    • 图像理解质量方面，文字和信息识别基本准确，内容理解完整清晰，局部细节有欠缺。
    • Colab（需 Pro，因需 20GB 以上显存）：https://colab.research.google.com/drive/1V3bH2oxhikj_B_EYy5yRG_9yqSqxxqgS?usp=sharing
  • 模型地址：
    • 7B 模型：https://huggingface.co/deepseek-ai/Janus-Pro-7B
    • 1B 模型：https://huggingface.co/deepseek-ai/Janus-Pro-1B
  • 下载地址：https://github.com/deepseek-ai/Janus
Content generated by AI large model, please carefully verify (powered by aily)

References

详解：DeepSeek深度推理+联网搜索 目前断档第一

本篇内容可编辑，欢迎大家补充自己的观点最新消息：[DeepSeek深夜发布大一统模型Janus-Pro将图像理解和生成统一在一个模型中](https://waytoagi.feishu.cn/wiki/SneLwRmsYiUaI6kvxltcEBPPnhb)deepseek刚刚发布了新模型-一个强大的框架，它将图像理解和生成统一在一个模型中！！！上一个是智源开源的Emu3模型（7B）：https://huggingface.co/deepseek-ai/Janus-Pro-7B模型（1B）：https://huggingface.co/deepseek-ai/Janus-Pro-1BJanus-Pro是一种新型的自回归框架，它统一了多模态理解和生成。它通过将视觉编码解耦为独立的路径来解决先前方法的局限性，同时仍然利用单一的统一变压器架构进行处理。解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus-Pro超越了之前的统一模型，并匹配或超过了特定任务模型的性能。Janus-Pro的简单性、高灵活性和有效性使其成为下一代统一多模态模型的有力候选者。DeepSeek爆火，价格亲民却实力超群，智慧开源领航者，实时联网深度推理双冠王，用技术普惠重新定义AI边界！便宜+开源+能联网，东方神秘力量Appstore排行第一，导致算力股大跌

DeepSeek深夜发布大一统模型 Janus-Pro将图像理解和生成统一在一个模型中

LLM看这里：[详解：DeepSeek深度推理+联网搜索目前断档第一](https://waytoagi.feishu.cn/wiki/D9McwUWtQiFh9sksz4ccmn4Dneg)关键点：1.统一Transformer架构，使用同一个模型就能完成图片理解，图片生成2.提供1B和7B两种规模，适配多元应用场景3.全面开源，支持商用，MIT协议，部署使用便捷4.Benchmark表现优异，能力更全面（上一个是智源开源的Emu3模型（7B）：https://huggingface.co/deepseek-ai/Janus-Pro-7B模型（1B）：https://huggingface.co/deepseek-ai/Janus-Pro-1B官方解释：Janus-Pro是一种新型的自回归框架，它统一了多模态理解和生成。它通过将视觉编码解耦为独立的路径来解决先前方法的局限性，同时仍然利用单一的统一Transformer架构进行处理。解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus-Pro超越了之前的统一模型，并匹配或超过了特定任务模型的性能。Janus-Pro的简单性、高灵活性和有效性使其成为下一代统一多模态模型的有力候选者。下载地址：https://github.com/deepseek-ai/Janus

DeepSeek深夜发布大一统模型 Janus-Pro将图像理解和生成统一在一个模型中

【ZHO】Janus-Pro-7B初见面！！！做了版Colab初测了下DeepSeek新开源的多模态统一模型1）模型直接支持中文交互（图像理解+图像生成2）云上L4测试，显存需22GB3）图像生成速度：约15s/张4）图像理解质量：文字和信息识别基本准确，内容理解完整清晰，局部细节有欠缺由于Gradio界面比较sb（显示不全结果，所以把结果拼成了一张图如下Colab（需Pro，因需20GB以上显存）：https://colab.research.google.com/drive/1V3bH2oxhikj_B_EYy5yRG_9yqSqxxqgS?usp=sharing[heading2]CY已经做好了ComfyUI的节点[heading2]Benchmark表现[content]和上一个大一统模型Emu3等的benchmark对比，能力完全补全

Others are asking
deepseek
DeepSeek 是一家具有独特特点和优势的公司： 它不是“中国式创新”的产物，其在硅谷受到关注和追逐并非近期才发生。早在 2024 年 5 月 DeepSeekV2 发布时，就以多头潜在注意力机制（MLA）架构的创新引发小范围轰动，而在国内舆论场却被描摹成“大模型价格战的发起者”。 如果 V3 是 DeepSeek 的 GPT3 时刻，未来充满未知但值得期待，DeepSeek 应能为全人类的人工智能事业做出更大贡献，且已是中国最全球化的 AI 公司之一，其赢得尊重的秘方是硅谷味儿的。 作为推理型大模型，它具有以下特点： 无需用户提供详细步骤指令，能通过理解真实需求和场景提供答案。 能理解用户用“人话”表达的需求，无需特定提示词模板。 回答问题时能深度思考，而非简单罗列信息。 可以模仿不同作家的文风进行写作，适用于多种文体和场景。 使用 DeepSeek 的正确方法包括： 用自然语言描述，直接描述真实场景和具体需求，提示词模板可用可不用。 在提问时加上“说人话”“小学生能听懂”“菜市场大妈能听懂的话”等，让回答更通俗易懂。 激发其进行批判性思考、反面思考和复盘，恢复深度思考能力。 通过指定模仿的作家和文体，让其生成符合特定风格的文本。
2025-01-31
deepseek 使用手册
以下是关于 DeepSeek 的使用手册： 1. 效果对比：用 Coze 做了小测试，可对比查看 2. 如何使用： 搜索 www.deepseek.com，点击“开始对话”。 将装有提示词的代码发给 DeepSeek。 认真阅读开场白之后，正式开始对话。 3. 设计思路： 将 Agent 封装成 Prompt，将 Prompt 储存在文件，保证最低成本的人人可用的同时，减轻自己的调试负担。 通过提示词文件，让 DeepSeek 实现同时使用联网功能和深度思考功能。 在模型默认能力的基础上优化输出质量，并通过思考减轻 AI 味，增加可读性。 照猫画虎参考大模型的 temperature 设计了阈值系统，但是可能形式大于实质，之后根据反馈可能会修改。 用 XML 来进行更为规范的设定，而不是用 Lisp（对我来说有难度）和 Markdown（运行下来似乎不是很稳定）。 4. 完整提示词：v 1.3 5. 特别鸣谢：李继刚的【思考的七把武器】在前期为提供了很多思考方向；Thinking Claude 是现在最喜欢使用的 Claude 提示词，也是设计 HiDeepSeek 的灵感来源；Claude 3.5 Sonnet 是最得力的助手。 6. 使用技巧： DeepSeek 的特点与优势： 推理型大模型：核心是推理型大模型，与指令型大模型不同，它不需要用户提供详细的步骤指令，而是通过理解用户的真实需求和场景来提供答案。 更懂人话：能够理解用户用“人话”表达的需求，而不需要用户学习和使用特定的提示词模板。 深度思考：在回答问题时能够进行深度思考，而不是简单地罗列信息。 文风转换器：可以模仿不同作家的文风进行写作，适用于多种文体和场景。 使用 DeepSeek 的正确方法： 可以扔掉提示词模板：用自然语言描述，直接描述真实场景和具体需求，提示词模板的目的是清晰表达，如果使用也完全没问题。 让 DeepSeek“说人话”：在提问时加上“说人话”“小学生能听懂”“菜市场大妈能听懂的话”等，可以让 DeepSeek 的回答更加通俗易懂。 激发深度思考：让 DeepSeek 进行批判性思考、反面思考和复盘，以恢复其深度思考能力。 文风转换：通过指定模仿的作家和文体，让 DeepSeek 生成符合特定风格的文本。
2025-01-31
deepseek最新消息
以下是关于 DeepSeek 的最新消息： DeepSeek 深夜发布大一统模型 JanusPro，将图像理解和生成统一在一个模型中。模型（7B）：https://huggingface.co/deepseekai/JanusPro7B ；模型（1B）：https://huggingface.co/deepseekai/JanusPro1B 。JanusPro 是一种新型的自回归框架，通过将视觉编码解耦为独立的路径来解决先前方法的局限性，同时利用单一的统一变压器架构进行处理，超越了之前的统一模型，并匹配或超过了特定任务模型的性能。 DeepSeek 以小成本实现媲美领先 AI 产品的性能，并在全球主要市场 App Store 登顶。高盛认为 DeepSeek 或改变科技格局，降低 AI 行业的进入门槛。 DeepSeek 在中文场景表现优秀，日常写作和表达习惯贴近人类，但专业论文总结略弱。数学能力不错，编程能力逊于 GPT。采用 GRPO 算法替代传统 PPO，提升语言评价灵活性与训练速度。 1 月 28 日（除夕）有一场关于 DeepSeek 的高质量闭门会，其创始人梁文锋强调团队文化与长远智能探索。DeepSeek 在技术上虽有优势，但资源有限，需聚焦核心；其推理模型推动效率提升，挑战传统 SFT 方法，标志着新的模型训练范式。 DeepSeek 近日开源了多模态模型 JanusPro，寓意古罗马双面神雅努斯，既能进行视觉理解，也能生成图像。与 DALLE 3 相比，JanusPro 在参数上领先，并具备图像识别、地标识别等多种能力。该模型通过更优化的训练策略、更海量的数据和更大规模的参数（70 亿）实现了更强的智能表现。全面开源，支持商用，MIT 协议，部署使用便捷，Benchmark 表现优异，能力更全面。
2025-01-30
Deepseek 使用逻辑
DeepSeek 的使用逻辑如下： 效果对比：用 Coze 做了小测试，可对比查看相关视频。 如何使用： 搜索 www.deepseek.com，点击“开始对话”。 将装有提示词的代码发给 DeepSeek。 认真阅读开场白后正式开始对话。 设计思路： 将 Agent 封装成 Prompt，将 Prompt 储存在文件，保证最低成本的人人可用，减轻调试负担。 通过提示词文件，让 DeepSeek 实现同时使用联网功能和深度思考功能。 在模型默认能力基础上优化输出质量，减轻 AI 味，增加可读性。 设计了阈值系统，可能会根据反馈修改。 用 XML 进行更为规范的设定，而非 Lisp 和 Markdown。 关于 DeepSeek 的其他信息： 1 月 26 日社区动态速览： 提示词框架包含四大模块：任务目的、计划规则、格式规则、输出说明。通过明晰的任务拆分与规则定义，让提示更具可操作性，但不可过度依赖，有示例模板可清晰展现相关内容。 Anthropic 的“计算机使用”模型，Claude 有新能力，如可识别屏幕截图，计算光标像素坐标并执行操作，结合了图像识别、推理和动作能力，能将用户指令转化为具体步骤并执行，少量软件训练后能自我纠正并迅速上手。 OpenAI Operator 工作机制，利用虚拟主机、Chrome 浏览器、CUA 实现网页实时操控，能执行复杂导航任务，结合 GPT4o 的视觉处理与强化学习，可处理屏幕截图、推理操作并发送指令，在感知—推理—动作循环中迭代，遇敏感任务则提示用户确认。 开源项目 Browser Use。 1 月 28 日社区动态速览： 华尔街分析师认为 DeepSeek 以小成本实现媲美领先 AI 产品的性能，并在全球主要市场 App Store 登顶，高盛认为其或改变科技格局，降低 AI 行业进入门槛。 DeepSeek 中文场景表现优秀，日常写作和表达习惯贴近人类，但专业论文总结略弱，数学能力不错，编程能力逊于 GPT，采用 GRPO 算法替代传统 PPO，提升语言评价灵活性与训练速度。 复旦大学 OpenMOSS 发布实时语音交互模型，中文语音体验近似 GPT4o 高级语音，响应时间低于 200 毫秒，支持打断和自然互动，可生成多情感、多风格语音，包含方言、戏剧化台词等，多语言适配，嘈杂环境下仍具备强逻辑推理能力。 阿里巴巴推出 Qwen2.51M 模型。
2025-01-30
deepseek
DeepSeek 是一家具有独特特点和优势的公司： 1. 秘方具有硅谷风格：在硅谷受到关注和追逐，其创新架构在硅谷引发轰动，与硅谷有更好的对话和交流。 2. 核心是推理型大模型：不需要用户提供详细步骤指令，能通过理解用户真实需求和场景提供答案。 3. 更懂人话：能够理解用户用自然语言表达的需求，无需学习特定提示词模板。 4. 深度思考：回答问题时能进行深度思考，而非简单罗列信息。 5. 文风转换器：可模仿不同作家文风写作，适用于多种文体和场景。 使用技巧： 1. 可以扔掉提示词模板，用自然语言描述，直接描述真实场景和具体需求，使用提示词模板也没问题。 2. 让 DeepSeek“说人话”，在提问时加上“说人话”“小学生能听懂”“菜市场大妈能听懂的话”等，使其回答更通俗易懂。 3. 激发深度思考，如让其进行批判性思考、反面思考和复盘，恢复深度思考能力。 4. 进行文风转换，通过指定模仿的作家和文体，让其生成符合特定风格的文本。 如果 V3 是 DeepSeek 的 GPT3 时刻，接下来的发展充满未知，但 DeepSeek 应会为全人类的人工智能事业做出更大贡献，且已是中国最全球化的 AI 公司之一。
2025-01-30
deepseek的技术路线是什么样的
DeepSeek 从一开始就选择了与国内诸多大模型新秀不同的技术路线。它走的是全球开源社区路线，分享最直接的模型、研究方法和成果，吸引反馈，再迭代优化，自我进益。开源十分彻底，从模型权重、数据集到预训练方法都悉数公开，高质量的论文也是开源的一部分。 DeepSeek 先后发布了多款开源模型： 1. 2023 年 11 月，发布 DeepSeek Coder 和 DeepSeek LLM，但在计算的效率和可扩展性上遇到挑战。 2. 2024 年 5 月，发布 V2，以混合专家模型（MoE）和多头潜在注意力机制（MLA）技术的结合，大幅降低了模型训练特别是推理的成本，开始引发广泛讨论和推荐。 3. 2024 年 12 月，发布 V3，以 OpenAI、Anthropic 和 Google 百分之一的成本，实现了模型性能超越同类开源模型 Llama 3.1 和 Qwen 2.5，媲美闭源模型 GPT4o 和 Claude 3.5 Sonnet 的成绩，引发轰动，成为世界大语言模型发展的里程碑。 DeepSeek 与 OpenAI 在实现里程碑式跃迁的进程中有以下区别： 1. OpenAI 致力于实现计算资源规模与成本的无限扩张，而 DeepSeek 一直致力用尽可能低成本的计算资源实现更高的效率。 2. OpenAI 花了两年时间达到 GPT3 时刻，而 DeepSeek 用了一年摘得了 V3 的圣杯。 3. OpenAI 在 GPT 路线上一直聚焦在预训练的进步，而 DeepSeek 则是训练与推理并重。 DeepSeek 从隐秘低调到备受关注，以及它从 Coder 到 V3 模型的三次迭代，与 OpenAI 从 GPT1 到 GPT3 的升级节奏和引发的反响非常接近。
2025-01-29
多模态
以下是关于多模态的相关信息： 智谱·AI 开源模型列表中的多模态模型： CogAgent18B：基于 CogVLM17B 改进的开源视觉语言模型，拥有 110 亿视觉参数和 70 亿语言参数，支持 11201120 分辨率的图像理解，在 CogVLM 功能的基础上，具备 GUI 图像的 Agent 能力。代码链接：、始智社区。 CogVLM17B：强大的开源视觉语言模型（VLM），基于对视觉和语言信息之间融合的理解，能在不牺牲任何 NLP 任务性能的情况下，实现视觉语言特征的深度融合，是目前多模态权威学术榜单上综合成绩第一的模型，在 14 个数据集上取得了 stateoftheart 或者第二名的成绩。代码链接：。 Visualglm6B：开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于。 生成式人工智能领域的突破点：多模态模型能够在没有重大定制的情况下推理图像、视频，甚至物理环境。尽管 LLMs 存在一些实际限制，但研究人员在短时间内对这些模型进行了惊人的改进。 走入 AI 的世界中的相关解释：多模态指多数据类型交互，从而能够提供更接近人类感知的场景。正如人有眼、耳、鼻、舌、身、意等多个模态，大模型对应的模态是文本、图像、音频、视频等。
2025-01-27
什么是多模态模型?
多模态模型是指能够处理和融合多种不同模态信息（如视觉、语言、音频等）的模型。 以下为一些常见的多模态模型示例： 智谱·AI 推出的具有视觉和语言双模态的模型： CogAgent18B：基于 CogVLM17B 改进的开源视觉语言模型，拥有 110 亿视觉参数和 70 亿语言参数，支持 11201120 分辨率的图像理解，在 CogVLM 功能的基础上，具备 GUI 图像的 Agent 能力。代码链接：。 CogVLM17B：强大的开源视觉语言模型（VLM），基于对视觉和语言信息之间融合的理解，在多模态权威学术榜单上综合成绩优异。代码链接：。 Visualglm6B：开源的支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM6B，具有 62 亿参数；图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。代码链接：。 RDM：Relay Diffusion Model，级联扩散模型，可以从任意给定分辨率的图像快速生成，而无需从白噪声生成。代码链接：。 Google 的人工智能多模态大模型叫 Gemini，它是 Google DeepMind 团队开发的，不仅支持文本、图片等提示，还支持视频、音频和代码提示。能够理解和处理几乎任何输入，结合不同类型的信息，并生成几乎任何输出。被称为 Google 迄今为止最强大、最全面的模型，被描述为一种“原生多模态大模型”，从设计之初就支持多模态，能够处理语言、视觉、听觉等不同形式的数据。但请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-01-13
多模态大模型与图像、视频生成
多模态大模型与图像、视频生成相关知识如下： 多模态大模型的架构和原理：基于大圆模型，能识别页面组件结构和位置绝对值信息，并与组件、文本映射。由解码器、backbone、Generator 等部件组成，左侧多模态理解，右侧生成输出。 Stable Diffusion 模型原理：是生成模型，通过加噪和去噪实现图像的正向扩散和反向还原，解决潜在空间模型中的速度问题。其应用场景包括带货商品图生成、模特服装展示、海报生成、装修设计等。 吉梦 AI 和吐司平台的使用体验：吉梦 AI 提供 AI 视频生成等能力，通过简单提示词生成图像，对数字体有专项场景训练；吐司是类似的在线生成平台，具备多种 AI 能力，有模型、在线训练、上传模型工作流等功能，可通过输入提示词生成图片。 模型训练：训练模型需要大量图像数据和标签化处理。 AI 视频生成原理：主要基于 Sara 的整体架构，采用 diffusion Transformer 架构，以扩散模型通过随机造点、加噪和去噪得到连续图像帧，输入视频可看成若干帧图片，经处理后生成视频。 模态生成器 MG_X 一般用于生成不同的模态来输出。当前的工作一般使用现成的扩大模型（Latent diffusion model），例如 Stable Diffusion 用于图像生成，Zeroscope 用于视频生成，AudioLDM2 用于音频生成。 多模态模型的技术架构：如果模型既支持 3D 生成，又支持视频生成，就可以实现图文编辑以及具有强一致性的视频生成。Open AI 可能会尝试把图片、视频、3D 变为一个自然空间。Transformer 架构的多模态模型给机器提供了像人类一样与世界互动的新机会，杨立昆（Yann LeCun）提出的世界模型可能是近一年值得关注的研究点。
2025-01-07
多模态大模型与图像、视频生成
多模态大模型与图像、视频生成相关知识如下： 多模态大模型的架构和原理：基于大圆模型，能识别页面组件结构和位置绝对值信息，并与组件、文本映射。由解码器、backbone、Generator 等部件组成，左侧多模态理解，右侧生成输出。 Stable Diffusion 模型原理：是生成模型，通过加噪和去噪实现图像的正向扩散和反向还原，解决潜在空间模型中的速度问题。其应用场景包括带货商品图生成、模特服装展示、海报生成、装修设计等。 吉梦 AI 和吐司平台的使用体验：吉梦 AI 提供 AI 视频生成等能力，通过简单提示词生成图像，对数字体有专项场景训练；吐司是类似的在线生成平台，具备多种 AI 能力，有模型、在线训练、上传模型工作流等功能，可通过输入提示词生成图片。 模型训练：训练模型需要大量图像数据和标签化处理。 AI 视频生成原理：主要基于 Sara 的整体架构，采用 diffusion Transformer 架构，以扩散模型通过随机造点、加噪和去噪得到连续图像帧，输入视频可看成若干帧图片，经处理后生成视频。 模态生成器 MG_X 一般用于生成不同的模态来输出。当前的工作一般使用现成的扩大模型（Latent diffusion model），例如 Stable Diffusion 用于图像生成，Zeroscope 用于视频生成，AudioLDM2 用于音频生成。 多模态模型的技术架构：如果模型既支持 3D 生成，又支持视频生成，就可以实现图文编辑以及具有强一致性的视频生成。Open AI 可能会尝试把图片、视频、3D 变为一个自然空间，Google 的 VideoPoet 已在这个方向上有尝试，但分辨率不够高。Transformer 架构的多模态模型给机器提供了像人类一样与世界互动的新机会，杨立昆（Yann LeCun）提出的世界模型可能是近一年值得关注的研究点。
2025-01-07
Video-LLaVA与多模态图像视频识别
以下是对 26 个多模态大模型的全面比较总结： 1. Flamingo：是一系列视觉语言（VL）模型，能处理交错的视觉数据和文本，并生成自由格式的文本作为输出。 2. BLIP2：引入资源效率更高的框架，包括用于弥补模态差距的轻量级 QFormer，能利用冻结的 LLM 进行零样本图像到文本的生成。 3. LLaVA：率先将 IT 技术应用到多模态（MM）领域，为解决数据稀缺问题，引入使用 ChatGPT/GPT4 创建的新型开源 MM 指令跟踪数据集及基准 LLaVABench。 4. MiniGPT4：提出简化方法，仅训练一个线性层即可将预训练的视觉编码器与 LLM 对齐，能复制 GPT4 展示的功能。 5. mPLUGOwl：提出新颖的 MMLLMs 模块化训练框架，结合视觉上下文，包含用于评估的 OwlEval 教学评估数据集。 6. XLLM：陈等人将其扩展到包括音频在内的各种模式，具有强大的可扩展性，利用 QFormer 的语言可迁移性成功应用于汉藏语境。 7. VideoChat：开创高效的以聊天为中心的 MMLLM 用于视频理解对话，为该领域未来研究制定标准，并为学术界和工业界提供协议。
2025-01-07
多模态模型与多模态问答
多模态模型与多模态问答相关内容如下： Gemini 模型在图像理解方面表现出色，在多个基准测试中处于领先地位。它在高级对象识别、细粒度转录、空间理解和多模态推理等任务中展现出强大性能，在 zeroshot QA 评估中优于其他模型，在学术基准测试中如 MathVista 和 InfographicVQA 有显著改进，在 MMMU 基准测试中取得最好分数。 智谱·AI 推出了具有视觉和语言双模态的模型，如 CogAgent18B、CogVLM17B 和 Visualglm6B。CogAgent18B 拥有 110 亿视觉参数和 70 亿语言参数，支持高分辨率图像理解，具备 GUI 图像的 Agent 能力。CogVLM17B 是多模态权威学术榜单上综合成绩第一的模型。VisualGLM6B 是支持图像、中文和英文的多模态对话语言模型。 Zhang 等人（2023）提出了一种多模态思维链提示方法，将文本和视觉融入到一个两阶段框架中，多模态 CoT 模型（1B）在 ScienceQA 基准测试中的表现优于 GPT3.5。
2025-01-07
怎样构建一个自己专业的AI小模型
构建一个自己专业的 AI 小模型可以参考以下步骤： 1. 搭建 OneAPI：这是为了汇聚整合多种大模型接口，方便后续更换使用各种大模型，同时了解如何白嫖大模型接口。 2. 搭建 FastGpt：这是一个知识库问答系统，将知识文件放入，接入上面的大模型作为分析知识库的大脑，最后回答问题。如果不想接到微信，搭建完此系统就可以，它也有问答界面。 3. 搭建 chatgptonwechat 并接入微信，配置 FastGpt 把知识库问答系统接入到微信，建议先用小号以防封禁风险。若想拓展功能，可参考 Yaki.eth 同学的教程，里面的 cow 插件能进行文件总结、MJ 绘画等。 部署和训练自己的 AI 开源模型的主要步骤如下： 1. 选择合适的部署方式，包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，并对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 大模型的构建过程包括： 1. 收集海量数据：像教孩子成为博学多才的人一样，让模型阅读大量的文本数据，如互联网上的文章、书籍、维基百科条目、社交媒体帖子等。 2. 预处理数据：清理和组织收集到的数据，如删除垃圾信息，纠正拼写错误，将文本分割成易于处理的片段。 3. 设计模型架构：为模型设计“大脑”结构，通常是一个复杂的神经网络，如使用 Transformer 架构。 4. 训练模型：让模型“阅读”提供的数据，通过反复尝试预测句子中的下一个词等方式，逐渐学会理解和生成人类语言。
2025-01-29
现在最好的AI大模型
目前较为出色的 AI 大模型包括： 1. GPT4（免费可用）：是 OpenAI 在深度学习规模扩大方面的最新里程碑，是一个大型多模态模型，在各种专业和学术基准测试中表现出与人类相当的水平。 2. Midjourney v5（免费）：具有极高的一致性，擅长以更高分辨率解释自然语言 prompt，并支持像使用 tile 这样的重复图案等高级功能，能生成令人惊叹的逼真 AI 图像。 3. DALL·E 3（免费可用）：代表了生成完全符合文本的图像能力的一大飞跃，能轻松将想法转化为极其精准的图像。 4. Mistral 7B（免费）：是一个具有 73 亿参数的模型，在所有基准测试上超越了 Llama 2 13B，在许多基准测试上超越了 Llama 1 34B，在代码任务上接近 CodeLlama 7B 的性能，同时在英语任务上表现良好。 此外，在主要的大语言模型方面： 1. OpenAI 系统：包括 3.5 和 4.0 版本，3.5 模型在 11 月启动了当前的 AI 热潮，4.0 模型功能更强大。微软的 Bing 使用 4 和 3.5 的混合，通常是 GPT4 家族中首个推出新功能的模型。 2. 谷歌：一直在测试自己的人工智能 Bard，由各种基础模型驱动，最近是一个名叫 PaLM 2 的模型。 3. Anthropic 发布了 Claude 2，其最值得注意的是有一个非常大的上下文窗口。
2025-01-29
你好，你是什么模型？
您好，我是一名 AI 知识专家，能够为您提供全面的 AI 知识指导和解答相关问题。 关于模型方面的知识： LoRA 和 LyCORIS 都属于微调模型，常用于控制画风、生成的角色、角色姿势等。它们的后缀均为.safetensors，体积较主模型小，一般在 4M 300M 之间，使用 LoRA 模型较多，LyCORIS 可调节范围更大，现在 SD 已内置。在 WebUl 中使用时，可在 LoRA 菜单中点击使用，也可直接使用 Prompt 调用。 在 Tusiart 中，首页有模型、帖子、排行榜，展示了大手子炼成的模型和图片。生图必需基础模型（Checkpoint），任何生图操作必须选定一个 Checkpoint 模型才能开始，lora 是低阶自适应模型，可有可无，但对细节控制有价值。ControlNet 可控制图片中特定图像，VAE 类似于滤镜调整生图饱和度，选择 840000 即可。Prompt 提示词是想要 AI 生成的内容，负向提示词是想要 AI 避免产生的内容。还有图生图，即上传图片后 SD 会根据相关信息重绘。 如果您想搭建类似的群问答机器人，可以参考以下内容：
2025-01-28
为什么要布置大模型到本地
布置大模型到本地主要有以下原因： 1. 无需科学上网，也无需支付高昂的 ChatGPT 会员费用。 2. 可以通过 Web UI 实现和大模型进行对话的功能，如 Open WebUI 一般有两种使用方式，包括聊天对话和 RAG 能力（让模型根据文档内容回答问题），这也是构建知识库的基础之一。 3. 能够更加灵活地掌握个人知识库。 但需要注意的是，运行大模型需要很高的机器配置： 1. 生成文字大模型，最低配置为 8G RAM + 4G VRAM，建议配置为 16G RAM + 8G VRAM，理想配置为 32G RAM + 24G VRAM（如果要跑 GPT3.5 差不多性能的大模型）。 2. 生成图片大模型（比如跑 SD），最低配置为 16G RAM + 4G VRAM，建议配置为 32G RAM + 12G VRAM。 3. 生成音频大模型，最低配置为 8G VRAM，建议配置为 24G VRAM。 个人玩家的大多数机器可能负担不起，最低配置运行速度非常慢。但亲自实操一遍可以加深对大模型构建的知识库底层原理的了解。
2025-01-27
Coze + 飞书 + 飞书多维表格：通过飞书机器人与 Coze 搭建的智能体进行对话，在聊天窗口中完成链接输入和阅读计划输出。由 Coze 调用大模型、插件完成内容的整理、推荐，利用飞书多维表格存储和管理稍后读数据，无需开发任何插件、APP，能实现跨平台的稍后读收集与智能阅读计划的推荐。其设计思路包括简化“收集”，实现跨平台收集和通过输入 URL 完成收集；自动化“整理入库”，自动整理关键信息并支持跨平台查看；智能“选择”推荐，根据收藏记录和用户兴趣生成阅读计划——这个方法具体如何操作？
以下是关于通过飞书机器人与 Coze 搭建的智能体进行对话，并利用飞书多维表格存储和管理稍后读数据，实现跨平台的稍后读收集与智能阅读计划推荐的具体操作方法： 前期准备： 1. 简化“收集”： 实现跨平台收集功能，支持电脑（web 端）、安卓、iOS 多端操作。 输入一个 URL 即可完成收集，借鉴微信文件传输助手的方式，通过聊天窗口完成收集输入。 2. 自动化“整理入库”： 系统在入库时自动整理每条内容的关键信息，包括标题、摘要、作者、发布平台、发布日期、收集时间和阅读状态。 阅读清单支持跨平台查看。 3. 智能“选择”推荐： 根据当前收藏记录和用户阅读兴趣进行相关性匹配，生成阅读计划。 使用飞书·稍后读助手： 1. 设置稍后读存储地址： 首次使用，访问。 点击「更多创建副本」，复制新表格的分享链接。 将新链接发送到智能体对话中。 还可以发送“查询存储位置”、“修改存储位置”来更换飞书多维表格链接，调整稍后读存储位置。 2. 收藏待阅读的页面链接： 在对话中输入需要收藏的页面链接，第一次使用会要求授权共享数据，授权通过后再次输入即可完成收藏。但目前部分页面链接可能小概率保存失败。 3. 智能推荐想看的内容： 在对话中发送“我想看 xx”、“xx 内容”，即可按个人兴趣推荐阅读计划。 至此，专属 AI 稍后读智能体大功告成，您可以尽情享受相关服务。
2025-01-27
大语言模型
大语言模型相关知识如下： Encoder：在大型语言模型中，Encoder 是模型的编码器部分，负责对输入的文本序列进行编码，获取其对应的语义表示。具有词嵌入、位置编码、注意力机制、层叠编码、上下文建模等关键作用。其输出是输入序列对应的上下文化语义表示，会被模型的 Decoder 部分利用。 介绍：大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。能解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题，还可利用相对较小的领域数据集进行定制以解决不同领域的特定问题。其三个主要特征是大型（训练数据集规模和参数数量大）、通用性（能解决常见问题）、预训练微调（用大型数据集预训练，用较小数据集微调）。使用大型语言模型的好处包括一种模型可用于不同任务、微调所需领域训练数据较少、性能随数据和参数增加而增长等。视频中还提到了自然语言处理中的提示设计和提示工程，以及三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。 性能对比：对比不同大型语言模型的性能需考虑多个维度，如理解能力、生成质量、知识广度和深度、泛化能力、鲁棒性、偏见和伦理、交互性和适应性、计算效率和资源消耗、易用性和集成性等。可采用标准基准测试、自定义任务、人类评估、A/B 测试、性能指标等方法进行有效比较。
2025-01-27