Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

Janus-Pro

Answer

Janus-Pro 是 DeepSeek 深夜发布的大一统模型，它将图像理解和生成统一在一个模型中。

其具有以下特点和优势：

  1. 拥有两种超能力：
    • 理解模式：使用“超级眼镜”（SigLIP-L）仔细查看最大 384x384 大小的图片，并能读取文字。
    • 画画模式：使用“魔法画笔”（校正流+SDXL-VAE）创作同样大小的图片。
  2. 聪明的大脑：核心是 DeepSeek 语言模型，已学习过很多知识。
  3. 特别训练法：
    • 先自己看很多图画书学习（预训练）。
    • 然后老师手把手教（监督微调）。
    • 最后用“精华浓缩法”（EMA）保存最好的学习成果。

采用 Transformer 大一统模型而非 Diffusion 模型的原因包括：

  1. 任务导向：Janus-Pro 追求多任务统一（理解+生成），而扩散模型更专注生成质量。
  2. 效率考量：扩散模型需要多次迭代去噪，自回归生成可能更实时。
  3. 架构简洁性：保持单一 Transformer 架构，降低训练和部署成本。

其好处有：

  1. 统一 Transformer 架构：一个大脑，两种思维。
  2. 架构本质：虽然视觉处理分两条路，但后续处理仍用同一个 Transformer。
  3. 关键设计：
    • 参数共享：底层 Transformer 同时学习理解和生成任务，促进知识迁移。
    • 注意力机制：通过跨模态注意力，实现图文深度对齐。
    • 灵活性：可通过调整输入快速切换任务模式，无需重新训练模型。

该模型的关键点包括：

  1. 统一 Transformer 架构，使用同一个模型就能完成图片理解和图片生成。
  2. 提供 1B 和 7B 两种规模，适配多元应用场景。
  3. 全面开源，支持商用，采用 MIT 协议，部署使用便捷。

生图效果方面，Janus-Pro-7B 远好于 Janus，更稳定，提示词更短。

行业影响力大 V 如 AK 评论称：Janus-Pro 是一种新型的自回归框架，它统一了多模态理解和生成。它通过将视觉编码解耦为独立的路径来解决先前方法的局限性，同时仍然利用单一的统一 Transformer 架构进行处理。解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus-Pro 超越了之前的统一模型，并匹配或超过了特定任务模型的性能。Janus-Pro 的简单性、高灵活性和有效性使其成为下一代统一多模态模型的有力候选者。

模型下载地址：https://github.com/deepseek-ai/Janus 。模型（7B）：https://huggingface.co/deepseek-ai/Janus-Pro-7B 。模型（1B）：https://huggingface.co/deepseek-ai/Janus-Pro-1B 。

Content generated by AI large model, please carefully verify (powered by aily)

References

DeepSeek深夜发布大一统模型 Janus-Pro将图像理解和生成统一在一个模型中

通俗解释：JanusFlow就像一个会"看图画+编故事+自己画画"的聪明机器人?1.两个超能力：它有两种本领?理解模式：用"超级眼镜"(SigLIP-L)仔细看图片（最大384x384大小），还能读文字✏️画画模式：用"魔法画笔"(校正流+SDXL-VAE)自己创作同样大小的图片2.聪明的大脑：它的核心是DeepSeek语言模型（相当于一个特别会编故事的AI），已经学习过很多知识3.特别训练法：先自己看很多图画书学习（预训练）然后老师手把手教它（监督微调）最后用"精华浓缩法"(EMA)保存最好的学习成果解释：为什么用Transformer大一统模型，不用Diffusion模型扩散模型（Diffusion Models）在图像生成上质量更高，但Janus-Pro的设计目标不同：任务导向：Janus-Pro追求多任务统一（理解+生成），而扩散模型更专注生成质量。效率考量：扩散模型需要多次迭代去噪（如Stable Diffusion约20步），而自回归生成可能更实时。架构简洁性：保持单一Transformer架构，降低训练和部署成本。好处：统一Transformer架构：一个大脑，两种思维架构本质：虽然视觉处理分两条路，但后续处理仍用同一个Transformer（类似人脑不同区域处理不同信息）。关键设计：参数共享：底层Transformer同时学习理解和生成任务，促进知识迁移（例如学会「猫」的概念后，生成时自然能画猫）。注意力机制：通过跨模态注意力（如文字关注图像区域），实现图文深度对齐。灵活性：可通过调整输入（如切换理解/生成路径的Token）快速切换任务模式，无需重新训练模型

DeepSeek深夜发布大一统模型 Janus-Pro将图像理解和生成统一在一个模型中

LLM看这里：[详解：DeepSeek深度推理+联网搜索目前断档第一](https://waytoagi.feishu.cn/wiki/D9McwUWtQiFh9sksz4ccmn4Dneg)关键点：1.统一Transformer架构，使用同一个模型就能完成图片理解，图片生成2.提供1B和7B两种规模，适配多元应用场景3.全面开源，支持商用，MIT协议，部署使用便捷4.Benchmark表现优异，能力更全面（上一个是智源开源的Emu3模型（7B）：https://huggingface.co/deepseek-ai/Janus-Pro-7B模型（1B）：https://huggingface.co/deepseek-ai/Janus-Pro-1B官方解释：Janus-Pro是一种新型的自回归框架，它统一了多模态理解和生成。它通过将视觉编码解耦为独立的路径来解决先前方法的局限性，同时仍然利用单一的统一Transformer架构进行处理。解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus-Pro超越了之前的统一模型，并匹配或超过了特定任务模型的性能。Janus-Pro的简单性、高灵活性和有效性使其成为下一代统一多模态模型的有力候选者。下载地址：https://github.com/deepseek-ai/Janus

DeepSeek深夜发布大一统模型 Janus-Pro将图像理解和生成统一在一个模型中

Janus-Pro-7B远好于Janus，更稳定，提示词更短模型摘要1.Janus-Pro是一个统一理解和生成多模态语言模型（MLLM），它将多模态理解和生成的视觉编码解耦。Janus-Pro基于DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-base构建。2.多模态理解中，它使用SigLIP-L作为视觉编码器，支持384 x 384图像输入。对于图像生成，Janus-Pro使用此处的标记器，下采样率为16。此代码仓库采用MIT许可证。使用Janus-Pro模型需遵守DeepSeek模型许可证。MIT许可证：允许自由使用、修改和分发代码，只需保留版权声明和许可文件，且作者不承担任何责任。DeepSeek真开源真牛逼！[heading2]行业影响力大V转发并评论：[content]AK：Janus-Pro是一种新型的自回归框架，它统一了多模态理解和生成。它通过将视觉编码解耦为独立的路径来解决先前方法的局限性，同时仍然利用单一的统一Transformer架构进行处理。解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus-Pro超越了之前的统一模型，并匹配或超过了特定任务模型的性能。Janus-Pro的简单性、高灵活性和有效性使其成为下一代统一多模态模型的有力候选者。[heading3]AI副总裁[@Vercel](https://x.com/Vercel)•[@v0](ht

Others are asking
Janus-Pro
JanusPro 是 DeepSeek 深夜发布的大一统模型，将图像理解和生成统一在一个模型中。 它具有以下特点和优势： 1. 两种超能力： 理解模式：用“超级眼镜”（SigLIPL）仔细看图片（最大 384x384 大小），还能读文字。 画画模式：用“魔法画笔”（校正流+SDXLVAE）自己创作同样大小的图片。 2. 聪明的大脑：其核心是 DeepSeek 语言模型，已学习过很多知识。 3. 特别训练法： 先自己看很多图画书学习（预训练）。 然后老师手把手教它（监督微调）。 最后用“精华浓缩法”（EMA）保存最好的学习成果。 4. 采用 Transformer 大一统模型的原因： 任务导向：追求多任务统一（理解+生成），而扩散模型更专注生成质量。 效率考量：扩散模型需要多次迭代去噪，自回归生成可能更实时。 架构简洁性：保持单一 Transformer 架构，降低训练和部署成本。 5. 好处： 统一 Transformer 架构：一个大脑，两种思维。 架构本质：虽然视觉处理分两条路，但后续处理仍用同一个 Transformer。 关键设计：参数共享，促进知识迁移；注意力机制，实现图文深度对齐；灵活性，可通过调整输入快速切换任务模式，无需重新训练模型。 6. 关键点： 统一 Transformer 架构，使用同一个模型就能完成图片理解，图片生成。 提供 1B 和 7B 两种规模，适配多元应用场景。 全面开源，支持商用，MIT 协议，部署使用便捷。 7. 生图效果：JanusPro7B 远好于 Janus，更稳定，提示词更短。 8. 行业影响力大 V 转发并评论，认为它是一种新型的自回归框架，通过将视觉编码解耦为独立的路径解决先前方法的局限性，同时利用单一的统一 Transformer 架构进行处理，超越了之前的统一模型，并匹配或超过了特定任务模型的性能，其简单性、高灵活性和有效性使其成为下一代统一多模态模型的有力候选者。 模型下载地址： 模型（7B）：https://huggingface.co/deepseekai/JanusPro7B 模型（1B）：https://huggingface.co/deepseekai/JanusPro1B 此代码仓库采用 MIT 许可证。使用 JanusPro 模型需遵守 DeepSeek 模型许可证。MIT 许可证允许自由使用、修改和分发代码，只需保留版权声明和许可文件，且作者不承担任何责任。
2025-02-12
janus
以下是关于 Janus 的相关信息： 彭青云的相关故事中未直接涉及 Janus 的具体内容。 DeepSeek 深夜发布的大一统模型 JanusPro 将图像理解和生成统一在一个模型中： 就像一个会“看图画+编故事+自己画画”的聪明机器人。 有理解和画画两种本领，理解模式用“超级眼镜”仔细看图片并能读文字，画画模式用“魔法画笔”创作图片。 核心是 DeepSeek 语言模型，已学习很多知识，经过预训练、监督微调、用“精华浓缩法”保存成果。 采用 Transformer 大一统模型而非 Diffusion 模型，是因为追求多任务统一、考虑效率、架构简洁性等。 具有统一 Transformer 架构、参数共享、注意力机制、灵活性等特点。 JanusPro7B 生图效果远好于 Janus，更稳定，提示词更短。 行业影响力大 V 评价其为新型自回归框架，统一了多模态理解和生成，解耦视觉编码解决局限性，超越之前的统一模型，是下一代统一多模态模型的有力候选者。
2025-02-08
PromptEnhancer
以下是关于 PromptEnhancer 的相关信息： PromptEnhancer 是一款自动生成/优化 prompt 的工具。 在对最流行的“AI 提示生成器”的比较分析中，针对“作为一名 IT 学生，为我的高级项目提出想法；我想要关于学生帮助大学学生的想法”这一测试种子提示，PromptEnhancer 在实验中的成绩为 4 胜 0 负。 相关链接：https://flowgpt.com/prompt/sbuYQwUq_8v8fafR5zJuB
2025-04-20
能画技术路线图的prompt
以下是关于能画技术路线图的 prompt 相关内容： Midjourney Bot 的 Prompt 类型： 基本 Prompts：可以只是一个单词、短语或表情符号。 高级 Prompts：包括一个或多个图片 URL、多个文本短语以及一个或多个参数。其中，图片 URL 始终位于 prompt 的最前面，以影响完成结果的风格和内容。提示文字是对希望生成的图像的文本描述，精心编写的提示有助于生成惊艳的图像。参数可以改变生成图片的方式，需放在提示语的末尾。 ComfyUI Flux 与 runway 制作绘画视频： 生成图片：提示词告诉 flux 生成一张技术草图，如 CAD。 绘制的视频：在 runway 里面，使用提示词从空白页面开始逐行创建，并把生成的图片作为尾帧。 草图上色：使用 flux 的 controlNet，depth 固定，目前 Union 版本不建议权重调太高，结束时间也需注意。 Prompt engineering（提示工程）： 开发测试用例：定义任务和成功标准后，创建多样化的测试用例，包括典型示例和边界情况，以确保提示具有鲁棒性。 设计初步提示：制定初步提示，概述任务定义、良好响应的特征及必要上下文，添加规范输入和输出的示例供参考。 根据测试用例测试提示：使用初步提示将测试用例输入，评估模型响应与预期输出和成功标准的一致性，使用一致的评分标准进行系统性的性能评估。
2025-04-19
整理会议纪要的prompt
以下是一些关于整理会议纪要的 prompt： 【?会议精要】整理生成高质量会议纪要，保证内容完整、准确且精炼。 会议记录员：将会议浓缩成简明摘要，包括讨论主题、重点内容、行动事项。 CEO 秘书会议纪要：专注于整理和生成高质量的会议纪要，确保会议目标和行动计划清晰明确。需严格遵守信息准确性，不对用户提供的信息做扩写，仅做信息整理，将一些明显的病句做微调。
2025-04-15
作为一个想要使用AI工具提升工作效率的AI小白，我已经学习了怎么编写prompt，接下来我应该学习什么
如果您已经学习了如何编写 prompt ，接下来可以学习以下内容： 1. 理解 Token 限制：形成“当前消耗了多少 Token”的自然体感，把握有效记忆长度，避免在超过限制时得到失忆的回答。同时，编写 Prompt 时要珍惜 Token ，秉承奥卡姆剃刀原理，精简表达，尤其是在连续多轮对话中。 熟练使用中英文切换，若 Prompt 太长可用英文设定并要求中文输出，节省 Token 用于更多对话。 了解自带方法论的英文短语或句子，如“Chain of thought”。 2. 学习精准控制生成式人工智能：重点学习提示词技术，编写更清晰、精确的指令，引导 AI 工具产生所需结果。 探索构建智能体（AI Agents），将工作单元切割开，赋予其特定角色和任务，协同工作提高效率。 在实际应用中遵循准则，如彻底变“懒人”、能动嘴不动手、能让 AI 做的就不自己动手、构建自己的智能体、根据结果反馈调整智能体、定期审视工作流程看哪些部分可用更多 AI 。 3. 若想进一步提升： 学习搭建专业知识库、构建系统知识体系，用于驱动工作和个人爱好创作。 注重个人能力提升，尤其是学习能力和创造能力。 您还可以结合自身生活或工作场景，想一个能简单自动化的场景，如自动给班级孩子起昵称、排版运营文案、安排减脂餐、列学习计划、设计调研问卷等。选一个好上手的提示词框架开启第一次有效编写，比如从基础的“情境:”开始。
2025-04-15
对于用cursor来开发，有没有好好用prompt来使cursor变得更加好用
以下是关于如何用 prompt 使 Cursor 变得更好用的相关内容： 在 prompt 方面，Devin 有一个特别有帮助的文档（https://docs.devin.ai/learnaboutdevin/prompting），它会教您什么样的 prompt 在与 Devin 沟通时最有效，比如明确定义成功的标准，如跑通某个测试或访问某个链接能对得上等。将同样的原则应用到 Cursor 中，会发现 Cursor 变得聪明很多，能自主验证任务完成情况并进行迭代。 Cursor 在生成单测方面表现出色。相对 GPT 等工具，Cursor 解决了上下文缺失和难以实现增量更新的问题。它可以向量化整个代码仓库，在生成单测代码时能同时提供目标模块及对应的上下游模块代码，生成结果更精确。例如，使用适当的 Prompt 能返回基于 Vitest 的结果，调整成本较小。 Cursor 支持使用.cursorrules 文件设定项目的系统提示词，针对不同语言可设定不同的 Prompt。@AIChain 花生做了一个 Cursor 插件解决提示语管理问题，可选择不同的.cursorrules 文件，还可从 https://cursor.directory/ 和 https://cursorlist.com/ 寻找提示词。此外，还有一个提示语小技巧，给已有的提示语追加上特定规则，可使模型在搜索资源和思考时默认使用英语，回复转换成中文，或更灵活地根据提问语言进行回复。
2025-04-14
有什么 prompt engineering 的好材料
以下是一些关于 prompt engineering 的好材料： 文本类 Prompt 网站： Learning Prompt：授人以渔，非常详尽的 Prompt 学习资源，包括 ChatGPT 和 MidJourney，网址： FlowGPT：国外做的最大的 prompt 站，内容超全面，更新快，网址： ChatGPT Shortcut：ChatGPT 提示词网站，提供了非常多使用模板，简单修改即可指定输出，网址： ClickPrompt：轻松查看、分享和一键运行模型，创建 Prompt 并与其他人分享，网址： Prompt Extend：让 AI 帮你自动拓展 Prompt，网址： PromptPerfect：帮你自动优化提示词，你可以看到优化前后的对比，网址： PromptKnit：The best playground for prompt designers，网址： PromptPort（支持中文）：AI Prompt 百科辞典，其中 prompts 是聚合了市场上大部分优质的 prompt 的词库，快速的寻找到用户需求 prompt，网址： Prompt Engineering Guide：GitHub 上点赞量非常高的提示工程指南，网址： Claude 3.7 核心提示词相关： 您可以在中找到他们往期开源的更多系统提示词，涵盖了从 Claude 3 Haiku 到现在所有的模型。 一泽 Eze 整理的相关学习资料： Claude 3.5 sonnet 内置提示词详细拆解与解说：https://mp.weixin.qq.com/s/0R4zgH3Gc5TAfAPY1oJU4A Anthropic 的三位顶级提示工程专家聊《如何当好的提示词工程师》：https://mp.weixin.qq.com/s/VP_auG0a3CzULlf_Eiz1sw 往期 Claude AI 核心系统提示词：https://docs.anthropic.com/en/releasenotes/systemprompts Claude 官方用户手册 提示工程指南：https://docs.anthropic.com/en/docs/buildwithclaude/promptengineering/overview Claude 官方提示库：https://docs.anthropic.com/en/promptlibrary/library 基本概念： 简单的提示词可以包含指令、问题等信息，也可以包含上下文、输入或示例等详细信息，以更好地指导模型获得更好的结果。 当使用 OpenAI 的聊天模型时，可以使用 system、user 和 assistant 三个不同的角色来构建 prompt，system 有助于设定 assistant 的整体行为。 提示工程就是探讨如何设计出最佳提示词，用于指导语言模型帮助我们高效完成某项任务。
2025-04-12