Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

可以图片生成动画吗？

Answer

图片可以生成动画。以下是两种相关的方法：

  1. 使用 Runway：
    • 图片搞定之后，可以拖到 Runway 里面去生成 4 秒视频。（Runway 是收费的，您也可以找一下有没有免费的，或者去闲鱼或者淘宝买号）
    • 进入 Runway 官网首页，点击“start with image”。
    • 然后直接将图片拖进来。
    • 动画幅度尽量用 3，5 有时候会乱跑。
    • 啥都不用改，直接点击生成即可。
    • 注意：不需要等进度条转完，可以直接继续往里放图片，可以同步执行。
    • 直接点删除，然后重新上传下面的图即可（最多可以放几个没数，您可以自行测试）。
    • 重复步骤即可生成所有视频。
  2. Sora 模型：
    • Sora 能够根据图像和提示输入生成视频。
    • 下面展示了基于 DALL·E 2 和 DALL·E 3 图像生成的示例视频。
    • 例如：一只戴着贝雷帽和黑色高领毛衣的柴犬；怪物插图采用扁平化设计风格，呈现出多样化的怪物家族；拼成“SORA”的逼真云的图像；在一个华丽的历史大厅里，一个巨大的潮汐达到顶峰并开始崩溃，两名冲浪者抓住时机，熟练地驾驭海浪。
    • Sora 也能够生成图像，通过在具有一个帧的时间范围的空间网格中排列高斯噪声的分块来实现，该模型可以生成不同大小的图像，分辨率高达 2048x2048。
Content generated by AI large model, please carefully verify (powered by aily)

References

WTF：1w粉 - 10w粉仅仅用时 13 天，像素级拆解《动物时装秀》

图片搞定之后，我们就可以拖到runway里面去图生4s视频了。（runway是收费的，大家也可以找一下有没有免费的，可以去闲鱼或者淘宝买号）进入runway官网首页，点击start with image然后直接将图片拖进来动画幅度尽量用3,5有时候会乱跑啥都不用改，直接点击生成即可注意：不需要等进度条转完，可以直接继续往里放图片，可以同步执行直接点删除，然后重新上传下面的图即可（最多可以放几个我没数，大家可以自行测试）重复步骤即可生成所有视频

Sora 原理解释

Sora is capable of generating videos provided an image and prompt as input.Below we show example videos generated based on DALL·E 2 and DALL·E 3 images.Sora能够根据图像和提示输入生成视频。下面我们展示了基于DALL·E 2和DALL·E 3图像生成的示例视频。A Shiba Inu dog wearing a beret and black turtleneck.一只戴着贝雷帽和黑色高领毛衣的柴犬。Monster Illustration in flat design style of a diverse family of monsters.The group includes a furry brown monster,a sleek black monster with antennas,a spotted green monster,and a tiny polka-dotted monster,all interacting in a playful environment.怪物插图采用扁平化设计风格，呈现出多样化的怪物家族。该小组包括一个毛茸茸的棕色怪物、一个带天线的光滑黑色怪物、一个斑点绿色怪物和一个小小的圆点怪物，所有这些都在俏皮的环境中互动。An image of a realistic cloud that spells “SORA”.拼成“SORA”的逼真云的图像。In an ornate,historical hall,a massive tidal wave peaks and begins to crash.Two surfers,seizing the moment,skillfully navigate the face of the wave.在一个华丽的历史大厅里，一个巨大的潮汐达到顶峰并开始崩溃。两名冲浪者抓住时机，熟练地驾驭海浪。

Sora 原理解释

[title]Sora 原理解释[heading1]Sora：可作为世界模拟器的视频生成模型[heading2]Image generation capabilities 图像生成功能[content]Sora is also capable of generating images.We do this by arranging patches of Gaussian noise in a spatial grid with a temporal extent of one frame.The model can generate images of variable sizes—up to 2048x2048 resolution.Sora也能够生成图像。我们通过在具有一个帧的时间范围的空间网格中排列高斯噪声的分块来实现这一点。该模型可以生成不同大小的图像——分辨率高达2048x2048。和MJ V6的对比博主：https://twitter.com/doganuraldesign/status/1758444092328194217

Others are asking
制作动画
以下是关于制作动画的一些方法和经验： ComfyUI Flux 与 runway 制作绘画视频： 生成图片：提示词告诉 flux 生成一张技术草图，如 CAD 等。 绘制的视频：在 runway 里面，使用提示词从空白页面开始逐行创建，并把生成的图片作为尾帧。 草图上色：使用 flux 的 controlNet，depth 固定，controlNet 使用的是 Union 的版本，目前不建议权重调得太高，结束时间也是。 生成上色后的视频。 分享好玩的 flux lora 展示绘画过程，触发词：how2draw。 大雷的制作经验： 在时间和金钱的双重压力下，找到适合自己的制作捷径。AI 目前是辅助工具，帮忙搞定图和片，其他部分靠人。 大致工作流程：大雍负责前期的内容构思和脚本编写，大雷主要负责图片、视频生成和视频剪辑。 Midjourney 提示词主要围绕皮克斯、迪士尼、3D 风格来写，例如："a small white Chiense dragon,anthropomorphic,Smile with surprise,wearing a school uniform,looking at a blurry gift box in the foreground,super closeup shot,camera focus on his face,3D render,Unreal Engine,Pixar 3D style,blurry classroom scene,bright sunshinear 16:9niji 6"，重点是"a small white Chiense dragon,anthropomorphic,3D render,Unreal Engine,Pixar 3D style"，尺寸比例 16:9，模型选择 niji 6，其他根据需求调整。 动画主要用 runway，看中它的控制笔刷（在制作时还没有更新自动识别区域的笔刷，需手动选择范围）。
2025-02-05
帮我创造一副一只小狗在海边溜达的动画
很抱歉，目前提供的内容中没有直接关于创造一只小狗在海边溜达动画的具体方法和资源。但您可以参考以下思路来创作： 1. 明确动画的风格和细节，例如小狗的品种、毛色、动作姿态，海边的景色、天气等。 2. 利用相关的动画制作软件，如 Adobe Animate、Toon Boom Harmony 等。 3. 通过 AI 绘画工具生成小狗和海边的图像素材，再将其整合到动画中。 4. 设计合理的动画帧数和流畅的动作过渡，以展现小狗在海边溜达的生动场景。
2025-01-17
列举常用的剪辑软件、硬件设备、技术支持和3d动画软件
常用的剪辑软件有 Adobe Premiere Pro、Final Cut Pro、DaVinci Resolve 等。 常用的硬件设备包括高性能的计算机主机，具备强大处理能力的 CPU（如英特尔酷睿 i7 或 i9 系列）、大容量高速内存（16GB 及以上）、专业图形显卡（如 NVIDIA GeForce 系列）、大容量高速存储硬盘（如 SSD 固态硬盘），以及高分辨率和色彩准确的显示器。 常见的技术支持包括视频编码和解码技术（如 H.264、H.265 等）、特效插件（如 After Effects 插件）、色彩校正工具等。 常用的 3D 动画软件有 Maya、3ds Max、Blender 等。
2025-01-16
列举常用的剪辑软件、硬件设备以及技术支持，3d动画和ai视频生成
以下是关于剪辑软件、硬件设备、技术支持、3D 动画和 AI 视频生成的相关信息： AI 视频生成工具： Runway： 主要能力：文生视频（Text 2 Video）、Prompt+图像生成视频（Text+Image to Video）、无 Prompt 直接图片转视频（Image to Video）。 使用建议：Text to Video 时，优先使用右下角的“Free Preview”免费生成多组图片，然后从中选择一张进行视频生成以节约 credits。 近期更新：支持将 4s 的视频延长，每次延长需消耗 20 credits；9 月更新中，支持 110 级的 motion slider 调节，默认幅度为 5，同时支持水平、垂直、空间和旋转的运镜，并支持调节运动速度。 其他功能：提供 30 多项图片、视频处理能力，如 Inpainting 视频修复、Motion Tracking 视频主体跟随运动、Remove Any Background 删除视频元素/背景、3D Texture 生成 3D 纹理等。控制台上线了 Watch 模块，可查看官方精选的创意案例。推荐教程：ai 繪圖教學|Ai 动画:https://www.youtube.com/watch?v=Yj73NRmeSZM 由于您未明确提及剪辑软件、硬件设备和技术支持的具体需求，暂时无法为您详细列举。如果您能提供更具体的要求，我将为您提供更有针对性的信息。
2025-01-16
面部表情动画
以下是关于面部表情动画的相关信息： 在 Niji 相关的测试中，通过不同的关键词描述和公式设置，可以生成具有不同特点的面部表情动画效果。例如，在某些描述中会有强烈的面部表情等元素。 INFP 是一种双人对话互动头像生成工具，通过双轨音频输入，能自动识别说话者与听者，生成对应的嘴唇同步、表情和头部动作动画。它支持高性能硬件下 40 FPS 实时生成，可调节情绪参数（如开心、严肃、放松等），兼容多语言、多方言音频及多种头像风格（卡通、真人照片等）。相关链接：
2025-01-15
我想把ip角色变成动画，可以用哪个ai软件
以下是一些可以将 IP 角色变成动画的 AI 软件及相关信息： Pika、Pixverse、Runway、SVD 这四大 AI 视频工具可以用于制作 AI 短片。在使用时，需要注意写好 prompt 来描述角色形象，比如景别、特征、位置关系、环境、影片风格和比例等。 Midjourney 可以用于生成 IP 角色的动画效果。例如，生成一个帅气的男孩，描述其穿着、鞋子、视图等细节，还可以为女孩生成特定的形象，如来自未来赛博朋克的可爱女孩，穿着银色雨衣等。同时，要注意设置合适的关键词，如干净的背景、电影照明、超细节、3D 渲染等，以获得理想的效果。
2025-01-12
可以生成五分钟以上视频的AI
以下是一些可以生成五分钟以上视频的 AI 工具： 1. GoogleAI 视频 Veo2： 功能点： 能够生成具有高度真实感和物理规律的视频。 对拍摄风格、角度、运动等的语义理解极佳。 能够对运动物体进行超级稳定的多轮材质变化。 能够直接输出 4K 视频。 优势： 高真实质感，让人难以区分真实拍摄和 AI 生成。 遵循视频中的物理规律和现实世界一致。 在特效变换中表现出极高的稳定性。 在 Google 的评测中，多数情况下取得了最优结果。 体验无需长时间排队等待。 2. Sora（由 OpenAI 开发）：能够生成长达 1 分钟以上的视频，能根据文字指令创造出逼真且充满想象力的场景，视频中的人物和背景具有较高的一致性和稳定性。 3. 其他工具： Pika：非常出色的文本生成视频 AI 工具，擅长动画制作，并支持视频编辑。 SVD：如果熟悉 Stable Diffusion，可以直接安装这款最新的插件，在图片基础上直接生成视频。 Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，但需要收费。 Kaiber：视频转视频 AI，能够将原视频转换成各种风格的视频。 更多的文生视频的网站可以查看：https://www.waytoagi.com/category/38 。请注意，内容由 AI 大模型生成，请仔细甄别。
2025-02-05
可以生成五分钟以上视频的AI
以下是一些可以生成五分钟以上视频的 AI 工具： 1. GoogleAI 视频 Veo2： 能够生成具有高度真实感和物理规律的视频，对拍摄风格、角度、运动等的语义理解极佳。 可以对运动物体进行超级稳定的多轮材质变化，能够直接输出 4K 视频。 具有高真实质感，遵循物理规律，稳定性强，在评测中多数情况下取得最优结果，且体验无需长时间排队等待。 2. Pika：是一款出色的文本生成视频 AI 工具，擅长动画制作，并支持视频编辑。 3. SVD：如果熟悉 Stable Diffusion，可以安装这款最新的插件，在图片基础上直接生成视频，由 Stability AI 开源。 4. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，但需要收费。 5. Kaiber：视频转视频 AI，能够将原视频转换成各种风格的视频。 6. Sora（OpenAI）：能够根据文字指令创造出逼真且充满想象力的场景，生成长达 1 分钟的超长视频，一镜到底，视频中的人物和场景具有较高的一致性和稳定性。 更多的文生视频的网站可以查看： 需注意，内容由 AI 大模型生成，请仔细甄别。
2025-02-05
免费的视频生成AI
以下为一些免费的视频生成 AI 工具： 1. Runway： 网页：https://runwayml.com/ 注册零门槛：在右上角 Sign Up 注册，输入邮箱与基础信息，完成邮箱验证即可。 选择 Try For Free 模式，新注册用户有 125 个积分进行免费创作（约为 100s 的基础 AI）。 生成第一个视频步骤： 选择左侧工具栏“生成视频”。 选择“文字/图片生成视频”。 将图片拖入框内。 选择一个动画系数。 点击生成 4 秒视频。 下载视频。 2. Hidreamai（国内，有免费额度）：https://hidreamai.com//AiVideo ，支持文生视频、图生视频，提示词使用中文、英文都可以。文生视频支持正向提示词、反向提示词、运镜控制、运动强度控制，支持多尺寸，可以生成 5s 和 15s 的视频。 3. ETNA（国内）：https://etna.7volcanoes.com/ ，是一款由七火山科技开发的文生视频 AI 模型，可根据用户简短的文本描述生成相应的视频内容。生成的视频长度在 8 15 秒，画质可达到 4K，最高 38402160，画面细腻逼真，帧率 60fps。支持中文，时空理解。 4. Dreamina（国内内测，有免费额度）：https://jimeng.jianying.com/aitool/video/generate ，支持文生视频、图生视频，视频生视频，支持图生视频首尾帧功能，提示词使用中文、英文都可以。文生视频支持正向提示词、运镜控制、运动强度控制、帧数选择，支持 16:9、9:16、1:1、3:4、4:3 尺寸，图生视频、视频生视频除尺寸不可选外，其他跟文生视频基本相同，默认生成 3s 的视频。 5. 可灵（免费）：https://klingai.kuaishou.com/ ，支持文生视频、图生视频，支持图生视频首尾帧功能，提示词可使用中文，文生视频支持正向提示词、反向提示词、运镜控制、时长选择（5s、10s），支持 16:9、9:16、1:1 尺寸，图生视频除不可运镜控制外，其他跟文生视频基本相同，默认生成 5s 的视频。
2025-02-05
最好的视频生成AI是哪个
目前没有绝对意义上“最好”的视频生成 AI，以下为您推荐一些出色的视频生成 AI 工具，它们适用于不同的使用场景和需求，您可以根据自身情况选择： 1. Pika：被网友评价为目前全球最好用的文本生成视频 AI，擅长动画制作，并支持视频编辑。功能包括直接发送指令或上传图片生成 3 秒动态视频，目前内测免费。生成服务托管在 discord 中，加入 Pika Labs 的 Discord 频道，在“generate”子区输入指令或上传图片即可生成视频。 2. SVD：如果熟悉 Stable Diffusion，可以直接安装这款最新的插件，在图片基础上直接生成视频。这是由 Stability AI 开源的 video model。 3. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，但需要收费。 4. Kaiber：视频转视频 AI，能够将原视频转换成各种风格的视频。 5. Sora：由 OpenAI 开发，可以生成长达 1 分钟以上的视频。 更多的文生视频的网站可以查看这里：https://www.waytoagi.com/category/38 。 内容由 AI 大模型生成，请仔细甄别。
2025-02-05
AI辅助PPT生成的教程
以下是关于 AI 辅助 PPT 生成的教程： 一、AI 辅助 PPT 的原理和作用 1. 减轻排版工作的压力。 2. 生成打底的内容，减轻人写内容的工作。 文章生成 PPT，是让 AI 帮忙摘要内容，生成大纲列表。 主题生成 PPT，让 AI 根据主题扩充成大纲列表，乃至具体内容。 在特定的场景下不用改直接用，如学生快速为小组展示配 PPT。 二、AI 辅助 PPT 生成的流程 1. 用户输入相关内容。 2. AI 输出文本。 3. 排版网站往往提供了各种形状和样式，网站把 AI 输出的文本丢给 LLM，让它根据内容，在已有的 UI 组件中选择更适合的组件。按时间线，每页 PPT 的文字，选出整个 PPT 中，每一页的 UI 组件。有的网站，如 tome、gamma，配图也是由 GenAI 根据页面内容生成的。呈现 AI 生成的 PPT 结果，用户不满意可以自行选择模版。 三、具体操作示例 1. 利用 Process ON 工具 网址：https://www.processon.com/ 输入大纲和要点 确定操作方式，目前该工具提供两种方式： 导入大纲和要点： 手动复制，相对比较耗时间。 导入方式： 复制最终大纲的内容，到本地的 txt 文件后，将后缀改为.md。如果看不见后缀，可以自行搜索开启后缀。 打开 Xmind 软件，将 md 文件导入 Xmind 文件中。 Process ON 导入 Xmind 文件。以导入方式新建思维导图，选择准备好的 Xmind 文件，导入成功。 输入主题自动生成大纲和要求：新增思维导图，输入主题，点击 AI 帮我创作，生成结束。 选择模版并生成 PPT：点击下载，选择导入格式为 PPT 文件，选择模版，再点击下载。如果喜欢用 Process ON 的小伙伴，没有会员，可以某宝买个一天会员。 2. 几款 PPT 生成工具（网站） https://wenku.baidu.com 百度文库付费质量好 https://zhiwen.xfyun.cn/ 讯飞智文免费引导好 http://Chatppt.com 付费，自动化程度高 http://Mindshow.fun Markdown 导入 http://Gamma.app Markdown 导入 http://Tome.app AI 配图效果好 剪映：图文成片（只需提供文案，自动配图配音） 希望以上内容对您有所帮助。
2025-02-05
视频生成文字或者视频总结成文字的工具有哪些
以下是一些视频生成文字或者视频总结成文字的工具： 1. Pika：一款出色的文本生成视频 AI 工具，擅长动画制作，并支持视频编辑。 2. SVD：如果熟悉 Stable Diffusion，可以安装这款最新的插件，在图片基础上直接生成视频，这是由 Stability AI 开源的 video model。 3. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，但需要收费。 4. Kaiber：视频转视频 AI，能够将原视频转换成各种风格的视频。 5. Sora：由 OpenAI 开发，可以生成长达 1 分钟以上的视频。 另外，更多相关网站可以查看： 如果想用 AI 把小说做成视频，可参考以下制作流程： 1. 小说内容分析：使用 AI 工具（如 ChatGPT）分析小说内容，提取关键场景、角色和情节。 2. 生成角色与场景描述：根据小说内容，使用工具（如 Stable Diffusion 或 Midjourney）生成角色和场景的视觉描述。 3. 图像生成：使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作：将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作：利用 AI 配音工具（如 Adobe Firefly）将小说文本转换为语音，添加背景音乐和音效。 6. 视频编辑与合成：使用视频编辑软件（如 Clipfly 或 VEED.IO）将图像、音频和文字合成为视频。 7. 后期处理：对生成的视频进行剪辑、添加特效和转场，以提高视频质量。 8. 审阅与调整：观看生成的视频，根据需要进行调整，比如重新编辑某些场景或调整音频。 9. 输出与分享：完成所有编辑后，输出最终视频，并在所需平台上分享。 请注意，具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外，AI 工具的可用性和功能也可能会随时间而变化，建议直接访问上述提供的工具网址获取最新信息和使用指南。 如果要创建视频内容，可参考以下步骤： 1. 准备内容：先准备一段视频中播放的内容文字。内容可以是产品介绍、课程讲解、游戏攻略等任何您希望推广，让大家了解的文字。当然，也可以利用 AI 来生成这段文字。 2. 制作视频：使用剪映 App 来对视频进行简单的处理。电脑端打开剪映 App，点击“开始创作”。进入创作页面后，选择顶部工具栏中的“文本”，并点击默认文本右下角的“+”号，为视频添加一个文字内容的轨道。添加完成后，在界面的右侧将准备好的文字内容替换默认文本内容。这样视频内容就准备好了，这将为数字人提供语音播放的内容，以及生成与文字内容相对应的口型。
2025-02-05
我想学习通过衣服图片生成模特视频
以下是关于通过衣服图片生成模特视频的相关内容： 如果您要通过衣服图片生成模特视频，有以下两种方法可供参考： 方法一：使用 Stable Diffusion 1. 真人穿衣服拍照，并拿到穿衣服的真实质感照片。如果身材方面有难处，可以借助美图秀秀或 PS 进行处理。 2. 选好底模，一定要是 realistic 的真人照片风格底模，例如 majicmixRealistic_v7。 3. 根据不同平台换头，比如面向海外市场换白女头，面向中老妇女换妈妈头。 4. 在图生图下的局部重绘选项卡下涂抹自己替换的部分，并设置好 prompts 和 parameters，例如 breathtaking cinematic photo, masterpiece, best quality, , blonde hair, silver necklace, carrying a white bag, standing, full body, detailed face, big eyes, detailed hands 等。 方法二：使用即梦的智能参考功能 1. 打开即梦官网 https://jimeng.jianying.com/ 。 2. 选择图片生成。 3. 选择导入参考图（上传一张参考图，点击智能参考）。 模特图自由定制：智能参考可以让模特图的变装、换发型、换脸、换发色和调整人物姿势变得轻而易举。 产品图随心变化：可以改变产品材质，调整画面背景。 电商海报一键搞定：支持随意更改背景、元素，适应不同的营销主题。 希望以上内容对您有所帮助。
2025-02-04
哪一个AI生成的图片更具有还原性
目前对于哪一个 AI 生成的图片更具有还原性，难以简单地给出一个确定的答案。 从相关资料来看，不同的 AI 出图工具具有各自的特点和优势。例如，MJ 稳定性最好，协作性最强，有很多成熟的经验可供参考，但不是所有人都能拥有此工具；SD 有一些其他产品无法替代的能力，如艺术字、线稿控制能力、可以训练自己的各种 lora 等，但需要本地部署，上手门槛更高；悠船对中文的支持最好，Prompt 可以用中文直出，交互友好、简单、易上手，但管控严格，很多敏感词不能使用。 在实际应用中，保持名胜古迹的原貌可能会遇到困难，比如用悠船出图时法华塔变得面目全非，最后用 SD 的线稿控制才将塔的样式大体保留下来。此外，在处理一些历史相关的内容时，绕过敏感词也是一个难点，需要绞尽脑汁地想办法，比如用替代词或其他方式。 同时，从艺术和语言学的角度来看，AI 艺术的发展仍在探索中，对于其本体形态和未来的发展方向还有待进一步研究和实践。
2025-02-04
图片识别
以下是关于图片识别的相关内容： 神经网络在图片识别中的应用： 对于印刷体图片的识别，通常会先将图片变为黑白、调整大小为固定尺寸，然后与数据库中的内容进行对比以得出结论。但这种方法存在多种问题，如字体多样、拍摄角度不同会引入例外情况，且整体是基于不断添加规则，对于复杂情况如围棋难以应对。神经网络专门处理未知规则的情况，其发展得益于生物学研究和数学的支持，能够处理如手写体识别等未知情况。推荐阅读《这就是 ChatGPT》一书，了解更多相关知识。 判断图片是否为 AI 生成： 要培养判断图片是否为 AI 生成的技能，需要训练大脑模型。对于不善于此的朋友，可以借助一些网站，如 ILLUMINARTY（https://app.illuminarty.ai/），通过对大量图片数据的抓取和分析来给出画作属性的判断可能性。但在测试中可能存在误判，如结构严谨的真实摄影作品可能被识别为 AI 作图，这是因为鉴定 AI 自身的逻辑算法不能像人类一样综合考虑各种不符合逻辑的表现。同时，介绍了通过画面风格、物品 bug 等细节辨别图像是否为 AI 生成的方法，但需注意 AI 在不断学习，这些方法可能随时失效。
2025-02-03
适合处理亚马逊电商图片的ai工具
目前在处理亚马逊电商图片方面，常见的 AI 工具包括 Adobe Photoshop 的 AI 功能、Canva 等。Adobe Photoshop 的 AI 功能可以帮助您进行图像的优化、修复和创意处理。Canva 则提供了丰富的模板和设计元素，方便您快速制作吸引人的电商图片。但具体选择哪种工具，还需根据您的具体需求和使用习惯来决定。
2025-02-02
deepseek如何处理图片
DeepSeek 的 JanusPro 模型将图像理解和生成统一在一个模型中，具有以下特点和处理方式： 统一 Transformer 架构：使用同一个模型就能完成图片理解和生成。 规模和开源：提供 1B 和 7B 两种规模，全面开源，支持商用，采用 MIT 协议，部署使用便捷。 能力表现：Benchmark 表现优异，能力更全面，7B 版本在 GenEval 和 DPGBench 中击败 OpenAI 的 DALLE 3 和 Stable Diffusion。 处理方式： 理解模式：用“超级眼镜”仔细看最大 384x384 大小的图片，还能读文字。 画画模式：用“魔法画笔”自己创作同样大小的图片。 训练方法：先自己看很多图画书学习（预训练），然后老师手把手教（监督微调），最后用“精华浓缩法”保存最好的学习成果。 Transformer 大一统架构： 理解部分：输入包括一张“Clean Image”（干净图像）和“Und.Prompt”（理解提示），经过处理后由大语言模型输出，再通过“Text DeTokenizer”（文本去标记器）处理得到响应。 生成部分：输入包括“Gen.Prompt”（生成提示）和一张“Noisy Image”（含噪图像），经过处理后在“Gen.Decoder”（生成解码器）中不断更新，最终完成图像生成。 模型地址： 模型（7B）：https://huggingface.co/deepseekai/JanusPro7B 模型（1B）：https://huggingface.co/deepseekai/JanusPro1B 下载地址：https://github.com/deepseekai/Janus
2025-02-02
怎么替换视频或图片中的人脸
以下是替换视频或图片中人脸的几种方法： 方法一：使用 SD 中的 Roop 插件 1. 安装 Roop 插件，安装时间较长需耐心等待。安装好后打开 SD 文件目录下的特定文件夹，在地址栏输入“cmd”并回车。 2. 在打开的 dos 界面中粘贴“python m pip install insightface==0.7.3 user”代码自动安装 insightface。若此阶段出错，建议下载最新的秋叶 4.2 整合包（6 月 23 号更新），在云盘后台回复【SD】可下载。 3. 安装完成后重新打开启动器，后台会继续下载模型，全程需科学上网。 4. 选用真实系模型“realisticVisionV20”，得到照片。 5. 启用 ROOP 插件，选择要替换的人物照片，面部修复选择“GFPGAN”，根据需求设置右边的参数。 6. 点击生成，若人脸像素偏低模糊，可将图发送到“图生图”，开较小重绘幅度，使用 controlnet 中的 tile 模型进行重绘。 方法：使用 TecCreative 工具 1. 对于图片换脸，仅需上传原始图片和换脸图片，然后点击开始生成。注意图片大小上限 5M，支持 JPG、PNG 格式。 2. 对于视频换脸，上传原始视频和换脸图片后点击生成。 方法：使用快捷工具中的 facefusion 1. 点击快捷工具中顶部的“JupyterLab”打开工具，通过终端启动 facefusion。 2. 点击顶部的“+”号选项卡，新打开一个终端窗口。 3. 在终端区域启动终端选项卡，输入 3 条命令： 输入“ls”并按回车查看文件列表。 输入“cd facefusion”并按回车进入程序目录。 输入“python./run.py executionproviders cuda cpu”启动程序。 4. 当出现提示信息说明启动成功。 5. 打开 facefusion 软件，返回实例列表，点击自定义服务按钮，通过新的浏览器窗口访问 facefusion 的 UI 界面。 6. 在软件界面上传准备好的图片、视频，在右侧查看预览效果，点击开始按钮执行换脸处理。处理完成后在输出位置下载处理后的视频。 特别提醒，此类插件需谨慎使用，切勿触犯法律。如果想要 Roop 插件，可以添加公众号【白马与少年】，回复【SD】即可。推荐使用最新的秋叶整合包，出错概率最小，另外，科学上网很重要。
2025-02-01