直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

如何把静态的图片动起来

回答

以下是一些可以将静态图片动起来的方法和工具:

  1. 使用 VIGGLE 工具:
    • Mix 模式:先上传一个视频和一张角色图像,Viggle 会自动将视频的动态赋予给这个角色,形成新视频。它能模拟出角色的 3D 状态,准确还原身体旋转、四肢交叠等动作,也可以利用现有的模版视频作为动作获取来源。
    • Multi 模式:通过视频的动作,将上传的多个角色进行识别并赋予动作,形成新视频。
    • Move 模式:将视频的动作直接映射在图片人物身上,实现“让静态图动起来”。
    • 案例:Rane.m4v,结合 Midjourney 制作图片。
  2. LiveSketch:为素描“注入生命”,通过文本提示将静态素描动画化。
    • 应用场景:FlipaClip 提供的服务方向+LiveSketche 可更便捷生成动画;简笔画替换成骨骼图+controlnet+帧图可生成动态漫;简笔画替换成骨骼图+runway 控制可生成动态视频。
    • 技术特点:能够将单一主题的静态素描转换成动画,用户只需提供描述所需动作的文本提示,系统就会生成短动画。通过修改描述运动的提示文本,还可以控制生成结果的程度。
  3. 使用 Camera Motion:
    • 上传图片:点击“AddImage”上传图片。
    • 输入提示词:在“Prompt”中输入提示词。
    • 设置运镜方向:选择想要的运镜方向,输入运镜值。
    • 设置运动幅度:运动幅度和画面主体运动幅度有关,与运镜大小无关,可设置成任意值。
    • 其它设置:选择好种子(seed),是否高清(HD Quality),是否去除水印(Remove Watermark)。
    • 生成视频:点击“create”生成视频。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

视频工具:VIGGLE

先上传一个视频和一张角色图像,Viggle会自动将视频的动态赋予给这个角色,形成一段新视频。而且Viggle并非只能生成简单的正面动作,它能模拟出角色的3D状态,这样即使原视频中有身体旋转、四肢交叠等动作,Viggle也能准确进行还原处理。(也可以利用现有的模版视频作为动作获取来源)[heading2]2、Multi(多人模式)[content]同样通过视频的动作,将上传的多个角色进行识别并赋予给这个角色,形成一段新视频。[heading2]3、Move(将视频的动作直接映射在图片人物身上)[content]不同于Mix的图片元素替换原视频内容,Move主要是通过将动作映射在图像里面的人物身上,实现“让静态图动起来”。[heading2]案例:[content][Rane.m4v](https://bytedance.feishu.cn/space/api/box/stream/download/all/Y26ybfOKGo7K3JxVfQScWmaCnre?allow_redirect=1)结合Midjourney制作图片再

Han:基于现有能力项目应用的思考

|技术名称|应用场景|技术类型|简介|主要特点|工作原理|其他|官方网站|项目及演示|论文|Github|在线体验|附件|最后更新时间||-|-|-|-|-|-|-|-|-|-|-|-|-|-||LiveSketch:为素描“注入生命”通过文本提示将静态素描动画化|1、FlipaClip提供的服务方向+LiveSketche=更便捷的动画生成。<br>2、简笔画替换成骨骼图+controlnet+帧图=动态漫?<br>3、简笔画替换成骨骼图+runway控制=动态视频?|3D动画人物,图片|该技术能够将单一主题的静态素描转换成动画。<br>用户只需提供描述所需动作的文本提示,系统就会生成短动画。<br>通过修改描述运动的提示文本,你还可以控制生成结果的程度。<br>比如,如果你画了一只猫,并用文字描述它在跳跃,这个系统就能制作出一只跳跃的猫的动画。<br>它为任何人提供了一种简单直观的方法,使他们的素描变得生动活泼。这对于讲故事、插图、网站、演示文稿等领域都非常有用。|主要功能<br>•动画化静态素描:该技术能够将单一主题的静态素描转换成动画。用户只需提供描述所需动作的文本提示,系统就会生成短动画。<br>•基于文本到视频的先验:这种方法利用了大型预训练的文本到视频扩散模型的运动先验,

Camera Motion 使用教程

点击"AddImage"上传图片。[heading2]2.输入提示词[content]在“Prompt”中输入提示词。[heading2]3.设置运镜方向[content]选择您想要的运镜方向,输入[运镜值](https://waytoagi.feishu.cn/docx/Ci9yd5xu2o46rXxNofdcnqH9nXb#doxcniTMBNtWHj6MSpXvB2DTyUh)。(下图中所示为向右运镜)[heading2]4.设置运动幅度[content]运动幅度和画面主体运动幅度有关,与运镜大小无关,可以设置成您想要的任意值。[heading2]5.其它[content]选择好种子(seed),是否高清(HD Quality),是否去除水印(Remove Watermark)。[heading2]6.生成视频[content]点击“create”,生成视频。

其他人在问
那款AI可以让静态变动态I
以下是一些可以让静态变动态的 AI 工具和方法: 1. Hailuo AI 推出的 I2V01Live 新功能,能够为静态 2D 插画加入流畅动画,赋予角色生命力,支持多种艺术风格,动作细节表现真实流畅。相关链接: 2. 腾讯 Hunyuan 是 130 亿参数开源视频模型,能生成高质量视频,动作连贯自然,镜头切换灵活,具备强大语义跟随能力。官网: 3. 可以通过教程学习用 AI 制作动画视频播客,比如五步学会的方法。相关链接: 4. 可以使用即梦、runway 等工具,比如在剪映里添加 PNG 透明底图并导出。
2024-12-18
静态动物图片,生成说话视频
以下是一些能够将静态动物图片生成说话视频的技术和相关信息: VividTalk:单张照片和一段音频可生成看似真实的说话视频,支持多种语言和风格,如真实和卡通风格,由南京大学、阿里巴巴、字节跳动和南开大学合作开发。链接:https://x.com/xiaohuggg/status/1732026172509421697?s=20 腾讯 AniPortrait:根据音频和静态人脸图片生成逼真的动态视频,支持多种语言、面部重绘、头部姿势控制,比阿里 EMO 项目先开源。链接:https://github.com/ZejunYang/AniPortrait 、https://arxiv.org/abs/2403.17694 、https://x.com/imxiaohu/status/1772965256220045659?s=20
2024-11-13
可以将图片中的文字转换么
可以将图片中的文字进行转换。以下为您介绍一些相关工具和技术: 2txt:Image to text 转换工具,利用 AI SDK 将图片内容转换为文字,不仅限于 OCR,提供体验地址和开源代码链接:https://x.com/imxiaohu/status/1780101723719393780 。 DiT 技术:不仅训练过程高效,在实际应用中展现出强大的图像生成能力。能根据简单文字描述生成逼真图像,如输入“一只毛茸茸的棕色小猫,有着明亮的蓝色眼睛”可生成相应小猫图片;在图像修复方面表现出色,可智能识别图像瑕疵并修复,如修复老照片中被污渍遮挡的人物面部;还能赋予图像不同艺术风格,为图像创作和编辑提供全新可能性。 希望这些信息对您有所帮助。
2024-12-21
生成图片的选项U和V是什么意思
在 Midjourney 中,生成图片后出现的 U 和 V 按钮具有以下含义: U 按钮(Upscale):代表放大图像提升细节。数字代表对应的图像,如 U1、U2、U3、U4。点击 U 按钮可以生成选定图像的较大尺寸版本,并优化更多细节呈现。 V 按钮(Variation):代表在基础上发生变化。数字表示对应的图像,如 V1、V2、V3、V4。选择觉得效果不错的某张图,如第 2 张图,点击 V2,会再生成四个和第 2 张图相似的图像。
2024-12-21
AI图片社区
以下是关于 AI 图片社区的相关信息: 如何判断一张图片是否 AI 生成:要培养鉴别 AI 图片的技能需要训练大脑模型。对于不擅长的朋友,可通过一些网站来判断,如 ILLUMINARTY(https://app.illuminarty.ai/),但测试中可能存在误判,这是因为鉴定 AI 自身的逻辑算法不能像人类一样综合考虑各种表现。 100 个 AI 应用中的相关社区:500px 摄影社区是 AI 摄影比赛平台,利用图像识别、数据分析技术,举办摄影比赛,展示优秀摄影作品;雪球财经 APP 是 AI 金融投资教育平台,利用数据分析、自然语言处理技术,为用户提供个性化的金融投资教育服务。
2024-12-21
图片放大
以下是关于图片放大的相关信息: 本地工具放大:https://www.upscayl.org/download SD 放大:扩散模型可以增加更多细节 开源工作流: stability.ai 的:https://clipdrop.co/tools 画质增强: https://magnific.ai/ https://www.krea.ai/apps/image/enhancer https://imageupscaler.com/ https://picwish.cn/photoenhancerapi?apptype=apsbdapi&bd_vid=8091972682159211710 腾讯 ARC:https://arc.tencent.com/zh/aidemos/humansegmentation?ref=88sheji.cn 腾讯开源的模型,能恢复老照片:https://github.com/TencentARC/GFPGAN,在线测试地址:https://replicate.com/tencentarc/gfpgan 美图老照片修复:https://www.xdesign.com/quality/?channel=sllbd90&bd_vid=11711254260543749686 https://imglarger.com/ https://letsenhance.io/ http://waifu2x.udp.jp/ 在 SD 中进行图片放大: 使用过插件、脚本和后期处理,原理相同,好坏需尝试,因为 AI 生图有随机性。 在 Tiled Diffusion 中,MultiDiffusion 方案适合图像重绘、风格迁移和放大等功能。 四个滑块代表分块大小、分块之间的重叠像素和同时处理的分块数量,数值越大效果越好、速度越快,数值越小占用显存越小,一般保持默认,重叠像素大小建议使用 MultiDiffusion 时选择 32 或 48,使用 Mixture of Diffusers 选择 16 或 32。 Tiled VAE 可极大程度降低 VAE 编解码大图所需的显存字节,分块大小根据电脑情况调节,数值越小占用显存越低。 生成 512x512 的图片,发送到图生图进行重绘,选择熟悉的放大算法和所需的放大倍数,重绘幅度设置为 0.35,放大算法下面的噪声反转可在重绘前对原图像进行噪声图反推,让放大的图片更接近原图。 在 SD 中文生图的相关提示词: Stable Diffusion 的生成方式主要分为文生图和图生图两种,文生图仅通过正反向词汇描述发送指令,图生图除文字外还可给 AI 参考图进行模仿(垫图)。 文本描述分为内容型提示词和标准化提示词,内容型提示词用于描述想要的画面,例如:1 个女孩,黑发,长发,校服,向上看,短袖,粉红色的花,户外,白天,蓝色的天空,云,阳光,上身,侧面(使用翻译软件翻译成英文)。 采样迭代步数通常控制在 20 40 之间,采样方法常用的有:Euler a;DPM++2S a Karras;DPM++2M Karras;DPM++SDE Karras;DDIM。 比例设置为 800:400,高宽比尽量在 512x512 数值附近,太大的数值会使 AI 构图奇怪,可同时点选高清修复来放大图像倍率。
2024-12-20
你可以根据问题说生成PPT或者图片吗
以下是关于生成 PPT 或图片的相关内容: 增强版 Bot 是基于 AI 驱动的智能创作平台,可实现一站式内容生成,包括图片、PPT、PDF 等。例如,在对话框输入诉求“生成常见的系统架构风格架构设计图”即可生成相应图片,输入“帮我生成一篇包含以上架构风格的完整 PPT”可生成 PPT 幻灯片内容及相关模板选择,输入“根据上面的架构风格,制作一篇常见系统架构风格的 PDF 文件”可生成相应的可选模板。 在 MJ 应用中,为 PPT 配图可通过复制图像链接和提示词,在 discord 中输入相应命令生成图像。生成后可改变比例和镜头拉远,检查构图,选择合适的图放入 PPT 调整构图。 在制作课程时,可通过一系列提问模板让 ChatGPT 协助创作章节内容,并将其转换成 PPT 格式,还可加入学员案例、参考范例让其进行改写或续写。
2024-12-19
如何通过图片素材,自动剪辑视频
以下是通过图片素材自动剪辑视频的步骤: 1. 访问 Adobe Firefly 网站(https://firefly.adobe.com/),选择“生成视频”。 2. 在“生成视频”页面的“提示”字段中输入文本提示,您还可以使用“上传”选项在“图像”部分使用图像作为第一帧,并为视频剪辑提供方向参考。添加图像以提供清晰的视觉引导,使生成的视频更紧密地与您的愿景对齐。 3. 在“常规设置”部分,确定“宽高比”和“每秒帧数”。 4. 在“高级”部分,您可以使用“种子”选项添加种子编号,以帮助启动流程并控制 AI 创建内容的随机性。如果使用相同的种子、提示和控制设置,可以重新生成类似的视频剪辑。 5. 选择“生成”。 此外,关于生成视频的常见问题解答: 视频模型可能需要裁剪您的图像以适应所需的图像大小,这是从中心完成的,可能会丢失边缘部分图像。要自己裁剪图像,可以使用 Adobe Express 等 Adobe 应用程序。 种子是帮助启动流程的数字,控制 AI 创建内容的随机性。如果使用相同的种子、提示和控制设置,可以重新生成类似的资源。如果更改了提示、上传的图像和控制等属性,则使用相同的种子。如果属性保持不变,则会生成新的种子。 当更改任何设置或提示时,种子将保持不变,这可能导致生成的人物在种族、民族或肤色方面看起来相似。在“高级设置”下更改种子编号可能会改变人物的种族、民族或肤色。
2024-12-19
让旧照片动起来
以下是一些可以让旧照片动起来的工具和相关信息: Dreamina: 网址:https://dreamina.jianying.com/aitool/home?subTab 优点:不需要🪜,每天有免费额度。 注册:抖音号或手机号。 时间:5min 体验:上传一张离谱村的图片,即使不加提示词也能让图片有一些动态。父母上传风景照片后,有的水面动起来效果不错,有的画面扭曲。还引发了关于肖像权、版权、信息安全及技术意义的探讨。对于能否在扣子里一起用的问题,有插件的情况下应该可以,否则直接去官网更方便快捷。 Sora: 网址:https://openai.com/sora 优点:发布的成果好,集成在 openai 一套里可用。 限制:需要🪜,需要 gmail 注册,需要订阅后才能使用。 时间:30 60min 价格:GPT 4 20$一个月
2024-12-20
我需要一个能把很多照片拼接起来生成photostory的AI软件
以下是为您推荐的一些可能用于将很多照片拼接起来生成 photostory 的 AI 软件: 1. DiT:它不仅能生成高质量的逐帧图像,还能将这些图像串成流畅的视频,避免画面跳动问题。 2. 特看科技的 Topview.ai:这是一款多模态转换工具,作为 AI 驱动的营销视频生成工具,可将输入的提示词或者商品详情页链接等素材,一键转换为爆款商业短视频。 3. MJ:通过设置相机参数、写实风格等,使用 MJ v 6.0 绘图,还可进行图片裁剪和拼接等操作。 4. Pika、Pixverse、Runway、SVD:可用于生成不同类型的视频内容,包括剧情片、科幻片、战争片、奇幻片等。 您可以根据自己的需求和使用习惯选择适合您的软件。
2024-12-05
AI是什么时候发展起来的
AI(人工智能)的发展最早可以追溯到上世纪。1943 年,心理学家麦卡洛克和数学家皮特斯提出了机器的神经元模型,为后续的神经网络奠定了基础。1945 年,Alan Turing 就考虑用计算机来模拟人脑,设计了 ACE 来模拟大脑工作。1950 年,图灵最早提出了图灵测试,作为判别机器是否具备智能的标准。1956 年,在美国达特茅斯学院,马文·明斯基和约翰·麦凯西等人共同发起召开了著名的达特茅斯会议,“人工智能”一词被正式提出,并作为一门学科被确立下来。此后近 70 年,AI 的发展起起落落。1994 年,一组 52 名心理学家签署了有关智能科学的广泛定义的社论。2000 年代初,“通用人工智能”(AGI)一词流行起来。2022 年 11 月 30 日,OpenAI 发布基于 GPT 3.5 的 ChatGPT,引发了全球的 AI 浪潮。
2024-11-04
命令AI润色论文的一个段落,让这一段看起来是科研论文,应该如何下指令
以下是为您提供的命令 AI 润色论文段落的指令示例: “请将以下段落按照科研论文的风格进行润色,使其语言更加准确、严谨、规范:。注意保持原意,优化句子结构,使用恰当的学术词汇和语法。” 您可以将上述示例中的替换为您想要润色的段落。
2024-10-27
我想翻译一些日漫,我该如何提问才可以让得到的翻译结果更接近正常人说话,而不是简单的直译。并且得到的结果必须与原文所表达的内容不出现差错,翻译结果读起来流畅自然
很抱歉,知识库中的内容没有直接针对您如何翻译日漫以获得更自然流畅且准确结果的相关指导。但一般来说,要实现这样的翻译效果,您可以从以下几个方面考虑: 1. 深入理解日漫的文化背景、角色性格和情节发展,以便更好地把握原文的“意”。 2. 注重上下文的连贯和逻辑,不仅仅是逐句翻译,而是从整体上把握语义。 3. 避免过于拘泥于原文的句式和词汇,灵活运用目标语言的表达方式。 4. 多参考优秀的日漫翻译作品,学习他人的翻译技巧和风格。 5. 对于一些特定的文化元素或术语,要进行适当的解释或转换,以确保目标读者能够理解。
2024-10-27
我计划编写一本关于生成式人工智能的书籍,但是在开始前,我需要确定一个合适的大纲框架来组织我的思路。这个框架应该包括那些部分,以及如何将各个部分连接起来,以便读者能够理解掌握AIGC的概念和应用
以下是为您编写关于生成式人工智能书籍提供的大纲框架建议: 一、引言 介绍编写本书的目的和背景,引导读者进入生成式人工智能的世界。 二、基础概念 1. 什么是生成式人工智能(AIGC) 定义和特点 与传统人工智能的区别 2. 相关技术名词 AI(人工智能) 机器学习(包括监督学习、无监督学习、强化学习) 深度学习(神经网络、神经元) 生成式 AI(可生成文本、图片、音频、视频等内容形式) LLM(大语言模型) 三、AIGC 的应用领域 1. 文字生成(如使用大型语言模型生成文章、故事、对话等) 2. 图像生成(如使用 Stable Diffusion、DALLE 等模型生成艺术作品、照片等) 3. 视频生成(如使用 Runway、KLING 等模型生成动画、短视频等) 四、AIGC 与其他内容生成方式的关系 1. AIGC 与 UGC(用户生成内容) 区别与联系 各自的优势和适用场景 2. AIGC 与 PGC(专业生成内容) 区别与联系 相互的影响和融合 五、技术原理 1. Transformer 模型 自注意力机制 处理序列数据的优势 2. 技术里程碑(如谷歌团队发表的《Attention is All You Need》论文) 六、实际案例分析 展示不同领域中成功的 AIGC 应用案例,分析其实现过程和效果。 七、挑战与展望 1. 面临的挑战(如数据隐私、伦理问题等) 2. 未来发展趋势和前景 八、结论 总结全书重点内容,对 AIGC 的未来发展进行展望。 各个部分之间可以通过逻辑递进、案例引用、对比分析等方式进行连接,使读者能够逐步深入理解掌握 AIGC 的概念和应用。
2024-10-23