AI 在图像编辑方面有多种应用和技术,以下为您介绍:
在产品发布的同时,字节同时也发布了SeedEdit的技术报告。仔细阅读一下可以发现,它在技术原理上确实有自己的独到之处。论文:《SeedEdit:Align Image Re-Generation to Image Editing》论文及技术能力展示:https://team.doubao.com/seededit据技术报告介绍,SeedEdit基于图像生成常用的扩散模型,但又能够根据任何文本提示修订给定的图像。该工作发现,AI生成式图像编辑的关键,在于在保持原始图像(图像重建)和生成新图像(图像生成)之间的平衡。这就意味着若想让图像生成的AI模型拥有修图能力,就需要在大量相应的成对数据上训练这个模型。因此,SeedEdit采取的方式是从一个弱生成器(文本到图像生成模型)开始,再在上述两个方向之间创建多样化的图像对,以此来逐步训练模型,最终获得我们所需要的平衡。下图是SeedEdit的框架:首先将文本到图像模型(T2I)视为弱编辑模型,再改造它生成的带有提示的新图像来实现「编辑」。随后,把这个弱编辑模型反复进行蒸馏和对齐,以最大程度继承再生成能力,同时提高生成后图像的一致性。最近一段时间,扩散模型生成的图像虽然效果越来越好,但其内容通常是不可控的。通过SeedEdit,字节的研究人员尝试在不引入新参数的情况下,将图像生成的扩散模型转化成了图像编辑模型。与此前一些AI图像编辑的方法相比,SeedEdit能够实现更丰富的效果和编辑能力,也可以实现图片的连续编辑——它让扩散模型不再是完全随机进行生成,而是可以像常规的工具一样一步步来,做出你想要的效果。使用SeedEdit进行一句话编辑的图片。
|技术名称|应用场景|技术类型|简介|主要特点|工作原理|其他|官方网站|项目及演示|论文|Github|在线体验|附件|最后更新时间||-|-|-|-|-|-|-|-|-|-|-|-|-|-||Muse AI:一款强大的AI图片编辑器。|协同的功能是很有用的。|图片|该编辑器具有多种功能,包括快速添加、擦除、和进行AI图片编辑。|而最重要的是你只需要输入文字,不需要其他任何操作,就像对话聊天一样,即可轻松的编辑图片内容。完全傻瓜式操作。|它允许用户通过简单的文本提示进行复杂的图片编辑,包括删除不需要的背景元素、旋转、裁剪、文本转图片、添加滤镜等。同时还支持与团队成员或客户实时共享和编辑文件。|||[creatosaurus.io/apps/muse](https://t.co/AQvloDiyQd)|||||2023/12/26|
目前Ideogram pro用户可进行使用宣传视频:[Ideogram.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/QTmRbVUiRodaOuxe2QPcLr09nob?allow_redirect=1)🌟地址:https://ideogram.ai/[heading3]BrushEdit:腾讯开源AI图像编辑技术[content]利用多模态大型语言模型(MLLM)和图像修复模型来实现自主、用户友好和交互式的自由形式指令编辑。用户可以根据语言沟通,进行编辑图像背景、对象,增删内容。效果:[BrushEdit.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/B9QebvPnKoLEI8xbarIcpMhKnxe?allow_redirect=1)🌟地址:https://liyaowei-stu.github.io/project/BrushEdit/[heading3]网友@testingcatalog公开Gemini Creative Partner UI的早期预[content]效果:[@testingcatalog.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/TVhSbVulwo5fbhx4Ms2cUxkdnMd?allow_redirect=1)