Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

图像生成

Answer

图像生成是 AIGC 的一个重要领域，离不开深度学习算法，如生成对抗网络（GANs）、变分自编码器（VAEs）以及 Stable Diffusion 等，以创建与现实世界图像视觉相似的新图像。

图像生成可用于多种场景，如数据增强以提高机器学习模型的性能，也可用于创造艺术、生成产品图像（如艺术作品、虚拟现实场景或图像修复等）。

一些具有代表性的海外项目包括：

  • Stable Diffusion(Stability AI)：文本生成图像模型，主要由 VAE、U-Net 网络和 CLIP 文本编码器组成。首先使用 CLIP 模型将文本转换为表征形式，然后引导扩散模型 U-Net 在低维表征上进行扩散，之后将扩散之后的低维表征送入 VAE 中的解码器，从而实现图像生成。
  • DALL-E 3（Open AI）：OpenAI 基于 ChatGPT 构建的一种新型神经网络，可以从文字说明直接生成图像。
  • StyleGAN 2（NVIDIA）：一种生成对抗网络，可以生成非常逼真的人脸图像。
  • DCGAN（Deep Convolutional GAN）：一种使用卷积神经网络的生成对抗网络，可生成各种类型的图像。

在图像生成的用法方面，图像生成端点允许您在给定文本提示的情况下创建原始图像。生成的图像的大小可以为 256x256、512x512 或 1024x1024 像素。较小的尺寸生成速度更快。您可以使用 n 参数一次请求 1 - 10 张图像。描述越详细，就越有可能获得您或您的最终用户想要的结果。您可以探索 DALL·E 预览应用程序中的示例以获得更多提示灵感。

图像编辑端点允许您通过上传蒙版来编辑和扩展图像。遮罩的透明区域指示应编辑图像的位置，提示应描述完整的新图像，而不仅仅是擦除区域。

AI 绘图 Imagen 3 具有以下功能点和优势： 功能点：

  • 图像生成：根据用户输入的 Prompt 生成图像。
  • Prompt 智能拆解：能够自动拆解用户输入的 Prompt，并提供下拉框选项。
  • 自动联想：提供自动联想功能，帮助用户选择更合适的词汇。

优势：

  • 无需排队：用户可以直接使用，无需排队。
  • 免费使用：目前 Imagen 3 是免费提供给用户使用的。
  • 交互人性化：提供了人性化的交互设计，如自动联想和下拉框选项。
  • 语义理解：具有较好的语义理解能力，能够根据 Prompt 生成符合描述的图像。
  • 灵活性：用户可以根据自动联想的功能，灵活调整 Prompt 以生成不同的图像。
Content generated by AI large model, please carefully verify (powered by aily)

References

2024AIGC法律风险研究报告（更新版）.pdf

3AIGC法律风险研究报告图像生成(image generation)也离不开深度学习算法，如生成对抗网络（GANs）、变分自编码器（VAEs），以及Stable Diffusion等，以创建与现实世界图像视觉相似的新图像。图像生成可用于数据增强以提高机器学习模型的性能，也可用于创造艺术，生成产品图像，如艺术作品、虚拟现实场景或图像修复，等等。[heading1]一些具有代表性的海外项目：[content]➢Stable Diffusion(Stability AI)：文本生成图像模型，主要由三个部分组成，分别是VAE、U-Net网络和CLIP文本编码器。在具体的实现过程中，首先使用CLIP模型将文本转换为表征形式，然后引导扩散模型U-Net在低维表征上进行扩散，之后将扩散之后的低维表征送入VAE中的解码器，从而实现图像生成。➢DALL-E 3（Open AI）：OpenAI基于ChatGPT构建的一种新型神经网络，可以从文字说明直接生成图像。➢StyleGAN 2（NVIDIA）：一种生成对抗网络，可以生成非常逼真的人脸图像。➢DCGAN（Deep Convolutional GAN）：一种使用卷积神经网络的生成对抗网络，可生成各种类型的图像。

图像生成（Image generation）

图像[生成](https://platform.openai.com/docs/api-reference/images/create)端点允许您在给定文本提示的情况下创建原始图像。生成的图像的大小可以为256x256、512x512或1024x1024像素。较小的尺寸生成速度更快。[您可以使用n](https://platform.openai.com/docs/api-reference/images/create#images/create-n)参数一次请求1-10张图像。描述越详细，您就越有可能获得您或您的最终用户想要的结果。[您可以探索DALL·E预览应用程序](https://labs.openai.com/)中的示例以获得更多提示灵感。这是一个简单的例子：[使用response_format](https://platform.openai.com/docs/api-reference/images/create#images/create-response_format)参数，每个图像都可以作为URL或Base64数据返回。URL将在一小时后过期。[heading3]编辑[content]图像[编辑](https://platform.openai.com/docs/api-reference/images/create-edit)端点允许您通过上传蒙版来编辑和扩展图像。遮罩的透明区域指示应编辑图像的位置，提示应描述完整的新图像，而不仅仅是擦除区域。此端点可以启用类似[我们DALL·E预览应用程序中的编辑器的](https://labs.openai.com/editor)体验。提示：一个阳光充足的室内休息区，带有一个包含火烈鸟的游泳池上传的图片和遮罩必须是小于4MB的正方形PNG图片，并且必须具有相同的尺寸。生成输出时不使用遮罩的非透明区域，因此它们不一定需要像上面的示例那样与原始图像匹配。

AI绘图Imagen3

功能点：1.图像生成：根据用户输入的Prompt生成图像。2.Prompt智能拆解：能够自动拆解用户输入的Prompt，并提供下拉框选项。3.自动联想：提供自动联想功能，帮助用户选择更合适的词汇。优势：1.无需排队：用户可以直接使用，无需排队。2.免费使用：目前Imagen 3是免费提供给用户使用的。3.交互人性化：提供了人性化的交互设计，如自动联想和下拉框选项。4.语义理解：具有较好的语义理解能力，能够根据Prompt生成符合描述的图像。5.灵活性：用户可以根据自动联想的功能，灵活调整Prompt以生成不同的图像。[heading1]绘图[content]

Others are asking
图像翻译
图像翻译具有以下特点和功能： 多语言支持：涵盖 18 种语言，包括中文、英文、法语、日语、韩语和西班牙语。 保护图像主体：可选择不翻译品牌名称或重要信息，避免影响关键内容。 高分辨率处理：支持高达 4000×4000 像素的图像，确保翻译后画质清晰。 原始排版恢复：保留原字体、大小及对齐方式，确保设计一致性。 多行文本合并：将多行文本合并为段落翻译，避免逐行翻译造成误解。 清除文本痕迹：翻译后干净移除原文本，并恢复图像空白区域。
2025-04-14
gpt4o图像生成提示词有哪些
以下是一些 GPT4o 图像生成的提示词示例： 1. 将这张图更改为蓝色氛围，星星图标改为魔法棒图标，同时将里面文案描述的主题改为其他的。 2. 帮我生成一张这样的 UI 设计稿：Peerlist 邀请链接界面分析，界面内容。 3. 一张逼真的照片，描绘了一匹马在宁静的海洋表面从右向左奔驰，准确地描绘了飞溅的水花。 Realistic photograph of a horse galloping from right to left across a vast,calm ocean surface,accurately depicting splashes,reflections,and subtle ripple patterns beneath their hooves.Exaggerate horse movements but everything else should be still,quiet to show contrast with the horse's strength.clean composition,cinematographic.A wide,panoramic composition showcasing a distant horizon.Atmospheric perspective creating depth.zoomed out so the horse appears minuscule compared to vast ocean.horse is right at the horizon where ocean meets sky.use rule of thirds to position horse.size of horse is 1% size of entire image because camera is so far away from subject.camera view is super close to the ground/ocean like a worm's eye view.horse is galloping right where ocean meets the sky 4. 生成一张 2006 年夏天的周六多伦多农夫市场的逼真照片，那天是六月的美好时光，人们在购物和吃三明治。焦点应是一个穿着牛仔工装裤、啜饮草莓香蕉奶昔的年轻亚洲女孩——其余部分可以模糊。照片应让人联想到 2006 年的数码相机拍摄的效果，带有像打印照片一样的日期和时间戳。画幅比例应为 3:2
2025-04-11
图像识别模型
图像识别模型通常包括编码器和解码器部分。以创建图像描述模型为例： 编码器：如使用 inception resnet V2 应用于图像数据，且大部分情况下会冻结此 CNN 的大部分部分，因为其骨干通常是预训练的，例如通过庞大的数据集如图像网络数据集进行预训练。若想再次微调训练也是可行的，但有时仅需保留预训练的权重。 解码器：较为复杂，包含很多关于注意力层的说明，还包括嵌入层、GRU 层、注意力层、添加层归一化层和最终的密集层等。 在定义好解码器和编码器后，创建最终的 TF Keras 模型并定义输入和输出。模型输入通常包括图像输入进入编码器，文字输入进入解码器，输出则为解码器输出。在运行训练前，还需定义损失功能。 另外，还有一些相关模型的安装配置，如 siglipso400mpatch14384（视觉模型），由 Google 开发，负责理解和编码图像内容，其工作流程包括接收输入图像、分析图像的视觉内容并将其编码成特征向量。image_adapter.pt（适配器）连接视觉模型和语言模型，优化数据转换。MetaLlama3.18Bbnb4bit（语言模型）负责生成文本描述。
2025-03-28
gpt4o图像生成
GPT4o 是 OpenAI 推出的具有强大图像生成能力的多模态模型，能够实现精确、准确、照片级真实感输出。其核心功能包括生成美观且实用的图像，如白板演示、科学实验图解等。亮点功能有精确的文本渲染，能在图像中准确生成文字，如街道标志、菜单、邀请函等；支持多样化场景生成，从照片级真实感到漫画风格均可；具有上下文感知能力，能利用内在知识库和对话上下文生成符合语境的内容。技术上通过联合训练在线图像和文本的分布，学会了图像与语言及图像之间的关系，经过后期训练优化，在视觉流畅性和一致性方面表现出色。实际应用场景包括信息传递、创意设计、教育与演示等。但也存在某些场景或细节的限制。安全性方面，OpenAI 强调了保护。目前该功能已集成到 ChatGPT 中，用户可直接体验。 此外，在 3 月 26 日的 AI 资讯汇总中，OpenAI 推出了 GPT4o 图像生成能力。昨晚 Open AI 更新 GPT4o 图像生成功能后，其真正强大之处在于几乎可以通过自然语言对话完成复杂的 SD 图像生成工作流的所有玩法，如重新打光、扩图、换脸、融脸、风格化、风格迁移、换装、换发型等。
2025-03-28
免费增强图像分辨率的
以下是一些免费增强图像分辨率的工具和方法： 1. Kraken.io：主要用于图像压缩，但也提供免费的图像放大功能，能保证图像细节清晰度。 2. Deep Art Effects：强大的艺术效果编辑器，通过 AI 技术放大图像并赋予艺术效果，支持多种滤镜和风格。 3. Waifu2x：提供图片放大和降噪功能，使用深度学习技术提高图像质量，保留细节和纹理，简单易用效果好。 4. Bigjpg：强大的图像分辨率增强工具，使用神经网络算法加大图像尺寸，提高图像质量，处理速度快。 此外，还有以下相关资源： 1. 【超级会员 V6】通过百度网盘分享的 Topaz 全家桶，链接：https://pan.baidu.com/s/1bL4tGfl2nD6leugFh4jg9Q?pwd=16d1 ，提取码：16d1 ，复制这段内容打开「百度网盘 APP 即可获取」。 2. RealESRGAN：基于 RealESRGAN 的图像超分辨率增强模型，具有可选的人脸修复和可调节的放大倍数，但使用几次后要收费。 3. InvSR：开源图像超分辨率模型，提升图像分辨率的开源新工具，只需一个采样步骤（支持 1 5 的材料步骤）即可增强图像，可以高清修复图像。地址、在线试用地址：https://github.com/zsyOAOA/InvSR?tab=readme ov filerailway_car online demo 、https://huggingface.co/spaces/OAOA/InvSR 。 4. GIGAGAN：https://mingukkang.github.io/GigaGAN/ 。 5. Topaz Gigapixel AI：https://www.topazlabs.com/gigapixel ai 。 6. Topaz Photo AI：https://www.topazlabs.com/ 。 7. discord：https://discord.gg/m5wPDgkaWP 。
2025-03-24
在ai图像训练打标时，怎么让部分标签权重更大
在 AI 图像训练打标时，让部分标签权重更大的方法如下： 1. 在 Stable Diffusion 中，手动补充的特殊 tag 放在第一位，因为 tags 标签有顺序，最开始的 tag 权重最大，越靠后的 tag 权重越小。 2. 在 BooruDatasetTagManager 中采用方法二： 删除部分特征标签，如 All tags 中不该出现的错误识别的自动标签，Image tags 中作为特定角色的自带特征的标签，并将特征与 LoRA 做绑定。 完成所有优化删除后，点击左上角菜单 File>Save all changes 保存当前的设置。 此外，在 Stable Diffusion 训练数据集制作中还需注意： 1. 调用 Waifu Diffusion v1.4 模型需要安装特定版本（2.10.0）的 Tensorflow 库，在命令行输入相应命令完成版本检查与安装适配。 2. 进入到 SDTrain/finetune/路径下，运行相应代码获得 tag 自动标注，其中主要参数包括： batch_size：每次传入 Waifu Diffusion v1.4 模型进行前向处理的数据数量。 model_dir：加载的本地 Waifu Diffusion v1.4 模型路径。 remove_underscore：开启后将输出 tag 关键词中的下划线替换为空格。 general_threshold：设置常规 tag 关键词的筛选置信度。 character_threshold：设置特定人物特征 tag 关键词的筛选置信度。 caption_extension：设置 tag 关键词标签的扩展名。 max_data_loader_n_workers：设置大于等于 2，加速数据处理。
2025-03-15
生成提示词的提示词
以下是关于生成提示词的相关内容： 生成提示词的思路和方法： 可以根据效果好的图片中的高频提示词去反推效果，结合不同字体效果的描述，打包到一组提示词中。提示词给到 AI 后，AI 会根据给定文字的文义，判断适合的情绪风格，然后给出适合情绪的字体和风格描述、情感氛围等，加上一些质量/品质词，形成输出提示词结构。为了让 AI 更能描述清晰风格，可以先给定多种参照举例。 具体操作步骤： 打开 AI 工具的对话框，将相关提示词完整复制粘贴到对话框。推荐使用 ChatGPT 4o。 当 AI 回复后，发送您想要设计的文字。可以仅发送想要的文字，也可以发送图片（适合有多模态的 AI）让 AI 识别和反推。 将 AI 回复的提示词部分的内容复制到即梦 AI。 对生成提示词的一些观点： 提示词生成提示词并非必要，不一定能生成最好的 Prompt 框架，修改过程可能耗时且不一定能修改好，不如花钱找人写。 一句话生成完整符合需求的 Prompt 非常困难，只能大概给出框架和构思，需要更低成本地调整需求和修改 Prompt。 不同生图工具生成提示词的特点： 即使是简短的描述，生成的提示词也非常细节、专业。 会解析需求，找出核心要点和潜在的诠释点，并给出不同的提示词方案。 提示词构建更多在于增强，而不是发散，生成的内容更符合期望。 同时生成中、英双版本，国内外工具通用无压力。 14 款 AI 生图工具实测对比： 本次实测用到的工具包括国内版的即梦 3.0（https://jimeng.jianying.com/aitool/home）、WHEE（https://www.whee.com）、豆包（https://www.doubao.com/chat）、可灵（https://app.klingai.com/cn/texttoimage/new）、通义万相（https://tongyi.aliyun.com/wanxiang/creation）、星流（https://www.xingliu.art）、LibiblibAI（https://www.liblib.art），以及国外版的相关工具。
2025-04-20
有没有能根据描述，生成对应的word模板的ai
目前有一些可以根据描述生成特定内容的 AI 应用和方法。例如： 在法律领域，您可以提供【案情描述】，按照给定的法律意见书模板生成法律意见书。例如针对商业贿赂等刑事案件，模拟不同辩护策略下的量刑结果，对比并推荐最佳辩护策略，或者为商业合同纠纷案件设计诉讼策略等。 在 AI 视频生成方面，有结构化的提示词模板，包括镜头语言（景别、运动、节奏等）、主体强化（动态描述、反常组合等）、细节层次（近景、中景、远景等）、背景氛围（超现实天气、空间异常等），以及增强电影感的技巧（加入时间变化、强调物理规则、设计视觉焦点转移等）。 一泽 Eze 提出的样例驱动的渐进式引导法，可利用 AI 高效设计提示词生成预期内容。先评估样例，与 AI 对话让其理解需求，提炼初始模板，通过多轮反馈直至达到预期，再用例测试看 AI 是否真正理解。 但需要注意的是，不同的场景和需求可能需要对提示词和模板进行针对性的调整和优化，以获得更符合期望的 word 模板。
2025-04-18
如何自动生成文案
以下是几种自动生成文案的方法： 1. 基于其它博主开源的视频生成工作流进行优化： 功能：通过表单输入主题观点，提交后自动创建文案短视频，创建完成后推送视频链接到飞书消息。 涉及工具：Coze 平台（工作流、DeepSeek R1、文生图、画板、文生音频、图+音频合成视频、多视频合成）、飞书（消息）、飞书多维表格（字段捷径、自动化流程）。 大体路径：通过 coze 创建智能体，创建工作流，使用 DeepSeek R1 根据用户观点创建文案，再创建视频；发布 coze 智能体到飞书多维表格；在多维表格中使用字段捷径，引用该智能体；在多维表格中创建自动化流程，推送消息给指定飞书用户。 2. 生成有趣的《图文短句》： 实现原理： 先看工作流：包括第一个大模型生成标题、通过“代码节点”从多个标题中获取其中一个（可略过）、通过选出的标题生成简介、通过简介生成和标题生成文案、将文案进行归纳总结、将归纳总结后的文案描述传递给图像流。 再看图像流：包括提示词优化、典型的文生图。 最终的 Bot 制作以及预览和调试。 3. 腾讯运营使用 ChatGPT 生成文案： 步骤：通过 ChatGPT 生成文案，将这些文案复制到支持 AI 文字转视频的工具内，从而实现短视频的自动生成。市面上一些手机剪辑软件也支持文字转视频，系统匹配的素材不符合要求时可以手动替换。例如腾讯智影的数字人播报功能、手机版剪映的图文成片功能。这类 AI 视频制作工具让普罗大众生产视频变得更轻松上手。
2025-04-15
如何通过输入一些观点，生成精彩的口播文案
以下是通过输入观点生成精彩口播文案的方法： 1. 基于其它博主开源的视频生成工作流进行功能优化，实现视频全自动创建。 效果展示：可查看。 功能：通过表单输入主题观点，提交后自动创建文案短视频，并将创建完成的视频链接推送至飞书消息。 涉及工具：Coze平台（工作流、DeepSeek R1、文生图、画板、文生音频、图+音频合成视频、多视频合成）、飞书（消息）、飞书多维表格（字段捷径、自动化流程）。 大体路径： 通过 coze 创建智能体，创建工作流，使用 DeepSeek R1 根据用户观点创建文案，再创建视频。 发布 coze 智能体到飞书多维表格。 在多维表格中使用字段捷径，引用该智能体。 在多维表格中创建自动化流程，推送消息给指定飞书用户。 2. 智能体发布到飞书多维表格： 工作流调试完成后，加入到智能体中，可以选择工作流绑定卡片数据，智能体则通过卡片回复。 选择发布渠道，重点是飞书多维表格，填写上架信息（为快速审核，选择仅自己可用），等待审核通过后即可在多维表格中使用。 3. 多维表格的字段捷径使用： 创建飞书多维表格，添加相关字段，配置后使用字段捷径功能，使用自己创建的 Coze 智能体。 表单分享，实现填写表单自动创建文案短视频的效果。 4. 自动化推送：点击多维表格右上角的“自动化”，创建所需的自动化流程。 另外，伊登的最新 Deepseek+coze 实现新闻播报自动化工作流如下： 第一步是内容获取，只需输入新闻链接，系统自动提取核心内容。开始节点入参包括新闻链接和视频合成插件 api_key，添加网页图片链接提取插件，获取网页里的图片，以 1ai.net 的资讯为例，添加图片链接提取节点，提取新闻主图，调整图片格式，利用链接读取节点提取文字内容，使用大模型节点重写新闻成为口播稿子，可使用 Deepseek R1 模型生成有吸引力的口播内容，若想加上自己的特征，可在提示词里添加个性化台词。
2025-04-15
小红书图文批量生成
以下是关于小红书图文批量生成的详细内容： 流量密码！小红书万赞英语视频用扣子一键批量生产，这是一个保姆级教程，小白都能看得懂。 原理分析： 决定搞之后，思考生成这种视频的底层逻辑，进行逆推。这种视频由多张带文字图片和音频合成，带文字图片由文字和图片生成，文字和图片都可由 AI 生成，音频由文字生成，文字来源于图片，也就是说，关键是把图片和文字搞出来。 逻辑理清后，先找好看的模版，未找到好看的视频模版，最后看到一个卡片模版，先把图片搞出来，才有资格继续思考如何把图片变成视频，搞不出来的话，大不了不发视频，先发图片，反正图片在小红书也很火。 拆模版： 要抄这种图片，搞过扣子的第一反应可能是用画板节点 1:1 去撸一个，但扣子的画板节点很难用，Pass 掉。用 PS 不行，太死板不灵活，html 网页代码可以，非常灵活。经过 2 个多小时和 AI 的 battle，用 html 代码把图片搞出来了。这里不讲代码怎么写，直接抄就行。要抄，首先要学会拆，不管用什么方式批量生成这样的图片，都必须搞清楚里面有哪些是可以变化的参数，也就是【变量】，如主题、主题英文、阶段、单词数、图片、正文、翻译、普通单词、重点单词等。 想方法： 大概知道批量生成这样的图片需要搞清楚哪些参数，图片用 html 代码搞出来了。但问题是视频怎么搞，这种视频由多张不同的【带文字的图片】生成，比如读到哪句，哪句就高亮起来，图片也可以随着读到的句子变更。最后，视频就是用这样的图片一张张拼起来的。
2025-04-14
ai如何什么生成表格
AI 生成表格通常可以通过以下技术实现： 1. 利用变分自编码器（VAEs）和序列到序列模型（Seq2Seq）等技术生成表格文件、表格公式，并清理、创建、转换和分析表格中的文本数据，例如表格结构设计、数据分析表、表格自动化等。 2. 借助一些办公软件中的 AI 插件，如飞书中的相关插件，先通过 AI 理解图片中的内容并填充到表格列中，然后利用自带插件总结生成相关指令。 此外，在多模态数据生成中，结构化数据生成包括表格生成，多模态合成数据从大类来看有非结构化数据（图片、视频、语音等）和结构化数据（表格等）两大类。非结构化数据生成包括文本生成、图像生成、音频和语音生成、视频生成、3D 生成、合成数据生成等。
2025-04-14