Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

文生图 api

Answer

以下是关于文生图 API 的相关信息:

10 月 AI 行业大事记中,LiblibAI 开放了全新生图 API。

文生图的简易上手教程如下:

  • 定主题:明确生成图片的主题、风格和要表达的信息。
  • 选择 Checkpoint:根据主题选择贴近的模型,如麦橘、墨幽的系列模型。
  • 选择 lora:寻找与生成内容重叠的 lora 以控制图片效果和质量。
  • 设置 VAE:通常选择 840000 即可。
  • CLIP 跳过层(Liblibai 中):设为 2。
  • Prompt 提示词:用英文写想要生成的内容,以单词和短语组合,用英文半角逗号隔开,无需考虑语法和长句。
  • 负向提示词 Negative Prompt:同样用英文单词和短语组合,隔开方式相同,写明想要避免生成的内容。
  • 采样方法:一般选 DPM++2M Karras 较多,也可参考模型作者推荐的采样器。
  • 采样次数/迭代步数:选 DPM++2M Karras 时,通常在 30 - 40 之间,过多意义不大且慢,过少出图效果差。
  • 尺寸:根据个人喜好和需求选择。
  • 生成批次(Liblibai 中):默认 1 批。

对于 ControlNet 和局部重绘,可后续再学习。

Content generated by AI large model, please carefully verify (powered by aily)

References

10月盘点:AI 行业大事记

智谱●👑开源文生图模型CogView3-Plus-3BAdobe●推出AI旋转工具Project Turntable新华社发布《人工智能时代新闻媒体的责任与使命》OpenAI起诉Open AI10月15日上海交大●👑开源F5-TTS联想创新科技大会202410月16日英伟达●👑开源Llama-3.1-Nemotron-70B-InstructSuno●将视频和图片生成音乐10月17日OPPO●小布助手「一键问屏」功能扣子●上线AI最佳实践模板Mistral AI●发布端侧模型Ministral 3B/8B字节●实习生田某某破坏模型训练事件10月18日OpenAI●推出Windows版ChatGPTLiblibAI●开放全新生图API上海推出AI百亿基金规划10月21日WSJ和NYT正式起诉Perplexity智源●发布原生多模态世界模型Emu3昆仑万维&北大●提出通用框架MoE++10月22日

Tusiart简易上手教程

定主题:你需要生成一张什么主题、什么风格、表达什么信息的图。选择基础模型Checkpoint:按照你需要的主题,找内容贴近的checkpoint。一般我喜欢用模型大佬麦橘、墨幽的系列模型,比如说麦橘写实、麦橘男团、墨幽人造人等等,效果拔群。选择lora:在你想要生成的内容基础上,寻找内容重叠的lora,帮助你控制图片效果及质量。可以多看看广场上做得好看的帖子里面,他们都在用什么lora。ControlNet:控制图片中一些特定的图像,可以用于控制人物姿态,或者是生成特定文字、艺术化二维码等等。也是高阶技能,后面再学不迟。局部重绘:下篇再教,这里不急。设置VAE:无脑选择前面提到的840000这个即可。Prompt提示词:用英文写你想要AI生成的内容,不用管语法也不要写长句,仅使用单词和短语的组合去表达你的需求。单词、短语之间用英文半角逗号隔开即可。负向提示词Negative Prompt:用英文写你想要AI避免产生的内容,也是一样不用管语法,只需单词和短语组合,中间用英文半角逗号隔开。采样算法:这玩意儿还挺复杂的,现在我一般选DPM++2M Karras比较多。当然,最稳妥的是留意checkpoint的详情页上,模型作者是否有推荐采样器,使用他们推荐的采样器会更有保障。采样次数:要根据你采样器的特征来,一般我选了DPM++2M Karras之后,采样次数在30~40之间,多了意义不大还慢,少了出图效果差。尺寸:看你喜欢,看你需求。

Liblibai简易上手教程

定主题:你需要生成一张什么主题、什么风格、表达什么信息的图。(没错我是喜欢看plmm多点)选择Checkpoint:按照你需要的主题,找内容贴近的checkpoint。一般我喜欢用模型大佬麦橘、墨幽的系列模型,比如说麦橘写实、麦橘男团、墨幽人造人等等,效果拔群。选择lora:在你想要生成的内容基础上,寻找内容重叠的lora,帮助你控制图片效果及质量。可以多看看广场上做得好看的帖子里面,他们都在用什么lora。设置VAE:无脑选840000那一串就行。CLIP跳过层:设成2就行。Prompt提示词:用英文写你想要AI生成的内容,不用管语法也不要写长句,仅使用单词和短语的组合去表达你的需求。单词、短语之间用英文半角逗号隔开即可。负向提示词Negative Prompt:用英文写你想要AI避免产生的内容,也是一样不用管语法,只需单词和短语组合,中间用英文半角逗号隔开。采样方法:这玩意儿还挺复杂的,现在一般选DPM++2M Karras比较多。当然,最稳妥的是留意checkpoint的详情页上,模型作者是否有推荐采样器,使用他们推荐的采样器会更有保障迭代步数:要根据你采样器的特征来,一般我选了DPM++2M Karras之后,迭代步数在30~40之间,多了意义不大还慢,少了出图效果差。尺寸:看你喜欢,看你需求。生成批次:默认1批。

Others are asking
文生音乐AI推荐
以下是为您推荐的一些文生音乐 AI 工具: 1. Udio:由前 Google DeepMind 工程师开发,通过文本提示快速生成符合用户音乐风格喜好的高质量音乐作品。网址:https://www.udio.com/ 2. Suno AI:是一款革命性的人工智能音乐生成工具,它通过先进的深度学习技术,能够将用户的输入转化为富有情感且高质量的音乐作品。网址:https://suno.com/ 此外,还有以下相关的资讯和初创公司: 公众号“智音 Brook”于 2024 年 2 月 21 日分享的 AI 音乐动态,原文链接:https://mp.weixin.qq.com/s/lxxAUacDxtrQAuB_tK552A ,其中包括生成式人工智能对音乐领域的影响研究、谷歌推出 MusicRL 等内容。 人工智能音频初创公司: :人工智能驱动的音乐相似性搜索和自动标记,适合任何以音乐发现为业务的人。 :用于音频和声音目录的直观音频搜索引擎。 :发现将音乐从歌曲和播放列表的束缚中解放出来的艺术家。 :每次播放公平报酬。 (被 SoundCloud 收购):使用人工智能帮助自动化您的工作流程。 (被 Spotify 收购):构建人工智能驱动的音乐应用程序。 :用于音乐标记和相似性搜索的人工智能。 (被 SongTradr 收购):B2B AI 音乐元数据服务,例如自动标记、元数据丰富和语义搜索。 :基于歌词的音乐发现、推荐和搜索的算法和工具。 :寻找最好的音乐,讲述更好的故事,扩大你的听众。人工智能驱动的引擎可帮助找到正确的配乐。 :音乐识别和版权合规性。音频指纹、大规模翻唱识别。 :AI 音乐分析,包括歌词摘要、主题提取和音乐特征。 请注意,部分内容由 AI 大模型生成,请仔细甄别。
2025-01-08
国内的免费文生图AI
以下是一些国内的免费文生图 AI 工具: Hidreamai:https://hidreamai.com//AiVideo ,支持文生视频、图生视频,提示词使用中文、英文都可以,文生视频支持多种控制,可生成 5s 和 15s 的视频。 ETNA:https://etna.7volcanoes.com/ ,由七火山科技开发,能根据简短文本描述生成 8 15 秒、画质达 4K 的视频,支持中文。 Dreamina:https://jimeng.jianying.com/aitool/video/generate ,在内测中,有免费额度,支持多种生成方式和控制,默认生成 3s 的视频。 可灵:https://klingai.kuaishou.com/ ,支持文生视频、图生视频,提示词可使用中文,默认生成 5s 的视频。 更多相关工具可查看:https://www.waytoagi.com/category/38 。请注意内容由 AI 大模型生成,请仔细甄别。
2025-01-07
文生图有哪些大模型
以下是一些常见的文生图大模型: 1. SD(StableDiffusion):如 majicmixRealistic_v6.safetensors 模型,可通过设置相关提示词、参数等生成图像。 2. 快手 Kolors:这是一个基于潜在扩散的大规模文本生成图像模型,在视觉质量、复杂语义准确性以及中英文字符的文本渲染方面有显著优势,支持中文和英文输入。其相关资源包括工作流与模型地址、文档说明、项目地址等。 开源代码:https://github.com/KwaiKolors/Kolors 模型权重:https://huggingface.co/KwaiKolors/Kolors 官方页面:https://kwaikolors.github.io/ 企业页面:https://kolors.kuaishou.com/
2025-01-07
文生图模型打分的排行榜
以下是关于文生图模型打分的排行榜相关信息: SuperCLUEImage 测评基准首次公布,DALLE 3 以 76.94 分高居榜首,显示其在图像生成质量、多样性和文本一致性方面的卓越表现。百度文心一格和 vivo 的 BlueLMArt 位列国内前列,但与国际领先模型仍有差距。 在包含人工评估、机器评估的全面评测中,Kolors 具有非常有竞争力的表现,达到业界领先水平。构建了包含 14 种垂类、12 个挑战项、总数量为一千多个 prompt 的文生图评估集 KolorsPrompts。 人工评测方面,邀请了 50 个具有图像领域知识的专业评估人员对不同模型的生成结果进行对比评估,衡量维度为画面质量、图文相关性、整体满意度三个方面。Kolors 在整体满意度方面处于最优水平,其中画面质量显著领先其他模型。具体平均分如下: AdobeFirefly:整体满意度平均分 3.03,画面质量平均分 3.46,图文相关性平均分 3.84。 Stable Diffusion 3:整体满意度平均分 3.26,画面质量平均分 3.5,图文相关性平均分 4.2。 DALLE 3:整体满意度平均分 3.32,画面质量平均分 3.54,图文相关性平均分 4.22。 Midjourneyv5:整体满意度平均分 3.32,画面质量平均分 3.68,图文相关性平均分 4.02。 Playgroundv2.5:整体满意度平均分 3.37,画面质量平均分 3.73,图文相关性平均分 4.04。 Midjourneyv6:整体满意度平均分 3.58,画面质量平均分 3.92,图文相关性平均分 4.18。 Kolors:整体满意度平均分 3.59,画面质量平均分 3.99,图文相关性平均分 4.17。所有模型结果取自 2024.04 的产品版本。
2025-01-07
文生视频
以下是关于文生视频的相关信息: 文字生成视频的 AI 产品: Pika:出色的文本生成视频 AI 工具,擅长动画制作,支持视频编辑。 SVD:Stable Diffusion 的插件,可在图片基础上生成视频,由 Stability AI 开源。 Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频功能,收费。 Kaiber:视频转视频 AI,能将原视频转换成各种风格的视频。 Sora:由 OpenAI 开发,可生成长达 1 分钟以上的视频。 更多文生视频的网站可查看:https://www.waytoagi.com/category/38 。内容由 AI 大模型生成,请仔细甄别。 Sora 的前世今生:官方展示 Sora 的应用包括文生视频、图生视频、视频反推、视频编辑、视频融合等。其模型推理策略中,文生视频时喂入 DiT 的是文本 embedding+全噪声 patch;视频编辑类似 SDEdit 的做法,在视频上加噪声(不全是噪声)然后逐步去噪;图生视频、视频反推、视频融合时喂入 DiT 的是文本 embedding(可选)+特定帧用给定图片的 embedding+其他帧用全噪声 patch。 PixVerse 提示词技巧:文生视频是 AI 生成视频中最直接的方式,通过输入提示词让 PixVerse 生成视频。这种方式需要对提示词有深入了解,能准确描述画面内容,提示词的基本规则可参考:。为方便创作,提供了灵感分镜、风格选择等功能帮助更快掌握文生视频。
2025-01-07
给文生图ai模型打分的权威标准是什么
给文生图 AI 模型打分的权威标准通常包括以下方面: 1. 图像生成质量:如清晰度、细节丰富程度、色彩准确性等。 2. 多样性:生成图像的风格、主题和表现形式的丰富程度。 3. 文本一致性:生成的图像与输入的文本描述的匹配程度。 在具体的测评中,会构建包含人工评估和机器评估的全面评测内容。人工评测方面,会邀请具有图像领域知识的专业评估人员,从画面质量、图文相关性、整体满意度等维度为生成图像打分。例如,在对 Kolors 与其他模型的比较中,就从这些维度进行了评估。 此外,像 SuperCLUEImage 测评基准首次公布的结果中,DALLE 3 以 76.94 分高居榜首,显示其在图像生成质量、多样性和文本一致性方面的卓越表现。百度文心一格和 vivo 的 BlueLMArt 位列国内前列,但与国际领先模型仍有差距。
2025-01-07
AI换衣API推荐, 并多维度对比,选择最适合的API推荐给我
以下为您推荐的 AI 换衣相关的 API 并进行多维度对比: Comfyui_Object_Migration: 特点:可高精度迁移服装样式到目标人物图像,保持高一致性和细节完整性,支持从卡通到写实的风格互相转换,甚至可将平面角色图像转换为可 3D 打印的模型。 应用场景:虚拟角色服装设计迁移到真实照片、为动画角色添加写实服装、微调权重生成独特服装设计。 详细介绍及教程: GitHub: 在选择适合的 AI 大模型 API 服务时,需要考虑以下因素: 对于像开发 AI Share Card 插件这类情况,如果将模板生成功能设计为固定的代码组件,让大模型专注于内容总结的功能,那么对模型的要求就不会过高。 选型要求包括:较长的上下文窗口,因为内容总结类任务需要较大的上下文长度;响应速度要快、并发支持要高,以在多人使用插件时保持良好性能;免费或尽量低价,以减少模型 token 费用。例如,AI Share Card 选用的是 GLM4flash(截至 202412,长达 128k 的上下文窗口,完全免费的调用价格,200 RPM 高并发支持)。
2025-01-08
数字人api
以下是关于数字人 API 的相关信息: HeyGen 开放数字人 API,提供虚拟人制作、视频翻译和互动虚拟人等功能,可应用于在线营销、客户支持、培训教程等多场景,助力打造全球化、多语言互动数字体验。相关链接: 出门问问提供语音合成(TTS)API,接口请求域名:https://open.mobvoi.com/api/tts/v1,接口请求频率限制为 5 次/秒。其语音合成技术可以将任意文本转化为语音,应用场景广泛,如视频 APP 配音解说、小说 App 有声阅读等,并提供多种方言和风格。请求参数方面,HTTP Method 支持 POST 请求。 如果您对 ComfyUI 部署不了解,但想体验并使用数字人照片的驱动及 AI 配音,可以微信搜索「奇妙元」「魔音工坊」,或扫描二维码。若在实操中遇到报错问题,如打开 ComfyUI 调用 api 的节点丢失爆红,需检查是否下载了 api 节点的包,放进 node 里再试试;若输出节点框显示 404,可查看 text 文字情况,也可以获取生成的链接,从浏览器的页面打开即可下载。目前发现官方的 python311 版本和节点有安装依赖冲突,若节点正确放到节点文件夹仍然爆红请使用 python310 运行安装环境依赖。若使用 310 仍然爆红,可以联系 Wechat:9755294(备注 ComfyUI)。
2025-01-08
如何系统学习API知识
系统学习 API 知识可以从以下几个方面入手: 1. 首先,要对 API 的概念有清晰的理解。API 就像是一个信差,它接受一端的请求,告诉那边的系统您想要做的事情,然后把返回的信息发回给您。 2. 系统地了解和学习 API 相关的知识。 3. 去网上寻找可以用的 API 来练习。 4. 发掘 GPT Action 更多的潜力。 5. 构建自己的知识体系。可以通过后续看到的不同的教程和资料,识别这些知识之间的共性和逻辑关系,然后继续深化对这个主题的理解。 6. 对于一些不熟悉的 API,需要在 Prompt 里告诉它要怎样使用。 7. 最后提炼一下 Action 的工作流:首先,想一下您想要做一个什么样的 GPT,以及是否需要外部数据(这两个谁先谁后不重要);然后,去您需要的外部数据寻找 API 文档,或者基于您的需求,自己开发一个 API,寻找市面上可以直接用的 Action;最后,基于 API 文档,编写 Action 里的 Schema,和 Prompt(如何处理取回来的信息)。 同时,在使用 API 时还需要注意以下几点: 1. 对于文本补全(Text completion),该 API 能够理解文本的上下文并以不同方式重新表述它。 2. 限制 API 制造答案可能性的方法有:为 API 提供基础事实信息;使用较低概率并告诉 API 如何说“我不知道”。 3. 对于涉及理解或生成代码等任务,建议使用 Codex 模型处理。
2025-01-07
API是什么意思
API 就像是一个信差,它接受一端的请求,告诉那边的系统您想要做的事情,然后把返回的信息发回给您。 以搜索“奥本海默”电影为例,在这个过程中,通过特定的网址(如 https://www.themoviedb.org/search?query=奥本海默 ),其中域名(www.themoviedb.org)指定了网站的位置,路径(/search)指定了特定页面的位置,而 query(奥本海默)则是查询参数。 在 GPT 中,它可以通过预先配置的 Action 里的 TMDB API 获取电影相关的专有信息。当您询问“奥本海默”这部电影讲了什么时,GPT 会识别您的意图,使用 Action 去 The Movie DB 寻找相关数据,处理并返回最终结果。 配置一个 Action 通常需要:Schema(相当于操作手册,告诉它可以去哪、干什么、需要准备什么)、Available actions(可用行动)、Authentication(认证)、Privacy policy(隐私政策)。但 Schema 的结构可能涉及前端工程师相关领域的知识。 如果您对 Action 很感兴趣,可以从系统学习 API 相关知识、寻找可用的 API 练习、发掘 GPT Action 更多潜力等方向继续深入。
2025-01-07
通过 API 调用大模型
以下是通过 API 调用大模型的相关步骤: 1. 创建大模型问答应用: 进入百炼控制台的,在页面右侧点击新增应用。在对话框,选择智能体应用并创建。 在应用设置页面,模型选择通义千问Plus,其他参数保持默认。您也可以选择输入一些 Prompt,比如设置一些人设以引导大模型更好的应对客户咨询。 在页面右侧可以提问验证模型效果。不过您会发现,目前它还无法准确回答你们公司的商品信息。点击右上角的发布。 2. 获取调用 API 所需的凭证: 在我的应用>应用列表中可以查看所有百炼应用 ID。保存应用 ID 到本地用于后续配置。 在顶部导航栏右侧,点击人型图标,点击 APIKEY 进入我的 APIKEY 页面。在页面右侧,点击创建我的 APIKEY,在弹出窗口中创建一个新 APIKEY。保存 APIKEY 到本地用于后续配置。 3. 直接调用大模型(之前完成过 coze 对接的同学,直接去二、百炼应用的调用): 百炼首页:https://bailian.console.aliyun.com/ 当在 COW 中直接调用千问的某一个大模型时,只需要更改 key 和 model 即可。以调用“qwenmax”模型为例,在/root/chatgptonwechat/文件夹下,打开 config.json 文件:需要更改"model",和添加"dashscope_api_key"。 获取 key 的视频教程: 图文教程:以下是参考配置。 注意:需要“实名认证”后,这些 key 才可以正常使用,如果对话出现“Access to mode denied.Please make sure you are eligible for using the model.”的报错,那说明您没有实名认证,点击去,或查看自己是否已认证。 4. 本地部署教学(node.js)小白推荐: 申请大模型的 API 接口: silicon 硅基接口:官方提供的接入 API 的教学文档。以平时使用的 silicon 接口为例,有众多开源模型(Yi、Qwen、Llama、Gemma 等)免费使用。另赠送 14 元体验金,有效期未知,是个人认为 API 接口最方便最实惠的接口了。silicon 注册和使用地址:邀请码:ESTKPm3J(谢谢支持)。注册登录后,单击左边栏的 API 密钥,单击新建 API 密钥。单击密钥即可完成 API 密钥的复制。silicon 支持多种大模型,也支持文生图、图生图、文生视频,可自行探索。这一步得到 silicon 的密钥即可,我们可以调用千问 2.5 的这个模型,满足日常对话完全没有问题,并且是免费调用的。 智普 GLM4 接口:正在 BigModel.cn 上用智谱 API 打造新一代应用服务,通过专属邀请链接注册即可获得额外 GLM4Air 2000 万 Tokens 好友专属福利,期待和您一起在 BigModel 上探索 AGI 时代的应用;链接:https://www.bigmodel.cn/invite?icode=xxcbnybpRLOsZGMNOkqaLnHEaazDlIZGj9HxftzTbt4%3D。进入个人中心,先完成实名认证,再单击左边栏 API KEYS 或右上角的 API 密钥,进入后单击右上角的添加 API,鼠标移至密钥上方,单击复制即可得到智普的 APIkey。这一步做的是注册 silicon 和智普 GLM 的大模型账号,申请 API 密钥,保存密钥,等下配置需要填写。密钥一定要保管好不能公开,否则后果很严重。
2025-01-06
通过 API 调用大模型
以下是通过 API 调用大模型的相关步骤: 1. 创建大模型问答应用: 进入百炼控制台的,在页面右侧点击新增应用。在对话框,选择智能体应用并创建。 在应用设置页面,模型选择通义千问Plus,其他参数保持默认。您也可以选择输入一些 Prompt,比如设置一些人设以引导大模型更好的应对客户咨询。 在页面右侧可以提问验证模型效果。不过您会发现,目前它还无法准确回答你们公司的商品信息。点击右上角的发布。 2. 获取调用 API 所需的凭证: 在我的应用>应用列表中可以查看所有百炼应用 ID。保存应用 ID 到本地用于后续配置。 在顶部导航栏右侧,点击人型图标,点击 APIKEY 进入我的 APIKEY 页面。在页面右侧,点击创建我的 APIKEY,在弹出窗口中创建一个新 APIKEY。保存 APIKEY 到本地用于后续配置。 3. 直接调用大模型(之前完成过 coze 对接的同学,直接去二、百炼应用的调用): 百炼首页:https://bailian.console.aliyun.com/ 当在 COW 中直接调用千问的某一个大模型时,只需要更改 key 和 model 即可。以调用“qwenmax”模型为例,在/root/chatgptonwechat/文件夹下,打开 config.json 文件,需要更改"model",和添加"dashscope_api_key"。 获取 key 的视频教程: 图文教程:以下是参考配置。 注意:需要“实名认证”后,这些 key 才可以正常使用,如果对话出现“Access to mode denied.Please make sure you are eligible for using the model.”的报错,那说明您没有实名认证,点击去,或查看自己是否已认证。 4. 申请大模型的 API 接口(以 silicon 硅基接口为例): 官方提供的接入 API 的教学文档。 以平时使用的 silicon 接口为例,有众多开源模型(Yi、Qwen、Llama、Gemma 等)免费使用。另赠送 14 元体验金,有效期未知,是个人认为 API 接口最方便最实惠的接口了。 silicon 注册和使用地址: 邀请码:ESTKPm3J(谢谢支持) 注册登录后,单击左边栏的 API 密钥,单击新建 API 密钥。 单击密钥即可完成 API 密钥的复制。 silicon 支持多种大模型,也支持文生图、图生图、文生视频,可自行探索。 这一步得到 silicon 的密钥即可,我们可以调用千问 2.5 的这个模型,满足日常对话完全没有问题,并且是免费调用的。 5. 申请大模型的 API 接口(以智普 GLM4 接口为例): 正在 BigModel.cn 上用智谱 API 打造新一代应用服务,通过专属邀请链接注册即可获得额外 GLM4Air 2000 万 Tokens 好友专属福利,期待和您一起在 BigModel 上探索 AGI 时代的应用;链接:https://www.bigmodel.cn/invite?icode=xxcbnybpRLOsZGMNOkqaLnHEaazDlIZGj9HxftzTbt4%3D 进入个人中心,先完成实名认证,再单击左边栏 API KEYS 或右上角的 API 密钥,进入后单击右上角的添加 API。 鼠标移至密钥上方,单击复制即可得到智普的 APIkey。 这一步做的是注册 silicon 和智普 GLM 的大模型账号,申请 API 密钥,保存密钥,等下配置需要填写。 密钥一定要保管好不能公开,否则后果很严重。
2025-01-06