Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

什么工具/模型/API 可以根据宠物照片生成数字宠物 可以有简单的活动。

Answer

以下是一个可以根据宠物照片生成数字宠物并具有简单活动的工具/模型/API: 出门问问 Mobvoi 的照片数字人工作流及语音合成(TTS)API。 出门问问是一家以生成式 AI 和语音交互为核心的人工智能公司,为全球多个国家提供面向创作者的 AIGC 工具、AI 政企服务,以及 AI 智能硬件。致力于打造国际领先的通用大模型,通过 AI 技术、产品及商业化三位一体发展,致力成为全球 AI CoPilot 的引领者。 在 ComfyUI 全球领导力峰会上,特意搭建了数字人 workflow(照片数字人驱动),仅需上传一张照片,输入一段文字或者上传一段音频,就可以生成短视频让“照片开口说话”。本次活动特意提供了免费 api 额度及操作指南给大家进行体验。以下是一些不同风格的照片驱动效果展示:

Content generated by AI large model, please carefully verify (powered by aily)

References

照片数字人工作流及语音合成(TTS)API- 出门问问Mobvoi

出门问问是一家以生成式AI和语音交互为核心的人工智能公司,为全球多个国家提供面向创作者的AIGC工具、AI政企服务,以及AI智能硬件。出门问问致力于打造国际领先的通用大模型,通过AI技术、产品及商业化三位一体发展,致力成为全球AI CoPilot的引领者。

照片数字人工作流及语音合成(TTS)API- 出门问问Mobvoi

工作流作者:Chaojie https://github.com/chaojie/ComfyUI-mobvoi-openapi/blob/main/wf.json创意策划:JessyJangHi,亲爱的AI爱好者及开发者老师们,ComfyUI全球领导力峰会我们特意搭建数字人workflow(照片数字人驱动),仅需要上传一张照片,输入一段文字或者上传一段音频,就可以生成短视频让“照片开口说话”,希望能让大家感受生成式AI的魅力,应用于更多的使用场景。*本次活动特意提供了免费api额度及操作指南给大家进行体验,诚邀大家玩起来~以下是一些不同风格的照片驱动效果展示👇[未命名项目(9).mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/HKO4bcuK1oXh1Ax6ytZcLVqNncb?allow_redirect=1)我是能扫的动态二维码[未命名项目(5).mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/H1ArbYmVZoXLC2xMkutcgvoHn7T?allow_redirect=1)皮克斯风格(女)[未命名项目(6).mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/MxC9bgyGYobg5KxbJZmc9r29nIc?allow_redirect=1)皮克斯风格(男)[8409_1718172922.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/YwbRb8LgNoUIOqxZzk5cwS5enJf?allow_redirect=1)真人照片效果展示

Others are asking
我要做一个桌面宠物机器人,帮我设计软硬件和后台方案
以下是为您设计的桌面宠物机器人软硬件和后台方案: 硬件方面: 选择合适的主控芯片,如 esp32、stm32、AVR 等。 配置各类传感器,如触摸传感器、声音传感器、光线传感器等,以实现与用户的交互。 设计电机驱动模块,用于控制机器人的动作。 配备显示屏,用于显示表情和信息。 软件方面: 基于 FreeRTOS 开发系统,负责产品 MCU 各外设驱动撰写、架构维护。 开发与手机软件的通信、OTA 等通讯功能。 后台方面: 建立数据存储和处理系统,用于存储用户与机器人的交互数据,并进行分析和处理。 开发远程控制和更新功能,方便用户通过网络对机器人进行管理和升级。 人员配置: 嵌入式工程师: 职责: 1. 基于 FreeRTOS,负责产品 MCU 各外设驱动撰写、架构维护,配合手机软件工程师进行通信、OTA 等通讯功能开发、维护。 2. 负责硬件模块的调试。 3. 参与量产中产线测试程序、校准程序等代码开发。 要求: 1. 有主流嵌入式芯片(例如 esp32、stm32、AVR 等)开发经验。 2. 具有嵌入式软件架构经验。熟悉 FreeRTOS 等嵌入式系统。 3. 会使用示波器、烙铁、风枪等硬件调试工具,有基础的模拟电路知识。 4. 有一年以上嵌入式开发经验,其中有复杂嵌入式项目开发经验者优先。 5. 对嵌入式和硬件有浓厚兴趣,出于兴趣开发过硬件项目者优先。 产品经理: 职责: 1. 在深刻理解产品的基础上,定义和设计情感化桌面机器人的软硬件交互方式。 2. 规划项目周期,与工程师和设计师紧密配合,推进产品的功能迭代和上线。 3. 测试、优化产品的软硬件交互体验。 要求: 1. 情感细腻,热爱生活。 2. 本科及以上学历,人机交互、计算机、设计相关专业优先。 3. 对软/硬件产品的用户体验有深刻的洞察,追求极致体验,对糟糕的产品容忍度低。 4. 对设计学科与前沿科技有深刻的认知,可以与设计师和工程师无缝沟通。 5. 有项目实操经历,执行力强,擅长按计划推动项目落地。
2025-03-11
有没有工作流可以将宠物的照片变成手绘的电子画像
以下是一些可以将宠物照片变成手绘电子画像的工作流: 1. SDXL Prompt Styler 工作流:可以把图片转化成近百种风格。例如,将手绘风格的宠物照片转绘成折纸风时,最好不要加入线稿边缘(canny)的 controlnet 控制,或者需把 canny 的控制强度(strength)调到较小。原始图像是手绘风格时,手绘线条和折纸风格本身互斥。若转成漫画风格并想较好保留人物外轮廓,加入 canny 控制能更好还原人物原本造型。有时直接用插件内置预设的提示词组合不一定能达到想要的效果,需在 prompt 中再加一些特定风格的关键词。此外,该工作流结合 Vid2Vid Style Transfer with IPA&Hotshot XL 工作流,可较好实现视频不同风格的稳定转绘。 2. 小王子 Roy 的工作流:用 Coze 搭建神奇宠物诞生器。包括随机生成属性和宠物描述,对于不会写代码的小伙伴,可使用内置的“尝试 AI”功能,但要注意尽量选择 python 代码编写,书写前确定好输出变量等。生成宠物形象使用 coze 自带的文生图工具 text2image 插件,宠物形象描述文字生成使用图片理解插件 imgUnderstand,生成宠物的名字借鉴特定逻辑,生成宠物小传/技能/使命调用前面节点的数据,最后整理输出引用前面节点的多个数据。 3. 《艾小喵绘本》工作流:基于扣子的全自动绘本创作 Agent,源于兴趣和好奇,尝试从半自动实现全自动。
2025-03-03
想在手机上通过宠物照片给宠物建模,是宠物可以有一些动态性,需要怎么做?利用 AIGC 能快速的实现吗?
在手机上通过宠物照片给宠物建模并实现一定的动态性,可以考虑以下几种方式: 1. 利用 3D 引擎:目前有一些公司提供通过手机摄像头快速创建虚拟人身体的服务,例如 NextHuman。不过,3D 引擎在拟真程度高的同时,定制化成本也较高。 2. 借助 AIGC:虽然 AIGC 省去了建模流程,能直接生成数字人的展示图片,但可能存在数字人难以保持 ID 一致性、帧与帧连贯性不佳等问题。典型的相关项目有 wav2lip等。但需要注意的是,如果对模型真实度要求较高,AIGC 方式可能不太理想,因为算法发展很快,未来可能会有更好的连贯度生成方式。 目前利用 AIGC 来快速实现可能存在一些挑战,但随着技术的发展,未来有可能更便捷高效地达成您的需求。
2025-02-13
我想要搭建一个可以视频和图片识别宠物猫品种和品相的智能体
以下是为您提供的关于搭建可以视频和图片识别宠物猫品种和品相的智能体的相关信息: 目前有一种技术叫 PixelLLM,它是由 Google 开发的新型视觉语言模型。其完善后在弱视(眼疾)用户方面会有较好的应用场景。这个模型不仅能够对图片进行详细描述,还能精确指出图片中每个词汇对应的具体位置。例如,若图片中有一只猫和一只狗,PixelLLM 不仅能识别出“猫”和“狗”,还能指出它们在图片中的具体位置。这种能力使得模型在处理需要图像和文字紧密结合的任务时表现出色,比如在一张图片中找到特定的物体或区域,并对其进行描述。 主要特点包括: 1. 像素级词汇对齐:不仅能告知图片里有什么,还能准确指出这些东西在图片的具体位置。 2. 多种功能:具备多种处理图像和文字结合任务的能力。 您可以考虑基于类似的技术来搭建您所需的智能体。
2025-02-06
ai宠物赛道
以下是关于 AI 宠物赛道的相关信息: AI 与宠物的结合方式有多种: 1. AI 宠物助手:基于自然语言处理和计算机视觉,能帮助主人更好照顾宠物,如自动识别宠物情绪、提供饮食建议、监测健康状况等。 2. AI 宠物互动玩具:利用 AI 技术开发的智能互动玩具,可增强宠物娱乐体验,例如会自主移动并引起宠物注意、会发声和互动的智能玩具等。 3. AI 宠物图像生成:使用生成式 AI 模型,能根据文字描述生成各种宠物形象图像,帮助宠物主人定制个性化形象。 4. AI 宠物医疗诊断:利用计算机视觉和机器学习技术,开发 AI 辅助的宠物医疗诊断系统,通过分析症状图像和病历数据提供初步诊断建议。 5. AI 宠物行为分析:基于传感器数据和计算机视觉,利用 AI 技术分析宠物行为模式,帮助主人了解宠物需求和习性。 学习路径建议: 1. 掌握基础的机器学习、计算机视觉、自然语言处理等 AI 技术。 2. 了解宠物行为学、宠物医疗等相关领域知识。 3. 关注业内先进的 AI+宠物应用案例,学习其技术实现。 4. 尝试开发简单的 AI 宠物应用原型,并不断迭代优化。 此外,还有一个摊位信息,其活动主题为“AI 宠物写真、AI 宠物旅拍”,slogan 是“不花钱让毛孩子走遍时间”,优势是本人为全网 13w 粉宠物博主@三小只它爹妈,账号有 ai 系列内容,有 ai 实践经验且自带流量,去年自驾带猫环游中国,找到了很多猫生照片的机位。摊位区域为 D,摊位类型为写真+宠物,需找主办方。 另外,火山引擎 AI 创造者大赛官方手册中提到了优秀奖的相关信息,包括 AI 座舱赛道、AI 营销赛道、AI 售后赛道的小组名称和 Bot 名称等。如有任何疑问,请随时与大赛组委会联系。
2025-01-10
我需要一个能写生成文生视频prompt的机器人,这个机器人只负责生产宠物做饭视频的文字prompt,请学习文生视频prompt写作技巧,并给我写一个这样的机器人
以下是关于文生视频 prompt 写作技巧及为您生成的一个宠物做饭视频的文字 prompt 示例: 文生视频 prompt 写作技巧: 1. 明确视觉样式:要具体描述视频的视觉基调和风格,比如是想要现实的、电影的、动画的还是超现实的。对美学的描述越具体,生成的效果就越接近期望。 2. 考虑视觉风格创意:如电影感要注重戏剧性照明、镜头光晕和高对比度;逼真风格要追求自然光、清晰细节和逼真角色;动画风格可使用卡通、3D 动画或 2D 动画等术语;艺术风格可用印象派、极简主义或抽象等形容词来指导艺术方向。 宠物做饭视频的文字 prompt 示例:“创建一个 2D 动画、色彩鲜艳的视频,一只可爱的猫咪在厨房里熟练地烹饪美味的鱼餐,画面具有温馨的灯光和可爱的卡通风格。”
2024-11-06
什么是API
API 是应用组件之间进行交互和数据交换的接口。简单来说,它是软件之间相互交流的方式,使得开发者能够在不了解另一程序或服务内部实现细节的情况下,访问和使用其功能。 APIKey 是用于实现对 API 访问控制的方法,通常是一串字符串,用于身份验证和访问控制。当开发者或应用程序通过 API 与另一程序或服务交互时,APIKey 作为请求的一部分被发送,以证明请求者具有调用该 API 的权限。它帮助服务提供商识别调用者身份,监控和控制 API 的使用情况,并防止未经授权的访问。 API 就像一个信差,接受一端的请求,告诉那边的系统您想要做的事情,然后把返回的信息发回给您。其数据格式通常为 JSON。 对于使用 API,首先要明确想要做什么样的 GPT 以及是否需要外部数据,然后寻找 API 文档或开发 API 以及可用的 Action,最后基于 API 文档编写 Action 里的 Schema 和 Prompt 来处理取回的信息。 您可以通过以下方式进一步学习 API 相关知识: 1. 系统地了解和学习 API 相关的知识。 2. 去网上寻找可以用的 API 来练习。 3. 发掘 GPT Action 更多的潜力。 创建 APIKey 时,登录网站寻找并创建新的密钥,记得保存好且不要泄露。使用 APIKEY 可能需要单独充值,有两种模式可以使用: 1. 使用官方的 key 网站:https://platform.openai.com/apikeys,创建好您的 key 后记得复制保存。 2. 如果觉得充值麻烦,可以考虑用第三方的网站:https://www.gptapi.us/register?aff=WLkA,这个充值起来方便一些,模型选择也可以多一些。
2025-03-24
@ 在cherry studio可以是你openrouter的API吗?
在 Cherry Studio 中,不能直接将 @ 作为 OpenRouter 的 API。OpenRouter 有一些特定的使用方式和条件。 例如,Zeabur 模版自带 oneapi,支持一键部署。但想要同时使用 openrouter 和 simpleoneapi 需安装 cline 插件,将 openrouter api 放到 cline,再把 Cursor 设置换成 simpleoneapi,这样基本能在 Cursor 里使用全系大模型。 OpenRouter 新发布了 BYOK(Bring Your Own API Keys)功能,这是个第三方 Key 集成功能,能将 xAI、OpenAI、Mistral 等数十个平台的 Key 集中在一起,还能同时使用其他平台和 OpenRouter 的额度。目前支持白“赚”的平台包括 AI Studio/Cohere/DeepSeek/Mistral/SambaNova/Together/xAI 等。 在使用 OpenRouter 集成 API Key 时,不仅能整合免费额度,还能解放更多槽位。但在 Cursor 的设置里,deepseek 会与 gpt 的配置发生冲突,同一时间最多只能使用 4 个类型的模型。 如果觉得 OpenRouter 支持的模型不够,还可以使用 simpleoneapi。不过 simpleoneapi 不像 openrouter 支持直接在线配置多个 Key,熟悉代码的可以通过本地或者 Docker 启动。 另外,在进行相关实验时,需要准备本地安装好的 VS Code,在 VS Code 中安装 Cline(MCP 客户端之一),还需要注册 Cloudflare 和 Openrouter,在 Openrouter 注册后在 Keys 中申请一个 API key 并妥善保存。
2025-03-24
有哪些国外免费的大模型API可以使用
以下是一些国外免费的大模型 API 可供使用: 1. 谷歌的 Gemini 大模型(https://ai.google.dev/)(gemini 1.5),但使用可能需要给服务器挂梯子。 2. 海外版 Coze(https://www.coze.com/)的 GPT4 模型,能图片识别,使用可能需要给服务器挂梯子。 此外,还有以下相关信息: 1. 阿里的通义千问大模型接口(https://dashscope.console.aliyun.com/),创建 API key 即可使用。 2. 智谱 AI(ChatGLM)(https://open.bigmodel.cn/)、科大讯飞(SparkDesk)(https://xinghuo.xfyun.cn/sparkapi)也有免费接口,但国内的大模型大多限制一定免费额度的 Token。 对于 OpenRouter 新发布的功能 BYOK(Bring Your Own API Keys),它是个第三方 Key 集成功能,将 xAI、OpenAI、Mistral 等数十个平台的 Key 集中在一起,目前支持白“赚”的平台包括 AI Studio/Cohere/DeepSeek/Mistral/SambaNova/Together/xAI 等。 以 silicon 为例,其有众多开源模型(Yi、Qwen、Llama、Gemma 等)免费使用,另赠送 14 元体验金,有效期未知,是个人认为 API 接口方便实惠的选择。注册和使用地址为:,邀请码:ESTKPm3J。注册登录后,单击左边栏的 API 密钥,单击新建 API 密钥,单击密钥即可完成 API 密钥的复制。
2025-03-19
可以同时接多个大模型api的聊天应用
以下是一些可以同时接多个大模型 API 的聊天应用: 1. 熊猫大侠:基于 COW 框架的 ChatBot 实现步骤 能实现打造属于自己的 ChatBot(文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等)、常用开源插件的安装应用等功能。 支持多平台接入,如微信、企业微信、公众号、飞书、钉钉等。 可选择多模型,如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型,包括文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能。 有多种部署方法,如本地运行、服务器运行、Docker 的方式。 风险与注意事项:微信端因非常规使用有封号危险,不建议主力微信号接入;操作需依法合规,对大模型生成的内容注意甄别,禁止用于非法目的,处理敏感或个人隐私数据时注意脱敏。 相关教程:张梦飞同学写的更适合小白的使用教程 2. DIN:全程白嫖拥有一个 AI 大模型的微信助手 搭建步骤: 搭建,用于汇聚整合多种大模型接口,并可白嫖大模型接口。 搭建,这是个知识库问答系统,可将知识文件放入,并接入大模型作为分析知识库的大脑来回答问题。若不想接入微信,其自身有问答界面。 搭建接入微信,配置 FastGpt 将知识库问答系统接入微信,建议先用小号以防封禁风险。 拓展功能:搭建完后想拓展 Cow 的功能,可参考 Yaki.eth 同学的教程,里面的 cow 插件能进行文件总结、MJ 绘画。 3. LLM 开源中文大语言模型及数据集集合中的外部挂件应用 wenda: 地址: 简介:一个 LLM 调用平台。为小模型外挂知识库查找和设计自动执行动作,实现不亚于大模型的生成能力。 JittorLLMs: 地址: 简介:计图大模型推理库:笔记本没有显卡也能跑大模型,具有成本低,支持广,可移植,速度快等优势。 WebCPM 地址: 简介:一个支持可交互网页搜索的中文大模型。 GPT Academic: 地址: 简介:为 GPT/GLM 提供图形交互界面,特别优化论文阅读润色体验,支持并行问询多种 LLM 模型,兼容复旦 MOSS, llama, rwkv, 盘古等。 ChatALL: 地址: 简介:ChatALL(中文名:齐叨)可以把一条指令同时发给多个 AI,可以帮助用户发现最好的回答。
2025-03-17
api接口的claude怎么写提示词?
以下是关于 Claude API 接口写提示词的一些要点: 1. 采用“Human:”/“Assistant:”的标准格式。Claude 被训练为交替对话形式的机器人,对话形式固定为:“Human:”/“Assistant:”。如果提示词在 API 里出现,固定开头为“\n\nHuman:”,固定结尾是:“\n\nAssistant:”。例如:prompt=“\n\nHuman:Why are sunsets orange?\n\nAssistant:”。 2. 提示词要清晰明确,Claude 对清晰明确的提示词反馈最好。 3. 可以指定想要的精确输出格式,也可以为 Claude 写好回复的开头(在“Assistant:”之后)。 4. 如果 Claude 在执行任务前有时间一步一步地思考,它会表现得更好。 5. 对于输入内容,可进行无害性筛选。如果内容提到有害、色情或非法的活动,回复。 6. 若 Claude 不理解任务,可后退几步,再进行提示词迭代,并询问 Claude 是否理解。
2025-03-10
deekseek APi推荐
以下是为您推荐的与 DeepSeek API 相关的内容: 此外,还有以下与 DeepSeek 相关的其他信息供您参考: 同时,关于 DeepSeek 的其他相关日报信息: DeepSeek 暂停 API 充值服务,已充值金额可继续使用。DeepSeekchat 模型优惠期至 2025 年 2 月 8 日 24:00,之后按每百万输入 tokens 2 元,每百万输出 tokens 8 元计费。Deepseekreasoner 模型上线即按每百万输入 tokens 4 元,每百万输出 tokens 16 元计费。 Google 修改 AI 伦理原则,允许军事用途。
2025-03-09
修复老照片
以下是关于用 AI 修复老照片的相关内容: 使用 MutiDiffusion 插件,在显存不够时可通过分块渲染功能放大图片。对于较复杂的老照片,如人物多、场景复杂、像素低的情况,可先在 PS 里调整角度和裁切,直接上色效果不佳时,可放弃人物服装颜色指定,只给场景方向,让 AI 自行决定,还可从网上找参考照片让 AI 匹配色调,加入第二个 controlnet 控制颜色,如使用 t2ia_color 模型,关键词给蓝天、绿树、灰石砖等。 ComfyUI 老照片修复结合 Flux Controlnet Upscale 工作流,以前的高清放大工作流复杂,新模型出来后,十几个基础节点就能实现更好效果。参数调节一般先确认放大倍数,再根据图片调整 controlNet 强度。Flux.1dev ControlNet 是为低分辨率图像开发的模型,可与 diffusers 库一起使用,训练方式采用多种人工退化方案。Flux Ultimator 能增加小细节和鲜艳色彩,在 0.1 强度设置下有显著增强效果,能与其他 LORA 结合使用。T5 Clip 若图片质量细节不够,可选择 fp16 版本。controlNet 传递的应是原始图片。 在新上线的 controlnet 模型中,Recolor 模型可给黑白图片重新上色,可选择 realisian 写实大模型,提示词描述颜色和对应内容,ControlNet 选择 Recolor,预处理器选择“recolor_luminance”效果更好。
2025-03-24
照片转动漫的工具
以下为一些照片转动漫的工具及相关信息: 1. VIGGLE: 是一款创新的可控视频生成平台,基于 JST1 技术,允许用户自由创建和控制 3D 角色的动作,在游戏开发、动画制作及 VR/AR 等领域有巨大潜力。 Viggle AI 是利用骨骼动画将图片转化为一致性角色动画的工具,简化了动画制作流程。 体验地址:https://www.viggle.ai/ 官方 Discord:https://discord.gg/viggle 操作方式(以网页端举例): Upload a character image of any size.上传任意尺寸的角色图像。 For better results,use a fullbody photo with a clean background.为了获得更好的效果,请使用背景干净的全身照片。 Image size图像大小(最大 10MB) 您上传的照片必须符合社区规则。 2. 莱森: 利用一致性 MJ 出海马体写真的教程。 用醒图(英文版叫做 hypic)或者美图秀秀等 App 调整脸部,拖拖修图进度条就好了。 关注醒图【人像>面部重塑>面部>比例】,调整上庭、中庭、下庭。 在转绘部分,照片>Minecraft 风格幅度变化大时,若sw 风格权重拉满仍复制不了像素小人风格,可能是cw 太高,调低 cw 可能成功复制。 cref 和 sref 同时参考多张 url 时,上传同一个人不同角度的照片,容易使结果畸形。 若 MJ 直出的皮肤缺乏质感,可打开醒图【人像>手动美颜>皮肤肌理】。 若想快速调整光源,可试试 Luminar,可官方下载购买完整版,或在 macos 订阅 setapp 使用有基础功能的 Luminar 版本。 3. 个性: 操作: 复杂提示词,如:Disney boy,Low saturation Pixar Super details,clay,anime waifu,looking at viewer,nighly detailedreflections transparent iridescent colors.lonctransparent iridescent RGB hair,art by Serafleurfrom artstation,white background,divine cinematic edgelighting,soft focus.bokeh,chiaroscuro 8K,bestquality.ultradetailultradetail.3d,c4d.blender,OCrenderer.cinematic lighting,ultra HD3D renderinoiw 1.5s 500v 5 不同照片生成,若对照片风格不满意可更换照片使用相同提示词重新生成。 其他调整,如觉得 Disney 风格太过卡通,可把提示词里的 Disney 换成 Pixar,若为女孩,可把 boy 换成 girl。每次生成 4 张图片,对某一张满意可点击下方的 U1~U4 生成大图,对风格满意但需调整可点击下方的 V1~V4 进行修改。
2025-03-19
怎么免费生成一张我需要的场景照片
以下是几种免费生成您需要的场景照片的方法: 1. 利用 MJ 应用: 构思适合画绘本的故事,将其分为多个场景,用包含环境、人物、动作的话描述每个场景。例如:故事名《Lily 的奇妙之旅》,场景 1 为“Lily 来到一个阳光明媚的森林,跳过清澈的小溪,愉快玩耍。在路上结识了一只友善的棕熊,她们成为了旅伴。” 为每个场景生成图片时,设置 prompt 包括场景和风格,如“Walking in a mysterious cave with glittering gems,little girl Lily wearing a yellow floral skirt,her friend brown bear,dim,dreamlike,super high details,HDsmooth,by Jon Burgerman,s 400niji 5style expressivear 3:4”。 若只需要场景图像,可使用 mj 的 region vary 工具将人物完全框选,删除人物描述词后重新生成。 2. 悠船的使用: 写好提示词,右上可下载对应图片。 进行参数调整,注意任何点击都会重新生成图片,免费用户可能会提示超出套餐。 常用的图片调整内容包括变化(幅度有细微和强烈之分)、高清(有“直接”和“创意”两种方式)、风格变化(基于生成的图片再创作)、拓展(上下左右拓展图片)、缩放(指镜头)、局部重绘(选择区域要大)。 可以使用垫图、参考风格和提示词配合生成符合要求的图片。 3. Stable Diffusion 的使用: 把觉得好看的照片导进去,如果是从 SD 下载下来的 PNG 格式照片,右边会自动弹出照片的信息,包括正面关键词、负面关键词等,复制这些信息到“文生图”页面的关键词文本框中,点击生成按钮下的第一个小按钮,SD 会自动分配信息,就能得到差不多的照片(前提是有一样的大模型和 Lora)。 如果导入照片后右边没有生成信息,可用“标签器(Tagger)”来生成照片的关键词。
2025-03-07
怎么用AI生成照片?
以下是几种用 AI 生成照片的方法: 1. 使用 Stable Diffusion 模型:它可以根据您输入的文本指令,利用文本中包含的语义信息与图片中包含的像素之间的对应关系生成图片。生成的图片样子完全取决于您输入的提示词,在非排列组合的工作模式下难以出现完全相同的两张输出图片。就像使用画笔,线条、色彩由它提供,而构造出什么样的图画取决于您自己的设计。 2. 利用即梦生成定制化人物肖像写真: 打开即梦官网链接:https://jimeng.jianying.com/aitool/home/?utm_medium=baiduads 。 选择写实肖像。 选择心仪的模板,比如人鱼风,点击“做同款”。 为生成定制肖像,一定要点击“导入参考图”。 点击“人物长相”,注意很多名人的脸无法使用生成。 点立即生成。 查看生成好的照片,若不满意可再点击生成,找出最满意的一张或几张。 生图模型选择最新的 2.0PRO,有照片质感。图片比例可改,有八种比例可选,图片尺寸可自由选择。 3. 使用 Stable Diffusion 的涂鸦功能: 点击空白的地方上传一张纯白的图片作为画纸。 右边的两个小按钮点开可调节画笔的大小和颜色。 在画纸上随便画画。 挑合适的大模型,想要什么画风就挑什么模型。 输入关键词,先输入关于照片质量的词,再告诉它您画的是什么。 把重绘幅度拉到 0.6 0.8,点击生成。
2025-03-07
老照片修复
以下是关于老照片修复的相关内容: ComfyUI 老照片修复 Flux Controlnet Upscale: 以前的高清放大工作流复杂,新模型结合工作流只需十几个基础节点就能实现更好效果。 参数调节方面,一般先确认放大倍数,再根据图片调整 ControlNet 强度。 ControlNetUpscaler 放大模型是 Jasper 研究团队为低分辨率图像开发的,可与 diffusers 库一起使用,采用多种方式对真实图像进行人工退化训练,训练方式类似 Wang,Xintao 等人发表的文献中的方法,遵循 Flux.1dev 模型许可证范畴。 Flux Ultimator 能增加小细节,增强鲜艳色彩,在 0.1 强度设置下有显著效果,能顺利集成到工作流程中,与其他 LORA 结合使用时强度需小于 0.5。 若图片质量细节不够,可选择 T5 Clip 的 fp16 版本。 ControlNet 传递的应是上传的原始图片。 【SD】用 AI 给老照片上色,岁月不改它模样: 启用 MutiDiffusion 插件,不开放大倍数,仅使用分块渲染功能,可在显存不够时放大图片。 对于复杂的老照片,可在 PS 中进行角度调整和裁切,若直接上色效果不佳,可放弃人物服装颜色指定,只给场景方向,加入第二个 controlnet 控制颜色,使用 t2ia_color 模型和简单关键词。 新上线的 controlnet 模型中,Recolor 模型可将黑白图片重新上色。 人物照片还原可选择 realisian 的写实大模型,用提示词描述颜色和内容,ControlNet 选择 Recolor,预处理器选择“recolor_luminance”效果更好。
2025-03-06
证件照片生成
以下是关于证件照片生成的相关内容: 可以通过搭建证件照应用页面来实现。先创建应用并设置第一个 div 容器,页面分为上中下三块,顶部为标题,中间有原图、过渡和最终结果,底部为展示区域和表单。还需对容器的高度、宽度、排列方向以及文本组件的字体、颜色、加粗等属性进行设置。图片上传处理方面,介绍了图片组件的本地上传和绑定数据功能,需注意微信截图可能导致上传问题。页面也可分为左右两块,左侧展示区域,右侧为表单,左侧还需嵌套容器处理图片和文字展示。此外,前端页面搭建有一些技巧,如在 DIV10 中选择子容器、复制搭建元素等,包括调整表单组件的尺寸、按钮文案和上传文件类型等设置。业务逻辑流程包括用户上传照片、图片理解、图像生成、智能换脸、背景修改等步骤,各步骤中有参数设置、提示词调整和测试方法。 普通人现在可以利用 AI 生成自己的证件照,无需去影楼拍摄。有能将上传照片生成白底、蓝底和红底的证件照生成工具。
2025-03-06
大神解读大模型底层
大模型的底层原理主要包括以下几个方面: 1. 生成式:大模型根据已有的输入为基础,不断计算生成下一个字词(token),逐字完成回答。例如,从给定的提示词“how”开始,通过计算推理依次输出“are”“you”等,直到计算出下一个词是“”时结束输出。 2. 预训练:大模型“脑袋”里存储的知识都是预先学习好的,这个预先学习并把对知识的理解存储记忆在“脑袋”里的过程称为预训练。以 GPT3 为例,训练它使用了约 4990 亿 token 的数据集,相当于 86 万本《西游记》。预训练需要花费大量时间和算力资源,且在没有外部帮助的情况下,大模型所知道的知识信息是不完备和滞后的。 3. 转换器模型(Transformer):Transformer 是一种处理文本内容的经典模型架构,虽然其具体细节不清楚不影响使用大模型,但感兴趣的可以通过相关链接进一步了解。 4. 参数规模:依靠概率计算逐字接龙的方法看似难以生成高质量回答,但随着参数规模的增加,如从 GPT1 的 1.5 亿到 GPT3.5 的 1750 亿,实现了量变到质变的突破,“涌现”出惊人的“智能”。这种“涌现”现象在人类的进化和个体学习成长历程中也存在。
2025-03-24
模型理解汉字能力很差
目前模型在理解汉字方面存在一些问题,主要表现为: 1. 语义理解较差,例如在某些应用场景中对中文的理解不够准确。 2. 中文汉字的集合较大,纹理结构更复杂,增加了理解难度。 3. 缺少中文文字的图文对数据,影响了模型对汉字的学习和理解。 为了提升模型对中文文字的生成能力,采取了以下措施: 1. 选择 50000 个最常用的汉字,机造生成千万级的中文文字图文对数据集,但机造数据真实性不足。 2. 实用 OCR 和 MLLM 生成海报、场景文字等真实中文文字数据集,约百万量级。通过结合高质量真实数据,提升了中文文字生成能力的真实性,即使是真实数据中不存在的汉字的真实性也有所提高。
2025-03-24
有哪些效果好的开源OCR模型值得推荐
以下是一些效果较好的开源 OCR 模型推荐: 1. Mistral OCR:当前最强的 OCR 模型,具有多语言支持,超越 Gemini 2.0 Flash,可在 Le Chat 及 API 调用。ElevenLabs 赠送 $25 Mistral API 额度,免费领取!领取地址: 2. Gemini 2.0 Flash:也是一款 OCR 模型。
2025-03-24
将2D图生成3D模型的AI是什么
以下是一些能够将 2D 图生成 3D 模型的 AI 相关信息: 有几个团队正在追求根据文本或图像提示轻松生成纹理的机会,包括 BariumAI(https://barium.ai/)、Ponzu(https://www.ponzu.gg/)和 ArmorLab(https://armorlab.org/)。 微软与 blackshark.ai(https://blackshark.ai/)合作,并训练了一个 AI 从 2D 卫星图像生成逼真的 3D 世界(https://blackshark.ai/solutions/)。 生成性 AI 可以为游戏创建 2D 艺术、纹理、3D 模型,并协助关卡设计。
2025-03-24
大模型 关键性能指标
对比不同大模型的性能需要考虑多个维度,包括但不限于以下方面: 1. 理解能力:评估对语言的语法、语义、上下文和隐含意义的理解程度。 2. 生成质量:检查生成文本的流畅性、相关性和准确性。 3. 知识广度和深度:掌握广泛主题的知识程度,以及对特定领域或话题的理解深度。 4. 泛化能力:测试处理未见过任务或数据时的表现。 5. 鲁棒性:应对错误输入、对抗性输入或模糊不清指令的能力。 6. 偏见和伦理:生成文本时是否存在偏见,是否遵循伦理标准。 7. 交互性和适应性:在交互环境中的表现,包括对用户反馈的适应性和持续对话能力。 8. 计算效率和资源消耗:考虑模型大小、训练和运行所需的计算资源。 9. 易用性和集成性:是否易于集成到不同应用和服务中,提供的 API 和工具的易用性。 为了进行有效的比较,可以采用以下方法: 1. 标准基准测试:使用如 GLUE、SuperGLUE、SQuAD 等标准的语言模型评估基准,它们提供统一的测试环境和评分标准。 2. 自定义任务:根据特定需求设计任务,评估在特定领域的表现。 3. 人类评估:结合人类评估者的主观评价,特别是在评估文本质量和伦理问题时。 4. A/B 测试:在实际应用场景中,通过 A/B 测试比较不同模型的表现。 5. 性能指标:使用准确率、召回率、F1 分数、BLEU 分数等量化比较。 例如,通义千问开源的 Qwen2.51M 大模型,推出 7B、14B 两个尺寸,在处理长文本任务中稳定超越 GPT4omini,同时开源推理框架,在处理百万级别长文本输入时可实现近 7 倍的提速,首次将开源 Qwen 模型的上下文扩展到 1M 长度。在上下文长度为 100 万 Tokens 的大海捞针任务中,Qwen2.51M 能够准确地从 1M 长度的文档中检索出隐藏信息。 Google DeepMind 的 Gemini 2.0 Flash 多模态大模型支持图像、视频、音频等多模态输入,可生成图文混合内容和多语言 TTS 音频。模型原生支持 Google 搜索、代码执行及第三方 API 调用等工具链能力,处理速度较 Gemini 1.5 Pro 提升一倍,关键性能指标已超越前代产品。作为 Gemini 2.0 系列首发模型,在多模态理解与生成方面实现重要突破。产品入口目前通过 Google AI Studio 和 Vertex AI 平台提供实验版 API 接口,预计 2025 年 1 月起全面商用,并将陆续发布 Gemini 2.0 系列其他版本。
2025-03-24
AI模型训练师要学习那些知识?
AI 模型训练师需要学习以下知识: 1. 数据收集:了解如何从互联网上收集各种文本数据,如文章、书籍、维基百科条目、社交媒体帖子等。 2. 数据预处理:掌握清理和组织数据的方法,包括删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段等。 3. 模型架构设计:熟悉如 Transformer 等适合处理序列数据(如文本)的神经网络架构,虽然复杂但需有一定了解。 4. 训练原理:明白模型通过反复阅读数据、尝试预测句子中的下一个词来逐渐学会理解和生成人类语言。 5. 领域专业知识:以医疗保健领域为例,AI 模型训练师应了解该领域的专业知识,如生物学、化学等基础学科,以及如何培养处理涉及细微差别决策的直觉。 6. 了解大模型的底层原理:以 GPT3 为例,要知道其预训练阶段所学习的内容和数据量,以及 Transformer 模型的相关概念。
2025-03-24