直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

请总结本知识库,并提炼出11节面向十岁儿童关于AIGC的课程,三节是提示词工程,2节文生文,2节文生图/图生图,2节文生音频,2节文生视频/图生视频,不需要涉及智能体及文生代码

回答

以下是对本知识库的总结:

  • 包含了不同时间段的 AIGC 周刊内容,如 Open AI 发布 ChatGPT 的 iOS 应用、Google 宣布多项 AI 新功能、AI 歌手相关教程等。
  • 有关于提示词工程的课程及相关技巧介绍。
  • 涉及一些特定的 AIGC 技术和方法,如 Donut 文档理解方法。
  • 提到了谷歌的生成式 AI 学习课程。

以下是为十岁儿童设计的 11 节关于 AIGC 的课程:

  1. 提示词工程基础
    • 什么是提示词
    • 提示词的作用
    • 简单的提示词示例
  2. 提示词工程进阶
    • 复杂提示词的构建
    • 如何优化提示词
    • 提示词的实际应用
  3. 提示词工程实践
    • 设计自己的提示词任务
    • 分享与讨论提示词成果
    • 总结提示词的使用技巧
  4. 文生文入门
    • 了解文生文的概念
    • 简单的文生文工具介绍
    • 尝试生成一段文字
  5. 文生文提高
    • 优化文生文的输入
    • 让生成的文字更有趣
    • 比较不同文生文的效果
  6. 文生图/图生图基础
    • 认识文生图和图生图
    • 常见的文生图工具
    • 用简单描述生成一张图片
  7. 文生图/图生图进阶
    • 更复杂的描述生成精美图片
    • 对生成的图片进行修改
    • 分享自己生成的图片
  8. 文生音频入门
    • 什么是文生音频
    • 简单的文生音频工具
    • 生成一段简单的音频
  9. 文生音频提高
    • 让生成的音频更动听
    • 给音频添加特效
    • 欣赏优秀的文生音频作品
  10. 文生视频/图生视频基础
    • 文生视频和图生视频的概念
    • 基本的文生视频工具
    • 制作一个简单的视频
  11. 文生视频/图生视频进阶
    • 让视频更精彩
    • 视频的后期处理
    • 展示自己制作的视频
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

AIGC 周刊 by 歸藏

|标题|概要|图片|链接|日期|<br>|-|-|-|-|-|<br>|2023年5月第四周|上周Open AI终于发布了ChatGPT的iOS应用,应用将首先在美国推出,之后会扩展到其他国家。Android版本也会在之后很快上线。||[AIGC Weekly #22](https://waytoagi.feishu.cn/wiki/ZsNCw3e3uivOvNkXu4jcbYWKn8b)|2023/05/22|<br>|2023年5月第三周|在2023年的Google I/O大会上,Google宣布了多项AI新功能,基本覆盖了谷歌旗下所有业务,可以说被迫all in AI了。<br>首先是谷歌的自然语言模型PaLM 2,值得注意的是PaLM 2模型在各种规模上都提供出色的基础功能,包括名为Gecko的模型,能够在移动设备上运行,即使在离线状态下也可以支持交互式应用。此外,它还接受了超过100种语言的多语言文本训练,因此可以理解并生成细致入微的结果。||[AIGC Weekly #21](https://waytoagi.feishu.cn/wiki/JXCKwXz8mi4NGMk3Hhfclkb3nVg)|2023/05/15|<br>|2023年5月第二周|这周研究了一下AI歌手产出了一篇教程《[教你打造属于自己的AI孙燕姿,AI歌手模型使用及训练保姆级课程](https://mp.weixin.qq.com/s?__biz=MzU0MDk3NTUxMA==&mid=2247484118&idx=1&sn=c6d885bb0fa18664cc9741c02d1419e7&chksm=fb304a2fcc47c3399bb188d66c88aa2512dd4bc6f6dea339bcf844865b5453807733d845c51a#rd)》详细介绍了一下如何处理数据、使用模型、训练模型来帮助你拥有自己的AI歌手模型。||[AIGC Weekly #20](https://waytoagi.feishu.cn/wiki/HHyQwlxTli25SukUfZwcG2CxnGm)|2023/05/08|<br>|2023年5月第一周|前谷歌/百度AI部门负责人吴恩达和OpenAI合作推出了免费的Prompt Engineering(提示工程)课程。课程主要内容是教你书写AI提示词,并且最后会教你利用GPT开发一个AI聊天机器人。||[AIGC Weekly #19](https://waytoagi.feishu.cn/wiki/On8ewZKN1ijgtakky9EcFQ70nSf)|2023/05/01|

宝藏内容-沃顿商学院给教师和学生的提示词库 | AIGC Weekly

[title]宝藏内容-沃顿商学院给教师和学生的提示词库| AIGC Weekly[heading2]教师专用提示[heading3]结构化题型设计师(适用于Gemini)你是一位乐于助人、务实的教学助理,是一名出色的课程规划专家。你深知每一节课都是整个教学序列中的一环。一个精心设计的教学序列应该允许学生积极参与和讨论,并包含多种教学模式,可以涵盖多样的教学活动,如讲授、小组合作、个人任务、创意练习和演示汇报,同时还要有反馈环节和对学生理解程度的检验。尽管你的目标是规划单节课程,但也要从整个教学序列的角度来审视这节课。对于每一节课,你都可以明确学习目标,细化你希望学生思考和练习的内容。你还应该预判可能出现的常见难点,并采取措施帮助学生克服这些障碍。要详细说明每个教学任务,描述在你的课堂上优秀的学习表现是什么样的,并运用提问和检查理解的方式来评估学生的学习效果(包括运用关键问题)。要考虑教学过程——什么时候进行讲解、示范、指导练习,以及给学生提供有指导的练习和独立练习。你还应该安排复习和回顾环节,以加深学生对知识点的理解和记忆。首先,请向老师介绍你自己,说明你是他们的AI教学助理,你的职责是协助他们规划课程。询问他们的教学科目以及面向的学生层次(高中、大学还是职业教育),这样你就能更加精准地提供建议,为他们的课程提供更有针对性的帮助。等待老师的回复。这第一个问题应该是独立的,在老师回应前暂不继续追问其他内容。接下来,请老师上传教学大纲(如果有现成的),并告诉你他们具体希望得到哪一节或哪几节课的帮助。如果老师手上没有现成的教学大纲,让他们尽可能详细地描述课程内容即可。然后耐心等待老师的回复。如果老师上传了教学大纲,请认真研读,并询问他们希望重点关注或修改哪一节课,然后针对该课程提出修改建议。同样,这里也要等待老师的回应,不要在老师回应前擅自继续提问或给出建议。

AIGC Weekly #24

本文介绍了一些高级的提示设计和提示工程技术,包括系统消息、少样本学习、非聊天场景、清晰的指令、重复指令、输出前的提示、清晰的语法、任务分解等。文章还提到了在使用提示工程时需要注意模型的局限性,并建议验证模型生成的响应。同时,文章还介绍了Azure OpenAI GPT模型中Chat Completion API和Completion API两种不同的API,以及如何在这些API中使用提示工程技术。[heading2][用21行Python构建一个OpenAI问答机器人](https://twitter.[content]这篇文章介绍了如何使用Python编写OpenAI Q&A机器人,并与OpenAI的API交互。作者在Replit上提供了免费的课程,旨在帮助初学者入门AI开发。此外,作者还建议学习Python和OpenAI API,以自动化基本任务。API的访问权限因模型而异,但本课程使用的模型是公开的。对于想学习编程的初学者,这篇文章是一个很好的起点。[heading2][Donut:无需OCR理解文档内容](https://github.com/clovaai/d[content]Donut是一种新的文档理解方法,使用无OCR端到端Transformer模型,在各种视觉文档理解任务上显示出最先进的性能。此外,SynthDoG是一种合成文档生成器,帮助模型预训练在各种语言和领域上具有灵活性。预训练模型和Web演示可用于文档解析、文档分类、文档VQA和(伪)文本阅读任务。代码和数据集在MIT许可下在GitHub上可用。[heading2][谷歌的生成式AI学习课程](https://www.cloudskillsboost.goog[content]这个学习路径为您提供了关于生成式AI产品和技术的内容,从大型语言模型的基础知识到如何在谷歌云上创建和部署生成式AI解决方案。

其他人在问
AI图生图工具
以下是一些好用的图生图工具: 1. Artguru AI Art Generator:在线平台,能生成逼真图像,为设计师提供灵感,丰富创作过程。 2. Retrato:AI 工具,可将图片转换为非凡肖像,有 500 多种风格选择,适合制作个性头像。 3. Stable Diffusion Reimagine:新型 AI 工具,通过稳定扩散算法生成精细、具细节的全新视觉作品。 4. Barbie Selfie Generator:专为喜欢梦幻童话风格的人设计,能将上传的照片转换为芭比风格,效果很好。 目前市场上受欢迎的文生图工具包括: 1. DALL·E:由 OpenAI 推出,能根据输入的文本描述生成逼真图片。 2. StableDiffusion:开源工具,可生成高质量图片,支持多种模型和算法。 3. MidJourney:因高质量图像生成效果和用户友好界面设计而受欢迎,在创意设计人群中流行。 您还可以在 WaytoAGI 网站(https://www.waytoagi.com/category/104)查看更多文生图工具。 另外,像吐司(https://tusiart.com/images/635511733697550450?post_id=635512498197535244&source_id=nzywoVHilkK7o_cqaH31xAh)、哩布(https://www.liblib.ai/)这样的网站是免费的在线 SD 工具。 需要注意的是,这些 AI 模型在使用时可能存在一些局限,如偶尔会出现性能不稳定、生成内容不当等问题。同时,本教程适用于入门玩家,如果在使用过程中有任何问题,可以通过评论区、微信(designurlife1st,记得备注来意:ai 绘图交流)等方式与作者联系。教程内容会持续更新。
2024-10-28
AI 图生图
以下是关于 AI 图生图的相关信息: 好用的图生图产品: Artguru AI Art Generator:在线平台,生成逼真图像,为设计师提供灵感,丰富创作过程。 Retrato:AI 工具,将图片转换为非凡肖像,有 500 多种风格选择,适合制作个性头像。 Stable Diffusion Reimagine:新型 AI 工具,通过稳定扩散算法生成精细、具细节的全新视觉作品。 Barbie Selfie Generator:专为喜欢梦幻童话风格的人设计的 AI 工具,将上传的照片转换为芭比风格,效果很好。 这些 AI 模型通过组合技术如扩散模型、大型视觉转换器等,可根据文本或参考图像生成有创意且质量不错的相似图像输出,但存在性能不稳定、生成内容不当等局限。 Liblibai 简易上手教程: 生图入口 1:网页顶部的右方有生图按钮,点击进入生图界面。 生图入口 2:点进模型广场上任意一个模型(checkpoint 或 lora),有立即生图按钮。 生图入口 3:点进任意一个模型下面的返图区,点开一张喜欢的图片,右侧有在线生成的按钮。点开之后可以选择自动复制所有设置,尝试复现图片,体验设置效果。 从游戏截图升级到 KV 品质:AI 生成图像有较大随机性,用游戏内资源拼合作为图生图的底图能帮助 AI 发挥,复现游戏原有的画风、世界观和人物设定。
2024-10-28
图生图最好用的AI
目前比较成熟好用的图生图 AI 产品主要有: 1. Artguru AI Art Generator:在线平台,能生成逼真图像,为设计师提供灵感,丰富创作过程。 2. Retrato:AI 工具,可将图片转换为非凡肖像,有 500 多种风格选择,适合制作个性头像。 3. Stable Diffusion Reimagine:新型 AI 工具,通过稳定扩散算法生成精细、具细节的全新视觉作品。 4. Barbie Selfie Generator:专为喜欢梦幻童话风格的人设计,能将上传照片转换为芭比风格,效果很好。 这些 AI 模型通过组合技术如扩散模型、大型视觉转换器等,可根据文本或参考图像生成有创意且质量不错的相似图像输出,但仍存在一些局限,如偶尔性能不稳定、生成内容不当等。 在实际应用中,比如将真人转二次元,我们可以将图片再次放入以图生图中,通过 DeepBooru 反推关键词,并使用新的大模型“AbyssOrangeMix2”和 LORA“blindbox”进行重新生成,能得到 2.5D 的人物风格。不过目前的图可能有细节瑕疵,需要不断调整参数,后期借助 PS 修补。 如果您需要使用图生图功能,又觉得主流工具如 midjourney(MJ)付费成本高,stable diffusion(SD)硬件门槛不低,还有像这样的免费在线 SD 工具网站可供选择。
2024-10-24
有什么生成海报或者图生图的AI应用工具
以下是一些生成海报或者图生图的 AI 应用工具: 用于工作中出图的有:Labzen、龙飞等。 用于电商应用出图的有:薄荷、刘燕兰等。 用于广告出图的有:朱鹏等。 以下是一些推荐的 AI 海报生成工具: Canva(可画):https://www.canva.cn/ 是一个受欢迎的在线设计工具,提供大量模板和设计元素,AI 功能可帮助选择合适颜色搭配和字体样式。 稿定设计:https://www.gaoding.com/ 稿定智能设计工具采用先进人工智能技术,自动分析和生成设计方案。 VistaCreate:https://create.vista.com/ 是简单易用的设计平台,提供大量设计模板和元素,用户可用 AI 工具创建个性化海报,智能建议功能可帮助快速找到合适设计元素。 Microsoft Designer:https://designer.microsoft.com/ 通过简单拖放界面,可快速创建演示文稿、社交媒体帖子等视觉内容,还集成丰富模板库和自动图像编辑功能。 以下是一些好用的图生图产品: Artguru AI Art Generator:在线平台,生成逼真图像,给设计师提供灵感,丰富创作过程。 Retrato:AI 工具,将图片转换为非凡肖像,拥有 500 多种风格选择,适合制作个性头像。 Stable Diffusion Reimagine:新型 AI 工具,通过稳定扩散算法生成精细、具有细节的全新视觉作品。 Barbie Selfie Generator:专为喜欢梦幻童话风格的人设计的 AI 工具,将上传的照片转换为芭比风格,效果超级好。 需要注意的是,这些 AI 模型可能存在一些局限,如偶尔会出现性能不稳定、生成内容不当等问题。内容由 AI 大模型生成,请仔细甄别。
2024-10-24
AI 领英图生成
以下是关于 AI 领英图生成的相关信息: 假设您需要创建一个项目管理流程图,可以按照以下步骤使用 Lucidchart: 1. 注册并登录: 2. 选择模板:在模板库中搜索“项目管理流程图”。 3. 编辑图表:根据您的项目需求添加和编辑图形和流程步骤。 4. 优化布局:利用 AI 自动布局功能,优化图表的外观。 5. 保存和分享:保存图表并与团队成员分享,或导出为 PDF、PNG 等格式。利用这些 AI 工具,您可以快速、高效地创建专业的示意图,满足各种工作和项目需求。 目前比较成熟的通过输入图片生成类似图片的 AI 产品主要有: 1. Artguru AI Art Generator:在线平台,生成逼真图像,给设计师提供灵感,丰富创作过程。 2. Retrato:AI 工具,将图片转换为非凡肖像,拥有 500 多种风格选择,适合制作个性头像。 3. Stable Diffusion Reimagine:新型 AI 工具,通过稳定扩散算法生成精细、具有细节的全新视觉作品。 4. Barbie Selfie Generator:专为喜欢梦幻童话风格的人设计的 AI 工具,将上传的照片转换为芭比风格,效果超级好。但这些 AI 模型仍有一些局限,如偶尔会出现性能不稳定、生成内容不当等问题。 关于如何判断一张图片是否 AI 生成的:AI 技术带来造假难题,可由 AI 自己的同僚互鉴打假来解决。现在已有不少网站在做这件事情,通过对大量的图片数据的抓取和分析,给出对画作属性的判断可能性。例如使用 AI 来鉴别 AI 绘图性质的网页:ILLUMINARTY(https://app.illuminarty.ai/)。但在测试过程中,有些结构严谨的真实摄影作品,反而会被识别为 AI 作图。这是因为鉴定 AI 自身的逻辑算法,并不能像人类一样综合考虑不符合人的逻辑的各种表现。
2024-10-22
图生图
以下是关于图生图的相关知识: 概念与功能说明: 首页模型\\帖子\\排行榜:发布了其他大手子炼成的模型、图片。不同模型有 checkpoint 和 lora 两种标签,有些还有 SDXL 标签。点击可看模型详细信息,下方是返图区。 基础模型(checkpoint):生图必需,任何生图操作都要先选定。与 lora 不同,两者在模型广场混着展示,lora 可选可不选。可通过搜索或浏览收集模型用于生图。 lora:低阶自适应模型,类似 checkpoint 的小插件,可控制面部、材质等细节,旁边数值是权重。 ControlNet:控制图片中特定图像,如人物姿态、生成特定文字等,是高阶技能。 VAE:编码器,类似滤镜,可调整生图饱和度,一般选择 840000 这个。 Prompt 提示词:想要 AI 生成的内容,但不绝对有效,需多学习。 负向提示词(Negative Prompt):想要 AI 避免产生的内容,也不绝对有效,需学习。 图生图操作:上传图片后,SD 会根据图片、所选模型、输入的 prompt 等信息进行重绘。重绘幅度越大,输出图与输入图差别越大。 关于 FLUX 之 PULID 换脸的图生图:如果无法科学上网,可注册 bizyair 拿到 key,在 comfyui 中安装最新节点,支持 pulid。没有独立显卡的笔记本也可体验,下载相关包解压即用。准备两张图,如神仙姐姐的图和要换脸的图,用 joy 反推,把文字贴到 pulid 工作流里,也可合在一个工作流里。相关工作流可通过网盘获取。
2024-10-21
ai生成视频教程
以下是关于 AI 生成视频的教程: 使用 Adobe Firefly 生成带有文本提示和图像的视频: 在 Advanced 部分,您可以使用 Seed 选项添加种子编号,以帮助启动流程并控制 AI 创建的内容的随机性。如果使用相同的种子、提示和控制设置,则可以重新生成类似的视频剪辑。选择 Generate 进行生成。 将小说做成视频的制作流程: 1. 小说内容分析:使用 AI 工具(如 ChatGPT)分析小说内容,提取关键场景、角色和情节。 2. 生成角色与场景描述:根据小说内容,使用工具(如 Stable Diffusion 或 Midjourney)生成角色和场景的视觉描述。 3. 图像生成:使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作:将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作:利用 AI 配音工具(如 Adobe Firefly)将小说文本转换为语音,添加背景音乐和音效。 6. 视频编辑与合成:使用视频编辑软件(如 Clipfly 或 VEED.IO)将图像、音频和文字合成为视频。 7. 后期处理:对生成的视频进行剪辑、添加特效和转场,以提高视频质量。 8. 审阅与调整:观看生成的视频,根据需要进行调整,比如重新编辑某些场景或调整音频。 9. 输出与分享:完成所有编辑后,输出最终视频,并在所需平台上分享。 AI 视频工具合集: Runway(有免费额度) 网址:https://app.runwayml.com/videotools/ 官方使用教程:https://academy.runwayml.com/ 知识库详细教程: 简单介绍:支持文生视频、图生视频,视频生视频;使用英文提示词;文生视频支持正向提示词、风格选择、运镜控制、运动强度控制、运动笔刷,支持 16:9、9:16、1:1、4:3、3:4、21:9 尺寸,可设置种子值;图生视频、视频生视频除了尺寸不可选以外,其他跟文生视频基本相同;生成好的视频可以延长时间,默认生成 4s 的视频。 Stable video(有免费额度) 网址:https://www.stablevideo.com/generate 知识库详细教程: 简单介绍:支持文生视频、图生视频,仅英文;图生视频不可写 prompt,提供多种镜头控制;文生视频先生成 4 张图片,选择其中一张图片以后再继续生成视频。 请注意,具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外,AI 工具的可用性和功能也可能会随时间而变化,建议直接访问上述提供的工具网址获取最新信息和使用指南。
2024-10-31
分析 ChatGLM在文生视频领域的应用产出
ChatGLM 是中文领域效果较好的开源底座模型之一,其地址为:。经过约 1T 标识符的中英双语训练,并辅以监督微调、反馈自助、人类反馈强化学习等技术进行优化,针对中文问答和对话有出色表现。 此外,还有基于 ChatGLM6B 的 VisualGLM6B,地址为:。它是一个开源的、支持图像、中文和英文的多模态对话语言模型,语言模型基于 ChatGLM6B,具有 62 亿参数。图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁,整体模型共 78 亿参数。依靠来自于 CogView 数据集的 30M 高质量中文图文对,与 300M 经过筛选的英文图文对进行预训练。 在文生视频领域,ChatGLM 及其相关模型可能通过对文本的理解和生成能力,为视频的脚本创作、内容描述生成等方面提供支持,但具体的应用产出还需要结合实际的开发和应用场景来进一步探索和评估。
2024-10-30
ChatGLM视频表现有何特色,优劣分析一下
ChatGLM 是中文领域效果最好的开源底座模型之一,具有以下特色: 1. 针对中文问答和对话进行了优化,能更好地处理中文语境下的任务。 2. 经过约 1T 标识符的中英双语训练,并辅以监督微调、反馈自助、人类反馈强化学习等技术的加持。 其优势包括: 1. 在处理中文相关的任务时表现出色,能提供较为准确和有用的回答。 然而,目前可能存在的不足暂未在提供的内容中有明确提及。但一般来说,与其他先进的语言模型相比,可能在某些复杂场景下的表现还有提升空间。
2024-10-30
ChatGLM在生成视频上表现如何
目前 ChatGLM 主要侧重于自然语言处理和文本生成,在生成视频方面的能力相对有限。它并非专门为视频生成而设计的模型。
2024-10-30
生成视频的软件
以下是一些生成视频的软件及相关介绍: 1. Pika: 要生成视频,需进入 generate 频道,目前有 10 个 generate 频道,任选一个进入。 生成视频的工作流程: 直接生成视频:输入“/create”,然后输入 prompt,得到视频。 图片生成视频:使用 MJ/SD 生成图像(可选)+在 PIKA 平台添加 prompt =得到视频。 相关链接: 2. Adobe Firefly: 中的“生成视频”(测试版)可将书面描述转换为视频剪辑。使用文本提示定义内容、情感和设置(包括摄像机角度),以指导摄像机移动并创建传达所需情绪和信息的视频。还可以合并图像,为视频生成提供视觉提示。 操作步骤: 在,选择“生成视频”。 在 Generate video 页面上,在 Prompt 字段中输入。也可以使用 Upload(上传)部分中的 Image(图像)选项,将图像用于第一帧,并为视频剪辑提供方向参考。添加图像以提供清晰的视觉引导,使生成的视频更紧密地与您的愿景对齐。 在 General settings 部分,可以确定 Aspect ratio 和 Frames per second。 3. AJ 汇总的视频 AIGC 工具: Opusclip:利用长视频剪成短视频。 Raskai:短视频素材直接翻译至多语种。 InvideoAI:输入想法>自动生成脚本和分镜描述>生成视频>人工二编>合成长视频。 Descript:屏幕/播客录制>PPT 方式做视频。 Veed.io:自动翻译自动字幕。 Clipchamp:微软的 AI 版剪映。 Typeframes:类似 InvideoAI,内容呈现文本主体比重更多。 Google vids:一口大饼。
2024-10-30
哪些适合制作AI营销视频
以下是一些适合制作 AI 营销视频的工具和方法: 1. 工具方面: Synthesia:允许用户创建由 AI 生成的高质量视频,包括数字人视频。提供多种定价计划,可用于制作营销视频、产品演示等。 HeyGen:基于云的 AI 视频制作平台,用户可从 100 多个 AI 头像库中选择,并通过输入文本生成数字人视频,适合制作营销视频和虚拟主持人等。 Jasper AI:人工智能写作助手,可用于生成营销文案、博客内容、电子邮件等,提供多种语气和风格选择,写作质量较高。 Copy.ai:AI 营销文案生成工具,可快速生成广告文案、社交媒体帖子、电子邮件等营销内容,有免费和付费两种计划。 Writesonic:专注于营销内容创作,如博客文章、产品描述、视频脚本等,提供多种语气和行业定制选项。 更多的营销产品可以查看 WaytoAGI 网站:https://www.waytoagi.com/sites?tag=8 。 2. 应用场景方面: 想要制作低成本的营销视频、企业宣传视频、培训课程,可以使用 Synthesia、HeyGen AI、DID 等产品,用 Avatar 代替真人出镜。 出海企业给产品(商品)推广、介绍使用体验,可使用诗云马良平台的给视频中模特换脸、切换语言的能力,或者 HenGen AI 切换视频内语言以及匹配 Avatar 口型的能力。 3. 脚本和分镜创作方面: 写脚本时,可将工作交给大模型,如 Kimi、Claude、Chatgpt 等。对于科学上网困难的小伙伴,可优先选择免费好用的 kimi(https://kimi.moonshot.cn/),有条件可选择功能更强大的 chatgpt(https://chatgpt.com/)。本作品用的是 Claude(https://claude.ai/new),Claude 在脚本创作方面有优势。 脚本提示词的结构是:说明要做什么样的视频、视频要包含的关键元素、对脚本的输出要求。例如要做 30 秒时长的广告宣传片脚本、做一个孩子们喜欢的儿童绘本脚本等;重点说出产品的特性或者想要的广告风格;按照一定的格式输出,推荐使用 Markdown 格式输出,方便后续操作。 总的来说,这些 AI 工具和方法能够帮助营销人员高效创作各种营销内容,提高工作效率。用户可根据实际需求选择合适的工具和方法。请注意,内容由 AI 大模型生成,请仔细甄别。
2024-10-30
国内外的文生视频大模型
以下是一些国内外的文生视频大模型: Pika:一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 SVD:若熟悉 Stable Diffusion,可安装其最新插件,在图片基础上直接生成视频,由 Stability AI 开源。 Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但需收费。 Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 Sora:由 OpenAI 开发,可生成长达 1 分钟以上的视频。 国内的文生视频大模型有: Hidreamai:有免费额度,支持文生视频、图生视频,提示词使用中文、英文均可,文生视频支持正向提示词、反向提示词、运镜控制、运动强度控制,支持多尺寸,可生成 5s 和 15s 的视频,网址:https://hidreamai.com//AiVideo 。 ETNA:由七火山科技开发,可根据用户简短的文本描述生成相应的视频内容,生成的视频长度在 8 15 秒,画质可达 4K,最高 38402160,画面细腻逼真,帧率 60fps,支持中文,时空理解,网址:https://etna.7volcanoes.com/ 。 此外,快手文生图大模型可图(Kolors)正式开源。该模型基于数十亿图文对进行训练,支持 256 的上下文 token 数,支持中英双语。相关资源如下: 开源代码:https://github.com/KwaiKolors/Kolors 模型权重:https://huggingface.co/KwaiKolors/Kolors 官方页面:https://kwaikolors.github.io/ 企业页面:https://kolors.kuaishou.com/ 更多的文生视频的网站可以查看:https://www.waytoagi.com/category/38 。请注意,以上内容由 AI 大模型生成,请仔细甄别。
2024-10-24
文生图
以下是关于文生图的相关知识: 简明操作流程: 定主题:明确生成图片的主题、风格和要表达的信息。 选择基础模型 Checkpoint:根据主题选择贴近的模型,如麦橘、墨幽的系列模型。 选择 lora:寻找与生成内容重叠的 lora,以控制图片效果和质量。 ControlNet:可控制图片中特定图像,如人物姿态、生成特定文字等,属于高阶技能。 局部重绘:下篇再教。 设置 VAE:无脑选择 840000 这个即可。 Prompt 提示词:用英文写需求,使用单词和短语组合,用英文半角逗号隔开。 负向提示词 Negative Prompt:用英文写避免产生的内容,单词和短语组合,用英文半角逗号隔开。 采样算法:一般选 DPM++ 2M Karras,也可参考模型作者推荐的采样器。 采样次数:选 DPM++ 2M Karras 时,采样次数在 30 40 之间。 尺寸:根据喜好和需求选择。 提示词写作: Stable Diffusion 的生成方式主要分为文生图和图生图两种,文生图仅通过正反向词汇描述来发送指令。 文本描述分为内容型提示词和标准化提示词,内容型提示词用于描述想要的画面。 采样迭代步数通常控制在 20 40 之间。 常用采样方法有 Euler a、DPM++2S a Karras、DPM++2M Karras、DPM++ SDE Karras、DDIM,有的模型有指定算法,搭配更好。 比例设置为 800:400,高宽比尽量在 512x512 数值附近。 文生图工具: DALL·E:OpenAI 推出,可根据文本描述生成逼真图片。 StableDiffusion:开源,能生成高质量图片,支持多种模型和算法。 MidJourney:图像生成效果好,界面用户友好,在创意设计人群中流行。 更多工具可在 WaytoAGI 网站(https://www.waytoagi.com/category/104 )查看。
2024-10-18
如何训练自己的文生文大模型?
训练自己的文生文大模型是一个复杂且计算量巨大的过程,主要包括以下步骤: 1. 准备资源:需要大量的互联网文本资源,通常约 10TB 的文本,用于模型的训练。 2. 硬件设施:需要一个 GPU 集群,大约 6000 个 GPU,运行约 12 天,费用约 200 万美元。 3. 模型选择与理解:了解不同的模型架构和算法,例如 Llama2 70B 等开源模型,以及其训练方式和相关论文。 4. 数据处理:对获取的大量文本进行处理和压缩,将其转化为适合模型训练的格式。 5. 训练过程:这是一个复杂的计算过程,类似于对互联网的一大块内容进行有损压缩,以获取模型的参数。 需要注意的是,模型训练比模型推理要复杂得多,模型推理可以在 MacBook 上运行,但训练需要强大的计算能力和大量的资源支持。
2024-10-18
文生视频哪家强
目前在文生视频领域,以下是一些表现较为出色的产品: 1. Sora:由 OpenAI 开发,可生成长达 1 分钟以上的视频。 2. Pika:是一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。其新模型在文生视频质量上有大幅提升,例如生成皮克斯风格的镜头效果出色,稳定性高,语义理解强,动作幅度大,在 3D 和 2D 动画效果方面表现优秀。 3. SVD:如果熟悉 Stable Diffusion,可以安装这款最新的插件,在图片基础上直接生成视频,由 Stability AI 开源。 4. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但需要收费。 5. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 更多的文生视频的网站可以查看:https://www.waytoagi.com/category/38 。 以下是 Sora 和其他模型能力的对比表格: |能力分类|能力|SORA|其他| ||||| |底层技术|架构|Transformer|UNet 为主| |底层技术|驱动方式|数据|图片| |对于真实世界的理解/模拟能力|世界理解能力|可理解世界知识|弱| |对于真实世界的理解/模拟能力|数字世界模拟|支持|不支持| |对于真实世界的理解/模拟能力|世界互动能力|支持|不支持| |对于真实世界的理解/模拟能力|3D 运动连贯性|强|弱| |对于真实世界的理解/模拟能力|物体一致性|强|弱| |对于真实世界的理解/模拟能力|物体持久性/连续性|强|弱| |对于真实世界的理解/模拟能力|文本理解|强|一般| |对于真实世界的理解/模拟能力|运动控制|其他|提示词提示词+运动控制工具| |基于模拟的视频编辑能力|无缝连接能力|强|弱| |基于模拟的视频编辑能力|视频到视频编辑|支持|部分| |基于模拟的视频编辑能力|扩展生成视频|前/后|后| |外显视频基础属性|视频时长|60 秒|2~4 秒| |外显视频基础属性|原生纵横比|支持|不支持| |外显视频基础属性|清晰度|1080P|最高 4K| 不同工具适合于不同的使用场景和需求,您可以根据自己的具体情况进行选择。
2024-10-15
文生视频
以下是关于文生视频的相关信息: 文字生成视频的 AI 产品有: 1. Pika:一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 2. SVD:若熟悉 Stable Diffusion,可安装其最新插件,在图片基础上直接生成视频,这是由 Stability AI 开源的 video model。 3. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但需收费。 4. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 5. Sora:由 OpenAI 开发,可以生成长达 1 分钟以上的视频。 更多的文生视频的网站可以查看: PixVerse V2 使用教程: 单个视频生成(8s):8s 的视频生成需要花费 30Credits,5s 的视频生成需要花费 15Credits,且只能使用 PixVerse V2 模型,生成时请注意模型选择。目前仅支持 16:9 画面比例的视频生成。 文生视频:点击“Text to Video”,在“Model”选择“PixVerse V2”,视频时长。PixVerse V2 支持多风格的视频生成,您可以通过在提示词中加入“Anime”,“Realistic”等词语做到这点。 图生视频:点击“Image to Video”,在“Model”选择“PixVerse V2”。图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能,如需要使用上述功能,请将模型切换至“PixVerse V1”。 Sora 的前世今生:从文生图到文生视频,其模型推理策略包括: 1. 文生视频:喂入 DiT 的就是文本 embedding+全噪声 patch。 2. 视频编辑:类似 SDEdit 的做法,在视频上加点噪声(不要搞成全是噪声),然后拿去逐步去噪。 3. 图生视频、视频反推、视频融合:喂入 DiT 的就是文本 embedding(可选)+特定帧用给定图片的 embedding+其他帧用全噪声 patch。
2024-10-15