世界生成式AI视频挑战

GenAI 全称 Generative AI，即生成式 AI。它是一种基于深度学习技术，利用机器学习算法从已有数据中学习并生成新的数据或内容的 AI 应用。其工作原理是通过大规模的数据集训练深度神经网络模型，学习各种数据的规律和特征，从而实现对输入数据的分析、理解和生成。 生成式 AI 为游戏、娱乐和产品设计等应用提供了新颖且有创意的解决方案，如自动写作、虚拟现实、音乐创作等，甚至协助科学研究开辟了新的可能性。目前典型的 GenAI 包括 OpenAI 推出的语言模型 ChatGPT、GPT4、图像模型 DALLE 以及百度推出的文心一言、阿里云推出的通义千问等。 虽然生成式 AI 是一种非常强大的技术，能够应用于诸多专业领域，但在数据处理过程中存在多重潜在合规风险，如未经授权收集信息、提供虚假信息、侵害个人隐私等。 利用 GenAI 创建的内容即 AIGC（全称 AIGenerated Content），AIGC 主要分为语言文本生成、图像生成和音视频生成，可应用于音乐生成、游戏开发和医疗保健等领域。在公众传播层面，GenAI 是相对科学的表述，涵盖了 LLM 和 AIGC 等概念。

您可以在以下网址学习李宏毅的《生成式 AI 导论 2024》课程：https://www.youtube.com/watch?v=AVIKFXLCPY8 课程目录如下： 第 0 講：課程說明（2024 年 2 月 24 日） 第 1 講：生成式 AI 是什麼？（2024 年 2 月 24 日） 第 2 講：今日的生成式人工智慧厲害在哪裡？從「工具」變為「工具人」（2024 年 3 月 3 日） 第 3 講：訓練不了人工智慧？你可以訓練你自己—神奇咒語與提供更多資訊（2024 年 3 月 3 日） 第 4 講：訓練不了人工智慧？你可以訓練你自己—拆解問題與使用工具（2024 年 3 月 10 日） 待更新…… 该课程的附录内容包括： 一、课程介绍 这是台湾大学李宏毅教授的生成式 AI 课程，主要介绍了生成式 AI 的基本概念、发展历程、技术架构和应用场景等内容。课程共分为 12 讲，每讲约 2 小时。 二、学习目标 通过学习本课程，掌握生成式 AI 的基本概念和常见技术，能够使用相关框架搭建简单的生成式模型，了解生成式 AI 的发展现状和未来趋势。 三、学习内容 1. 什么是生成式 AI 生成式 AI 的定义和分类 生成式 AI 与判别式 AI 的区别 生成式 AI 的应用领域 2. 生成式模型 生成式模型的基本结构和训练方法 生成式模型的评估指标 常见的生成式模型及其优缺点 3. 生成式对话 生成式对话的基本概念和应用场景 生成式对话系统的架构和关键技术 基于生成式模型的对话生成方法 4. 预训练语言模型 预训练语言模型的发展历程和关键技术 预训练语言模型的优缺点 预训练语言模型在生成式 AI 中的应用 5. 生成式 AI 的挑战与展望 生成式 AI 面临的挑战和解决方法 生成式 AI 的未来发展趋势和研究方向 四、学习资源 教材：《生成式 AI 导论 2024》，李宏毅

以下是关于《生成式 AI 导论 2024》李宏毅课程的相关内容： 课程介绍： 这是台湾大学李宏毅教授的生成式 AI 课程，主要涵盖生成式 AI 的基本概念、发展历程、技术架构和应用场景等。课程共 12 讲，每讲约 2 小时。 学习目标： 通过本课程，掌握生成式 AI 的基本概念和常见技术，能够使用相关框架搭建简单的生成式模型，了解其发展现状和未来趋势。 学习内容： 1. 什么是生成式 AI：包括定义和分类，与判别式 AI 的区别，应用领域。 2. 生成式模型：基本结构和训练方法，评估指标，常见模型及其优缺点。 3. 生成式对话：基本概念和应用场景，系统架构和关键技术，基于生成式模型的对话生成方法。 4. 预训练语言模型：发展历程和关键技术，优缺点，在生成式 AI 中的应用。 5. 生成式 AI 的挑战与展望：面临的挑战和解决方法，未来发展趋势和研究方向。 第 1 讲：生成式 AI 是什么 1. 定义：机器产生复杂有结构的物件。 2. AI 和 AGI 的关系：涉及机器学习、深度学习、类神经网络等。 3. 以 ChatGPT 等为例讲解，如 ChatGPT 是文字接龙，语言模型将复杂问题变成分类问题，生成策略采用回归等。 学习资源： 教材为《生成式 AI 导论 2024》，李宏毅。

学习生成式 AI 通常需要以下基础： 1. 数学基础：包括线性代数、概率论、统计学等，这些知识对于理解模型的原理和算法很重要。 2. 编程基础：熟练掌握一种编程语言，如 Python，以便能够实现和操作相关的模型和算法。 3. 机器学习基础：了解监督学习、强化学习、无监督学习等基本概念和方法，因为生成式 AI 与这些领域密切相关。 4. 自然语言处理基础：如果涉及文本生成，需要了解自然语言处理的基本概念，如词向量、语法分析等。 5. 深度学习基础：熟悉神经网络、深度神经网络的结构和训练方法。 6. 数据处理能力：能够收集、清洗、预处理和分析大量的数据。 在生成文本方面，大语言模型使用监督学习不断预测下一个词语，这需要千亿甚至万亿级别的单词数据库。同时，为了有效地使用生成式人工智能，在流程的开始和结束时需要人工参与，人类要向生成模型输入提示才能让其创建内容，创造性的提示通常会产生创造性的输出。 例如，台湾大学李宏毅教授的生成式 AI 课程介绍了其基本概念、发展历程、技术架构和应用场景等内容，包括生成式 AI 的定义和分类、与判别式 AI 的区别、应用领域、生成式模型的结构和训练方法、评估指标、生成式对话的概念和系统架构等。通过学习此类课程，可以掌握生成式 AI 的基本概念和常见技术，能够使用相关框架搭建简单的生成式模型，了解其发展现状和未来趋势。

以下是为您推荐的生成式 AI 工具： 在教育领域： Grammarly：帮助学生克服写作难题，提升写作水平。 Orchard（https://orchard.ink/）：协助学生提升写作能力。 Lex（https://lex.page/~）：辅助学生解决写作方面的问题。 Tome（https://beta.tome.app/）：协助创建演示文稿。 Beautiful.ai（https://www.beautiful.ai/）：帮助创建演示文稿。 了解更多关于。 在游戏领域： Runwayml.com（https://runwayml.com/）：是目前最成功的生成性 AI 工具之一，在一个单一的软件包中汇集了一系列广泛的创作者工具。 在音乐生成领域： Udio（https://www.udio.com/）：由前 Google DeepMind 工程师开发，通过文本提示快速生成符合用户音乐风格喜好的高质量音乐作品。 Suno AI（https://suno.com/）：是一款革命性的人工智能音乐生成工具，通过先进的深度学习技术，能够将用户的输入转化为富有情感且高质量的音乐作品。 请注意，以上内容由 AI 大模型生成，请仔细甄别。

以下是生成式 AI 发展的一些里程碑： 1. 在客户服务领域，OpenAI 的 ChatGPT 等生成式人工智能应用程序在不到一年的时间里掀起了革命。基于大型语言模型的应用程序能以类似人类的方式处理并回答复杂问题，预计其在客户服务领域的融入将经历几个阶段，从人工监督下处理复杂查询，到更独立地处理大多数问题，最终几乎在每个用户旅程中提供支持，使客户服务部门成为灵活、数据驱动的组织，创造差异化的客户体验。 2. 在游戏领域，生成式人工智能的革命将彻底重塑用户生成内容，创造一个任何人都能构建游戏的世界，扩大游戏市场。从 UGC 游戏到人工智能驱动的 UGC 的演变预计会分两个阶段。 3. 在整体的人工智能领域，2010 2020 年是大规模监督学习的十年，为现代人工智能奠定了基础。生成式 AI 由监督学习技术搭建，生成文本时会使用大语言模型，通过不断预测下一个词语来生成新的文本内容，这需要千亿甚至万亿级别的单词数据库。同时，强化学习与无监督学习也是 AI 领域的重要工具。

AI 对小学生学习和生活的影响是多方面的。 在学习方面，AI 带来了新的学习体验和方式。例如，孩子们可以通过与像 ChatGPT 这样的 AI 进行交流和提问，获取各种知识和观点。这不仅能拓宽他们的视野，还能培养他们主动探索和思考的能力。然而，这也需要孩子们具备一定的知识储备作为基础。小朋友学习必要的知识，并将其作为预训练的方式是非常重要的。没有知识的积累，就难以在大脑中形成新的神经网络连接，从而影响创造力和想象力的发展。 在生活中，AI 也有着显著的影响。像迷宫题这样的游戏，借助 AI 技术可以有更多创新和变化。迷宫题能够促进孩子记忆力和认知能力的发展，让孩子在轻松愉快的氛围中学习和成长。过于强调学术知识可能会给孩子带来压力，而适度的游戏则能提供一种平衡，帮助孩子在游戏中学习，在学习中享受乐趣。 此外，有了 AI 之后，孩子们更应该学习团队协作和抗挫能力等情商课程，学习“如何用 AI ”本身也可以成为童年的第一课。总之，AI 为小学生的学习和生活带来了新的机遇和挑战，需要孩子们在掌握必要知识的基础上，合理利用 AI 资源，促进自身的全面发展。

以下是一份较为全面的学习 AI 工具的计划： 一、编程基础 1. 从 Python、JavaScript 等编程语言入手，学习编程语法、数据结构、算法等基础知识，为后续的 AI 学习打下基础。 二、工具和平台体验 1. 尝试使用 ChatGPT、Midjourney 等 AI 生成工具，体验 AI 的应用场景。 2. 探索面向中学生的 AI 教育平台，如百度的“文心智能体平台”、Coze 智能体平台等。 三、AI 基础知识学习 1. 了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。 2. 学习 AI 在教育、医疗、金融等领域的应用案例。 四、实践项目参与 1. 参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。 2. 尝试利用 AI 技术解决生活中的实际问题，培养动手能力。 五、关注前沿动态 1. 关注 AI 领域的权威媒体和学者，了解 AI 技术的最新进展。 2. 思考 AI 技术对未来社会的影响，培养对 AI 的思考和判断能力。 六、利用 AI 进行学科学习 1. 英语学习 利用智能辅助工具如 Grammarly 进行英语写作和语法纠错。 使用语音识别应用如 Call Annie 进行口语练习和发音纠正。 借助自适应学习平台如 Duolingo 获得量身定制的学习计划和个性化内容。 与智能对话机器人如 ChatGPT 进行英语会话练习和对话模拟。 2. 数学学习 七、制定学习计划 1. 首先，明确学习目标或需要解决的问题。 2. 按照顺序询问并收集以下信息：学习目标与个人或职业发展目标的相关性、具体想要学习的内容、如何量化学习进度和成功、目标完成的时间框架、目标是否现实可行。 3. 综合用户提供的信息，形成整体综述。根据收集的信息，制定详细的、分步骤的学习计划，包括每日和每周的学习内容和目标。 推荐使用 GPT4，效果更加稳定，内容质量更高。 考虑到网络问题，也可使用百度的文心 4.0，但文心 4.0 偶尔会不稳定，可酌情使用。 总之，全面系统地从以上多个方面入手，能够帮助您更好地学习 AI 知识和技能。

要去除 AI 味，可以从以下几个方面入手： 1. 对于聊天 AI，使其变得不正经、放肆、幽默、通俗。注意语气的自然化，比如使用语气词嗯、吧、啊、哈哈哈等，让回答更自然、贴近日常对话风格。还要注意口语化词语（相对于书面语）的使用，不过增加网络语言语料库需谨慎，以免生搬硬套带来副作用。 2. 对于睿声生成的配音，若语速慢有 AI 味儿，可使用剪映的音频变速功能加速配音，以消除 AI 味儿并配合视频前段的快节奏。 3. 对于 GPT 的回复，避免其用 1、2、3、4 或“首先、其次、最后”这种模式，可让其扮演特定角色并给出明确输出要求。但这种方法可能换汤不换药，要想让其更有趣，可让它在回复中加点感情，比如用括号补充动作，营造特定环境等。

以下是一些可以建立知识库的 AI 工具和平台： 1. 飞书软件：例如“通往 AGI 之路”，您可以在飞书大群中与机器人对话获取对应的资料。 2. Coze：在“大圣：胎教级教程：万字长文带你使用 Coze 打造企业级知识库”中有相关介绍。 3. Mem：如 https://get.mem.ai/ ，它可以保存组织中每次会议的记录，并在人们开始新项目时主动建议相关的决策、项目或人员，节省时间。 4. GPT：通过 OpenAI 的 embedding API 解决方案，可以搭建基于 GPT API 的定制化知识库，但需要注意其免费版 ChatGPT 一次交互的容量限制。

Notion AI 具有以下功能： 直接在 Notion 中接入 AI 的能力，能让工作更迅速，写作更出色，思考更伟大。 可以在笔记和文档中应用 AI 的力量。 能够实现 AI 数据库自动填充功能。 可以改变知识管理的方式，让人们摆脱繁琐的信息组织工作，用户只需简单地将信息丢到 Notion 中，就可以通过各种方式进行检索。

PopAI 是一款办公效率工具，具有以下功能： 1. 类似 ChatGPT 的聊天功能。 2. 集成了众多工作中可用的效率工具，如 PPT 和流程图生成、提示生成等。 3. 率先集成了 GPT4V 的图像 API 且调教良好，能清晰解释图像相关内容。 4. 具有创新的交互，在回答内容后可进行如翻译为中文、扩写重新排版并添加内容变为一篇文章等“Enrich”操作。 5. “Enrich”操作不仅不是干巴巴的填充，还会配合相关图片，必要时绘制流程图。

以下是一些国内外好用的图生视频模型： 可灵（国内，免费） 网址：https://klingai.kuaishou.com/ 支持文生视频、图生视频。 支持图生视频首尾帧功能。 提示词可使用中文。 文生视频支持正向提示词、反向提示词、运镜控制、时长选择（5s、10s），支持 16:9、9:16、1:1 尺寸。 图生视频除了不可运镜控制以外，其他跟文生视频基本相同。 默认生成 5s 的视频。 ETNA（国内） 网址：https://etna.7volcanoes.com/ 由七火山科技开发的文生视频 AI 模型。 可以根据用户简短的文本描述生成相应的视频内容。 生成的视频长度在 8 15 秒，画质可达到 4K，最高 38402160，画面细腻逼真，帧率 60fps。 文生视频，支持中文，时空理解。 关于可灵的文生视频效果，测试者 Austin 周安鑫进行了以下测试： 1. 场景识别：包括室内和室外，如客厅的沙发、液晶电视、漂亮的波斯猫、超现实主义的蜿蜒河流、茂密森林、灿烂花海、碧绿草坪等。 2. 物体识别：涵盖静态和动态物体，如水晶球、跳动的火焰、翱翔的飞鸟、闪烁的流星、飞溅的水珠等。 3. 人物识别：包括面部和姿态，如一个人笑容灿烂、一个人惊恐愤怒，一位芭蕾舞女孩在冰面上跳舞等。 4. 动作识别：包含基本和复杂动作，如短跑运动员快速奔跑、赛车手驾驶跑车激烈漂移等。 5. 事件检测：有简单和复杂事件，如一位帅哥在喝水、外星文明和地球进行星际大战等。 6. 环境变化：涉及光线和天气，如奇幻的极光舞动变幻、城市写字楼灯光忽明忽暗、闪电交加、乌云密布、台风、大雨等。 7. 多对象场景：包括单一和多对象场景，如 1 个飞行员驾驶战斗机翱翔太空、海军指挥航母战斗群展开激烈战斗等。 8. 特殊场景：有遮挡和非标准场景，如城市大雾遮挡摩天大楼、一边是神秘海底世界，一边是梦幻糖果屋。 9. 细节检测：包含小物体和微表情，如崭新的苹果电脑屏幕上播放电影、瞳孔收缩、脸颊泛红、嘴唇微微颤抖。

以下是关于 AI 创作视频的相关资料： 在人员方面，有以下人员从事与 AI 创作相关的工作： 路西：从事 AI 视频创作。 汪汪汪：制作 AI 视频、AI 图文。 大白光：在生活和工作中出图和视频。 kone：从事 AI 商业实战应用，包括 AI 短片、AI 广告、AI 电影、AI MV 等。 一花一世界：从事视频相关工作。 林旭辉：从事视频制作、电商相关工作。 如果想用 AI 把小说做成视频，一般的制作流程如下： 1. 小说内容分析：使用 AI 工具（如 ChatGPT）分析小说内容，提取关键场景、角色和情节。 2. 生成角色与场景描述：根据小说内容，使用工具（如 Stable Diffusion 或 Midjourney）生成角色和场景的视觉描述。 3. 图像生成：使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作：将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作：利用 AI 配音工具（如 Adobe Firefly）将小说文本转换为语音，添加背景音乐和音效。 6. 视频编辑与合成：使用视频编辑软件（如 Clipfly 或 VEED.IO）将图像、音频和文字合成为视频。 7. 后期处理：对生成的视频进行剪辑、添加特效和转场，以提高视频质量。 8. 审阅与调整：观看生成的视频，根据需要进行调整，比如重新编辑某些场景或调整音频。 9. 输出与分享：完成所有编辑后，输出最终视频，并在所需平台上分享。 请注意，具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外，AI 工具的可用性和功能也可能会随时间而变化，建议直接访问上述提供的工具网址获取最新信息和使用指南。 如果您想参加 filMarathon 全球 AI 电影马拉松大赛，以下是一些学习资料和参赛方式： 剧本创作：人力为主，可参考 图片生成：AI 作图绘画，可参考 视频生成：AI 视频生成，可参考 音频生成： AI 音乐创作，可参考 音效创作指导，可参考 语音合成，可参考 剪辑工具：剪映剪辑，可参考

以下是将图片制作成视频的几种方法： 1. 使用 PixVerse 网站（https://app.pixverse.ai）：涂抹选区，给出相应的运动方向，最后加入配音，剪辑一下即可。 2. 利用快影（需先通过内测申请）： 打开快影，选择 AI 创作。 选择 AI 生成视频。 选择图生视频。 上传处理好的图片，填写想要的互动动作和效果，然后点击生成视频，排队等待生成结束后点击下载。 3. 采用 Midjourney 出图结合 AI 视频软件的方法： 使用 Midjourney 垫图加描述出图。 下载“素材”项里的深度图，打开 MJ 官网（https://www.midjourney.com/）上传深度图。 若图片完美可直接生成视频，若有黑边则需下载图片并用 PS 创成式充填处理黑边。

以下是一些将线上视频转换成文字的应用推荐： 1. Pika：是一款出色的文本生成视频 AI 工具，擅长动画制作，并支持视频编辑。 2. SVD：如果熟悉 Stable Diffusion，可以安装这款最新的插件，能在图片基础上直接生成视频，它是由 Stability AI 开源的 video model。 3. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，但需注意是收费的。 4. Kaiber：视频转视频 AI，能够将原视频转换成各种风格的视频。 5. Sora：由 OpenAI 开发，可以生成长达 1 分钟以上的视频。 更多的相关网站可以查看： 另外，为您推荐在线 TTS 工具 Voicemaker（https://voicemaker.in/），它可将文本转换为各种区域语言的语音，并允许创建自定义语音模型，易于使用，适合为视频制作画外音或帮助视障人士。 以上内容由 AI 大模型生成，请仔细甄别。

以下是一些可以将视频生成脚本的工具和方法： 1. 工具组合： ChatGPT（https://chat.openai.com/）+剪映（https://www.capcut.cn/）：ChatGPT 生成视频小说脚本，剪映根据脚本自动分析出视频所需场景、角色、镜头等要素，并生成对应素材和文本框架，可快速实现从文字到画面的转化，节省时间和精力。 PixVerse AI（https://pixverse.ai/）：在线 AI 视频生成工具，支持将多模态输入（如图像、文本、音频）转化为视频。 Pictory（https://pictory.ai/）：AI 视频生成器，用户提供文本描述即可帮助生成相应视频内容，无需视频编辑或设计经验。 VEED.IO（https://www.veed.io/）：提供 AI 图像生成器和 AI 脚本生成器，帮助从图像制作视频，并规划内容。 Runway（https://runwayml.com/）：AI 视频创作工具，能将文本转化为风格化的视频内容，适用于多种场景。 2. 将小说做成视频的制作流程： 小说内容分析：使用 AI 工具（如 ChatGPT）提取关键场景、角色和情节。 生成角色与场景描述：根据小说内容，使用工具（如 Stable Diffusion 或 Midjourney）生成视觉描述。 图像生成：使用 AI 图像生成工具创建角色和场景的图像。 视频脚本制作：将提取的关键点和生成的图像组合成视频脚本。 音频制作：利用 AI 配音工具（如 Adobe Firefly）将小说文本转换为语音，添加背景音乐和音效。 视频编辑与合成：使用视频编辑软件（如 Clipfly 或 VEED.IO）将图像、音频和文字合成为视频。 后期处理：对生成的视频进行剪辑、添加特效和转场，提高视频质量。 审阅与调整：观看生成的视频，根据需要调整，如重新编辑某些场景或调整音频。 输出与分享：完成编辑后，输出最终视频并在所需平台分享。 请注意，具体操作步骤和所需工具可能因项目需求和个人偏好不同而有所差异。此外，AI 工具的可用性和功能可能会随时间变化，建议直接访问工具网址获取最新信息和使用指南。

以下是一些可以将公众号文章转成视频的工具： ：一个使用人工智能将博客文章转化为播客的工具。用户只需将博客文章复制粘贴到该工具中，几分钟内就能生成一个有声播客。该工具还提供了免费试用和多个价格层级选择。用户无需具备技术知识，可以轻松地将播客发布到 Spotify 等平台，吸引更多的听众。 如果您想用 AI 把小说做成视频，以下是一些相关工具及网址： Stable Diffusion（SD）：一种 AI 图像生成模型，可以基于文本描述生成图像。网址： Midjourney（MJ）：另一个 AI 图像生成工具，适用于创建小说中的场景和角色图像。网址： Adobe Firefly：Adobe 的 AI 创意工具，可以生成图像和设计模板。网址： Pika AI：文本生成视频的 AI 工具，适合动画制作。网址： Clipfly：一站式 AI 视频生成和剪辑平台。网址： VEED.IO：在线视频编辑工具，具有 AI 视频生成器功能。网址： 极虎漫剪：结合 Stable Diffusion 技术的小说推文视频创作提效工具。网址： 故事 AI 绘图：小说转视频的 AI 工具。网址： 以下是一些文字生成视频的 AI 产品： Pika：一款非常出色的文本生成视频 AI 工具，擅长动画制作，并支持视频编辑。 SVD：如果熟悉 Stable Diffusion，可以直接安装这款最新的插件，在图片基础上直接生成视频。这是由 Stability AI 开源的 video model。 Runway：一款老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，不过需要注意的是，Runway 是收费的。 Kaiber：一款视频转视频 AI，能够将原视频转换成各种风格的视频。 Sora：由 OpenAI 开发，可以生成长达 1 分钟以上的视频。 更多的文生视频的网站可以查看这里： 内容由 AI 大模型生成，请仔细甄别。

AI 要继续向前发展，面临着以下主要的技术难点和挑战： 1. 快速迭代带来的压力：AI 迭代速度极快，如一年或两年迭代的内容，当下一个月就可能发生变化，这使得相关从业者跟进步伐较为吃力。 2. 基建需求：如在 2024 年需搞好大模型、算力等方面的基建工作。 3. 应用端的发展：需要促进应用端的繁荣。 4. 技术推广：虽然在特定游戏环境中 AI 取得显著成果，但将其推广到更广泛、复杂的现实世界应用面临诸多挑战。例如，游戏环境通常封闭可控，而现实世界充满未知和不确定性；游戏中的胜利条件明确一致，而现实生活中的目标可能多样、冲突或随时间变化。 5. 共创模式的挑战：包括协调复杂、知识产权保护、利益分配、责任归属与质量控制等。