多模态AI是什么，和深度学习的关系

以下是为您提供的最新 AI 资讯： 新手学习 AI 方面：AI 是快速发展的领域，新的研究成果和技术不断涌现。您可以关注 AI 领域的新闻、博客、论坛和社交媒体，保持对最新发展的了解。考虑加入 AI 相关的社群和组织，参加研讨会、工作坊和会议，与其他 AI 爱好者和专业人士交流。 AIGC Weekly 32 方面： Netflix 列出了一个年薪 90 万美元的机器学习平台产品经理的 AI 产品工作岗位： Shopify 的 AI 助手现已上线。Sidekick 是一个帮助机器人，它知道如何在 Shopify 中执行任何操作提取相关数据、操作新功能或创建报告： Artifact（Ins 创始人做的 AI 新闻浏览软件）推出了自定义内容阅读语音的功能： OpenAI、谷歌、微软和 Anthropic 组建了前沿模型论坛，主要目的是确保 AI 模型的安全发展： Open AI 悄咪咪下线了他们的 ChatGPT 生成内容的检测器： ShowMeAI 周刊 No.12 方面： JENOVA：AI Reddit 搜索& AI Youtube 搜索功能上线，以及为啥这个需求爆了？ Artifacts：与 AI 交互的形式，正在被开发者们玩出新花样 画布：更彻底的 AI 交互革命，从一维走向二维的 LLM 交互新体验 再见，会读！为体面的退场鼓掌！&&源源不断冒出的更多新产品们 AI 编程：江山代有 AI 出，各领风骚数十天，以及 AI Coding 赛道洞察 AI 陪伴：EVE 创始人 VS C.AI 工程师，到底谁才是真正的 AI 陪伴？ AI 原生游戏：1001 Nights 和 Oasis，两个极端，哪种才是真正的 Native 方向？ Kimi：杨植麟身陷诉讼风波，发布数学推理模型 k0math，但是回应不了一切？ Scaling Law：如果此路不通向 AGI，敢问路在何方？ 社群讨论：如何选择创业产品的承载形式：App、网站、小程序

以下是关于“Function Calling in AI”的相关内容： 函数调用为 AI 系统带来了诸多重要优势。以谷歌 Gemini 为例，它简化了用户体验，使用户无需在模型和应用程序间繁琐地复制粘贴信息，过程更流畅直观；显著减少错误发生的可能性，降低输入不正确信息的风险，提高准确性；为更高级的自动化开辟道路，能处理如酒店预订或制定旅行计划等复杂操作，用户通过简单语音命令即可完成一系列复杂任务，重新定义了人与技术的互动方式。 对于 ChatGPT，为让其返回符合要求的 JSON 格式，prompt 的定制尤为重要和复杂。OpenAI 于当地时间 6 月 13 日发布函数调用及其他 API 更新，开发人员可向 gpt40613 和 gpt3.5turbo0613 描述函数，让模型智能输出包含调用函数所需参数的 JSON 对象，这是连接 GPT 能力与外部工具和 API 的新方法。结合函数调用，本地控制返回 JSON 格式，prompt 定制更简单，AI 输出更可控，可根据实际业务需求选择函数查询或 SQL 查询。 在 AI 智能体方面，工具使用或函数调用通常被视为从 RAG 到主动行为的第一个半步，为现代人工智能栈增加新层。工具本质是预先编写的代码组件，执行特定操作，如网页浏览、代码解释和授权认证等。系统向 LLM 呈现可用工具，LLM 选择并构建必要的结构化 JSON 输入触发 API 执行产生最终操作。例如 Omni 的“计算 AI”功能，利用 LLM 直接输出适当的 Excel 函数到电子表格中执行计算并生成复杂查询。但工具使用仅凭自身不能视为“主动性”，逻辑控制流程仍由应用程序预先定义。

以下为您推荐几款国内不错的 AI 视频生成软件： 1. 可灵：在 AI 视频生成领域表现出色，具有以下优势： 卓越的视频生成质量，与国际顶级模型相当，能满足普通用户和专业创作者的需求。 生成速度快，处理效率高于国外同类产品，提升用户工作效率。 对国内用户可访问性强，提供便捷、稳定的使用体验。 2. Hidreamai：有免费额度，支持文生视频、图生视频，提示词使用中文、英文均可，文生视频支持多种控制，可生成 5s 和 15s 的视频。网址：https://hidreamai.com//AiVideo 3. ETNA：由七火山科技开发，可根据简短文本描述生成相应视频内容，生成视频长度 8 15 秒，画质可达 4K，最高 38402160，画面细腻逼真，帧率 60fps，支持中文，时空理解。网址：https://etna.7volcanoes.com/ 此外，还有 Pika、SVD、Runway、Kaiber、Sora 等国内外提供此类功能的产品，您可以根据自己的具体情况进行选择。更多的文生视频网站可查看： 需注意，以上内容由 AI 大模型生成，请仔细甄别。

以下是关于 AI 提示词方法的全面介绍： 优化和润色提示词（Prompt）对于提高文生图、对话等 AI 模型的输出质量非常重要，方法包括： 1. 明确具体的描述：使用更具体、细节的词语和短语来描述想要表达的内容，避免过于笼统。 2. 添加视觉参考：在 Prompt 中插入相关的图片参考，提高 AI 理解意图和细节要求的能力。 3. 注意语气和情感：根据需求，用合适的形容词、语气词等调整 Prompt 的整体语气和情感色彩。 4. 优化关键词组合：尝试不同的关键词搭配和语序，找到最有针对性、最准确表达需求的 Prompt 描述方式。 5. 增加约束条件：为避免 AI 产生意料之外的输出，添加限制性条件，如分辨率、比例等。 6. 分步骤构建 Prompt：将复杂的需求拆解为逐步的子 Prompt，引导 AI 先生成基本结构，再逐步添加细节和完善。 7. 参考优秀案例：研究 AI 社区流行的、被证明有效的 Prompt 范例，借鉴写作技巧和模式。 8. 反复试验、迭代优化：通过多次尝试不同的 Prompt 写法，并根据输出效果反馈持续优化完善，直至达到理想结果。 编写 prompt 时，还应遵循以下建议： 1. 明确任务：清晰定义任务，如写故事时包含背景、角色和主要情节。 2. 提供上下文：若任务需要特定背景知识，提供足够的上下文。 3. 使用清晰的语言：尽量用简单、清晰的语言，避免模糊或歧义词汇。 4. 给出具体要求：如有特定格式或风格要求，在 prompt 中明确指出。 5. 使用示例：如有特定期望结果，在 prompt 中提供示例。 6. 保持简洁：尽量简洁明了，避免过多信息使 AI 模型困惑。 7. 使用关键词和标签：帮助 AI 模型更好地理解任务的主题和类型。 8. 测试和调整：生成文本后仔细检查结果，根据需要调整 prompt，可能需要多次迭代。 在星流一站式 AI 设计工具的 prompt 输入框中： 1. 提示词用于描绘画面。 2. 输入语言方面，星流通用大模型与基础模型 F.1、基础模型 XL 使用自然语言（如一个长头发的金发女孩），基础模型 1.5 使用单个词组（如女孩、金发、长头发），支持中英文输入。 3. 写好提示词的方法包括： 预设词组：小白用户可点击提示词上方官方预设词组进行生图，提示词内容应准确，包含人物主体、风格、场景特点、环境光照、画面构图、画质等，如一个女孩抱着小猫，背景是一面红墙，插画风格、孤独感，高质量。 调整负面提示词：点击提示框下方的齿轮按钮，弹出负面提示词框，负面提示词可帮助 AI 理解不想生成的内容，如不好的质量、低像素、模糊、水印。 利用“加权重”功能：在功能框增加提示词，并进行加权重调节，权重数值越大越优先，也可对已有的提示词权重进行编辑。 辅助功能：包括翻译功能（一键将提示词翻译成英文）、删除所有提示词（清空提示词框）、会员加速（加速图像生图速度，提升效率）。

对于小白学习 AI，可以从以下几个方面开始： 1. 了解 AI 基本概念： 建议阅读「」部分，熟悉 AI 的术语和基础概念，包括人工智能的定义、主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，能找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，比如图像、音乐、视频等，可以根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出自己的作品。 知识库提供了很多大家实践后的作品、文章分享，欢迎实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式，获得对 AI 在实际应用中表现的第一手体验，并激发对 AI 潜力的认识。 记住，学习 AI 是一个长期的过程，需要耐心和持续的努力。不要害怕犯错，每个挑战都是成长的机会。随着时间的推移，您将逐渐建立起自己的 AI 知识体系，并能够在这一领域取得成就。完整的学习路径建议参考「通往 AGI 之路」的布鲁姆分类法，设计自己的学习路径。

以下为您推荐一些常用的 AI 画图应用： 1. Creately 简介：是一个在线绘图和协作平台，利用 AI 功能简化图表创建过程，适合绘制流程图、组织图、思维导图等。 功能：智能绘图功能，可自动连接和排列图形；丰富的模板库和预定义形状；实时协作功能，适合团队使用。 官网：https://creately.com/ 2. Whimsical 简介：专注于用户体验和快速绘图的工具，适合创建线框图、流程图、思维导图等。 功能：直观的用户界面，易于上手；支持拖放操作，快速绘制和修改图表；提供多种协作功能，适合团队工作。 官网：https://whimsical.com/ 3. Miro 简介：在线白板平台，结合 AI 功能，适用于团队协作和各种示意图绘制，如思维导图、用户流程图等。 功能：无缝协作，支持远程团队实时编辑；丰富的图表模板和工具；支持与其他项目管理工具（如 Jira、Trello）集成。 官网：https://miro.com/ 4. Lucidchart 简介：强大的在线图表制作工具，集成了 AI 功能，可以自动化绘制流程图、思维导图、网络拓扑图等多种示意图。 功能：拖放界面，易于使用；支持团队协作和实时编辑；丰富的模板库和自动布局功能。 官网：https://www.lucidchart.com/ 5. Microsoft Visio 简介：专业的图表绘制工具，适用于复杂的流程图、组织结构图和网络图。其 AI 功能可以帮助自动化布局和优化图表设计。 功能：集成 Office 365，方便与其他 Office 应用程序协同工作；丰富的图表类型和模板；支持自动化和数据驱动的图表更新。 官网：https://www.microsoft.com/enus/microsoft365/visio/flowchartsoftware 6. Diagrams.net 简介：免费且开源的在线图表绘制工具，适用于各种类型的示意图绘制。 功能：支持本地和云存储（如 Google Drive、Dropbox）；多种图形和模板，易于创建和分享图表；可与多种第三方工具集成。 官网：https://www.diagrams.net/ 使用 AI 绘制示意图的步骤： 1. 选择工具：根据您的具体需求选择合适的 AI 绘图工具。 2. 创建账户：注册并登录该平台。 3. 选择模板：利用平台提供的模板库，选择一个适合您需求的模板。 4. 添加内容：根据您的需求，添加并编辑图形和文字。利用 AI 自动布局功能优化图表布局。 5. 协作和分享：如果需要团队协作，可以邀请团队成员一起编辑。完成后导出并分享图表。 以下是一些可以绘制逻辑视图、功能视图、部署视图的工具： 1. Lucidchart：流行的在线绘图工具，支持多种图表创建，包括逻辑视图、功能视图和部署视图，用户可使用拖放界面轻松创建架构图。 2. Visual Paradigm：全面的 UML 工具，提供创建各种架构视图的功能，包括逻辑视图（类图、组件图）、功能视图（用例图）和部署视图（部署图）。 3. ArchiMate：开源的建模语言，专门用于企业架构，支持逻辑视图的创建，可与 Archi 工具一起使用，该工具提供图形化界面创建 ArchiMate 模型。 4. Enterprise Architect：强大的建模、设计和生成代码的工具，支持创建多种架构视图，包括逻辑、功能和部署视图。 5. Microsoft Visio：广泛使用的图表和矢量图形应用程序，提供丰富模板用于创建逻辑视图、功能视图和部署视图等。 6. draw.io（现在称为 diagrams.net）：免费的在线图表软件，允许用户创建各种类型的图表，包括软件架构图，支持创建逻辑视图和部署视图等。 7. PlantUML：文本到 UML 的转换工具，通过编写描述性文本自动生成序列图、用例图、类图等，帮助创建逻辑视图。 8. Gliffy：基于云的绘图工具，提供创建各种架构图的功能，包括逻辑视图和部署视图。 9. Archi：免费的开源工具，用于创建 ArchiMate 和 TOGAF 模型，支持逻辑视图的创建。 10. Rational Rose：IBM 的 UML 工具，支持创建多种视图，包括逻辑视图和部署视图。

以下为您推荐几个国内能用的支持多模态交流的 APP 及相关模型： 1. 百度（文心一言）：https://wenxin.baidu.com 2. 抖音（云雀大模型）：https://www.doubao.com 3. 智谱 AI（GLM 大模型）：https://chatglm.cn 4. 中科院（紫东太初大模型）：https://xihe.mindspore.cn 5. 百川智能（百川大模型）：https://www.baichuanai.com/ 6. 商汤（日日新大模型）：https://www.sensetime.com/ 7. MiniMax（ABAB 大模型）：https://api.minimax.chat 8. 上海人工智能实验室（书生通用大模型）：https://internai.org.cn 此外，智谱·AI 开源的多模态模型有： 1. CogAgent18B：基于 CogVLM17B 改进的开源视觉语言模型。拥有 110 亿视觉参数和 70 亿语言参数，支持 11201120 分辨率的图像理解，具备 GUI 图像的 Agent 能力。 代码链接： 模型下载： 2. CogVLM17B：强大的开源视觉语言模型（VLM），在多模态权威学术榜单上综合成绩优异。 代码链接：无 模型下载： 3. Visualglm6B：开源的支持图像、中文和英文的多模态对话语言模型。 代码链接： 模型下载：

以下几家的大模型支持通过手机视频多模态实时交流： 1. PandaGPT：能够理解不同模式的指令并根据指令采取行动，包括文本、图像/视频、音频、热、深度和惯性测量单位。 2. VideoLLaMA：引入了多分支跨模式 PT 框架，使语言模型能够在与人类对话的同时处理给定视频的视觉和音频内容。 3. 视频聊天 GPT：专门为视频对话设计，能够通过集成时空视觉表示来生成有关视频的讨论。 4. NExTGPT：端到端、通用的 anytoany 多模态语言模型，支持图像、视频、音频、文本的自由输入输出。

以下是关于多模态大模型的相关信息： Google 的多模态大模型叫 Gemini，是由 Google DeepMind 团队开发的。它不仅支持文本、图片等提示，还支持视频、音频和代码提示，能够理解和处理几乎任何输入，结合不同类型的信息，并生成几乎任何输出，被称为 Google 迄今为止最强大、最全面的模型，从设计之初就支持多模态，能够处理语言、视觉、听觉等不同形式的数据。 多模态大模型（MLLM）是一种在统一的框架下，集成了多种不同类型数据处理能力的深度学习模型，这些数据可以包括文本、图像、音频和视频等。通过整合这些多样化的数据，MLLM 能够更全面地理解和解释现实世界中的复杂信息，在面对复杂任务时表现出更高的准确性和鲁棒性。其典型架构包括一个编码器、一个连接器和一个 LLM，还可选择性地在 LLM 上附加一个生成器，以生成除文本之外的更多模态。连接器大致可分为基于投影的、基于查询的和基于融合的三类。 有基于多模态大模型给现实世界加一本说明书的应用，例如将手机置于车载摄像机位置，能够实时分析当前地区今年新春的最新流行趋势。在这种架构中，后端采用 llama.cpp 挂载 LLaVA 模型，为应用提供推理服务。同时，部署了一个 Flask 应用用于数据前处理和后处理，提供 Stream 流服务。前端页面采用 HTML5，用于采集画面和用户输入，整体设计以简单高效为主。下载模型 ggml_llavav1.513b，这里选择是 13b 4bit 的模型。BakLLaVA 推理速度更快，但对中文的支持较差，7b 的模型在语义理解方面普遍存在不足，特别是在需要规范数据格式进行交互的场合。对于 function call 和 action 操作，极度依赖模型的 AGI 能力。

CLIP 模型能应用于跨模态检索。以下是关于 CLIP 模型的一些详细信息： 对比语言图像预训练（CLIP）通过将图像和文本转换成固定大小的向量，使它们在一个共同的嵌入空间中对齐来训练模型，对于多模态信息检索和相关任务非常重要。 在 Stable Diffusion 中，CLIP 模型作为文生图模型的文本编码模块，决定了语义信息的优良程度，影响图片生成的多样性和可控性。它包含 Text Encoder 和 Image Encoder 两个模型，分别用于提取文本和图像的特征，可灵活切换，且具有强大的 zeroshot 分类能力。其庞大的图片与标签文本数据的预训练赋予了其强大的能力，把自然语言领域的抽象概念带到了计算机视觉领域。 自 2021 年以来，多模态模型成为热门议题，CLIP 作为开创性的视觉语言模型，将 Transformer 架构与视觉元素相结合，便于在大量文本和图像数据集上进行训练，可在多模态生成框架内充当图像编码器。 为解决 CLIP 模型在仅文本任务中表现不如专门用于文本的模型，导致信息检索系统处理仅文本和多模态任务时效率低下的问题，已提出新颖的多任务对比训练方法训练相关模型，使其在文本图像和文本文本检索任务中达到最先进性能。

以下是关于多模态提取图片中表格信息的相关内容： 在多模态任务和评测方法方面，有以下任务及相关信息： |任务名称|简称|数据集名称|数据集大小|指标计算| |||||| |Video Action Recognition|VAR|UCF101|101 类共 13K 个视频片段|Accuracy| |||HMDB51|51 类共 7K 个视频片段|Accuracy| |||Moments in Time|339 类共 1M 个视频片段|Accuracy| |||Kinetics400|400 类且每类 400 个视频片段|Accuracy| |||Kinetics600|600 类且每类 600 个视频片段|Accuracy| |||Kinetics700|700 类且每类 700 个视频片段|Accuracy| |Image Text Retrival|Retrival 任务|Flickr30K|31K 张图片，155K 文字描述|R@1| |||MSCOCO|113K 张图片，567K 文字描述|R@1| |Image Caption|Caption 任务|Visual Genome|108K 图片，5.41M 文字描述|CIDEr| |||CC3M|3.01M 对图片和文字描述|CIDEr| |||SBU|867K 对图片和文字描述|CIDEr| |||LAION400M|400M 图片|CIDEr| |Visual QA|VQA|VQAv2|265K 张图片|Accuracy| |||VisDial|130K 图片|Accuracy| Gemini 模型本身是多模态的，展示了无缝结合跨模态能力，例如从表格、图表或图形中提取信息和空间布局，以及语言模型的强大推理能力。 GPT4V 在视觉编码能力方面，图 46 进一步展示了其将输入图像中的表格重构为 MarkDown/LaTex 代码。

Google 的多模态大模型叫 Gemini，是由 Google DeepMind 团队开发的。它不仅支持文本、图片等提示，还支持视频、音频和代码提示，能够理解和处理几乎任何输入，结合不同类型的信息，并生成几乎任何输出，被称为 Google 迄今为止最强大、最全面的模型，从设计之初就支持多模态，能够处理语言、视觉、听觉等不同形式的数据。 以下是 26 个多模态大模型的部分介绍： XLLM 陈等人扩展到包括音频在内的各种模式，并表现出强大的可扩展性。利用 QFormer 的语言可迁移性，XLLM 成功应用于汉藏语境。 VideoChat 开创了一种高效的以聊天为中心的 MMLLM 用于视频理解对话，为该领域的未来研究制定标准，并为学术界和工业界提供协议。 InstructBLIP 基于预训练的 BLIP2 模型进行训练，在 MM IT 期间仅更新 QFormer。通过引入指令感知的视觉特征提取和相应的指令，该模型使得能够提取灵活多样的特征。 PandaGPT 是一种开创性的通用模型，能够理解 6 不同模式的指令并根据指令采取行动：文本、图像/视频、音频、热、深度和惯性测量单位。 PaLIX 使用混合 VL 目标和单峰目标进行训练，包括前缀完成和屏蔽令牌完成。事实证明，这种方法对于下游任务结果和在微调设置中实现帕累托前沿都是有效的。 VideoLLaMA 张引入了多分支跨模式 PT 框架，使 LLMs 能够在与人类对话的同时同时处理给定视频的视觉和音频内容。该框架使视觉与语言以及音频与语言保持一致。 随着 ChatGPT 的蓬勃发展，大型模型正深刻地影响着各个行业。多模态技术作为行业前沿突飞猛进，呈现出一统计算机视觉（CV）和自然语言处理（NLP）的势头。有一款基于多模态大型模型的应用能够迅速解释现实世界，将手机置于车载摄像机位置，能实时分析当前地区今年新春的最新流行趋势。该应用后端采用 llama.cpp 挂载 LLaVA 模型，为应用提供推理服务。同时，部署了一个 Flask 应用用于数据前处理和后处理，提供 Stream 流服务。前端页面采用 HTML5，用于采集画面和用户输入，整体设计以简单高效为主。

以下是为您推荐的关于每日新闻、财经金融类新闻的相关资源： AI 新闻写作工具： Copy.ai：功能强大，提供丰富的新闻写作模板和功能，可快速生成新闻标题、摘要、正文等内容，节省写作时间并提高效率。 Writesonic：专注于写作，提供新闻稿件生成、标题生成、摘要提取等功能，智能算法可根据用户信息生成高质量新闻内容，适合新闻写作和编辑人员。 Jasper AI：人工智能写作助手，虽主打博客和营销文案，也可用于生成新闻类内容，写作质量较高，支持多种语言。 金融服务相关： 东方财富网投资分析工具：利用 AI 技术分析金融市场数据，为投资者提供投资建议和决策支持，例如根据股票历史走势和市场趋势预测未来走势。 其他领域的 AI 应用： 图虫网：AI 摄影作品销售平台，利用图像识别、数据分析技术，为摄影爱好者提供作品销售渠道。 网易云音乐音乐人平台：AI 音乐作品发布平台，利用音频处理、数据分析技术，为音乐创作者提供作品发布、推广、版权管理等服务。 好好住 APP：AI 家居用品推荐平台，利用数据分析、自然语言处理技术，根据用户需求推荐家居用品。 需要注意的是，以上内容由 AI 大模型生成，请仔细甄别。同时，生成式 AI 还能在金融服务业中帮助改进内部流程，如在预测方面编写公式和查询、发现模式并建议输入，在报告方面自动创建内容并调整，在会计和税务方面综合总结并提供可能答案，在采购和应付账款方面自动生成和调整相关文件及提醒。

以下是一些深度整理会议纪要的提示词示例： 作为 CEO 助理秘书，专注于整理和生成高质量的会议纪要，确保会议目标和行动计划清晰明确。 角色：CEO 助理秘书 作者：李继刚 版本：0.1 LLM：GPT4 插件：无 描述：专注于整理和生成高质量的会议纪要，确保会议目标和行动计划清晰明确。 注意事项：请务必准确和全面地记录会议内容，使每个参会人员都能明确理解会议的决定和行动计划。在整理会议纪要过程中，需严格遵守信息准确性，不对用户提供的信息做扩写，仅做信息整理，将一些明显的病句做微调。 链接地址： 将会议浓缩成简明摘要，包括讨论主题、重点内容、行动事项。 注意：这个是 API 里的 system prompt 。您的任务是审查提供的会议记录，并创建一个简明扼要的总结，捕捉重要信息，重点关注会议期间分配给特定个人或部门的关键要点和行动项目。使用清晰专业的语言，并使用适当的格式（如标题、小标题和项目符号）以逻辑的方式组织总结。确保总结易于理解，并提供会议内容的全面但简洁的概述，特别注重清楚地指出每个行动项目的负责人。

深度学习是源于新方法和策略的概念，旨在克服梯度消失问题以生成深层非线性特征层次，从而能够训练具有数十层非线性层次特征的体系结构。2010 年早期的研究表明，结合 GPUs 和激活函数能提供更好的梯度流，足以训练深层结构。深度学习不仅与学习深度非线性层次特征有关，还与学习检测序列数据中非常长的非线性时间依赖性有关。长短时记忆循环神经网络允许网络收集过去几百个时间步的活动以做出准确预测，自 2013 年以来其使用量迅速增长，与卷积网络一起构成了深度学习的两大成功案例之一。 Geoffrey Hinton 从高中时期就对大脑工作原理的相关理论着迷，并在求学期间继续对神经网络进行探索，经过三十多年的努力，将深度学习从边缘课题发展成为 Google 等网络巨头仰赖的核心技术。如今，包括 Hinton 在内的一些学者在互联网上大有名气，他们为各大公司使用深度学习技术改进相关工具做出了贡献。 此外，关于深度学习背后的深层数学，推荐 Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 合著的《深度学习》一书，该书可在 https://www.deeplearningbook.org/ 上获取。

神经网络和深度学习有着丰富的发展历史： 1. 1958 年感知机神经网络诞生。 2. 70 年代经历了人工智能寒冬。 3. 1986 年 BP 算法让神经网络再度流行。 4. 尽管取得了一些成功，但在人工智能寒冬期间，用于神经网络研究的资金很少，人工智能一词近乎成为伪科学的代名词。 5. 1997 年，Hochreiter 和 Schmidhuber 为递归神经网络开发了长短期记忆（LSTM），但在当时被忽视。 6. 随着计算机变得更快和图形处理单元（GPU）的引入，神经网络逐渐与支持向量机相竞争。 7. 训练大型、深层网络存在梯度消失问题，解决方法包括逐层预训练，如 Schmidhuber 于 1992 年为递归神经网络开发的预训练方法，以及 Hinton 和 Salakhutdinov 于 2006 年为前馈网络开发的预训练方法。1997 年提出的长短期记忆（LSTM）也是解决递归神经网络中梯度消失问题的方案之一。

对于您提出的是深度研究学习 AI 好还是学习如何使用 AI 好的问题，以下是一些建议： 了解 AI 基本概念： 建议阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 开始 AI 学习之旅： 在「」中，您能找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，还有机会获得证书。 选择感兴趣的模块深入学习： AI 领域广泛，比如图像、音乐、视频等，您可以根据自己的兴趣选择特定的模块进行深入学习。建议一定要掌握提示词的技巧，它上手容易且很有用。 实践和尝试： 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 体验 AI 产品： 与现有的 AI 产品进行互动是学习 AI 的另一种有效方式。尝试使用如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。 如果希望继续精进，对于 AI，可以尝试了解以下作为基础的内容： AI 背景知识： 基础理论：了解人工智能、机器学习、深度学习的定义及其之间的关系。 历史发展：简要回顾 AI 的发展历程和重要里程碑。 数学基础： 统计学基础：熟悉均值、中位数、方差等统计概念。 线性代数：了解向量、矩阵等线性代数基本概念。 概率论：基础的概率论知识，如条件概率、贝叶斯定理。 算法和模型： 监督学习：了解常用算法，如线性回归、决策树、支持向量机（SVM）。 无监督学习：熟悉聚类、降维等算法。 强化学习：简介强化学习的基本概念。 评估和调优： 性能评估：了解如何评估模型性能，包括交叉验证、精确度、召回率等。 模型调优：学习如何使用网格搜索等技术优化模型参数。 神经网络基础： 网络结构：理解神经网络的基本结构，包括前馈网络、卷积神经网络（CNN）、循环神经网络（RNN）。 激活函数：了解常用的激活函数，如 ReLU、Sigmoid、Tanh。

以下是关于 AI 生成类产品的深度学习路径： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，比如图像、音乐、视频等，可根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。 通过与这些 AI 产品的对话，获得对 AI 在实际应用中表现的第一手体验，并激发对 AI 潜力的认识。 此外，您还可以通过以下课程深入学习： 谷歌生成式 AI 课程：此学习路径将引导您完成有关生成式 AI 产品和技术的精选内容集合，从大型语言模型的基础知识，到如何在 Google Cloud 上创建和部署生成式 AI 解决方案。链接：https://www.cloudskillsboost.google/journeys/118 。 【AI 学习笔记】小白如何理解技术原理与建立框架（通俗易懂内容推荐）： 视频一主要回答了什么是 AI 大模型，原理是什么。 概念：生成式 AI 生成的内容，叫做 AIGC 。 概念与关系：相关技术名词： AI——人工智能 。 机器学习——电脑找规律学习，包括监督学习、无监督学习、强化学习 。 监督学习——有标签的训练数据，算法的目标是学习输入和输出之间的映射关系。包括分类和回归 。 无监督学习——学习的数据没有标签，算法自主发现规律。经典任务包括聚类，比如拿一堆新闻文章，让模型根据主题或内容特征分成具有相似特征的组 。 强化学习——从反馈里学习，最大化奖励或最小化损失；类似训小狗 。 深度学习——一种方法，参照人脑有神经网络和神经元（因为有很多层所以叫深度）。神经网络可以用于监督学习、无监督学习、强化学习 。 生成式 AI——可以生成文本、图片、音频、视频等内容形式 。 LLM——大语言模型。对于生成式 AI，其中生成图像的扩散模型就不是大语言模型；对于大语言模型，生成只是其中一个处理任务，比如谷歌的 BERT 模型，可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类 。 技术里程碑——2017 年 6 月，谷歌团队发表论文《Attention is All You Need》。这篇论文首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。GPT 含义：Transformer 是关键。Transformer 比 RNN 更适合处理文本的长距离依赖性。

以下是关于 AI 提示词使用方法的详细介绍： 一、什么是提示词 提示词用于描绘您想要的画面。星流通用大模型与基础模型 F.1、基础模型 XL 使用自然语言（如一个长头发的金发女孩），基础模型 1.5 使用单个词组（如女孩、金发、长头发），并且支持中英文输入。启用提示词优化后，能帮您扩展提示词，更生动地描述画面内容。 二、如何写好提示词 1. 预设词组：小白用户可以点击提示词上方官方预设词组进行生图。 2. 提示词内容准确：包含人物主体、风格、场景特点、环境光照、画面构图、画质等，比如：一个女孩抱着小猫，背景是一面红墙，插画风格、孤独感，高质量。 3. 调整负面提示词：点击提示框下方的齿轮按钮，弹出负面提示词框。负面提示词可以帮助 AI 理解我们不想生成的内容，比如：不好的质量、低像素、模糊、水印。 4. 利用“加权重”功能：可在功能框增加提示词，并进行加权重调节，权重数值越大，越优先。还可以对已有的提示词权重进行编辑。 三、辅助功能 1. 翻译功能：一键将提示词翻译成英文。 2. 删除所有提示词：清空提示词框。 3. 会员加速：加速图像生图速度，提升效率。 四、关于 Prompt 的语法规则 1. Prompt 是一段指令，用于指挥 AI 生成您所需要的内容，每个单独的提示词叫 tag（关键词）。 2. 支持的语言为英语（不用担心英语不好的问题，），另外 emoji 也可以用。 3. 语法规则：用英文半角符号逗号,来分隔 tag。注意逗号前后有空格或者换行都不影响效果。改变 tag 权重有两种写法：括号，权重就重 1.1 倍，每加一层括号就反向减弱 1.1 倍。还可以进行 tag 的步数控制。 如果您是新手学习 AI，建议先了解 AI 基本概念，阅读「」中找到适合初学者的课程。选择感兴趣的模块深入学习，掌握提示词技巧，通过实践和尝试巩固知识，体验如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 产品。

如果您想学习 AI 编程，可以从以下几个方面开始，并参考以下资源： 开始的方向： 1. 明确编程目标：确定您希望通过 AI 编程实现的具体任务或项目。 2. 了解 AI 编程的边界和限制：明白在何种情况下需要编程，何种情况下可以利用现有工具和资源。 学习资源： 1. 掌握 Python 基础： 基本语法：包括变量命名、缩进等规则。 数据类型：如字符串、整数、浮点数、列表、元组、字典等。 控制流：学会使用条件语句（if）、循环语句（for 和 while）控制程序执行流程。 函数：包括定义和调用函数、理解参数和返回值、掌握作用域和命名空间。 模块和包：学会导入模块和使用包来扩展功能。 面向对象编程（OOP）：了解类和对象、属性和方法、继承和多态。 异常处理：理解异常及如何处理程序中的错误。 文件操作：掌握文件读写和文件与路径操作。 2. 在线教程和课程：例如“写给不会代码的你：20 分钟上手 Python + AI”。 3. 项目实践：通过实际项目来巩固所学知识。 开发建议： 1. 对于复杂的项目，如 P2P 传输程序，要充分考虑项目初始化、环境配置、库的选择等。 2. 对于 Rust 环境配置，可通过官网获取安装指南，使用 rustup 工具管理 Rust 版本。使用 cargo new <project_name>创建新的 Rust 项目，生成基本文件结构和 Cargo.toml 文件来管理项目依赖。 在学习过程中，优先寻找线上工具、插件和本地应用，先找现成的开源工具和付费服务，只有在没有现成方案时再考虑自己编程。

人工智能和机器学习的区别主要体现在以下几个方面： 1. 范畴：机器学习是人工智能的一个子领域。 2. 学习方式：机器学习通过输入数据训练模型，使计算机在没有明确编程的情况下学习。模型可以是监督的（使用标记的数据从过去的例子中学习并预测未来的值），也可以是无监督的（专注于发现原始数据中的模式）。 3. 复杂程度：深度学习是机器学习的一个子集，使用人工神经网络处理更复杂的模式，可使用标记和未标记的数据进行半监督学习。 4. 应用目的：人工智能是一个更广泛的目标，旨在让机器展现智慧；机器学习则是实现这一目标的一种手段，让机器自动从资料中找到公式。 5. 技术手段：生成式人工智能是人工智能的一个子集，试图学习数据和标签之间的关系以生成新内容；而机器学习主要通过训练模型来实现学习和预测。

以下是为新手和中学生提供的学习 AI 的建议： 新手学习 AI： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，比如图像、音乐、视频等，可根据兴趣选择特定模块深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习后，实践是巩固知识的关键，尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解其工作原理和交互方式。 中学生学习 AI： 1. 从编程语言入手学习： 从 Python、JavaScript 等编程语言开始，学习编程语法、数据结构、算法等基础知识，为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台： 使用 ChatGPT、Midjourney 等 AI 生成工具，体验 AI 的应用场景。 探索面向中学生的 AI 教育平台，如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识： 了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。 学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目： 参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。 尝试利用 AI 技术解决生活中的实际问题，培养动手能力。 5. 关注 AI 发展的前沿动态： 关注 AI 领域的权威媒体和学者，了解 AI 技术的最新进展。 思考 AI 技术对未来社会的影响，培养对 AI 的思考和判断能力。 记住，学习 AI 是一个长期的过程，需要耐心和持续的努力。不要害怕犯错，每个挑战都是成长的机会。随着时间的推移，您将逐渐建立起自己的 AI 知识体系，并能够在这一领域取得成就。完整的学习路径建议参考「通往 AGI 之路」的布鲁姆分类法，设计自己的学习路径。

以下是为您提供的从 0 开始学习 AI 的建议： 1. 了解 AI 基本概念： 建议阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，您将找到一系列为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛（比如图像、音乐、视频等），您可以根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。 通过与这些 AI 产品的对话，您可以获得对 AI 在实际应用中表现的第一手体验，并激发您对 AI 潜力的认识。 记住，学习 AI 是一个长期的过程，需要耐心和持续的努力。不要害怕犯错，每个挑战都是成长的机会。随着时间的推移，您将逐渐建立起自己的 AI 知识体系，并能够在这一领域取得自己的成就。完整的学习路径建议参考「通往 AGI 之路」的布鲁姆分类法，设计自己的学习路径。