模态分解算法的详细代码

多模态大模型（MLLM）是一种在统一框架下，集成多种不同类型数据处理能力的深度学习模型，这些数据包括文本、图像、音频和视频等。通过整合多样化的数据，MLLM 能够更全面地理解和解释现实世界中的复杂信息，在面对复杂任务时表现出更高的准确性和鲁棒性。其架构通常包括一个编码器、一个连接器和一个 LLM，还可选择性地在 LLM 上附加一个生成器以生成除文本之外的更多模态。连接器大致可分为基于投影的、基于查询的和基于融合的三类。 Google 的人工智能多模态大模型叫 Gemini，是 Google DeepMind 团队开发的。Gemini 不仅支持文本、图片等提示，还支持视频、音频和代码提示，能够理解和处理几乎任何输入，结合不同类型的信息，并生成几乎任何输出，被称为 Google 迄今为止最强大、最全面的模型，从设计之初就支持多模态，能够处理语言、视觉、听觉等不同形式的数据。 学习多模态大模型很有必要，因为它可以从图像中提取文本，理解图像或视频中发生的事情，识别物体、场景甚至情绪。例如，有人想为猫买新衣服，可给模型提供猫的图片和文本提示，模型会给出适合猫的衣服建议；在学生解决物理问题的例子中，模型能根据包含问题和答案的图像以及文本提示，进行推理并判断答案是否正确。输入可以是文本、图像、音频的混合，顺序很重要。

文本与图像跨模态特征融合技术主要包括以下几种： 1. 图像融合方面： 像素级融合：将多个图像的像素直接进行组合。 特征级融合：对图像的特征进行融合。 决策级融合：基于不同图像的决策结果进行融合。 相关算法：小波变换、基于金字塔变换的多分辨率融合、基于区域的图像融合、基于特征的图像融合等。 2. 目标检测方面： 基于深度学习的目标检测算法：如 RCNN、Fast RCNN、Faster RCNN、YOLO、SSD 等。 基于传统计算机视觉技术的目标检测算法：如 HOG、SIFT、SURF 等。 3. 在 Stable Diffusion 中： 通过 Attention 机制将文本与图片的特征对应起来，例如两个输入先经过 Attention 机制输出新的 Latent Feature，再将新输出的 Latent Feature 与输入的 Context Embedding 做 Attention 机制。 Spatial Transformer 模块在图片对应的位置上融合语义信息，是将文本与图像结合的“万金油”模块。 CrossAttention 模块有助于在输入文本和生成图片之间建立联系，将图像和文本信息关联起来，用于将文本中的情感元素传递到生成图片中。 4. 多模态融合方法： 最初常采用预训练的目标检测器，如 ViLBERT、VisualBERT 和 UnicoderVL，通过提取图像特征和执行交叉模态预训练任务。 随着 ViT 的出现和普及，更多方法利用 ViT 作为图像编码器，强调大规模预训练，例如 Flamingo。 近期向多模态 LLMs 发展，如 LLaVA 和 MiniGPT4，通过融合视觉和语言信息，能够更有效地完成视觉理解相关的任务。

以下是关于 LLMs 文本与图像混合模态训练的相关内容： 多模态大模型总结： 1. InstructBLIP 基于预训练的 BLIP2 模型进行训练，在 MM IT 期间仅更新 QFormer。通过引入指令感知的视觉特征提取和相应的指令，能够提取灵活多样的特征。 2. PandaGPT 是一种开创性的通用模型，能够理解 6 种不同模式的指令并根据指令采取行动，包括文本、图像/视频、音频、热、深度和惯性测量单位。 3. PaLIX 使用混合 VL 目标和单峰目标进行训练，包括前缀完成和屏蔽令牌完成。这种方法对于下游任务结果和在微调设置中实现帕累托前沿都是有效的。 4. VideoLLaMA 引入了多分支跨模式 PT 框架，使 LLMs 能够在与人类对话的同时处理给定视频的视觉和音频内容，使视觉与语言以及音频与语言保持一致。 5. 视频聊天 GPT 是专门为视频对话设计的模型，能够通过集成时空视觉表示来生成有关视频的讨论。 6. Shikra Chen 等人介绍了一种简单且统一的预训练 MMLLM，专为参考对话（涉及图像中区域和对象的讨论的任务）而定制，展示了值得称赞的泛化能力，可以有效处理看不见的设置。 7. DLP 提出 PFormer 来预测理想提示，并在单模态句子数据集上进行训练，展示了单模态训练增强 MM 学习的可行性。 未来发展方向： 最初，多模态融合方法常采用预训练的目标检测器，如 ViLBERT、VisualBERT 和 UnicoderVL，通过提取图像特征和执行交叉模态预训练任务，为后续的图像文本任务奠定基础。随着 ViT 的出现和普及，更多方法开始利用 ViT 作为图像编码器，强调大规模预训练，以提高模型的性能和泛化能力，例如 Flamingo。近期，向多模态 LLMs 的发展趋势是从进行预训练到向指令调整（instruction tuning）转变，例如 LLaVA 和 MiniGPT4，它们通过融合视觉和语言信息，能够更有效地完成视觉理解相关的任务，进一步提升模型对于指令的理解能力，提升零样本性能，使模型能够更好地泛化到未见过的任务和领域。 训练过程： 1. 预训练阶段：通常利用 XText 的数据集来训练输入、输出的 Projector，通过优化损失函数来实现不同模态的对齐，PEFT 有时候用于 LLM Backbone。XText 数据集包含图像文本、视频文本和音频文本，其中图像文本有两种类型：图像文本对和交错图像文本语料库。 2. 多模态微调：是对满足指令微调格式的一系列数据集对预训练好的多模态大模型进行微调。通过这种微调，MMLLM 可以遵循新的指令泛化到没有见过的任务，增强 zeroshot 的能力。MM IT 包括监督微调（SFT）和 RLHF 两部分，目的是为了使得模型符合人类的意图或者偏好，并且增强 MMLLMs 的交互能力。SFT 将 PT 阶段的数据转换为指令aware 的格式，使用 QA 任务作为例子，可采用各种模板。优化目标和预训练相同，SFT 数据可以构造为单轮的 QA 或者多轮的 QA。常用的 SFT 和 RLHF 的数据集见表 4。

以下是关于多模态 agent 的相关信息： 智谱·AI 开源模型列表中的多模态模型： CogAgent18B：基于 CogVLM17B 改进的开源视觉语言模型，拥有 110 亿视觉参数和 70 亿语言参数，支持 11201120 分辨率的图像理解，在 CogVLM 功能的基础上，具备 GUI 图像的 Agent 能力。代码链接：、始智社区。 CogVLM17B：强大的开源视觉语言模型（VLM），基于对视觉和语言信息之间融合的理解，在多模态权威学术榜单上综合成绩优异。代码链接：。 Visualglm6B：开源的支持图像、中文和英文的多模态对话语言模型，语言模型基于。 Han 中提到的 AppAgent：让 AI 模仿人类在手机上操作 APP，通过其模仿能力不断提升，对于之后模仿数据的反利用也有不错的应用场景，例如互联网或 AI 或涉及到原型+UE 的工作都可以在基于模仿数据的基础上进行反推，进而让设计出的产品原型和 UE 交互更优解。AppAgent 可以通过自主学习和模仿人类的点击和滑动手势，能够在手机上执行各种任务。它是一个基于大语言模型的多模态代理，能够处理和理解多种类型的信息（如文本、图像、触控操作等）。 多智能体（MultiAgent）： 定义：由多个自主、独立的智能体（Agent）组成的系统。每个智能体都能够感知环境、进行决策并执行任务，同时它们之间可以进行信息共享、任务协调以及协同行动，以实现整体的目标。 关于 MultiAgent：随着大型语言模型（LLM）的出现，以 LLM 为核心构建的 Agent 系统近期受到广泛关注。目前更常见的框架主要集中在单 Agent 场景下，单 Agent 的核心在于 LLM 与工具的协同配合。同时，越来越多的 Agent 框架开始关注多 Agent 场景，为不同的 Agent 指定不同的角色，并通过协作完成复杂任务。 主要组成部分： 环境（environment）：所有 Agent 处于同一个环境中，环境中包含全局状态信息，Agent 与环境之间存在信息的交互与更新。 阶段（stage）：为完成复杂任务，现有多 Agent 框架通常采用 SOP 思想，将复杂任务分解为多个子任务。 控制器（controller）：可以是 LLM 或预先定义好的规则，主要负责环境在不同 Agent 和阶段之间的切换。 记忆：在单 Agent 中，记忆只包括用户、LLM 回应和工具调用结果等部分。而在多 Agent 框架中，由于 Agent 数量增多，导致消息数量增多，同时每条消息可能需要记录发送方、接收方等字段。

基于多模态大模型的具身智能技术原理主要包括以下方面： 决策模块是具身智能系统的核心，负责接收感知模块的环境信息，进行任务规划和推理分析，以指导行动模块生成动作。早期决策模块主要依赖人工编程规则和专用任务算法，而基于近端策略优化算法和 Qlearning 算法的强化学习方法在具身智能自主导航等任务中展现出更好的决策灵活性，但在复杂环境适应能力等方面存在局限。 大模型的出现极大增强了具身智能体的智能程度，提高了环境感知、语音交互和任务决策能力。具身智能体的大模型是 AIGA，调用机械臂、相机等身体部件，其发展方向是视觉语言动作模型（VLA）和视觉语言导航模型（VLN）。 VLA 输入语言、图像或视频流，输出语言和动作，在统一框架内融合互联网、物理世界和运动信息，实现从自然语言指令到可执行动作指令的直接转换。 VLN 输入语言、图像或视频流，输出语言和移动轨迹，用于统一指令输入框架，使大模型直接生成运动方向、目标物体位置等操作信息。 Google Deepmind 从大模型入手打造具身智能，率先提出 Robotics Transformer 系列模型，如 RT1 等，并不断升级。RT1 基于模仿学习中的行为克隆学习范式，输入短的图像序列和指令，输出每个时间步的动作。随着数据量增加，有从分层模型过渡到端到端模型的趋势。 北大 HMI Lab 团队构建了全新的 RoboMamba 多模态大模型，使其具备视觉常识任务和机器人相关任务的推理能力。 在具身智能应用中，更强调“动态”学习方式，如强化学习、模拟学习等，让机器人与环境不断交互学习，通过奖励机制优化行为，获得最优决策策略，摒弃传统控制论算法物理建模的弊端。

多模态指多数据类型交互，能够提供更接近人类感知的场景。大模型对应的模态包括文本、图像、音频、视频等。例如，Gemini 模型本身就是多模态的，它展示了无缝结合跨模态能力，如从表格、图表或图形中提取信息和空间布局，以及语言模型的强大推理能力，在识别输入中的细微细节、在空间和时间上聚合上下文，以及在一系列视频帧和/或音频输入上应用这些能力方面表现出强大的性能。 跨模态通常指不同模态之间的交互和融合。例如在 GPT4 的相关研究中，探索了视觉和音频等可能出乎意料的模态。智能的一个关键衡量标准是能够从不同的领域或模式中综合信息，并能够跨不同的情境或学科应用知识和技能。

目前最新、效果较好且代码和模型开源的人体姿态估计（动作捕捉算法）相关的研究有以下两篇： 1. 【SD】最强手部识别，controlnet 新预处理器 dw openpose 作者：白马少年｜公众号：【白马与少年】 发布时间：20230813 20:00 原文网址：https://mp.weixin.qq.com/s/_RiKxWy9MXt4DUJIKH5w 介绍：在 controlnet 中，手部识别一直使用的是 openpose 预处理器，但复杂手势有时无法识别。新的 dw openpose 预处理器能完美解决手部识别问题，将其放入特定目录即可使用。但需说明的是，目前这个 DW Pose 只是更精确的 openpose 预处理器，未对 ControlNet 的 openpose 模型做改动。 2. YOLONAS Pose：一个开源的实时人体姿态估计模型 应用场景：基于骨骼标记为基础，适用于智慧体育等场景，可对训练过程的姿态、数据、状态等进行统计和管理。 技术类型：视频、AI 学习模型 简介：主要功能是识别图片和视频中人的姿势，能快速处理图像并实时返回姿态数据，适应不同场景和设备。 主要特点： 实时性能：旨在提供实时的姿态估计，适用于需要即时反馈的应用。 高精度：利用神经网络架构搜索（NAS）提高姿态估计的准确性。 优化的网络结构：NAS 自动测试不同网络结构，找到最优模型。

以下是关于数据、算法、算力的相关知识： 数据：数据的质量对于生成理想的大模型至关重要，早期大模型存在使用不太合规数据等导致乱说的情况。 算法：算法有技术架构的迭代，如英伟达的显卡辅助模型训练。 算力：算力的字面意思是计算能力，可以直接转化成 GPU 就是算力，电脑里的显卡就是 GPU。一张显卡除了 GPU 外，还有一个很重要的参数是显存。GPU 是一种专门在个人电脑、工作站、游戏机和一些移动设备上做图像和图形相关运算工作的微处理器，其诞生源自对 CPU 的减负，使显卡减少了对 CPU 的依赖，并进行部分原本 CPU 的工作。显存的作用是用来存储显卡芯片处理过或者即将提取的渲染数据。GPU 的生产商主要有 NVIDIA 和 ATI。

很抱歉，目前知识库中没有关于监控视频算法的相关内容。但一般来说，监控视频算法涵盖了目标检测、跟踪、行为分析等多个方面。常见的算法包括基于深度学习的目标检测算法，如 YOLO 和 SSD 等，用于识别视频中的人物、车辆等目标；还有基于光流的目标跟踪算法，用于持续跟踪目标的运动轨迹；在行为分析方面，会运用模式识别和机器学习算法来判断异常行为等。如果您能提供更具体的需求，我可以为您提供更有针对性的信息。

以下是一些常见的 AI 算法种类： 分类算法：如 Categorization Algorithms、Classification Model 等。 聚类方法：如 Cluster Resolution Feature Selection、ClusterBased Splitting、Clustering Methods 等。 动态规划：如 Dynamic Programming 。 超参数相关：如 Hyperparameter Opimization、Hyperparameters 。 图像相关：如 Image And Speech Recognition、Image Classification、Image Classifier、Image Recognition 。 其他：如 Combined Gradient、Dual Algorithm、Dual Problem 等。

图像融合是将两个或多个图像合成为一个新的图像，以获取比原始图像更全面和丰富的信息。可通过像素级融合、特征级融合和决策级融合等技术实现，在提高图像质量、增加信息量、遥感图像处理及计算机视觉和机器人技术中均有多种用途。 目标检测是计算机视觉领域的重要任务，旨在图像或视频中准确识别和定位特定对象。随着多模态数据的广泛应用，将不同模态信息融合能进一步提升目标检测的性能和鲁棒性。 图像融合和目标检测均是计算机视觉领域的重要技术，在多个领域有广泛应用前景和研究价值。 图像融合的大致原理是将多个不同图像合并成新图像以获得更准确、全面的信息，相关算法有小波变换、基于金字塔变换的多分辨率融合、基于区域的图像融合、基于特征的图像融合等。 目标检测的大致原理是在图像中找到特定目标并进行定位和识别，相关算法有基于深度学习的目标检测算法（如 RCNN、Fast RCNN、Faster RCNN、YOLO、SSD 等）、基于传统计算机视觉技术的目标检测算法（如 HOG、SIFT、SURF 等）。

目前在不同业务识别中，常见且有效的 AI 算法包括： 1. 决策树算法：易于理解和解释，能处理多种类型的数据。 2. 随机森林算法：具有较高的准确性和稳定性。 3. 支持向量机算法：在小样本、非线性问题上表现出色。 4. 朴素贝叶斯算法：计算速度快，适用于大规模数据。 5. 神经网络算法：特别是深度学习中的卷积神经网络和循环神经网络，在图像识别、语音识别等领域应用广泛。 具体选择哪种算法，需要根据您的业务特点、数据规模和质量、计算资源等因素综合考虑。

以下是关于写代码的相关信息： GPT4 能够以零样本的方式使用非常高层次的规格，在 HTML 和 JavaScript 中编写一个 3D 游戏。而 ChatGPT 表示可以提供指导，但无法直接编写代码或创建游戏，强调创建此类游戏需要大量编程知识和经验。 有一些可以辅助编程、生成代码和 debug 的 AI 工具，如： GitHub Copilot：由 GitHub 联合 OpenAI 和微软 Azure 团队推出，支持多种语言和 IDE，能快速提供代码建议。 通义灵码：阿里巴巴团队推出，提供多种编程辅助能力。 CodeWhisperer：亚马逊 AWS 团队推出，由机器学习技术驱动，实时提供代码建议。 CodeGeeX：智谱 AI 推出的开源免费工具，基于 130 亿参数的预训练大模型，可快速生成代码。 Cody：代码搜索平台 Sourcegraph 推出，借助强大的代码语义索引和分析能力，了解开发者的整个代码库。 CodeFuse：蚂蚁集团支付宝团队推出的免费 AI 代码助手，基于自研基础大模型微调。 Codeium：由 AI 驱动，通过提供代码建议、重构提示和代码解释来帮助软件开发人员。 更多辅助编程 AI 产品，可查看：https://www.waytoagi.com/category/65 。 此外，有人在 Coze 上通过拖拽组合功能模块和一些配置，再加上少量自己编写的代码和提示词，实现了类似极简版 Perplexity 的功能。

以下是为您整合的相关内容： Ollama 框架： 1. 支持多种大型语言模型，如通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 2. 易于使用，适用于 macOS、Windows 和 Linux 系统，支持 cpu 和 gpu，用户能轻松在本地环境启动和运行大模型。 3. 提供模型库，用户可从中下载不同模型，这些模型有不同参数和大小以满足不同需求和硬件条件，可通过 https://ollama.com/library 查找。 4. 支持用户自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。 5. 提供 REST API 用于运行和管理模型，以及与其他应用程序的集成选项。 6. 社区贡献丰富，包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 7. 安装：访问 https://ollama.com/download/ 进行下载安装。安装完后，确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序，在 linux 上通过 ollama serve 启动），可通过 ollama list 确认。 基于 COW 框架的 ChatBot 实现步骤： 1. COW 是基于大模型搭建的 Chat 机器人框架，将多模型塞进自己的微信里实现方案。 2. 基于张梦飞同学的教程： 。 3. 实现内容： 打造属于自己的 ChatBot（文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等）。 常用开源插件的安装应用。 4. 正式开始前需知： ChatBot 相较于在各大模型网页端使用区别：本实现思路需要接入大模型 API 的方式实现（API 单独付费）。 风险与注意事项： 微信端因非常规使用，有封号危险，不建议主力微信号接入。 只探讨操作步骤，请依法合规使用。 大模型生成的内容注意甄别，确保所有操作均符合相关法律法规要求。 禁止用于任何非法目的。 处理敏感或个人隐私数据时注意脱敏，以防滥用或泄露。 5. 多平台接入：微信、企业微信、公众号、飞书、钉钉等。 6. 多模型选择：GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 7. 多消息类型支持：能处理文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能。 8. 多部署方法：本地运行、服务器运行、Docker 的方式。

以下是一些零编程基础的人可以使用的低代码应用开发工具： 1. Notion 和 Airtable：人们可以用其制作电子表格来管理课程、个人仪表板等，执行复杂操作，但工作托管在云端，需支付订阅费，且自主权受限。 2. Coze：新兴的低代码开发平台，用户无需编程基础，通过自然语言操作和拖拽式工作流，能可视化构建复杂逻辑，搭建 AI 对话机器人，并发布到社交平台和通讯软件上。 3. Bolt․new：用户只需撰写简单提示，它能自动写代码、运行、部署复杂全栈应用，全部在浏览器中完成，无需安装额外软件，但处于 alpha 测试阶段，可能存在问题，目前仅支持小到中型仓库。

以下是使用已公布的源代码拥有一个私人 AI 的详细步骤，适合小白操作，并列出所需的硬件设施： 硬件设施： 云服务器 步骤： 1. 利用云服务器，在宝塔面板的终端安装相关命令。可通过以下链接获取详细信息：https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose 。这些命令在宝塔面板的终端安装，安装的 dockercompose 文件位于 /root/dify/docker 目录下。 2. 检查运行情况，使用 docker compose ps 命令，如果 nginx 容器无法运行，可能是 80 端口被占用。将终端输出的代码粘贴给 AI ，按照 AI 的方法检查谁占用了端口，并停止占用进程。确保每一步成功后再进行下一步，可将代码复制询问 AI 以确认。 3. 在浏览器地址栏输入公网 IP（可在腾讯云服务器或宝塔面板地址栏查看，去掉后面的:8888），随便填写邮箱密码建立一个知识库，在知识库中选择设置。 4. 选择模型，国内模型通常有免费额度，例如智谱 AI 。点击设置，从智谱 AI 获取钥匙，进入智谱官网用手机号注册，添加 API keys 并复制。查看免费额度（智谱在资源包管理中查看，赠送 500 万一个月）。 5. 回到之前的页面，复制钥匙并保存，随便创建一个应用。 6. 可以先选择智谱 glm4 进行测试，聊两句看是否有回应，然后点击发布。 7. 点击 api 秘钥，创建一个并复制。

目前已公布的源代码种类繁多，要利用其拥有一个私人 AI 并非简单直接的过程，且需要一定的技术知识和经验。 一般来说，以下是大致的步骤： 1. 选择合适的源代码：根据您的需求和技术能力，从众多已公布的源代码中选择适合的项目。 2. 环境搭建：安装所需的开发工具、编程语言和相关依赖库。 3. 数据准备：收集和整理适合训练和优化模型的数据。 4. 代码理解与修改：深入理解所选源代码的结构和逻辑，根据您的需求进行必要的修改和优化。 5. 训练模型：使用准备好的数据对模型进行训练。 6. 评估与优化：对训练好的模型进行评估，根据评估结果进行进一步的优化。 关于硬件设施，Jetson Orin Nano 是一款性能不错的嵌入式计算设备。它可以支持多种模型，例如常见的深度学习模型如卷积神经网络（CNN）、循环神经网络（RNN）等。但具体能使用哪些模型，还取决于模型的规模、计算需求以及您对性能和资源的要求。

以下是关于生成记忆卡片和 SVG 卡片的相关信息： 卡片类的应用被定义为词生卡片，如李继刚的《汉语新解》、一泽的《名片设计》、云中江树的《AI 简历》等，都是通过给大模型优化过的 Prompt，让其生成 HTML 代码或 SVG 代码，再通过浏览器渲染效果。 把提示词丢给 Claude ，如在 Poe 平台上的 Claude 模型，大概率会直接输出 SVG 代码，但对于子步骤是否执行等情况难以知晓。Andrej Karpathy 认为，模型需要 tokens 来思考，如果大语言模型未将思考过程外化，则几乎等于没思考。 甲木介绍了让 Claude 生成古诗词卡片的方法，流程包括输入 Prompt 、用户输入主题和风格，AI 输出最终结果。获取提示词已开源，创作过程主要是根据给定主题和方向生成匹配的中国古诗词，创建设计感强烈、富有中国传统美学的 SVG 卡片展示诗词，并提供相关信息，还支持根据用户提供的主题和方向生成对应语境的 prompt 并配图生成 SVGCard 。但对于“逼格高”的看法因人而异，可将选择权交给 AI 。

以下是一些可将复杂任务分解为简单子任务的 AI 工具和相关策略： OpenAI 官方指南中提到，对于需要大量独立指令集来处理不同情况的任务，可以首先对查询类型进行分类，并使用该分类来确定需要的指令。例如，在客户服务应用程序中，将查询分类为计费、技术支持、账户管理或一般查询等主要类别，并进一步细分次要类别。 如同软件工程中将复杂系统分解为模块化组件，对 GPT 提交的任务也可如此。复杂任务往往可被重新定义为一系列简单任务的工作流程，早期任务的输出用于构造后续任务的输入。 在 AIAgent 系列中，基于 LLM 的 AI Agent 应首先以适当的方式将复杂任务分解为子任务，然后有效地组织和协调这些子任务，这有赖于 LLM 的推理和规划能力以及对工具的理解。

以下是一些可将复杂任务分解为简单子任务以简化问题的 AI 工具和相关策略： 1. OpenAI 官方指南中提到的策略： 使用意图分类来识别与用户查询最相关的指令。 对于需要很长对话的对话应用程序，总结或过滤之前的对话。 分段总结长文档，并递归构建完整总结。 指示模型在急于得出结论之前先自己找出解决方案。 使用内心独白或一系列查询来隐藏模型的推理过程。 询问模型在之前的回答中是否遗漏了什么。 使用基于嵌入的搜索来实现高效的知识检索。 使用代码执行来进行更准确的计算或调用外部 API。 2. 在 AIAgent 系列中： 基于 LLM 的 AI Agent 应首先以适当的方式将复杂任务分解为子任务，然后有效地组织和协调这些子任务，这有赖于 LLM 的推理和规划能力，当然也包括对工具的理解。

以下几种 AI 在思路分解方面具有一定的优势和特点： 1. 专家 AI：鉴于其神经网络基础，可能通过元学习更快地获得知识。通过构建系统深入探索其内部工作机制，能创造学习的飞轮，未来甚至可能成为下一代专家的教师，帮助我们将复杂问题一部分一部分地拆解研究。 2. ChatGPT：在某些实用向话题，如写代码、解数学题等方面表现相对稳定，能够为解决问题提供一定的思路。 3. 大语言模型：可以加速认知提升，指导学习。人类可以利用其培养结构化思维，将复杂问题分解成更小、更易管理的部分，并通过逻辑和有条理的步骤来解决，从而达到解决整体问题的目的。 需要注意的是，不同的 AI 在不同的场景和任务中表现各异，具体的效果还需根据实际需求和使用情况来评估。

以下是关于将工作任务分解为具体步骤的提示词相关内容： 提示词工程的任务可分解为两个步骤，如 Pryzant 等人（2023）所做：第一步，模型预期检查当前提示词和一批样本；第二步，模型预期编写一个改进的提示词。 对于复杂任务，可将其分解成更小的步骤，并在提示词中明确每个步骤的具体操作，引导模型逐步完成任务。例如，使用以下逐步说明：步骤 1 用户将提供用三重引号引用的文本。用一个句子总结这段文本，并以“摘要：”作为前缀。步骤 2 将步骤 1 的摘要翻译成西班牙语，前缀为“翻译：”。 如果将任务分解，Claude 在执行任务时犯错或遗漏关键步骤的可能性会降低。 为了鼓励模型仔细检查批次中的每个示例，并反思当前提示词的局限性，可指导提案模型回答一系列问题，如输出是否正确、提示词是否正确描述了任务、是否有必要编辑提示词等。 实际操作中，提示词插入整个输入序列的位置是灵活的，可能位于输入文本之前用于描述任务，也可能出现在输入文本之后以激发推理能力。在元提示词中应明确提示词和输入之间的相互作用。

将OKR（目标与关键结果）分解成MVP（最小可行产品）的过程需要一些工具和方法来帮助用户进行有效的规划和执行。以下是一些常用的工具和方法，可以帮助用户实现这一目标： 工具 1. Trello： 功能：Trello 是一个基于看板的项目管理工具，可以帮助团队将OKR分解成具体的任务和MVP。 使用方法：创建一个看板，添加列表如“目标（Objectives）”、“关键结果（Key Results）”、“任务（Tasks）”、“MVP”等，将OKR逐步细化为具体的任务和MVP。 2. Asana： 功能：Asana 是一个强大的任务管理和项目管理工具，适合进行OKR到MVP的分解。 使用方法：在Asana中创建项目，设置目标和关键结果，然后将这些目标进一步分解成具体的任务，确定哪些任务构成MVP。 3. Notion： 功能：Notion 提供灵活的笔记、数据库和任务管理功能，可以用来管理OKR和MVP。 使用方法：创建一个数据库用于管理OKR，设置不同的视图（如任务视图、看板视图等）来跟踪目标的进展，并将关键结果细化为可执行的MVP。 4. Jira： 功能：Jira 是一个广泛使用的项目和问题跟踪工具，特别适合软件开发团队。 使用方法：在Jira中创建项目和用户故事，将OKR分解为具体的故事和任务，确定哪些故事构成MVP，使用sprint和看板视图来管理和跟踪进展。 5. Microsoft Planner： 功能：Planner 是微软提供的一个简单易用的任务管理工具，集成在Office 365中。 使用方法：创建计划板，设置OKR和相应的任务，将这些任务分配到团队成员，并标记出构成MVP的关键任务。 方法 1. SMART原则： 描述：确保每个目标都是具体的（Specific）、可衡量的（Measurable）、可实现的（Achievable）、相关的（Relevant）和有时间限制的（Timebound）。 应用：在定义OKR时，使用SMART原则确保目标清晰明确，有助于进一步分解为MVP。 2. 价值流映射： 描述：一种分析和设计流程的方法，旨在识别和减少浪费，提高效率。 应用：绘制从OKR到交付MVP的整个流程图，识别每一步的价值和瓶颈，将OKR有效地转化为MVP。 3. MoSCoW法则： 描述：一种需求优先级排序的方法，将任务分为必须（Must have）、应该（Should have）、可以（Could have）和不会（Won't have）。 应用：在分解OKR时，使用MoSCoW法则来确定哪些任务是MVP的一部分，确保优先完成关键任务。 4. 用户故事映射： 描述：一种用于管理产品功能和用户故事的技术，帮助团队了解和安排产品的工作。 应用：将OKR转化为用户故事，创建故事地图，确定哪些故事和功能构成MVP，确保MVP能实现核心目标。 这些工具和方法可以帮助团队有效地将高层次的OKR分解为具体的MVP，确保目标的实现和产品的快速迭代。