智能鸿沟和国际协作写认识理解、研究方向、未来

大模型和小模型的协作方式主要体现在以下几个方面： 在人机协同模式方面： 1. 模式一：以人为主导，大模型提供建议（copilot 阶段），如同副驾驶，开车时提供建议，决定权在人手上。 2. 模式二：人和大模型协同工作，合作完成同一工作（embedding 阶段），实际工作场景中，一些小环节可由大模型完成，融入工作流程提高效率。 3. 模式三：人指挥大模型工作（数字员工阶段），但此阶段目前少见，大模型还不能完全独立完成具体工作，可能是工程问题或自身能力欠缺。 在 AI 绘图方面：大模型如同主菜或主食，小模型（如 Lora）如同佐料或调料包，Lora 能帮助快速实现特定风格或角色的绘制。并且大模型和 Lora 要基于同一个基础模型才能搭配使用，以生成各种风格的图片。 个人观点认为，当下应努力让大模型深度融入工作流，而数字员工阶段尚不成熟，可让其他大厂和学界先多尝试。

多智能体协作是指多个智能体协同工作以解决任务的系统。 CAMEL 框架新增了多智能体协作 Workforce 模块。Workforce 是一个让多个 Agent 协同工作以解决任务的系统，采用分层架构，包含多个工作节点，每个工作节点可以包含一个或多个 Agent 作为工作者，由协调 Agent 进行管理，还有任务规划 Agent 负责将任务分解和组合。 选择 Workforce 的原因在于其具有动态问题解决能力，与传统 Workflow 工作流不同，能实时适应，自动分解问题、重新启动新的 Agent 并持续迭代，直到任务完全解决，这种灵活性使其在大规模解决复杂问题时成为改变游戏规则的工具。详情可在官网的 Doc 中查看：https://docs.camelai.org/key_modules/workforce.html 。 多智能体（MultiAgent）是由多个自主、独立的智能体（Agent）组成的系统，每个智能体都能感知环境、决策并执行任务，且能信息共享、任务协调和协同行动以实现整体目标。随着大型语言模型（LLM）的出现，以 LLM 为核心构建的 Agent 系统受到广泛关注，目前常见框架有单 Agent 和多 Agent 场景。单 Agent 核心在于 LLM 与工具的协同配合，多 Agent 会为不同 Agent 指定不同角色并通过协作完成复杂任务。构建多 Agent 框架需要考虑环境（所有 Agent 处于同一环境，环境包含全局状态信息，Agent 与环境有信息交互与更新）、阶段（采用 SOP 思想将复杂任务分解为多个子任务）、控制器（可以是 LLM 或预先定义好的规则，负责环境在不同 Agent 和阶段之间的切换）和记忆（多 Agent 框架中由于 Agent 数量增多，消息数量增多，每条消息可能需记录更多字段）等组件。 在工作流 Workflow 方面，也可以理解为多智能体协作。以“什么值得买”智能体为例，通过多个智能体的组装解决复杂场景的搜索问题，如给新产品取名，涉及多个步骤和智能体的协作，还需要有调度中枢协调工作和做决策。

以下是关于绘制 Agents 协作的系统架构图的一些参考信息： 首先，了解 Agent 的基本框架，即“Agent = LLM + 规划 + 记忆 + 工具使用”。其中大模型 LLM 扮演了 Agent 的“大脑”。 规划方面，主要包括子目标分解、反思与改进。子目标分解能将大型任务分解为较小可管理的子目标来处理复杂任务，反思和改进则可以对过去的行动进行自我批评和自我反思，从错误中学习并改进未来的步骤，从而提高最终结果的质量。 记忆分为短期记忆和长期记忆。短期记忆是将所有的上下文学习看成利用模型的短期记忆来学习；长期记忆提供了长期存储和召回信息的能力，通常通过利用外部的向量存储和快速检索来实现。 工具方面，不同的任务和场景需要选择合适的工具。 在生成式 AI 的人机协同中，分为 Embedding（嵌入式）、Copilot（副驾驶）、Agent（智能代理）3 种产品设计模式，人与 AI 的协作流程有所差异。在 Agents 模式下，AI 完成大多数工作。 可以通过 Multiagent Collaboration 的方法，让不同角色的 Agent 按照任务要求自主规划选择工具、流程进行协作完成任务。例如，作为产品经理角色，可将产品功能设计需求通过 Agents 拆解成多个独立的任务，然后遵循不同的工作流，最后生成一份大致符合期望的输出结果，再进行修改完善。 此外，还可以参考一些实例探究，如提示 LLM 提供 100 个最新观察结果，并根据这些观测/陈述生成 3 个最重要的高层次问题，然后让 LLM 回答这些问题。规划和反应时要考虑主体之间的关系以及一个主体对另一个主体的观察，环境信息以树形结构呈现。

以下是 AI 在协作办公中的一些应用场景： Saga AI： 是一个协作工作空间，用于笔记、文件和任务。 内部的创意助手可帮助起草内容、生成创意、修复语法错误，并一键翻译成 20 多种语言。 直接集成到工作空间，无需在应用程序间切换和不断复制粘贴，还能同时进行多个与 AI 的对话。 官网：https://saga.so/ai Sembly AI： 高效会议：简化会议过程，允许与会人员专注于讨论，同时捕捉所有重要信息。 高效协作：自动化和集成能力简化了会后跟进和任务管理。 企业解决方案：与多个平台和应用程序兼容，适用于各种规模的企业。 ChatOrg： 在 AI 项目上进行协作，利用 ChatGPT 进行实时讨论和构思。 组织聊天和文件夹，以简化沟通并确保易于访问相关讨论。 在团队内部共享提示和知识，提高工作效率并加速协作过程。 通过 Markdown 和代码语法高亮改善技术讨论的可读性。 编辑和改进消息，提高协作过程中的准确性和清晰度。

要让 AI 做一个自己的智能 AI 软件，可以参考以下步骤： 1. 选择合适的平台：例如字节跳动旗下的扣子（Coze），其是新一代一站式 AI Bot 开发平台，无论是否具备编程基础，都能在该平台上迅速构建基于 AI 模型的各类问答 Bot。 2. 明确创建流程： 起一个智能体的名称。 写一段智能体的简单介绍。 使用 AI 创建一个头像。 3. 对于让 AI 写出想要的代码，可遵循以下.cursorrules 写法： 先说清楚自己是谁，告诉 AI 期待其具备的专业技能。 告诉 AI 要干什么，明确项目需求。 定好项目的“规矩”，强调代码规范。 明确文件存放位置。 指定使用的“工具”，如框架和库。 告诉 AI 怎么做测试。 推荐参考资料。 如有 UI 需求，补充相关要求。 4. 在与 AI 合作编程时，了解其边界和限制，遵循编程准则： 能不编，尽量不编。优先找线上工具、插件、本地应用，先找现成的开源工具或考虑付费服务，实在找不到再自己编程。以终为始，聚焦目标。

智能体（Agent）在人工智能和计算机科学领域是一种能够感知环境并采取行动以实现特定目标的实体，可以是软件程序或硬件设备。 智能体具有以下关键组成部分和功能： 1. 规划：将大型任务分解为更小、可管理的子目标，有效处理复杂任务。 2. 反思和完善：对过去的行为进行自我批评和反思，从错误中吸取教训，完善未来步骤，提高最终结果质量。 3. 记忆：包括短期记忆用于上下文学习，长期记忆用于长时间保留和回忆信息，通常通过外部向量存储和快速检索实现。 4. 工具使用：学习调用外部 API 获取模型权重中缺失的额外信息，包括当前信息、代码执行能力、对专有信息源的访问等。 以下是一些具体的智能体应用示例： 1. 新年心语智能体： 功能包括写祝福语、做对联、预测新年运势、生成 AI 图片、陪用户闲聊等。 由于使用了代码节点访问外部 API，未提供体验。 2. 买买买！💥产品买点提炼神器强化版🚀智能体： 应用场景针对企业和品牌营销团队，尤其是活跃于小红书和抖音的市场推广者。 解决难以精准提炼产品卖点、不能以友好的用户侧表达讲述卖点、社交媒体营销文案和脚本创作无系统等痛点。 主要功能有产品卖点深度挖掘、优质买点文案生成、小红书笔记和抖音脚本生成，所有内容可一键同步到飞书。

以下是一些可以用于人工智能设计拜年 PPT 的软件： 1. Gamma：在线 PPT 制作网站，可通过输入文本和想法提示快速生成幻灯片，支持嵌入多媒体格式，如 GIF 和视频，增强演示文稿吸引力，网址：https://gamma.app/ 2. 美图 AI PPT：由美图秀秀开发团队推出，通过输入简单文本描述生成专业 PPT 设计，包含丰富模板库和设计元素，适用于多种场合，网址：https://www.xdesign.com/ppt/ 3. Mindshow：AI 驱动的 PPT 辅助工具，提供自动布局、图像选择和文本优化等智能设计功能，还可能包含互动元素和动画效果，网址：https://www.mindshow.fun/ 4. 讯飞智文：科大讯飞推出的 AI 辅助文档编辑工具，利用语音识别和自然语言处理技术优势，提供智能文本生成、语音输入、文档格式化等功能，网址：https://zhiwen.xfyun.cn/ 此外，还有以下相关内容： 1. 2024 年 6 月 22 日更新的一批研究报告，如《》等。 2. 熊猫 Jay 编写的超全的 AI 工具生成 PPT 的思路和使用指南，介绍了 MindShow、爱设计、闪击、Process ON、WPS AI 等工具，并因该培训获得 1000 元奖励。原文：https://mp.weixin.qq.com/s/uVoIIcePa7WTx7GNqkAPA 公众号：熊猫 Jay 字节之旅

以下是关于智能合规性分析的相关内容： 在金融服务业中，生成式 AI 能带来更好的合规性，具体表现为： 1. 高效筛查：迅速汇总个体在不同系统中的关键信息，让合规官员更快得出交易是否存在问题的答案。 2. 更准确地预测洗钱者：根据过去 10 年的可疑活动报告训练模型，创建对洗钱者构成的定义。 3. 更快的文档分析：分析大量文档，标记潜在问题或关注区域。 4. 培训和教育：开发培训材料，模拟真实场景，教育合规官员。 欧洲议会和欧盟理事会规定了人工智能的统一规则，包括成员国的市场监督管理机关和委员会应能提议联合行动，促进合规、查明不合规情况等。对于建立在通用人工智能模型基础上的人工智能系统，明确了国家和联盟一级的责任和权限。 未来，拥抱生成式 AI 的合规部门有望阻止每年在全球范围内非法洗钱的巨额资金。如今，合规软件主要基于“硬编码”规则，存在诸多问题，生成式 AI 可能带来改变。

以下是关于具身智能的最新新闻： 具身智能是将机器学习算法适配至物理实体，从而与物理世界交互的人工智能范式。以 ChatGPT 为代表的“软件智能体”通过网页端、手机 APP 与用户交互，而具身智能体则将大模型嵌入到物理实体上，通过机器配备的传感器与人类交流。人形机器人是具身智能的代表产品。 具身智能的三要素包括本体（硬件载体）、智能（大模型、语音、图像、控制、导航等算法）、环境（本体所交互的物理世界），三者高度耦合是高级智能的基础。不同环境下会有不同形态的硬件本体适应，如室内平地适用轮式机器人，崎岖地面适用四足机器人。 具身智能体的行动分为“感知决策行动反馈”四个步骤，感知模块负责收集和处理信息，通过多种传感器感知和理解环境。常见的传感器有可见光相机、红外相机、深度相机、激光雷达、超声波传感器、压力传感器、麦克风等。 最近，具身智能的概念很火。例如稚晖君开源人形机器人全套图纸+代码引发圈内热议，各类具身智能产品如李飞飞的 Voxposer、谷歌的 RT1 和 RT2、RTX、字节跳动的 Robot Flamingo、斯坦福的 ACT 和卡耐基梅隆的 3D_diffuser_act 等，在不同任务和场景中展示了强大能力，并有潜力带来革命性变革。本文拆分为上下两篇，明天会更新下篇，聚焦人机交互、发展讨论。本文部分参考中国信息通信研究院和北京人形机器人创新有限公司的《具身智能发展报告》。

以下是关于通过飞书机器人与 Coze 搭建的智能体进行对话，并利用飞书多维表格存储和管理稍后读数据，实现跨平台的稍后读收集与智能阅读计划推荐的具体操作方法： 前期准备： 1. 简化“收集”： 实现跨平台收集功能，支持电脑（web 端）、安卓、iOS 多端操作。 输入一个 URL 即可完成收集，借鉴微信文件传输助手的方式，通过聊天窗口完成收集输入。 2. 自动化“整理入库”： 系统在入库时自动整理每条内容的关键信息，包括标题、摘要、作者、发布平台、发布日期、收集时间和阅读状态。 阅读清单支持跨平台查看。 3. 智能“选择”推荐： 根据当前收藏记录和用户阅读兴趣进行相关性匹配，生成阅读计划。 使用飞书·稍后读助手： 1. 设置稍后读存储地址： 首次使用，访问。 点击「更多创建副本」，复制新表格的分享链接。 将新链接发送到智能体对话中。 还可以发送“查询存储位置”、“修改存储位置”来更换飞书多维表格链接，调整稍后读存储位置。 2. 收藏待阅读的页面链接： 在对话中输入需要收藏的页面链接，第一次使用会要求授权共享数据，授权通过后再次输入即可完成收藏。但目前部分页面链接可能小概率保存失败。 3. 智能推荐想看的内容： 在对话中发送“我想看 xx”、“xx 内容”，即可按个人兴趣推荐阅读计划。 至此，专属 AI 稍后读智能体大功告成，您可以尽情享受相关服务。

AI 是一种模仿人类思维，可以理解自然语言并输出自然语言的存在。对于不具备理工科背景的人来说，可以把它当成一个黑箱。它就像某种可以理解人类文字但不是人的魔法精灵或器灵，其生态位是似人而非人的。 AI 包含多种技术和概念，比如： 1. 生成式 AI 生成的内容称为 AIGC。 2. 机器学习是电脑找规律学习，包括监督学习（有标签的训练数据，学习输入和输出之间的映射关系，包括分类和回归）、无监督学习（学习的数据没有标签，算法自主发现规律，如聚类）、强化学习（从反馈里学习，最大化奖励或最小化损失，类似训小狗）。 3. 深度学习是一种参照人脑有神经网络和神经元的方法（因为有很多层所以叫深度），神经网络可用于监督学习、无监督学习、强化学习。 4. 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 5. LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解（不擅长文本生成），像上下文理解、情感分析、文本分类。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制处理序列数据，比 RNN 更适合处理文本的长距离依赖性。

工作流是一种通过可视化方式对插件、大语言模型、代码块等功能进行组合，以实现复杂、稳定业务流程编排的方法。 工作流由多个节点构成，节点是基本单元，包括大语言模型 LLM、自定义代码、判断逻辑等。默认包含 Start 节点（工作起始，可包含用户输入信息）和 End 节点（工作末尾，返回运行结果）。 不同节点可能需要不同输入参数，分为引用前面节点的参数值和自定义的参数值。扣子提供了基础节点，还可添加插件节点或其他工作流。 例如，在角色设计变体生成工作流中，在不改变角色某些特定样式的基础上仅改变设计，能防止提示词外流，还可使用图片引导特定部分的风格和样式。 在智能体“竖起耳朵听”的编排中，插件像工具箱，工作流像可视化拼图游戏，将各种功能组合，满足多步骤、高要求的任务。

目前暂时没有关于如何用一个摄像头记录卷子，并通过 AI 来识别做作业过程中的知识点理解偏差、给出改正措施并记录到错题本的相关内容。但从理论上讲，要实现这个目标，大致需要以下步骤： 首先，需要通过摄像头获取清晰的卷子图像。这可能需要合适的摄像头位置和光线条件，以确保图像质量。 其次，利用图像识别技术对卷子内容进行识别和分析。这需要训练有素的 AI 模型，能够准确识别题目、答案和书写内容。 然后，通过与预设的知识点和正确答案进行对比，判断知识点的理解偏差。 最后，根据偏差情况，利用相关的教育算法和知识储备，给出改正措施，并将相关内容记录到错题本中。 但要实现这一整套流程，还面临着许多技术挑战和实际操作的困难，例如图像识别的准确性、知识点的精准分析等。

以下是视觉理解技术的最新动态和趋势： 一、视觉分析技术 1. Transformer 视觉模型优点 2. Transformer 视觉模型的局限 二、图像语言模型 三、视频语言模型 四、LLM 多模态 Agent 五、应用场景 1. 多模态内容理解与处理 2. 智能交互与自动化 3. 具身智能 4. 未来发展趋势（2024 ？） 5. 视频生成模型 mapping 六、未来发展方向 1. 技术路径而言：利用预训练 LLMs 进行指令调整 最初，多模态融合方法常采用预训练的目标检测器，如 ViLBERT、VisualBERT 和 UnicoderVL，通过提取图像特征和执行交叉模态预训练任务，为后续的图像 文本任务奠定基础。 随着 ViT 的出现和普及，更多方法开始利用 ViT 作为图像编码器，强调大规模预训练，以提高模型的性能和泛化能力，例如 Flamingo。 近期，向多模态 LLMs 发展，从进行预训练到向指令调整（instruction tuning）转变，如 LLaVA 和 MiniGPT4，融合视觉和语言信息，能更有效地完成视觉理解相关任务，提升模型对于指令的理解能力和零样本性能，更好地泛化到未见过的任务和领域。 2. 应用场景而言：赋予机器理解多模态的能力 此外，李飞飞在 2015 年的 TED 演讲《我们怎么教计算机理解图片？》中提到了计算机视觉方面的研究进展，指出虽然在科技上取得了很多进步，但在计算机视觉方面仍存在一些问题，如自动驾驶车辆的视觉敏锐度、向盲人传递画面、无人机的视觉技术等。

以下是一些可以用 AI 制作海报的软件和网站，并为您附上相关案例和使用方法： 1. 无界 AI： 网址：https://www.wujieai.cc/ 做图逻辑类似于 SD，优势在于国内网络即可稳定使用，有免费出图点数，支持中文关键词输入，无需额外下载风格模型，可直接取用。 应用场景示例：朋友圈 po 图，画幅比例选择 1:1。 皮克斯卡通模型位置：二次元模型》模型主题》皮克斯卡通。 关键词类别：场景（如向日葵花田、面包店等）、氛围（如温馨、温暖等）、人物（如父亲和女儿、父亲和儿子）、造型（如发型、发色、服饰、配饰）、情绪（如笑得很开心、大笑、对视等）、道具（如童话书等）、构图（如半身、中景等）、画面（色彩明艳）。 2. Canva（可画）： 网址：https://www.canva.cn/ 是一个非常受欢迎的在线设计工具，提供大量模板和设计元素，用户可通过简单拖放操作创建海报，其 AI 功能可帮助选择合适颜色搭配和字体样式。 3. 稿定设计： 网址：https://www.gaoding.com/ 稿定智能设计工具采用先进人工智能技术，自动分析和生成设计方案，稍作调整即可完成完美设计。 4. VistaCreate： 网址：https://create.vista.com/ 简单易用的设计平台，提供大量设计模板和元素，用户可使用 AI 工具创建个性化海报，智能建议功能可帮助快速找到合适设计元素。 5. Microsoft Designer： 网址：https://designer.microsoft.com/ 通过简单拖放界面，用户可快速创建演示文稿、社交媒体帖子和其他视觉内容，还集成丰富模板库和自动图像编辑功能，如智能布局和文字优化，大大简化设计流程。 此外，还有东阿阿胶的海报设计案例分享： 1. 拆解步骤：得到需求 提取元素 绘制线稿 用 controlnet 转绘上色 ps 优化 定稿。 2. 需求元素：风格要潮流插画，还要有唐代元素和国潮（前期基本上是沟通成本，主要定线稿）。 3. 提取元素：获取的信息需要体现产品图，需要体现唐代元素，需要 logo 在中心位置，按照需求开始绘制线稿。 4. 线稿绘制：沟通的元素是牡丹花，驴子（最后换成了琵琶），人参和产品图和 logo，所以进行线稿调整绘制（中间很多细节沟通）最终定下线稿（里面很多元素都是拼接的）。 5. 拆分元素线稿：这一步非常重要，因为会涉及到后续元素替换等问题，比如单个 logo，产品等，提取出单独元素，进行绘制，最后进行替换。 6. 单个元素绘制：这样会让单个元素更加精致，也方便后期替换。 7. 然后利用拼接好的线稿进行大量跑图抽卡，选出一张最合适的进行 ps 优化。 8. 整体拼接上色后的效果（将单独跑的元素在 ps 里替换优化，再过一遍 sd 进行溶图放大）得到以下效果。 9. 最终客户把驴子去掉了，换成了一把琵琶，也是同产品图一样的做法，最后把琵琶替换掉驴子，得到定稿图。 上色运用的大模型：GhostMix 鬼混_V2.0 lora 模型："盒子系列——平面国潮插画_v1.0:182ba9e2f576 controlnet 模型："Module:lineart_coarse,Model:contr"

AI 网站和 AI 大模型之间存在着密切的关系。 首先，AI 大模型是人工智能领域的核心技术之一。它是基于深度学习等方法构建的具有大规模参数和强大能力的模型，例如能够处理自然语言、生成文本、进行语义理解等。 生成式 AI 生成的内容称为 AIGC。相关技术名词包括： 1. AI 即人工智能。 2. 机器学习是电脑找规律学习，涵盖监督学习（有标签的训练数据，学习输入和输出之间的映射关系，包括分类和回归）、无监督学习（学习的数据无标签，算法自主发现规律，如聚类）、强化学习（从反馈中学习，最大化奖励或最小化损失，类似训小狗）。 3. 深度学习参照人脑，有神经网络和神经元，因层数多被称为深度，神经网络可用于多种学习方式。 4. LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不属于大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解（如上下文理解、情感分析、文本分类），但不擅长文本生成。 技术方面，2017 年 6 月谷歌团队发表的《Attention is All You Need》论文首次提出了 Transformer 模型，它基于自注意力机制处理序列数据，比 RNN 更适合处理文本的长距离依赖性。 AI 网站通常是展示和应用 AI 大模型的平台。通过网站，用户可以与 AI 大模型进行交互，获取其提供的服务和功能，例如进行文本生成、问答、翻译等。同时，AI 网站也为 AI 大模型的推广、应用和改进提供了渠道。