以下是关于 AI 设计工作流的相关内容:
RPA 很早就出现在工作流编排领域,其软件目标是使符合标准的基于桌面的业务流程和工作流程实现自动化,现在越来越多的 RPA 软件带上了 LLM。
ComfyUI 采用工作流化操作模式,用户在流程编辑器中配置 pipeline,通过节点和连线完成模型操作和图片生成,提高流程可复用性并降低时间成本,其 DSL 配置文件支持导出导入。
Dify.AI 的工作流设计语言与 ComfyUI 有相似之处,定义了标准化的 DSL 语言,方便导入导出复用工作流。
Large Action Model 采用“通过演示进行模仿”的技术,从用户示例中学习。
单 Agent 模式下,将一整套工作流组合起来,每个工具在节点中执行任务。
Agentic Workflow 存在“套娃”设计,workflow 可成为组件被调用,也能嵌套新的 workflow,不同组件通过连接构成更大模块。
LangGPT 提示词框架应用了 CoT 完成从输入到思维链再到输出的映射。
大淘宝设计部 2023 年度 AI 设计实践中,建立有效的设计工作流,使用 lora 模型训练准确还原风格、加速品牌融合,建立和管理 AI 设计资产储备提升团队 AI 能力,搭建了 AI 整合工具平台“桃花源|淘宝设计 AIGC”。
但 Agentic Workflow 存在使用用户较少、在复杂流程开发上不够稳定可靠、无法解决大模型意图理解准确率等问题。
RPA其实很早就已经出现,就是做工作流编排领域。流程机器人(RPA)软件的目标是使符合某些适用性标准的基于桌面的业务流程和工作流程实现自动化,一般来说这些操作在很大程度上是重复的,数量比较多的,并且可以通过严格的规则和结果来定义,现在越来越多的RPA软件带上了LLM。ComfyUI的工作流设计近期出现的ComfyUI是将开源绘画模型Stable Diffusion进行工作流化操作模式,用户需要在流程编辑器中配置出每一个的pipeline,并通过不同节点和连线来完成模型的操作和图片内容生成,提高了流程的可复用性,降低了时间成本,同时它的DSL配置文件还支持导出导入。Dify.AI可被复制的工作流设计在Dify.AI中,我很兴奋的看到它的工作流设计语言跟ComfyUI会有一些相似之处,都是定义了一套标注化的DSL语言,并且非常方便的可以使用导入导出的功能进行工作流的复用。模仿式工作流是最快的学习方法Large Action Model采用称为“通过演示进行模仿”的技术。检查人们在单击按钮或输入数据时如何与界面互动,然后准确地模仿这些操作,他们收集知识并从用户提供的示例中学习,使他们更能适应进一步的变化并能够处理不同的任务。但是,有没有想过一个问题:Agentic Workflow看起来十分美好,但是使用的用户究竟有多少呢?我看了很多Agent商店,通过工作流创建的应用目前来看还是比较少的(可能是出现周期、工作流使用的上手难度等等一系列因素导致),此外Agentic Workflow似乎在复杂流程上的开发又并不是那么稳定可靠。Idea Time:通过自然语言创建工作流
单Agent模式下,在这里可以看到一些例如“技能”、“知识”、“记忆”、“对话体验”等等点,其实在我们上面这个多个Agent和workflow编辑器里面里面也有这类工具。它是将一整套工作流组合起来,每个工具在每一个节点里面,它执行了一个任务。大家感兴趣的话可以去体验一下,可以在自己工作流中整个使用。Agentic Workflow的“套娃”设计体验过不同Agent流程编排开发平台的同学会发现,workflow会成为一个组件被调用,同时workflow中又能够嵌套新的workflow,实际上不管是基础节点、插件工具、LLM、逻辑条件处理等,都实际上是一个以输入、输出的组装的模块,不同的组件之间通过连接构成一个更大的模块。即便看上去Agentic workflow解决了很多问题,但是实际上来说:大模型根源的“不太聪明”,是加上workflow也解决不了的。因为工作流它解决的并不是意图理解准确率的问题,而是在流程上的被干预后的可控性,吴恩达老师也在红杉的演讲上提到提升大模型本身质量依旧十分重要。下面也会带着大家重新看一下工作流其实一直都有出现,目前的工作流编辑器是将Agent的处理流程可视化和可控化了。LangGPT提示词框架工作流设计与传统的Prompt从输入直接到输出的映射方式相比,LangGPT提示词框架应用了CoT(Chain of Thought)完成了从输入到思维链再到输出的映射,即<input——>reasoning chain——>output>。最后你会发现浓缩成一句话可以解决模型在规划过程中的路径拆解,CoT的思维:“Let's think step by step。”(让我们一步一步思考)RPA的工作流设计
[heading3]2.「实用的模型训练」——准确还原风格、加速品牌融合[content]使用lora模型训练的方式,能够生成特定的形象及KV风格,建立一个包含品牌形象、风格视觉的DNA的模型,我们将模型根据实用场景分成了4种类型:此外,在营销活动期间,市场环境和消费者偏好可能会发生变化。我们在紧跟这些变化的同时,迅速调整lora模型,确保持续符合目标用户的喜好,使营销内容更加生动鲜明,与消费者的连接也更加紧密。[heading3][heading3]3.「AI设计资产储备」——设计团队的AI能力提升[content]建立和管理AI设计资产,沉淀AI相关的知识、技能、工具,可以提升团队AI能力,对设计成效产生正面影响:团队成员可以分享他们的设计经验验和学习心得,从而促进团队内部的知识积累和提升。参数库可以帮助团队快速启动新项目,确保设计的准确性,并减少重复工作。工具、模版、元素可以帮助团队在设计过程中更高效地生成,同时保持设计的一致性和质量。AI整合工具平台:桃花源根据对日常设计工作的需求,我们团队依托实践沉淀的工作流和经验,搭建了AI整合工具平台——「桃花源|淘宝设计AIGC」。逐步引入的每一项功能经过细致的评估和选择,以确保其实用性和与业务需求的贴合度,同时能够增强我们设计工作的专业性和效率,为我们的产品和服务创造更大的价值。