以下是一个关于自动化 RAG bot 测试评估工作流的参考方案:
首先,对于 RAG bot 的工作流,主要包括以下关键步骤:
要实现自动化测试评估工作流,可以考虑以下几个方面:
通过以上的步骤和方法,可以有效地实现 RAG bot 测试评估工作流的自动化,提高其可靠性和性能。
第一步:开始节点,接收用户选择的小说人物角色名称第二步:知识库节点,将输入的小说角色名称作为query去知识库检索该角色的性格特点和经典台词第三步:大模型节点,让大模型对信息进行筛选,并采用json格式输出第四步:代码节点,对上游的输入数据进行规整,格式化输出第五步:text2image,引用上一步输出的feature(用于描述人物性格和特点),作为prompt,生成人物的角色照第六步:结束节点,输出人物台词和角色照👉工作流图参考:第3个工作流是ask_character,当用户向小说角色提问时,Bot会调用此工作流获取结果,本质上是一个根据用户query进行RAG(Retrieval Augmented Generation,检索增强生成)的任务,这是非常重要的一个工作流,关系到用户和小说人物角色对话时Bot的回答质量。👉工作流拆解:第一步:开始节点,接收用户向小说人物角色提问的问题第二步:知识库节点,将问题作为query去小说内容中进行语义检索和全文检索第三步:大模型节点,让大模型根据问题和检索到的上下文信息,生成答案第四步:结束节点,输出答案,作为小说人物的回答👉工作流图参考: