以下是关于 AI 大模型和工具组合使用的技巧:
1.用命令面板打开刚才创建的页面,默认快捷键Ctrl+P 1️⃣2.在弹出的搜索框中输入插件名称:custom frames 2️⃣3.在下拉选项中选择OpenKimi 3️⃣4.打开刚才设置好的Kimi窗口[heading4]开始使用[content]以上是最简单的在obsidian中通过内置网页嵌入AI类型工具的方法。接下来为大家介绍在Obsidian中使用AI工具的进阶配置方法。Obsidian与AI组合使用的几种思路:1.内嵌网页+AI(Custom frame)2.笔记仓库嵌入大模型(Copilot)3.笔记内容作为RAG嵌入大模型(Smart Conections)4.笔记内使用大模型编写内容(Tars/Text Generator)其中,“内嵌网页+AI(Custom frame)”已经在上一篇教程为大家分享过了,本篇讲一下2-4三类工具的配置方法:
如果大家使用Kimi Chat来查询某个问题,你会发现它会在互联网上检索相关内容,并基于检索结果进行总结分析,最后给出结论。这其实是大模型利用「网页搜索」工具的一个典型例子,同时你也会看到PPT中介绍了非常多的不同领域类型的工具,它其实是为大模型在获取、处理、呈现信息上做额外的补充。PlanningAgent通过自行规划任务执行的工作流路径,面向于简单的或者一些线性流程的运行。比如下图中:Agent会先识别男孩的姿势,并可能找到一个姿势提取模型来识别姿势,在接下来要找到一个姿势图像模型来合成一个新的女孩图像,然后再使用图像理解文本的模型,并在最后使用语音合成输出,完成这个流程任务。Multiagent Collaboration吴恩达通过开源项目ChatDev进行举例,你可以让一个大语言模型扮演不同的角色,比如让一个Agent扮演公司CEO、产品经理、设计师、代码工程师或测试人员,这些Agent会相互协作,根据需求共同开发一个应用或者复杂程序。AI Agent基本框架OpenAI的研究主管Lilian Weng曾经写过一篇博客叫做《LLM Powered Autonomous Agents》,其中就很好的介绍了Agent的设计框架,她提出了“Agent=LLM+规划+记忆+工具使用”的基础架构,其中大模型LLM扮演了Agent的“大脑”。Planning(规划)主要包括子目标分解、反思与改进。将大型任务分解为较小可管理的子目标处理复杂的任务。而反思和改进指可以对过去的行动进行自我批评和自我反思,从错误中学习并改进未来的步骤,从而提高最终结果的质量。Memory(记忆)
掌握了上述技巧后,我开始思考:“还有没有把大模型用得更"灵性"的提升空间?”我尝试做了以下几点:1.任务拆解:尝试将复杂任务的提示词拆解成若干步骤的智能体,每个智能体负责特定的子任务:1.工作流构建:通过组合多个提示词或AI工具,可以搭建出高频重复工作的工作流,以处理更加简单但经常需要完成的任务:1.创作场景的灵活应用:在创作过程(写作、深度思考问题)场景中,使用简单提示词和连续追问的方式来调整大模型的回答,使输出更符合我们的需求:1.深度思考辅助:最重要的是,我们开始将大模型用于辅助"深度思考",而不仅仅是"按我们的意思输出"。"按我们的意思输出"意味着你让大模型生成的内容的上限就是你认知的上限。而辅助"深度思考",是使用大模型来提高自身的上限。这也从一个侧面反应了我们对大模型的姿态:我们渐渐从居高临下的指挥,变为伙伴式的协作和相互学习。[heading2](三)迈向深度思考[content]什么是"深度思考",我们又该如何用大模型来辅助这个过程?我对大模型使用方法的研究进入了一个新的阶段:关注如何利用大模型来训练和增强我们的认知能力,而不仅仅是优化输出。