直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

水墨画生图prompt

回答

以下是一些水墨画生图的 prompt 示例：

  • 《哪吒·龙影之下》中的示例：
    • 三太子变身：Ink painting styleI of the villain Kanda from Jujutsu Kaisen,Extreme Low-Angle shot,he is wearing an all-black bodysuit with no helmet or mask on his head and has sharp teeth in a dynamic pose against a white background,Many dragon-like tentacles were coming out from his body and wrapping around him in a spiral shape.smoke rising from sky in background,black white ink painting,--no realistic style --ar 16:9
    • 哪吒惊诧：Ink painting styleI of manga panel of a young man falling down,close up,high angle shot,dark and gritty ink drawing in the style of a graphic novel,monochrome,dramatic perspective,gritty texture,dynamic composition,bold lines,a sense of speed,high contrast lighting,shadows casting over the scene.The character is in midair with exaggerated facial expressions showing fear or surprise as he falls towards an unknown background.--no realistic style --ar 16:9
    • 哪吒出场：The character Nezha from Chinese mythology with black hair in two buns on head,holding his spear with red ribbon wrapped around it,street fighter chun circular character action pose,cute kung fu boy Ink painting style,black white ink painting,creating sharp contrasts between light and shadow,creating a strong visual impact --ar 16:9
    • 其他：A Chinese ink painting style depicts a silhouette of two people fighting in the background bamboo forest and mountains.A man holds an iron sword on her back as black smoke rises from behind.The painting uses a high angle perspective with high resolution and details in black and white tones.Delicate brushstrokes are used in the traditional Chinese culture style.The foreground is blurry with ink strokes.There is a high contrast between light and dark areas in the painting.--ar 16:9 ；A black and white ink painting style with a bamboo forest background and a silhouette of two people fighting in the foreground.A woman is holding a man's hand on his back from a high angle perspective.The brush strokes are in the style of Chinese calligraphy with a traditional animation style.There is a strong contrast between light and dark with an ink wash effect.The entire scene is filled with mystery and tension.--ar 16:9 ；The silhouette of Roronoa Zoro,with his spear raised high and shadowed in the background.It features black and white tones,ink painting effects,silhouette shadows,closeup shots,ink splashes,and a traditional animation style in the style of ink wash.--ar 16:9
  • 功夫熊猫相关的示例：
    • DreamWorks Animation,A Po Panda （词力强，动作可控）
    • DreamWorks Animation,Kung Fu Panda （词力极强，但因为 kungfu 词多为武术动作）
    • Kung Fu Panda （词力强，但动作因为 kungfu 词多为武术动作）
    • Po Panda （1/4 概率出阿宝，动作自然可控）
    • Master Tigress,photography by DreamWorks Animation Kung Fu Panda, （画功夫熊猫里的其他角色效果很差，角色不像）
    • Panda A Po(DreamWorks Animation A Po Panda),hands in a 'prayer' pose （出双手合十效果）
    • A huge bear paw from Panda A Po(DreamWorks Animation A Po Panda),Blue sky background,--ar 16:9 （如来神掌 prompt）
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

画小二团队：《哪吒·龙影之下》AI创作过程文档

[title]画小二团队：《哪吒·龙影之下》AI创作过程文档[heading1]五、人物造型[heading2]2、主视觉画面|分镜|画面内容|Prompt提示词|画面|<br>|-|-|-|-|<br>||三太子变身|Ink painting styleI of the villain Kanda from Jujutsu Kaisen,Extreme Low-Angle shot,he is wearing an all-black bodysuit with no helmet or mask on his head and has sharp teeth in a dynamic pose against a white background,Many dragon-like tentacles were coming out from his body and wrapping around him in a spiral shape.smoke rising from sky in background,black white ink painting,--no realistic style --ar 16:9 ||<br>|08|哪吒惊诧|Ink painting styleI of manga panel of a young man falling down,close up,high angle shot,dark and gritty ink drawing in the style of a graphic novel,monochrome,dramatic perspective,gritty texture,dynamic composition,bold lines,a sense of speed,high contrast lighting,shadows casting over the scene.The character is in midair with exaggerated facial expressions showing fear or surprise as he falls towards an unknown background.--no realistic style --ar 16:9 ||<br>|10|哪吒出场|The character Nezha from Chinese mythology with black hair in two buns on head,holding his spear with red ribbon wrapped around it,street fighter chun circular character action pose,cute kung fu boy Ink painting style,black white ink painting,creating sharp contrasts between light and shadow,creating a strong visual impact --ar 16:9 ||

阿强：功夫熊猫版-如来神掌 的完整复盘

Midjourney、PS AI（创成式填充修复局部问题）[heading5]2、Midjourney词力测试[content]目的：测词，看看MJ模型有没有把功夫熊猫训练进去，并测试其角色、风格的一致性情况。|prompt|效果评估|<br>|-|-|<br>|DreamWorks Animation,A Po PandaA PO's(DreamWorks Animation A Po Panda)|词力强，动作可控|<br>|DreamWorks Animation,Kung Fu Panda,|词力极强，但因为kungfu词多为武术动作|<br>|Kung Fu Panda,|词力强，但动作因为kungfu词多为武术动作|<br>|Po Panda,|1/4概率出阿宝，动作自然可控|<br>|Master Tigress,photography by DreamWorks Animation Kung Fu Panda,***,DreamWorks Animation Kung Fu Panda characters,|画功夫熊猫里的其他角色效果很差，角色不像|<br>|photography by John Stevenson,panda,|无关|<br>|dynamic shot,|加动态摄影，方便roll视频|<br>|Panda A Po(DreamWorks Animation A Po Panda),hands in a 'prayer' pose|出双手合十效果|<br>|A huge bear paw from Panda A Po(DreamWorks Animation A Po Panda),Blue sky background,--ar 16:9 |如来神掌prompt|我在写绘画prompt的时候，一直遵循的理念是“若无必要，勿增实体”比如使用（DreamWorks Animation,A Po Panda）就能出来功夫熊猫的电影画面效果，那就不会再加电影感、4K...等等词。提前测试“词力”：清楚知道每个词的影响，用迭代思维（MVP，再根据画面缺什么补什么）写prompt，对于后面提高生图效率真的蛮大的。

画小二团队：《哪吒·龙影之下》AI创作过程文档

[title]画小二团队：《哪吒·龙影之下》AI创作过程文档[heading1]五、人物造型[heading2]2、主视觉画面|分镜|画面内容|Prompt提示词|画面|<br>|-|-|-|-|<br>|||A Chinese ink painting style depicts a silhouette of two people fighting in the background bamboo forest and mountains.A man holds an iron sword on her back as black smoke rises from behind.The painting uses a high angle perspective with high resolution and details in black and white tones.Delicate brushstrokes are used in the traditional Chinese culture style.The foreground is blurry with ink strokes.There is a high contrast between light and dark areas in the painting.--ar 16:9 ||<br>|||A black and white ink painting style with a bamboo forest background and a silhouette of two people fighting in the foreground.A woman is holding a man's hand on his back from a high angle perspective.The brush strokes are in the style of Chinese calligraphy with a traditional animation style.There is a strong contrast between light and dark with an ink wash effect.The entire scene is filled with mystery and tension.--ar 16:9 ||<br>|24|切换场景|The silhouette of Roronoa Zoro,with his spear raised high and shadowed in the background.It features black and white tones,ink painting effects,silhouette shadows,closeup shots,ink splashes,and a traditional animation style in the style of ink wash.--ar 16:9||

其他人在问
智能生图 生成logo的工具有哪些
以下是一些可以生成 logo 的智能生图工具： 1. Looka：在线 Logo 设计平台，使用 AI 理解用户品牌信息和设计偏好，生成多个设计方案供选择和定制。 2. Tailor Brands：AI 驱动的品牌创建工具，通过用户回答问题生成 Logo 选项。 3. Designhill：其 Logo 制作器使用 AI 技术创建个性化 Logo 设计，用户可选择元素和风格。 4. LogoMakr：提供简单易用的 Logo 设计工具，用户可拖放设计，利用 AI 建议的元素和颜色方案。 5. Canva：广受欢迎的在线设计工具，提供 Logo 设计模板和元素，有 AI 辅助设计建议。 6. LogoAI by Tailor Brands：Tailor Brands 推出的 AI Logo 设计工具，根据用户输入快速生成方案。 7. 标小智：中文 AI Logo 设计工具，利用人工智能技术帮助创建个性化 Logo。 另外，您还可以访问网站的 AI 生成 Logo 工具版块获取更多好用的工具：https://waytoagi.com/category/20 。 即梦也有相关功能，其制作步骤如下： 第 1 步：在即梦左侧点击「智能画布」，「上传图片」上传一张 logo 图，点击「图生图」输入描述词，参考程度为 55 ，选择「轮廓边缘」，点击立即生成。 第 2 步：右侧图层可看到 4 张图，选择喜欢的图；若不喜欢，可用局部重绘、消除笔等功能调整，也可重新生成。 即梦 AI 官网：https://jimeng.jianying.com/ ，有问题可发送到即梦@bytedance.com 。
2024-10-31
文字生图网站有哪些
以下是一些文字生图的网站： 1. DALL·E：由 OpenAI 推出，能根据输入的文本描述生成逼真的图片。 2. StableDiffusion：开源的文生图工具，可生成高质量图片，支持多种模型和算法。 3. MidJourney：因高质量的图像生成效果和用户友好的界面设计受到广泛欢迎，在创意设计人群中尤其流行。 您还可以在以下网站查看更多相关工具： 1. https://www.waytoagi.com/category/104 2. https://www.waytoagi.com/category/38 另外，对于文字生成视频的网站，有以下推荐： 1. Pika：出色的文本生成视频 AI 工具，擅长动画制作，并支持视频编辑。 2. SVD：如果熟悉 Stable Diffusion ，可安装这款最新插件，在图片基础上直接生成视频，由 Stability AI 开源的 video model 。 3. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，但需注意是收费的。 4. Kaiber：视频转视频 AI ，能够将原视频转换成各种风格的视频。 5. Sora：由 OpenAI 开发，可以生成长达 1 分钟以上的视频。 内容由 AI 大模型生成，请仔细甄别。
2024-10-30
AI图生图工具
以下是一些好用的图生图工具： 1. Artguru AI Art Generator：在线平台，能生成逼真图像，为设计师提供灵感，丰富创作过程。 2. Retrato：AI 工具，可将图片转换为非凡肖像，有 500 多种风格选择，适合制作个性头像。 3. Stable Diffusion Reimagine：新型 AI 工具，通过稳定扩散算法生成精细、具细节的全新视觉作品。 4. Barbie Selfie Generator：专为喜欢梦幻童话风格的人设计，能将上传的照片转换为芭比风格，效果很好。 目前市场上受欢迎的文生图工具包括： 1. DALL·E：由 OpenAI 推出，能根据输入的文本描述生成逼真图片。 2. StableDiffusion：开源工具，可生成高质量图片，支持多种模型和算法。 3. MidJourney：因高质量图像生成效果和用户友好界面设计而受欢迎，在创意设计人群中流行。 您还可以在 WaytoAGI 网站（https://www.waytoagi.com/category/104）查看更多文生图工具。 另外，像吐司（https://tusiart.com/images/635511733697550450?post_id=635512498197535244&source_id=nzywoVHilkK7o_cqaH31xAh）、哩布（https://www.liblib.ai/）这样的网站是免费的在线 SD 工具。 需要注意的是，这些 AI 模型在使用时可能存在一些局限，如偶尔会出现性能不稳定、生成内容不当等问题。同时，本教程适用于入门玩家，如果在使用过程中有任何问题，可以通过评论区、微信（designurlife1st，记得备注来意：ai 绘图交流）等方式与作者联系。教程内容会持续更新。
2024-10-28
AI 图生图
以下是关于 AI 图生图的相关信息： 好用的图生图产品： Artguru AI Art Generator：在线平台，生成逼真图像，为设计师提供灵感，丰富创作过程。 Retrato：AI 工具，将图片转换为非凡肖像，有 500 多种风格选择，适合制作个性头像。 Stable Diffusion Reimagine：新型 AI 工具，通过稳定扩散算法生成精细、具细节的全新视觉作品。 Barbie Selfie Generator：专为喜欢梦幻童话风格的人设计的 AI 工具，将上传的照片转换为芭比风格，效果很好。 这些 AI 模型通过组合技术如扩散模型、大型视觉转换器等，可根据文本或参考图像生成有创意且质量不错的相似图像输出，但存在性能不稳定、生成内容不当等局限。 Liblibai 简易上手教程： 生图入口 1：网页顶部的右方有生图按钮，点击进入生图界面。 生图入口 2：点进模型广场上任意一个模型（checkpoint 或 lora），有立即生图按钮。 生图入口 3：点进任意一个模型下面的返图区，点开一张喜欢的图片，右侧有在线生成的按钮。点开之后可以选择自动复制所有设置，尝试复现图片，体验设置效果。 从游戏截图升级到 KV 品质：AI 生成图像有较大随机性，用游戏内资源拼合作为图生图的底图能帮助 AI 发挥，复现游戏原有的画风、世界观和人物设定。
2024-10-28
图生图最好用的AI
目前比较成熟好用的图生图 AI 产品主要有： 1. Artguru AI Art Generator：在线平台，能生成逼真图像，为设计师提供灵感，丰富创作过程。 2. Retrato：AI 工具，可将图片转换为非凡肖像，有 500 多种风格选择，适合制作个性头像。 3. Stable Diffusion Reimagine：新型 AI 工具，通过稳定扩散算法生成精细、具细节的全新视觉作品。 4. Barbie Selfie Generator：专为喜欢梦幻童话风格的人设计，能将上传照片转换为芭比风格，效果很好。 这些 AI 模型通过组合技术如扩散模型、大型视觉转换器等，可根据文本或参考图像生成有创意且质量不错的相似图像输出，但仍存在一些局限，如偶尔性能不稳定、生成内容不当等。 在实际应用中，比如将真人转二次元，我们可以将图片再次放入以图生图中，通过 DeepBooru 反推关键词，并使用新的大模型“AbyssOrangeMix2”和 LORA“blindbox”进行重新生成，能得到 2.5D 的人物风格。不过目前的图可能有细节瑕疵，需要不断调整参数，后期借助 PS 修补。 如果您需要使用图生图功能，又觉得主流工具如 midjourney（MJ）付费成本高，stable diffusion（SD）硬件门槛不低，还有像这样的免费在线 SD 工具网站可供选择。
2024-10-24
有什么生成海报或者图生图的AI应用工具
以下是一些生成海报或者图生图的 AI 应用工具： 用于工作中出图的有：Labzen、龙飞等。 用于电商应用出图的有：薄荷、刘燕兰等。 用于广告出图的有：朱鹏等。 以下是一些推荐的 AI 海报生成工具： Canva（可画）：https://www.canva.cn/ 是一个受欢迎的在线设计工具，提供大量模板和设计元素，AI 功能可帮助选择合适颜色搭配和字体样式。 稿定设计：https://www.gaoding.com/ 稿定智能设计工具采用先进人工智能技术，自动分析和生成设计方案。 VistaCreate：https://create.vista.com/ 是简单易用的设计平台，提供大量设计模板和元素，用户可用 AI 工具创建个性化海报，智能建议功能可帮助快速找到合适设计元素。 Microsoft Designer：https://designer.microsoft.com/ 通过简单拖放界面，可快速创建演示文稿、社交媒体帖子等视觉内容，还集成丰富模板库和自动图像编辑功能。 以下是一些好用的图生图产品： Artguru AI Art Generator：在线平台，生成逼真图像，给设计师提供灵感，丰富创作过程。 Retrato：AI 工具，将图片转换为非凡肖像，拥有 500 多种风格选择，适合制作个性头像。 Stable Diffusion Reimagine：新型 AI 工具，通过稳定扩散算法生成精细、具有细节的全新视觉作品。 Barbie Selfie Generator：专为喜欢梦幻童话风格的人设计的 AI 工具，将上传的照片转换为芭比风格，效果超级好。 需要注意的是，这些 AI 模型可能存在一些局限，如偶尔会出现性能不稳定、生成内容不当等问题。内容由 AI 大模型生成，请仔细甄别。
2024-10-24
公众号写作Prompt
以下是关于公众号写作 Prompt 的相关内容： 一、从原理到应用一次讲清楚 Prompt 1. 什么是 Prompt 简单来说，Prompt 是一套与大模型交互的语言模板。通过它可以输出对大模型响应的指令，指定大模型应做的任务、处理方式，并最终获得期望结果。大模型虽有基础文字能力，但为提升回答准确性，需要 Prompt。在大模型时代，Prompt 成为人机交互的主要方式之一。 2. 用更加专业的方式定义 大模型本质是基于语言的概率模型，返回其认为概率最大的内容。若直接问大模型且无 Prompt，相当于随机给出答案。有了 Prompt，就提供了包含对模型要求、输入和输出限制的模板，让大模型在限制下得出概率最大的答案。 二、1.2 Prompts（提示词） 自媒体运营 1. 小红书文案 欢迎词：👉请帮我用小红书风格改写文本 具体 Prompt：请使用小红书风格用中文编辑以下段落，其特点是标题引人入胜，每段都包含表情符号，并在末尾添加相关标签。请务必保持文本的原始含义。请先编辑以下文字：{小红书内容} 2. 公众号文章 欢迎词：👉请帮我写一篇公众号文章 具体 Prompt：我要写一篇微信公众号文章，标题要足够吸引人，以便能广泛传播；同时提供内容大纲，我要写的文章是{……} 3. 抖音脚本 欢迎词：👉请帮我写一篇抖音脚本 具体 Prompt：👉你的角色是互联网资深运营，帮我写一篇抖音的脚本，请包含运镜描述，内容主题是{……} 4. 快手带货脚本 欢迎词：👉请帮我写一篇快手带货脚本 具体 Prompt：👉你的角色是互联网资深运营，帮我写一篇快手的文案脚本，要适配快手社区的语言风格，带货文案中要包括商品卖点，我的第一个商品是{商品描述} 5. B 站 UP 主 欢迎词：👉请帮我写一篇 B 站脚本 具体 Prompt：👉你的角色是互联网资深运营，请帮我写一段 B 站的视频脚本，要求 B 站热门 up 主风格，风趣幽默，视频时长大概 3 分钟，内容主题是{……} 三、1.2 Prompts（提示词） 方法：Prompt 技巧 1. 数据：鼓励使用统计数据或数据支持主张，例如在关于电动汽车的文章中提供销售数据和环境影响数据。 2. 个性化：根据用户偏好或特点要求个性化，如请根据用户对喜剧电影的喜好推荐几部好看的电影。 3. 背景 4. 输入 5. 输出 6. 语气：指定所需语气（如正式、随意、信息性、说服性），例如请用正式语气编写一篇关于气候变化的文章。 7. 格式：定义格式或结构（如论文、要点、大纲、对话），例如请为我提供一个关于健康饮食的要点清单。 8. 限制：指定约束条件，如字数或字符数限制，例如请提供一个关于太阳能的 100 字简介。 9. 引用：要求包含引用或来源以支持信息，例如请在关于全球变暖的文章中引用权威研究。 10. 语言：如果与提示不同，请指明回应的语言，例如请用法语回答关于巴黎旅游景点的问题。 11. 反驳：要求解决潜在的反驳论点，例如针对抵制疫苗接种的观点提出反驳。 12. 术语：指定要使用或避免的行业特定或技术术语，例如请用通俗易懂的语言解释区块链技术。 13. 类比：要求 AI 用类比或示例阐明概念，例如请用一个类比解释黑洞的概念。
2024-10-31
怎么写prompt
写 prompt（提示词）是一个关键步骤，决定了 AI 模型如何理解并生成文本。以下是一些编写 prompt 的方法和建议： 1. 明确任务：清晰定义任务，如写故事时包含背景、角色和主要情节。 2. 提供上下文：若任务需特定背景知识，在 prompt 中提供足够信息。 3. 使用清晰语言：尽量用简单、清晰的语言描述，避免模糊或歧义词汇。 4. 给出具体要求：如有特定格式或风格要求，在 prompt 中明确指出。 5. 使用示例：若有特定期望结果，在 prompt 中提供示例。 6. 保持简洁：尽量简洁明了，避免过多信息使模型困惑。 7. 使用关键词和标签：有助于模型理解任务主题和类型。 8. 测试和调整：生成文本后检查结果，根据需要调整 prompt，可能需多次迭代。 此外，还有一些关于 prompt 编写的具体内容： 对于模仿创作内容，可改写大佬写好的 prompt，把拆解得到的方法论和示例写到 prompt 中，运用 COT（少样本提示）的技巧。若之前未写过结构化的 prompt，推荐打开云中江树老师的 LangGPT 项目学习 https://github.com/yzfly/LangGPT/blob/main/README_zh.md 。 律师编写 prompt 时，Prompt 指给人工智能系统提供的信息或问题，用来引导其产生特定回答或执行特定任务。建议框架及格式有 CRISPE，包括 Capacity and Role（能力与角色）、Insight（洞察）、Statement（陈述）、Personality（个性）、Experiment（举例）。例如，在处理合同纠纷案件时，明确 AI 的角色和能力、提供背景信息和上下文、明确期望其完成的任务、设定回答风格等。
2024-10-30
成语接龙的prompt
以下是关于成语接龙的相关内容： 景淮制作了成语小游戏，包括成语接龙、看图猜成语、成语接龙+看图猜成语、成语查询模式。 成语接龙模式：常规的成语接龙，用户可直接给出或由 GPT 生成第一个成语，然后用户接龙，GPT 回复时会用孩子能听懂的方式解释成语。 看图猜成语模式：GPT 随机生成成语绘图，用户猜测，猜对给出解释和新图片，猜错按规则给出提示。 成语接龙+看图猜成语模式：用户输入第一个成语，GPT 根据最后一字绘图，用户猜测，猜错按规则提示，猜对继续接龙。 成语查询模式：用户输入成语第一个字、拼音（带声调或不带声调），以数字列表形式展示查询结果。 需求分析：今天使用的两种小游戏是成语接龙和看图猜成语。 什么是成语接龙：是一种以成语为基础的文字游戏，多人参与，一方说成语，下一方用前一成语最后一字开头说新成语，目标是长时间维持且不重复。对孩子有诸多好处，如提高语言能力、增强记忆力、培养逻辑思维、了解文化知识、增进社交技能、锻炼反应速度、提高学习兴趣等。 GPTs 使用链接：https://chat.openai.com/g/gFmXhWqboichengyuxiaoyouxi 。但使用时需注意，整体玩起来较流畅，但 Web 插件有时不触发，给出内容不够准确。
2024-10-29
怎么学习好AI PROMPTS
以下是关于如何学习好 AI PROMPTS 的一些建议： 1. 针对不同任务进行环节拆分：例如在使用 AI 进行数据分析时，将数据清洗、提取、模型选择、训练和结果解释等环节分开处理，以优化性能和便于发现修正问题。 2. 逐步深化和细化提问：对于复杂问题，先提出宽泛问题，再根据回答进一步细化或深化，逐步深入了解问题各方面。比如在处理知识产权侵权案件时，先问被告是否构成侵权，再根据回答进一步询问侵权类型和程度。 3. 提供参考和学习内容：包括高质量的操作指南、行业最佳实践、案例研究等，并编写详细流程和知识（knowhow），帮助 AI 理解任务和为人类用户提供指导。如在自动化文档处理中编写详细指南。 4. 利用专业领域术语引导：在 Prompt 中使用法律等专业术语引导 AI 回答方向，例如处理合同纠纷时提示从特定方面分析合同履行情况。 5. 优化和润色 Prompt： 明确具体描述，使用更具体、细节的词语和短语。 添加视觉参考，插入相关图片。 注意语气和情感，用合适形容词、语气词调整。 优化关键词组合，尝试不同搭配和语序。 增加约束条件，避免意外输出。 分步骤构建 Prompt，先生成基本结构再完善。 参考优秀案例，借鉴写作技巧和模式。 反复试验、迭代优化，根据输出效果反馈完善。 6. 方法论萃取：通过类似访谈的方式获取清晰明确的答案，然后设计 Prompt。例如，若想让 AI 像“樊登读书”或“得到”那样讲书，设计“书籍阅读助手”的 Prompt；若想让 AI 在选书和督促读书环节起作用，设计“催我读书”的 Prompt；若侧重知识内化，重点研究读书效率和信息转化问题。
2024-10-25
deepseek支持function calling，在dify的agent的prompt里要如何写才能调用工具。我说的是如何写提示词，才能让deepseek通过Function Calling调用工具。
要在 Dify 的 agent 的 prompt 里让 DeepSeek 通过 Function Calling 调用工具，您可以参考以下内容： 1. 提示词工程主要由提示词注入和工具结果回传两部分代码组成。 提示词注入：将工具信息及使用工具的提示词添加到系统提示中。INSTRUCTION 包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。TOOL_EAXMPLE 用于提示 LLM 如何理解和使用工具，编写时注意用无关紧要的工具作示例避免混淆。tools_instructions 是将通用工具字典转换成 LLM 可读的工具列表，可动态调整。REUTRN_FORMAT 定义调用 API 的格式。 工具结果回传：利用正则表达式抓取输出中的“tool”和“parameters”参数。对于 interpreter 工具，使用另一种正则表达式提取 LLM 输出的代码。通过识别 LLM 返回的调用工具的字典，提取对应值传入工具函数，将结果以 observation 角色返回给 LLM，对于不接受该角色的 LLM 接口，可改为回传给 user 角色。 2. 当模型判断需要调用工具函数时，检测到返回的 json 里 function_call 字段不为空，则执行异步函数调用，采用回调方式获取函数返回结果。通过判断返回的 functionCall 的名称执行不同函数并返回结果。 3. 在大模型请求中，最大的两个变量是 Messages 和 Tools。Messages 里放 sys prompt、memory、user query；Tools 里放能力的 Json Scheme，两者组合形成整个完全的 Prompt。Agent 应用开发的本质是动态 Prompt 拼接，通过工程化手段将业务需求转述成新的 prompt。短期记忆在 messages 里的历史 QA 对，长期记忆是 summary 之后的文本再塞回 system prompt。RAG 是向量相似性检索，可放在 system prompt 里或通过 tools 触发检索。Action 是触发 tool_calls 标记进入请求循环，拿模型生成的请求参数进行 API request，再把结果返回给大模型交互，没有 tool_calls 标记则循环结束。Multi Agents 是更换 system prompt 和 tools。
2024-10-24
deepseek支持function calling，在dify的agent的prompt里要如何写才能调用工具
在 Dify 的 agent 的 prompt 中实现调用工具的方法如下： 1. 提示词注入阶段： INSTRUCTION 为注入到系统提示中的字符串，包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。 TOOL_EAXMPLE 用于提示 LLM 如何理解和使用工具，编写时应使用无关紧要的工具作为示例，避免 LLM 混淆。 tools_instructions 是将通用的工具字典转换成 LLM 可读的工具列表，实际使用时可动态调整。 REUTRN_FORMAT 定义了调用 API 的格式。 2. 工具结果回传阶段： 利用正则表达式抓取输出中的“tool”和“parameters”参数。 对于 interpreter 工具，使用另一种正则表达式提取 LLM 输出的代码，提高使用成功率。 通过识别 LLM 返回的调用工具的字典，提取对应的值，传入相应的工具函数，将工具返回的结果以 observation 的角色返回给 LLM。对于不接受该角色的 LLM 接口，可改为回传给 user 角色。 此外，当模型判断需要调用工具函数时，即检测到返回的 json 里面 function_call 字段不为空，则执行异步函数调用，可通过判断返回的 functionCall 的名称来执行不同的函数并返回结果。 在提升可控性方面，有以下建议： 1. 放弃 JSON mode，虽然模型能力提升能输出 JSON，但仍会出错，且不能保证 100%正确，而模型厂家对 Function Calling 有微调优化。 2. 降低 System prompt 依赖，化繁为简，能在 Tools 里写的东西尽量写在里面。 3. API Response 增强 Prompt，这一步的准确率很高，可增加给大模型的约束和提示。 4. 尽量让模型做选择，而不是填空，减少 token 输出，提高速度和准确率。 5. 利用 Tools 来做 Route，构建 Multi Agent，术业有专攻。
2024-10-24