直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

提示词工程

回答

提示词工程师(Prompt Engineer)是在与人工智能模型交互时,负责设计和优化提示的专业人员。他们的目标是通过精心构造的提示,引导模型产生准确、有用和相关的回答。

主要职责包括:

  • 设计提示:根据用户需求和模型能力设计有效的提示,考虑提示的长度、结构、措辞和信息量等因素,确保清晰传达用户意图并引导模型生成满意结果。
  • 优化提示:通过收集用户反馈、分析模型结果和实验不同的提示策略等方式不断优化提示,以提高模型性能。
  • 评估提示:使用各种指标如模型的准确率、流畅度和相关性等来评估提示的有效性。

提示词工程师需要具备以下技能和知识:

  • 领域知识:对所工作的领域有深入了解,以便设计出有效的提示。
  • 自然语言处理(NLP):了解 NLP 的基本原理和技术,能够理解和生成自然语言文本。
  • 人工智能(AI):了解 AI 的基本原理和技术,能够理解和使用 AI 模型。
  • 沟通能力:具备良好的沟通能力,与用户、团队成员和其他利益相关者有效沟通。

以下是一些提示词工程师工作的实际案例: 无需微调,仅用提示词工程就能让 LLM 获得 tool calling 的功能。其实现原理主要有两部分代码组成:提示词注入和工具结果回传。提示词注入用于将工具信息以及使用工具的提示词添加到系统提示中。工具结果回传则是解析 tool calling 的输出,并将工具返回的内容再次嵌入 LLM。

在生成式 AI 模型中,提示词工程是一门新兴的学科,它塑造了模型的交互和输出。提示词是用户与模型沟通愿望的文本界面,可从简单问题到复杂任务,包括指令、问题、输入数据和示例等。提示词工程的核心在于制作出能实现特定目标的最佳提示词,这不仅要指导模型,还需深刻理解模型能力和局限性及所处上下文。此外,提示词工程是一个迭代和探索的过程,类似于传统软件工程实践,且需要适应新范式。本文旨在深入探讨这个新兴领域,重点关注其在 LLM 中的应用,且多数技术也适用于多模态生成式 AI 模型。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

问:什么是提示词工程师(Prompt Engineer)

提示词工程师(Prompt Engineer)是指在与人工智能模型进行交互时,负责设计和优化提示的专业人员。他们的目标是通过精心构造的提示,引导模型产生准确、有用和相关的回答。作为提示词工程师,他们需要具备一定的领域知识、理解人工智能模型的能力以及对用户需求的敏感性。提示词工程师的主要职责包括:设计提示:提示词工程师需要根据用户需求和模型能力设计有效的提示。他们需要考虑提示的长度、结构、措辞和信息量等因素,以确保提示能够清晰地传达用户意图并引导模型生成满意的结果。优化提示:提示词工程师需要不断优化提示,以提高模型的性能。他们可以通过收集用户反馈、分析模型结果和实验不同的提示策略等方式来优化提示。评估提示:提示词工程师需要评估提示的有效性。他们可以使用各种指标来评估提示,例如模型的准确率、流畅度和相关性等。提示词工程师需要具备以下技能和知识:领域知识:提示词工程师需要对他们所工作的领域有深入的了解,以便能够设计出有效的提示。自然语言处理(NLP):提示词工程师需要了解NLP的基本原理和技术,以便能够理解和生成自然语言文本。人工智能(AI):提示词工程师需要了解AI的基本原理和技术,以便能够理解和使用AI模型。沟通能力:提示词工程师需要具备良好的沟通能力,以便能够与用户、团队成员和其他利益相关者有效沟通。提示词工程师是一个新兴的职业,随着人工智能技术的不断发展,对提示词工程师的需求将会越来越大。以下是一些提示词工程师工作的实际案例:

无需微调,仅用提示词工程就能让 LLM 获得 tool calling 的功能

本文采用的提示词工程主要有两部分代码组成:提示词注入和工具结果回传。提示词注入用于将工具信息以及使用工具的提示词添加到系统提示中。工具结果回传则是解析tool calling的输出,并将工具返回的内容再次嵌入LLM。[heading2]1、提示词注入阶段[content]INSTRUCTION为最后注入到系统提示中的字符串,他又包含了TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT三个部分。TOOL_EAXMPLE用于提示LLM如何理解tool以及如何使用tool。在编写TOOL_EAXMPLE时,请注意用一些无关紧要的工具作为示例,例如本文使用的将数字加一和数字减一的工具,从而避免LLM混淆真正可以使用的工具与示例工具。tools_instructions是由目前通用的工具字典转换成LLM可读的工具列表。实际使用LLM时,可以通过输入不同的工具来动态调整tools_instructions,让LLM得知目前可用的工具有哪些以及如何使用。REUTRN_FORMAT定义了调用API的格式。[heading2]2、工具结果回传阶段[content]利用正则表达式抓取输出中的"tool"和"parameters"参数。对于interpreter工具,使用了另一种正则表达式来提取LLM输出的代码,提高LLM使用interpreter工具的成功率。本文使用代码如下:通过识别LLM返回的调用工具的字典,提取出对应的值,再传入相应的工具函数,最后将工具返回的结果以observation的角色返回给LLM。对于一些不接受observation、tool、function角色的LLM接口,可以改为回传给user角色,例如:通过以上提示词工程,可以避免微调,让完全没有tool calling能力的LLM获得稳定的tool calling能力。

小七姐:精读翻译《提示词设计和工程:入门与高级方法》

在生成式AI模型中,提示词工程是一门新兴的学科,它塑造了这些模型的交互和输出。提示词是用户与模型沟通愿望的文本界面,无论是在像DALLE-3或Midjourney这样的图像生成模型中描述图像,还是在像GPT-4和Gemini这样的LLM中提出复杂的问题。提示词可以是简单的问题到复杂的任务,包括指令、问题、输入数据和示例,以指导AI的响应。提示词工程的核心在于制作出能够实现特定目标的最佳提示词。这个过程不仅仅是指导模型,还涉及到对模型能力和局限性的深刻理解,以及它所处的上下文。例如,在图像生成模型中,提示词可能是对期望图像的详细描述,而在LLM中,它可能是一个包含各种类型数据的复杂查询。提示词工程不仅仅是构建提示词,它还需要结合领域知识、对AI模型的理解,以及一种系统化的方法来为不同情境定制提示词。这可能包括创建可以根据给定数据集或上下文进行程序化修改的模板。例如,基于用户数据生成个性化响应可能会使用一个动态填充相关信息的模板。此外,提示词工程是一个迭代和探索的过程,类似于传统软件工程实践,如版本控制和回归测试。这个领域的快速增长表明它有潜力彻底改变机器学习的某些方面,超越传统的特征或架构工程方法,尤其是在大型神经网络的背景下。另一方面,传统工程实践,如版本控制和回归测试,需要适应这个新范式,就像它们适应其他机器学习方法一样[1]。本文旨在深入探讨这个新兴领域,探索其基础方面和高级应用。我们将重点关注提示词工程在LLM中的应用。然而,大多数技术也可以应用于多模态生成式AI模型。

其他人在问
写作提示词
以下是关于写作提示词的全面介绍: 写提示词(prompt)是决定 AI 模型如何理解并生成文本的关键步骤。一个好的提示词能够帮助 AI 模型更好地理解任务要求,生成更符合预期的文本。编写提示词的建议如下: 1. 明确任务:清晰定义任务,如写故事时包含故事背景、角色和主要情节。 2. 提供上下文:若任务需特定背景知识,在提示词中提供足够信息。 3. 使用清晰语言:尽量用简单、清晰的语言,避免模糊或歧义词汇。 4. 给出具体要求:如有特定格式或风格要求,在提示词中明确指出。 5. 使用示例:若有特定期望结果,提供示例帮助 AI 模型理解需求。 6. 保持简洁:提示词简洁明了,避免过多信息使模型困惑。 7. 使用关键词和标签:有助于模型理解任务主题和类型。 8. 测试和调整:生成文本后检查结果,根据需要调整提示词,可能需多次迭代。 在 AI 绘画中,提示词的编写也有一些要点: 根据想画的内容写提示词,多个提示词之间用英文半角符号“,”隔开。 一般概念性、大范围、风格化的关键词写在前面,叙述画面内容的其次,描述细节的最后。 每个词语在模型中的自带权重可能不同,可使用括号人工修改提示词的权重。 关键词应具有特异性,措辞尽量具体,避免抽象和有解释空间的措辞。 在星流一站式 AI 设计工具中: 提示词用于描绘想生成的画面。 输入语言方面,星流通用大模型与基础模型 F.1、基础模型 XL 使用自然语言,基础模型 1.5 使用单个词组,支持中英文输入。 写好提示词的方法包括使用预设词组、保证内容准确(包含人物主体、风格、场景特点等)、调整负面提示词、利用“加权重”功能突出重点内容,还可使用辅助功能如翻译、删除所有提示词、会员加速等。
2024-11-24
提示词
以下是关于提示词的全面介绍: 一、什么是提示词 1. 用于描绘您想生成的画面。 2. 输入语言方面,星流通用大模型与基础模型 F.1、基础模型 XL 使用自然语言(如一个长头发的金发女孩),基础模型 1.5 使用单个词组(如女孩、金发、长头发),且支持中英文输入。 3. 启用提示词优化后,能帮您扩展提示词,更生动地描述画面内容。 二、如何写好提示词 1. 小白用户可以点击提示词上方官方预设词组进行生图,提示词内容要准确,包含人物主体、风格、场景特点、环境光照、画面构图、画质等,比如:一个女孩抱着小猫,背景是一面红墙,插画风格、孤独感,高质量。 2. 调整负面提示词,点击提示框下方的齿轮按钮,弹出负面提示词框,负面提示词可以帮助 AI 理解我们不想生成的内容,比如:不好的质量、低像素、模糊、水印。 3. 利用“加权重”功能,让 AI 明白重点内容,可在功能框增加提示词,并进行加权重调节,权重数值越大,越优先,也可对已有的提示词权重进行编辑。 4. 辅助功能包括翻译功能(一键将提示词翻译成英文)、删除所有提示词(清空提示词框)、会员加速(加速图像生图速度,提升效率)。 三、提示词要素 提示词可以包含以下任意要素: 1. 指令:想要模型执行的特定任务或指令。 2. 上下文:包含外部信息或额外的上下文信息,引导语言模型更好地响应。 3. 输入数据:用户输入的内容或问题。 4. 输出指示:指定输出的类型或格式。 四、提示工程与提示词的区别 提示工程是人工智能领域中,特别是在自然语言处理和大型语言模型的上下文中一个相对较新的概念,它涉及设计和优化输入提示,以引导 AI 模型生成特定类型的输出或执行特定的任务。提示词通常指的是直接输入到 AI 模型中的问题、请求或指示,是提示工程的一部分。提示工程是一个更广泛的概念,不仅包括创建提示词,还涉及理解模型的行为、优化提示以获得更好的性能、以及创造性地探索模型的潜在应用,其目标是最大化 AI 模型的效用和性能,而提示词是实现这一目标的手段之一。在实际应用中,提示工程可能包括对 AI 模型的深入分析、用户研究、以及对特定任务的定制化提示设计。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2024-11-24
如何写提示词
写提示词(prompt)是一个关键步骤,决定了 AI 模型如何理解并生成文本。以下是一些编写提示词的要点和方法: 1. 明确任务:清晰定义任务,如写故事时包含背景、角色和主要情节。 2. 提供上下文:若任务需特定背景知识,要提供足够信息。 3. 使用清晰语言:尽量简单、清晰,避免模糊或歧义词汇。 4. 给出具体要求:如有格式或风格要求,应明确指出。 5. 使用示例:提供期望结果的示例,帮助模型理解需求。 6. 保持简洁:避免过多信息导致模型困惑。 7. 使用关键词和标签:有助于模型理解任务主题和类型。 8. 测试和调整:生成文本后检查结果,根据需要调整提示词,可能需多次迭代。 在星流一站式 AI 设计工具中: 提示词用于描绘画面。 输入语言方面,星流通用大模型与基础模型 F.1、基础模型 XL 使用自然语言(如一个长头发的金发女孩),基础模型 1.5 使用单个词组(如女孩、金发、长头发),支持中英文输入。 写好提示词的方法包括: 利用预设词组,小白用户可点击提示词上方官方预设词组进行生图。 保证提示词内容准确,包含人物主体、风格、场景特点、环境光照、画面构图、画质等,如一个女孩抱着小猫,背景是一面红墙,插画风格、孤独感,高质量。 调整负面提示词,点击提示框下方的齿轮按钮弹出负面提示词框,负面提示词可帮助 AI 理解不想生成的内容,如不好的质量、低像素、模糊、水印。 利用“加权重”功能,在功能框增加提示词并进行加权重调节,权重数值越大越优先,还可对已有提示词权重进行编辑。 借助辅助功能,如翻译功能可一键将提示词翻译成英文,还有删除所有提示词、会员加速等功能。 此外,宝玉日报指出,提示词应清晰明确,避免模糊指令,要提供足够背景信息和清楚需求描述,确保模型给出准确结果。
2024-11-24
提示词
以下是关于提示词的全面介绍: 一、什么是提示词 1. 提示词用于描绘您想生成的画面。 2. 输入语言方面,星流通用大模型与基础模型 F.1、基础模型 XL 使用自然语言(如一个长头发的金发女孩),基础模型 1.5 使用单个词组(如女孩、金发、长头发),且支持中英文输入。 3. 启用提示词优化后,能帮您扩展提示词,更生动地描述画面内容。 二、如何写好提示词 1. 小白用户可以点击提示词上方官方预设词组进行生图,提示词内容要准确,包含人物主体、风格、场景特点、环境光照、画面构图、画质等,比如:一个女孩抱着小猫,背景是一面红墙,插画风格、孤独感,高质量。 2. 可以调整负面提示词,点击提示框下方的齿轮按钮,弹出负面提示词框,负面提示词能帮助 AI 理解我们不想生成的内容,比如:不好的质量、低像素、模糊、水印。 3. 利用“加权重”功能,让 AI 明白重点内容,可在功能框增加提示词,并进行加权重调节,权重数值越大,越优先,还能对已有的提示词权重进行编辑。 4. 辅助功能包括翻译功能(一键将提示词翻译成英文)、删除所有提示词(清空提示词框)、会员加速(加速图像生图速度,提升效率)。 三、提示词要素 提示词可以包含以下任意要素: 1. 指令:想要模型执行的特定任务或指令。 2. 上下文:包含外部信息或额外的上下文信息,引导语言模型更好地响应。 3. 输入数据:用户输入的内容或问题。 4. 输出指示:指定输出的类型或格式。 四、提示工程与提示词的区别 提示工程是人工智能领域中,特别是在自然语言处理和大型语言模型的上下文中一个相对较新的概念,它涉及设计和优化输入提示,以引导 AI 模型生成特定类型的输出或执行特定的任务。提示词通常指的是直接输入到 AI 模型中的问题、请求或指示,是提示工程的一部分。提示工程是一个更广泛的概念,不仅包括创建提示词,还涉及理解模型的行为、优化提示以获得更好的性能、以及创造性地探索模型的潜在应用。提示工程的目标是最大化 AI 模型的效用和性能,而提示词是实现这一目标的手段之一。在实际应用中,提示工程可能包括对 AI 模型的深入分析、用户研究、以及对特定任务的定制化提示设计。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2024-11-24
AI提示词方法
以下是关于 AI 提示词方法的全面介绍: 优化和润色提示词(Prompt)对于提高文生图、对话等 AI 模型的输出质量非常重要,方法包括: 1. 明确具体的描述:使用更具体、细节的词语和短语来描述想要表达的内容,避免过于笼统。 2. 添加视觉参考:在 Prompt 中插入相关的图片参考,提高 AI 理解意图和细节要求的能力。 3. 注意语气和情感:根据需求,用合适的形容词、语气词等调整 Prompt 的整体语气和情感色彩。 4. 优化关键词组合:尝试不同的关键词搭配和语序,找到最有针对性、最准确表达需求的 Prompt 描述方式。 5. 增加约束条件:为避免 AI 产生意料之外的输出,添加限制性条件,如分辨率、比例等。 6. 分步骤构建 Prompt:将复杂的需求拆解为逐步的子 Prompt,引导 AI 先生成基本结构,再逐步添加细节和完善。 7. 参考优秀案例:研究 AI 社区流行的、被证明有效的 Prompt 范例,借鉴写作技巧和模式。 8. 反复试验、迭代优化:通过多次尝试不同的 Prompt 写法,并根据输出效果反馈持续优化完善,直至达到理想结果。 编写 prompt 时,还应遵循以下建议: 1. 明确任务:清晰定义任务,如写故事时包含背景、角色和主要情节。 2. 提供上下文:若任务需要特定背景知识,提供足够的上下文。 3. 使用清晰的语言:尽量用简单、清晰的语言,避免模糊或歧义词汇。 4. 给出具体要求:如有特定格式或风格要求,在 prompt 中明确指出。 5. 使用示例:如有特定期望结果,在 prompt 中提供示例。 6. 保持简洁:尽量简洁明了,避免过多信息使 AI 模型困惑。 7. 使用关键词和标签:帮助 AI 模型更好地理解任务的主题和类型。 8. 测试和调整:生成文本后仔细检查结果,根据需要调整 prompt,可能需要多次迭代。 在星流一站式 AI 设计工具的 prompt 输入框中: 1. 提示词用于描绘画面。 2. 输入语言方面,星流通用大模型与基础模型 F.1、基础模型 XL 使用自然语言(如一个长头发的金发女孩),基础模型 1.5 使用单个词组(如女孩、金发、长头发),支持中英文输入。 3. 写好提示词的方法包括: 预设词组:小白用户可点击提示词上方官方预设词组进行生图,提示词内容应准确,包含人物主体、风格、场景特点、环境光照、画面构图、画质等,如一个女孩抱着小猫,背景是一面红墙,插画风格、孤独感,高质量。 调整负面提示词:点击提示框下方的齿轮按钮,弹出负面提示词框,负面提示词可帮助 AI 理解不想生成的内容,如不好的质量、低像素、模糊、水印。 利用“加权重”功能:在功能框增加提示词,并进行加权重调节,权重数值越大越优先,也可对已有的提示词权重进行编辑。 辅助功能:包括翻译功能(一键将提示词翻译成英文)、删除所有提示词(清空提示词框)、会员加速(加速图像生图速度,提升效率)。
2024-11-22
文生图反向推出提示词
在文生图中,反向推出提示词的方式主要有以下几种: 1. 在图生图功能中,除了文本提词框外,还有图片框输入口。随便照一张照片拖入后,文本输入框旁边有两个反推提示词的按钮:CLIP 可以通过图片反推出完整含义的句子;DeepBooru 可以反推出关键词组。例如一张小男孩坐在长凳上的图片,通过 CLIP 反推得到的提示词为“a young boy sitting on a bench with a toy train and a lego train set on the floor next to him,Adam Rex,detailed product photo,a stock photo,lyco art”,通过 DeepBooru 反推得到的提示词为“shoes,solo,hat,orange_background,yellow_background,smile,socks,black_hair,sitting,sneakers”。但这两种方式生成的提示词可能存在瑕疵,需要手动补充信息。补充好提示词后,调整宽度和高度,使红框刚好匹配图片,同时注意两个重要参数:提示词相关性和重绘幅度。 2. 利用上一期活动图片反推工作流,使用唯美港风图片进行反推提示词,在大模型后接一个相关模型。上一期活动链接:。 3. 利用抱脸的 joycaption 图片反推提示词,然后在哩布上跑 flux 文生图工作流。joycaption 链接(需要魔法):https://huggingface.co/spaces/fancyfeast/joycaptionprealpha 。文生图工作流: 。在哩布上跑文生图:https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 。 在写文生图的提示词时,例如“”。
2024-11-22
请总结本知识库,并提炼出11节面向十岁儿童关于AIGC的课程,三节是提示词工程,2节文生文,2节文生图/图生图,2节文生音频,2节文生视频/图生视频,不需要涉及智能体及文生代码
以下是对本知识库的总结: 包含了不同时间段的 AIGC 周刊内容,如 Open AI 发布 ChatGPT 的 iOS 应用、Google 宣布多项 AI 新功能、AI 歌手相关教程等。 有关于提示词工程的课程及相关技巧介绍。 涉及一些特定的 AIGC 技术和方法,如 Donut 文档理解方法。 提到了谷歌的生成式 AI 学习课程。 以下是为十岁儿童设计的 11 节关于 AIGC 的课程: 1. 提示词工程基础 什么是提示词 提示词的作用 简单的提示词示例 2. 提示词工程进阶 复杂提示词的构建 如何优化提示词 提示词的实际应用 3. 提示词工程实践 设计自己的提示词任务 分享与讨论提示词成果 总结提示词的使用技巧 4. 文生文入门 了解文生文的概念 简单的文生文工具介绍 尝试生成一段文字 5. 文生文提高 优化文生文的输入 让生成的文字更有趣 比较不同文生文的效果 6. 文生图/图生图基础 认识文生图和图生图 常见的文生图工具 用简单描述生成一张图片 7. 文生图/图生图进阶 更复杂的描述生成精美图片 对生成的图片进行修改 分享自己生成的图片 8. 文生音频入门 什么是文生音频 简单的文生音频工具 生成一段简单的音频 9. 文生音频提高 让生成的音频更动听 给音频添加特效 欣赏优秀的文生音频作品 10. 文生视频/图生视频基础 文生视频和图生视频的概念 基本的文生视频工具 制作一个简单的视频 11. 文生视频/图生视频进阶 让视频更精彩 视频的后期处理 展示自己制作的视频
2024-10-31
aigc提示工程师应该学习哪些课程
以下是 AIGC 提示工程师应该学习的一些课程: 1. 针对开发者的 AIGPT 提示工程课程:由 OpenAI 技术团队成员授课,涵盖软件开发最佳实践的提示,常见用例如总结、推理、转换和扩展,以及使用 LLM 构建聊天机器人等内容。 2. 范德堡大学的提示工程课程:教您成为生成 AI 工具的专家用户,展示利用生成式人工智能工具的示例,提高日常工作效率,并深入了解其工作原理。 3. 了解大型语言模型背后的理论:深入探讨自然语言处理中基本模型的细节,学习创新技术,涉及基于 Transformer 的模型,以及少量学习和知识蒸馏等转移学习技术,聚焦新的 LLM 发展方向。 4. 提示词培训课——Part4:包括提词工程的基础概念和实用技巧,如利用地规构建思考链条、探讨提示词的敏感性问题、解释'token'概念及相关操作,深入讲解提示词的进阶技术,如增强推理能力、运用元提示和任务分解技巧,探讨 AIAgent 和 AIAgentic 的概念和差别,学习多智能体设计模式,梳理提词落地流程。
2024-10-31
AI搜索工程架构
以下是关于 AI 搜索工程架构的相关内容: 一、可插拔架构 在整个搜索回答的全流程,有很多节点可以做 Hook 埋点,每个 Hook 可以挂载零至多个插件,多个插件构成了 AI 搜索的可插拔架构。一些常用的功能,可以由 AI 搜索平台自身或第三方创作者抽离成标准插件,用在 AI 搜索主流程或者智能体/工作流等辅助流程。比如,自定义一个思维导图摘要插件,用户可以在搜索的步骤中选择这个自定义插件,实现用思维导图输出搜索结果。 二、提升可玩性 可以预置一个 after_answer 钩子,在大模型回答完用户 query 之后,把请求大模型的上下文信息和大模型的回答内容一起发给第三方插件,第三方插件可以把内容整理成文章/思维导图等格式,再同步到第三方笔记软件。 三、自定义智能体 Agent 智能体一般是对一些自定义操作的封装,用于解决某个场景的某类问题。以 ChatGPT 的 GPTs 举例,一个智能体应用由以下几部分自定义操作组成: 1. 提示词:描述智能体的作用,定义智能体的回复格式。 2. 知识库:上传私有文件作为回答参考。 3. 外挂 API:请求第三方 API 获取实时数据。 4. 个性化配置:是否联网/是否使用图片生成/是否使用数据分析等。 四、提升准确度 1. 为获取足够信息密度,需获取链接详情页内容。通过上一步的 Reranking 选择最匹配的 top_k 条数据,避免获取全部内容导致 context 超限。为保证获取详情内容的效率,可做并行处理,如通过 goroutine 或者 python 的协程并行读取 top_k 条链接。获取链接详情内容有多种方案,如网页爬虫、无头浏览器抓取、第三方 Reader 读取等。 2. 构建上下文内容池 Context Pool,将历史搜索结果和历史对话消息组成 Context Pool。每次搜索后追问,都带上这个 Context Pool 做意图识别/问题改写,拿到新的检索结果后更新这个 Context Pool,并带上最新的 Context Pool 内容作为上下文请求大模型回答。需要保证 Context Pool 的内容有较高的信息密度,同时控制其内容长度,不要超过大模型的 context 极限。 五、检索增强生成 以 Sana 的企业搜索用例为例,RAG 过程始于应用程序加载和转换无结构文件,转换为 LLM 可查询格式,文件被“分块”成更小的文本块,并作为向量嵌入和存储在数据库中。当用户提出问题时,系统会检索语义上最相关的上下文块,并将其折叠到“元提示”中,与检索到的信息一起馈送给 LLM,然后 LLM 合成答复返回给用户。在生产中,AI 应用程序具有更复杂的应用程序流程,包含多个检索步骤和提示链,不同类型的任务并行执行,然后将结果综合在一起,以生成最终输出。
2024-10-26
提词工程
提示词工程是一门在 AI 领域中新兴且重要的学科,主要包括以下方面: 实现原理:主要由提示词注入和工具结果回传两部分代码组成。提示词注入用于将工具信息及使用工具的提示词添加到系统提示中,包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。工具结果回传则是解析 tool calling 的输出,并将工具返回的内容再次嵌入 LLM。 提示词注入阶段:INSTRUCTION 包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。TOOL_EAXMPLE 用于提示 LLM 理解和使用工具,编写时应注意用无关紧要的工具作示例避免混淆。tools_instructions 可通过输入不同工具动态调整,让 LLM 得知可用工具及使用方法。REUTRN_FORMAT 定义调用 API 的格式。 工具结果回传阶段:利用正则表达式抓取输出中的“tool”和“parameters”参数,对于 interpreter 工具使用另一种正则表达式提取 LLM 输出的代码。通过识别 LLM 返回的调用工具的字典提取对应值,传入工具函数,将结果以 observation 或 user 角色返回给 LLM。 是用户与模型沟通愿望的文本界面,涵盖简单问题到复杂任务,包括指令、问题、输入数据和示例等,以指导 AI 的响应。其核心在于制作出能实现特定目标的最佳提示词,需结合领域知识、对 AI 模型的理解及系统化方法为不同情境定制提示词,还可能包括创建可根据给定数据集或上下文进行程序化修改的模板,是一个迭代和探索的过程。 在人工智能迅速发展的当下,已成为企业领导者必须掌握的关键技能,是设计和优化输入到 AI 系统指令(即提示词)的艺术和科学。但简单提示词存在局限性,无法满足复杂需求,推动了更先进提示技巧如思维链、思维树和思维图等的发展。
2024-10-23
无人驾驶开发工程师
以下是为您提供的关于无人驾驶开发工程师的相关信息: 在生成式人工智能的行动方面,目前出现的趋势是首先将 AI 作为辅助驾驶(humanintheloop)部署,并通过使用机会积累经验,最终实现全自动化部署。例如 Sierra 就是一个例子,它在无法解决问题时能优雅地转交给人工处理。同时,新一代自主型应用随着生成式 AI 推理能力的提升而涌现,如 L4 智能驾驶可能是第一个具身智能最大的应用场景,目前其安全性比人类高 10 倍。 在 2024 北京智源大会的主题讨论中,张亚勤认为目前真正赚钱的是 2B 领域,如芯片、服务器等,应用是先 2C 再 2B。他把智能分成信息智能、具身智能、生物智能 3 个阶段,预测 05 年是信息智能,510 年是物理智能(具身智能),1520 年是生物智能。李开复认为无人驾驶面临巨大机会,FSD 会为无人驾驶带来新机遇,大模型适合虚拟世界,而接入物理世界会面临很多现实问题,创业者更适合从虚拟世界的 AI 创业开始。
2024-10-21
我是一定装饰工程造价从业人员,如何通过学习AI来提升自己
对于装饰工程造价从业人员来说,通过以下方式学习 AI 可以提升自己: 了解相关基础知识和技术细节:阅读关于 AI 生成 CAD 图的学术论文,深入研究其原理和应用。 参加在线课程:系统学习 AI 在 CAD 领域的知识和技能。 观看教程视频:直观地了解操作和实践方法。 交流学习:与同行或专家交流经验,分享心得。 需要注意的是,随着 AI 技术的不断发展,其在 CAD 设计中的应用会越来越广泛,为设计师和工程师提供更多辅助和支持。但以上内容由 AI 大模型生成,请您仔细甄别。
2024-09-24