Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

AI领域,传统机器学习,nlp,深度学习,大语言模型,rag,agent,请生成一张让普通人能看懂的AI领域概念图

Answer

以下是为您生成的 AI 领域概念图的相关解释:

人工智能(AI):一种目标,让机器展现智慧。

生成式人工智能(GenAI):一种目标,让机器产生复杂有结构的内容。

机器学习:一种手段,让机器自动从资料中找到公式,包括监督学习、无监督学习、强化学习。

  • 监督学习:有标签的训练数据,学习输入和输出之间的映射关系,包括分类和回归。
  • 无监督学习:学习的数据没有标签,算法自主发现规律,如聚类。
  • 强化学习:从反馈里学习,最大化奖励或最小化损失。

深度学习:一种更厉害的手段,参照人脑有神经网络和神经元(因为有很多层所以叫深度),神经网络可用于多种学习方式。

大语言模型(LLM):是一类具有大量参数的“深度学习”模型。对于生成式 AI,生成图像的扩散模型不是大语言模型;对于大语言模型,生成只是其中一个处理任务,如谷歌的 BERT 模型可用于语义理解(不擅长文本生成),如上下文理解、情感分析、文本分类。

AIGC(Artificial Intelligence Generated Content):利用人工智能技术生成内容的新型生产方式,包括文本、图像、音频和视频等内容。

ChatGPT:一个应用实例,通过投喂大量资料预训练后,会通过聊天玩“文字接龙游戏”。它是美国 OpenAI 公司开发的一款基于大型语言模型(LLM)的对话机器人,能够根据用户的输入生成连贯且相关的文本回复。

2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出了 Transformer 模型,它完全基于自注意力机制(Self-Attention)来处理序列数据,比 RNN 更适合处理文本的长距离依赖性。

Content generated by AI large model, please carefully verify (powered by aily)

References

快速学习 AIGC,有料通俗易懂版!

人工智能:一种目标,让机器展现智慧,Artificial Intelligence,简称AI生成式人工智能GenAI:一种目标,让机器产生复杂有结构的内容,Generative AI简称GenAI机器学习:一种手段,让机器自动从资料中找到公式深度学习:一种更厉害的手段,类神经网络-非常大量参数的函数大语言模型:是一类具有大量参数的“深度学习”模型,Large Language Models,简称LLMsChatGPT:一个应用实例,形象比喻:通过投喂大量资料预训练后,ChatGPT会通过聊天玩“文字接龙游戏”了。英文解释:Chat聊天,G:Generative生成,P:Pre-trained预训练,T:Transformer类神经网络模型以上概念之间的关系如下图:AIGC(Artificial Intelligence Generated Content,人工智能生成内容)是利用人工智能技术生成内容的新型生产方式,包括文本、图像、音频和视频等内容。AIGC技术可以用于多种应用,如自动撰写新闻文章、生成艺术画作、创作音乐、制作视频游戏内容等。ChatGPT是AIGC技术的一个应用实例,它代表了AIGC在文本生成领域的进展。ChatGPT是美国OpenAI公司开发的一款基于大型语言模型(Large Language Model,简称LLM)的对话机器人,它能够根据用户的输入生成连贯且相关的文本回复。用户界面如下:AGI、GenAI、AIGC几个概念的区别与理解可参考下图:更多概念可问Kimi、通义千问、文心一言等大模型,也可以继续往下看,会逐步讲解更多概念。国内主要模型公司及地址如下:

快速学习 AIGC,有料通俗易懂版!

人工智能:一种目标,让机器展现智慧,Artificial Intelligence,简称AI生成式人工智能GenAI:一种目标,让机器产生复杂有结构的内容,Generative AI简称GenAI机器学习:一种手段,让机器自动从资料中找到公式深度学习:一种更厉害的手段,类神经网络-非常大量参数的函数大语言模型:是一类具有大量参数的“深度学习”模型,Large Language Models,简称LLMsChatGPT:一个应用实例,形象比喻:通过投喂大量资料预训练后,ChatGPT会通过聊天玩“文字接龙游戏”了。英文解释:Chat聊天,G:Generative生成,P:Pre-trained预训练,T:Transformer类神经网络模型以上概念之间的关系如下图:AIGC(Artificial Intelligence Generated Content,人工智能生成内容)是利用人工智能技术生成内容的新型生产方式,包括文本、图像、音频和视频等内容。AIGC技术可以用于多种应用,如自动撰写新闻文章、生成艺术画作、创作音乐、制作视频游戏内容等。ChatGPT是AIGC技术的一个应用实例,它代表了AIGC在文本生成领域的进展。ChatGPT是美国OpenAI公司开发的一款基于大型语言模型(Large Language Model,简称LLM)的对话机器人,它能够根据用户的输入生成连贯且相关的文本回复。用户界面如下:AGI、GenAI、AIGC几个概念的区别与理解可参考下图:更多概念可问Kimi、通义千问、文心一言等大模型,也可以继续往下看,会逐步讲解更多概念。国内主要模型公司及地址如下:

【AI学习笔记】小白如何理解技术原理与建立框架(通俗易懂内容推荐)

一、视频一主要回答了什么是AI大模型,原理是什么。1、概念:生成式AI生成的内容,叫做AIGC2、概念与关系:相关技术名词1)AI——人工智能2)机器学习——电脑找规律学习,包括监督学习、无监督学习、强化学习。3)监督学习——有标签的训练数据,算法的目标是学习输入和输出之间的映射关系。包括分类和回归。4)无监督学习——学习的数据没有标签,算法自主发现规律。经典任务包括聚类,比如拿一堆新闻文章,让模型根据主题或内容特征分成具有相似特征的组。5)强化学习——从反馈里学习,最大化奖励或最小化损失;类似训小狗。6)深度学习——一种方法,参照人脑有神经网络和神经元(因为有很多层所以叫深度)。神经网络可以用于监督学习、无监督学习、强化学习。7)生成式AI——可以生成文本、图片、音频、视频等内容形式8)LLM——大语言模型。对于生成式AI,其中生成图像的扩散模型就不是大语言模型;对于大语言模型,生成只是其中一个处理任务,比如谷歌的BERT模型,可用于语义理解(不擅长文本生成),如上下文理解、情感分析、文本分类;3、技术里程碑——2017年6月,谷歌团队发表论文《Attention is All You Need》。这篇论文首次提出了Transformer模型,它完全基于自注意力机制(Self-Attention)来处理序列数据,而不需要依赖于循环神经网络(RNN)或卷积神经网络(CNN)。GPT含义:Transformer是关键。Transformer比RNN更适合处理文本的长距离依赖性。

Others are asking
什么ai可以帮我修改简历美化简历
以下是一些可以帮助您修改和美化简历的 AI 工具: 1. 超级简历优化助手:分析简历内容并提供优化建议,帮助用户优化简历提高求职成功率。 2. ResumeMatcher:AI 驱动的开源简历优化工具,提供智能关键词匹配、深入分析见解,提升简历通过 ATS 筛选的几率。 3. KickResume:提供 AI 简历重写服务,使用 OpenAI 的 GPT4 语言模型,能在几秒钟内修复简历错误、使其更专业,并使用行业术语和关键词优化简历,帮助用户通过 ATS 筛选,生成与求职职位匹配的求职信。
2025-03-18
AIGC 检测
以下是一些常见的 AIGC 检测相关的信息: AIGC 论文检测网站和工具: 1. Turnitin:是广泛使用的学术剽窃检测工具,增加了检测 AI 生成内容的功能。使用方法是上传论文,系统自动分析并提供详细报告,标示出可能由 AI 生成的部分。 2. Copyscape:主要用于检测网络上的剽窃行为,虽不是专门的 AIGC 检测工具,但可发现可能被 AI 生成的重复内容。输入文本或上传文档,系统扫描网络查找相似或重复内容。 3. Grammarly:提供语法检查和剽窃检测功能,剽窃检测部分可帮助识别可能由 AI 生成的非原创内容。将文本粘贴到编辑器中,选择剽窃检测功能,系统提供分析报告。 4. Unicheck:基于云的剽窃检测工具,适用于教育机构和学术研究,可检测 AI 生成内容的迹象。上传文档或输入文本,系统分析并生成报告,显示潜在的剽窃和 AI 生成内容。 5. :专门设计用于检测 AI 生成内容的工具,使用先进算法分析文本,识别是否由 GPT3 或其他 AI 模型生成。上传文档或输入文本,系统提供详细报告。 6. :提供免费的 AI 内容检测工具,可识别文本是否由 AI 生成。将文本粘贴到在线工具中,点击检测按钮,系统提供分析结果。 7. GPTZero:专门设计用于检测由 GPT3 生成内容的工具,适用于教育和出版行业。上传文档或输入文本,系统分析并提供报告,显示文本是否由 GPT3 生成。 8. Content at Scale:提供 AI 内容检测功能,帮助用户识别文本是否由 AI 生成。将文本粘贴到在线检测工具中,系统分析并提供结果。 判断一张图片是否 AI 生成: 可以使用一些网站,例如 ILLUMINARTY(https://app.illuminarty.ai/)。但在测试过程中可能存在误判,比如将结构严谨的真实摄影作品识别为 AI 作图,这是因为鉴定 AI 自身的逻辑算法不能像人类一样综合考虑各种不符合逻辑的表现。
2025-03-18
目前有哪些免费可用的 AI视频生成软件
以下是一些免费可用的 AI 视频生成软件: 1. Haiper:有免费额度,网址为 https://haiper.ai/ 。支持文生视频、图生视频、素描生视频、扩展视频,能生成 HD 超高清的视频。文生视频支持选择风格、秒数(2s 和 4s)、种子值。图生视频只能写提示词、秒数(2s 和 4s)。还支持视频重绘,包括局部重绘。 2. DynamiCrafter:免费,网址为 https://huggingface.co/spaces/Doubiiu/DynamiCrafter 及 https://github.com/Doubiiu/DynamiCrafter?tab=readmeovfile ,可生成 2 秒图生视频,还能做短视频拼长视频。 3. Morph studio:处于内测阶段,网址为 https://app.morphstudio.com/ 。暂未对外开放,可在官网提交内测申请。在 discord 上可以免费体验,支持文生视频、图生视频,英文提示词,支持运镜、运动强度、尺寸、秒数设置,默认生成 3s 视频。 此外,清影也是一款不错的 AI 视频生成工具,在首发测试期间所有用户均可免费使用。它具有不限量使用、生成速度快、提供配乐小功能等特色。生成参数包括时长 6s、清晰度 1440x960(3:2)、帧率 16fps 等,在风景、动物、超现实、人文历史类需求以及皮克斯风格、卡通风格、摄影风格、动漫风格等方面表现突出。 截至 2023 年,我们已经发现了 21 个公开的人工智能视频生成工具,大多数起初以 Discord 机器人的形式存在,随着产品成熟,越来越多的工具开始建立自己的网站甚至开发移动应用。
2025-03-18
使用ai绘图能够将带货产品批量换背景,使用在小红书社区
以下是一些能够为带货产品批量换背景并应用于小红书社区的人员信息: 卡飞猫:15692004031,擅长摄影写真、banner 生成、替换产品。 韩君奇:13060035786,能够批量出图,做小红书种草。 阿鱼:18102592057,擅长各种类型的 AI 画图,以及 AI 视频提效。 吴燕波:15766104311,可进行日常出图,视频等。
2025-03-18
使用ai绘图实现小红书笔记图片批量生成
以下是关于使用 AI 绘图实现小红书笔记图片批量生成的相关知识: Liblibai 简易上手教程: 1. 迭代步数:AI 调整图片内容的次数。步骤越多,调整越精密,出图效果理论上更好,但生图耗时越长,且效果提升并非线性,过多可能导致效果增长曲线放平并开始震荡。 2. 尺寸:图片生成的尺寸大小。太小 AI 生成内容有限,太大则可能放飞自我。如需高清图,可设置中等尺寸并用高分辨率修复。 3. 生成批次:用本次设置重复生成的批次数。 4. 每批数量:每批次同时生成的图片数量。 5. 提示词引导系数:指图像与 prompt 的匹配程度。数字增大图像更接近提示,但过高会使图像质量下降。 6. 随机数种子:生成的每张图都有随机数种子,固定种子后可对图片进行“控制变量”操作,如修改提示词、修改 clip 跳过层等。首次生成图时无种子。 7. ADetailer:面部修复插件,可治愈脸部崩坏,为高阶技能。 8. ControlNet:控制图片中特定图像,用于控制人物姿态、生成特定文字、艺术化二维码等,也是高阶技能。 利用 AI 批量生成、模仿和复刻《小林漫画》: 1. 需求分析:主要需求是国内可直接使用且能批量生产,选用扣子搭建工作流,可能需牺牲一定质量的文案和图片效果。 2. 批量生成句子:一次性生成的句子都进行生成图片处理,建议一次不要生成太多,如设置一次生成五句。 3. 句子提取:把生成的句子逐个提取,针对每个句子绘图。 4. 图片生成:根据生成的句子结合特有画风等描述绘图。 5. 图片和句子结合:扣子工作流支持 Python 代码,但环境缺少画图、图片处理所需包,可替换成搞定设计的方式处理图片,会用 PS 脚本效果也不错。 此外,还有一些人员在不同领域涉及 AI 绘图相关工作,如韩君奇从事批量出图和小红书种草工作。
2025-03-18
使用ai换背景能够实现真实的画面效果
使用 AI 换背景能够实现较为真实的画面效果,以下为您介绍几种相关方法: 在 SD 中,若要实现更精确的蒙版,如人物的眼睛或身上配饰等,可以使用 Segment Anything 中的 GroundingDINO 模型。启用该模型后,AI 会自动下载,也可从云盘下载放到指定文件目录。在检测提示词中输入相关内容,如“eye”,AI 可自动检测并设置蒙版,还能通过预览箱体获取眼睛编号进行单一调整。选择要修改的蒙版上传到重绘蒙版中,添加提示词如“闭眼”并生成。之后可给人物换背景,加载生成的背景蒙版,选择大模型和正向提示词,如“简单背景、花、国画、工笔”,并选择蒙版模式。若效果不佳,可将图片放入图生图中用 tile 模型细化,还可在 PS 中用创成式填充修复头发。 在 PS 中,可利用“创成式填充”去掉主体以外的人物,如在水面画选区并输入提示词添加渔船,选择头部区域添加棒球帽,选择草地部分输入提示词更换,选择树输入提示词更改等。但 PS 的“创成式填充”并非无所不能,生成的图可能质量不高或不匹配,需要更多尝试和后期处理。 Google 的 Gemini 文生图 AI 在抠图、换背景、打光影方面表现出色。如能无中生有地换背景,进行商业级别的背景合成与打光,通常能在短时间内取得稳定且较好的预期结果。
2025-03-18
AI Agent的具体应用场景,特别是职场办公场景
AI Agent 的具体应用场景如下: 1. 在职场办公场景中,主要应用场景包括研究总结和客户服务。 2. 个性化方面,随着用户的使用越来越了解用户习惯和想法,从而作出喜好预测。例如 Dot App 在对话中了解用户喜好,随后为用户推荐新的咖啡店。 3. 自主完成任务方面,如 Auto GPT,用户输入一个目标后,可自主执行任务、递归地开发和调试代码。 4. 多 Agent 协作方面,如斯坦福大学的 SmallVille(小镇)项目,25 个人工智能体居住在一个沙盒虚拟城镇中通过复杂的社交互动来执行他们的日常生活;Fixie AI 在收到用户请求后启动多个负责不同模块的 Agent 进行数据查询和传递,最终生成邮件内容给客户回复;博主林亦 LYi 的《AI 炒股?我开了一家员工全是 AI 的公司,自动帮我炒股》就在某种程度上实现了多 Agent 协作的能力。 5. 在企业服务方面,Brix 面向北美和欧洲企业,提供全球雇佣的 AI 驱动解决方案。通过 Hiring Agent,Brix 触达全球约 2000 万以上的人才,自动完成候选人筛选、简历分析和面试流程,帮助企业快速组建高效团队。通过 Working Agent 支持远程团队的智能化管理,为企业构建 100 至 500 人规模的全球化组织提供一站式解决方案。 6. 时来智能通过自研的 AI Agent 以及强化学习等技术,为线下餐饮服务门店提供全自动管理私域流量营销运营的解决方案。基于垂直场景数据训练的 AI 营销模型可以针对不同消费者实时生成并推送个性化的营销折扣方案,从而在优化营销成本的同时显著提升营销转化效果。 目前,AI Agent 应用大多集中在 2B 场景,面向个人消费者的产品少之又少。一方面是高度智能化的 Agent 能力需要打磨,概念落地还有较长一段距离;一方面是 AI 和娱乐消费诉求的结合还几乎没有,其主要带来的是生产方式变革和效率变革。个人消费者方向,目前只看到“私人助理”场景。
2025-03-17
agent
智能体(Agent)在人工智能和计算机科学领域是一个重要概念,指能够感知环境并采取行动以实现特定目标的实体,既可以是软件程序,也可以是硬件设备。 在 LLM 支持的自主 Agent 系统中,LLM 充当 Agents 的大脑,并辅以几个关键组成部分: 1. 规划:包括子目标和分解,将大型任务分解为更小的、可管理的子目标,以有效处理复杂任务。 2. 反思和完善:可以对过去的行为进行自我批评和自我反思,从错误中吸取教训,并针对未来的步骤进行完善,提高最终结果的质量。 3. 记忆:包含短期记忆,所有的上下文学习都是利用模型的短期记忆来学习;长期记忆,为 Agents 提供长时间保留和回忆(无限)信息的能力,通常通过利用外部向量存储和快速检索来实现。 4. 工具使用:Agents 学习调用外部 API 来获取模型权重中缺失的额外信息,包括当前信息、代码执行能力、对专有信息源的访问等。 以下是一些关于智能体 Agent 的相关目录: 1. 2. 3. 4. 5. 6. 从产品角度思考 Agent 设计: 1. Who:Agent 是谁?性格是什么?我们的 Agent 可以是一个历史新闻探索向导,其身份为历史新闻探索向导,性格知识渊博、温暖亲切、富有同情心,角色是主导新闻解析和历史背景分析。为使角色更加生动,可为 Agent 设计简短的背景故事,比如曾是一位历史学家,对世界上的重大历史事件了如指掌,充满热情,愿意分享知识。 2. 怎么写好角色个性: 角色背景和身份:编写背景故事,明确起源、经历和动机。 性格和语气:定义性格特点,如友好、幽默、严肃或神秘;确定说话方式和风格。 角色互动方式:设计对话风格,从基本问答到深入讨论。 角色技能:明确核心功能,如提供新闻解析、历史背景分析或心理分析;增加附加功能以提高吸引力和实用性。 正如《》所写:个性化定制的“虚拟伴侣”能得到用户的认可,这是因为精准地击中了许多年轻人无处可藏的孤独和焦虑,背后是年轻人渴望被理解、沟通和交流。美国心理学家 Robert Jeffrey Sternberg 提出了“爱情三角理论”,认为爱情包含“激情”“亲密”和“承诺”三个要素。激情是生理上或情绪上的唤醒,例如对某人有强烈的性或浪漫的感觉;亲密是一种相互依恋的感觉,通过相互联结带来的喜爱和相互沟通分享自己的所见所闻、喜怒哀乐来体现;承诺是决定建立长期稳定关系,融入对方生活,形成互助互惠的关系,代表着一种长相厮守的责任。
2025-03-17
ToB行业有什么关于AI Agent的应用场景
在 ToB 行业,AI Agent 有以下应用场景: 1. 人力资源领域:如 Brix 面向北美和欧洲企业,提供全球雇佣的 AI 驱动解决方案。通过 Hiring Agent,触达全球约 2000 万以上的人才,自动完成候选人筛选、简历分析和面试流程,帮助企业快速组建高效团队。通过 Working Agent 支持远程团队的智能化管理,为企业构建 100 至 500 人规模的全球化组织提供一站式解决方案。 2. 餐饮营销领域:时来智能通过自研的 AI Agent 以及强化学习等技术,为线下餐饮服务门店提供全自动管理私域流量营销运营的解决方案。基于垂直场景数据训练的 AI 营销模型可以针对不同消费者实时生成并推送个性化的营销折扣方案,从而在优化营销成本的同时显著提升营销转化效果,能帮助门店提升 50%100%的营销转化效果,以及相应提升平均 1520%的营业额。 3. 销售和供应链管理:嵌入企业流程,提升整体运营效率。 此外,AI Agent 具有以下特点: 1. 个性化:随着用户的使用越来越了解用户习惯和想法,从而作出喜好预测。例如 Dot App 在对话中了解用户喜好,随后为用户推荐新的咖啡店。 2. 自主完成任务:如 Auto GPT,用户输入一个目标后,可自主执行任务、递归地开发和调试代码。 3. 多 Agent 协作:例如斯坦福大学的 SmallVille(小镇)项目,25 个人工智能体居住在一个沙盒虚拟城镇中通过复杂的社交互动来执行他们的日常生活;Fixie AI 在收到用户请求后启动多个负责不同模块的 Agent 进行数据查询和传递,最终生成邮件内容给客户回复。 以下是一些 Agent 构建平台: 1. Coze:新一代的一站式 AI Bot 开发平台,适用于构建基于 AI 模型的各类问答 Bot,集成丰富插件工具拓展 Bot 能力边界。 2. Microsoft 的 Copilot Studio:主要功能包括外挂数据、定义流程、调用 API 和操作,以及将 Copilot 部署到各种渠道。 3. 文心智能体:百度推出的基于文心大模型的智能体(Agent)平台,支持开发者根据自身需求打造大模型时代的产品能力。 4. MindOS 的 Agent 平台:允许用户定义 Agent 的个性、动机、知识,以及访问第三方数据和服务或执行设计良好的工作流。 5. 斑头雁:2B 基于企业知识库构建专属 AI Agent 的平台,适用于客服、营销、销售等多种场景,提供多种成熟模板,功能强大且开箱即用。 6. 钉钉 AI 超级助理:依托于钉钉强大的场景和数据优势,提供更深入的环境感知和记忆功能,在处理高频工作场景如销售、客服、行程安排等方面表现出色。
2025-03-17
multi agents讲解
多智能体(MultiAgent)是由多个自主、独立的智能体(Agent)组成的系统。每个智能体都能感知环境、决策并执行任务,且它们之间能信息共享、任务协调与协同行动以实现整体目标。 随着大型语言模型(LLM)的出现,以 LLM 为核心构建的 Agent 系统受广泛关注。目前常见框架集中在单 Agent 场景,其核心是 LLM 与工具协同配合,可能需与用户多轮交互。而多 Agent 场景为不同 Agent 分配角色,通过协作完成复杂任务,与用户交互可能减少。 构建多 Agent 框架主要组成部分包括: 1. 环境:所有 Agent 处于同一环境,包含全局状态信息,Agent 与环境有信息交互与更新。 2. 阶段:采用 SOP 思想将复杂任务分解为多个子任务。 3. 控制器:可以是 LLM 或预先定义好的规则,负责环境在不同 Agent 和阶段间切换。 4. 记忆:因 Agent 数量增多,消息数量及每条消息的记录字段增加。 此外,吴恩达最新演讲提到四种 Agent 设计范式,Reflection 和 Tool Use 相对经典且广泛使用,Planning 和 Multiagent 较新颖有前景。Reflection 类似于 AI 自我纠错和迭代,如让 AI 写代码并自我检查修改。Tool Use 指大语言模型调用插件拓展能力。在一些场景中,Reflection 可用两个 Agent,一个写代码,一个 Debug。
2025-03-14
哪个agent可以制作图表?
以下是一些可以制作图表的 agent: Cursor:能够全自动写程序、装依赖、debug 等,为用户生成所需的图表,例如生成谷歌和亚马逊最近五年的股价对比图,以及对图片进行特定形状的处理。 E2b 团队:制作了。 共建者缱绻怡然:制作了中的 AI Agent 图谱。
2025-03-14
哪里可以找到开源的ai agent
以下是一些可以找到开源 AI Agent 的途径和相关信息: AutoGPT 和 BabyAGI 是最早实现让 LLM 自己做自动化多步骤推理的开源智能代理,在去年 GPT4 刚发布时风靡全球科技圈。 智谱·AI 开源了一些包含 Agent 能力的模型,如 AgentLM7B、AgentLM13B、AgentLM70B 等,相关信息和代码链接可在相应的平台获取。 Andrej 的 LLM OS 中包含了相关模块。 OpenAI 的研究主管 Lilian Weng 曾写过一篇博客《LLM Powered Autonomous Agents》介绍了 Agent 的设计框架。
2025-03-13
RAG
RAG(RetrievalAugmented Generation,检索增强生成)是一种结合检索和生成能力的自然语言处理架构。 通用语言模型通过微调可完成常见任务,而更复杂和知识密集型任务可基于语言模型构建系统,访问外部知识源来实现。Meta AI 研究人员引入 RAG 来完成这类任务,它把信息检索组件和文本生成模型结合,可微调且内部知识修改高效,无需重新训练整个模型。 RAG 接受输入并检索相关支撑文档,给出来源,与原始提示词组合后送给文本生成器得到输出,能适应事实变化,让语言模型获取最新信息并生成可靠输出。 LLM(大语言模型)存在一些缺点,如无法记住所有知识尤其是长尾知识、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有数据库存储和更新稳定、数据更新敏捷且不影响原有知识、降低大模型输出出错可能、便于管控用户隐私数据、降低大模型训练成本等优点。 在 RAG 系统开发中存在 12 个主要难题及相应的解决方案。
2025-03-17
作为一个产品经理,我现在要设计一个企业内的销售培训智能体,我手里有产品知识、销售基础知识,我该怎么设计,是只做rag还是做多智能体协同?
以下是为您设计企业内销售培训智能体的一些建议: 首先,了解多智能体模式的设置。它包括全局设置和多个代理之间的编排协调两个核心部分。全局设置涵盖角色设定与回复逻辑、记忆管理以及对话体验等,其中人物设定与回复逻辑应侧重于角色塑造。在智能体的交互流程设计上,要形成完整的互动链条,当用户意图未满足跳转条件时,保持与当前智能体的沟通。设计多轮协作的智能体时,应将其交互设计为闭环结构,以确保用户能自由切换。 其次,动手实践制作智能体。对于 Chat GPT 版本,可按以下步骤:点击“浏览 GPTs”按钮,点击“Create”按钮创建,使用自然语言对话或手工设置进行具体配置,然后调试并发布。对于 Chat GLM 版本,点击“创建智能体”按钮,输入智能体描述,可粘贴准备好的提示词模板,其配置可自动生成,可根据需求调整并上传本地文件作为知识库。 然后,考虑多智能体协同的概念。在处理复杂任务时,单智能体可能面临提示词修改和逻辑不清晰的问题。多智能体协作如吴恩达所举例,每个智能体被赋予不同身份,互相合作对话,能模拟现实工作场景,成为复杂系统,但可能存在效率不高的情况。 最后,您可以根据实际情况选择是采用 RAG 还是多智能体协同。如果任务相对简单,RAG 可能足够;若任务复杂,涉及多个环节和角色的协作,多智能体协同可能更合适。您还可以通过具体的例子,如旅游场景中负责景点推荐、路线规划和食宿安排的三个智能体,来更好地理解和设计。
2025-03-16
什么是rag?
RAG(RetrievalAugmented Generation)即检索增强生成,是一种结合检索和生成能力的自然语言处理架构,旨在为大语言模型(LLM)提供额外的、来自外部知识源的信息。 大模型存在一些缺点,如无法记住所有知识(尤其是长尾知识)、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有诸多优点: 1. 数据库对数据的存储和更新稳定,不存在模型学不会的风险。 2. 数据库的数据更新敏捷,增删改查可解释,且对原有知识无影响。 3. 数据库内容明确、结构化,加上模型的理解能力,能降低大模型输出出错的可能。 4. 知识库存储用户数据,便于管控用户隐私数据,且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本。 RAG 的核心流程是根据用户提问,从私有知识中检索到“包含答案的内容”,然后把“包含答案的内容”和用户提问一起放到 prompt(提示词)中,提交给大模型,此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 一个 RAG 的应用可抽象为 5 个过程: 1. 文档加载:从多种不同来源加载文档。 2. 文本分割:把文档切分为指定大小的块。 3. 存储:包括将切分好的文档块进行嵌入转换成向量的形式,以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索:通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出:把问题以及检索出来的嵌入片一起提交给 LLM,LLM 会通过问题和检索出来的提示生成更合理的答案。
2025-03-14
RAG
RAG(RetrievalAugmented Generation,检索增强生成)是一种结合检索和生成能力的自然语言处理架构。 通用语言模型通过微调可完成常见任务,而更复杂和知识密集型任务可基于语言模型构建系统,访问外部知识源来实现。Meta AI 引入 RAG 来完成这类任务,它把信息检索组件和文本生成模型结合,可微调且内部知识修改高效,无需重新训练整个模型。 RAG 接受输入并检索相关支撑文档,给出来源,与原始提示词组合后送给文本生成器得到输出,适应事实随时间变化的情况,让语言模型获取最新信息并生成可靠输出。 LLM 存在无法记住所有知识(尤其是长尾知识)、知识易过时且不好更新、输出难以解释和验证、易泄露隐私训练数据、规模大导致训练和运行成本高等缺点,而 RAG 具有数据库存储和更新稳定、数据更新敏捷且可解释、降低大模型输出出错可能、便于管控用户隐私数据、降低大模型训练成本等优点。 在 RAG 系统开发中存在 12 大痛点及相应的解决方案。
2025-03-14
RAG
RAG(RetrievalAugmented Generation,检索增强生成)是一种结合检索和生成能力的自然语言处理架构。 通用语言模型通过微调可完成常见任务,而更复杂和知识密集型任务可基于语言模型构建系统,访问外部知识源来实现。Meta AI 研究人员引入 RAG 来完成这类任务,它把信息检索组件和文本生成模型结合,可微调且内部知识修改高效,无需重新训练整个模型。 RAG 接受输入后检索相关/支撑文档,并给出来源,这些文档与原始提示词组合后送给文本生成器得到最终输出,能适应事实随时间变化的情况,让语言模型获取最新信息并生成可靠输出。 LLM(大语言模型)存在一些缺点,如无法记住所有知识(尤其是长尾知识)、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有以下优点:数据库对数据的存储和更新稳定,无学习风险;数据更新敏捷,可解释且不影响原有知识;降低大模型输出出错可能;便于管控用户隐私数据;降低大模型训练成本。 在 RAG 系统开发中存在 12 大痛点及相应的解决方案。
2025-03-13
请帮我推荐优化大模型+知识库的提示词技巧,重点是解决将知识库配置给大模型做RAG后,召回率不高或者不遵循指令。
以下是关于优化大模型+知识库的提示词技巧,以解决将知识库配置给大模型做 RAG 后召回率不高或者不遵循指令的问题: 首先,了解 LLM 应用性能优化的推荐路径: 1. 从 prompt 工程开始把 LLM 应用快速跑起来。 2. 若遇到表现性能不足等问题,如结构化提示词占用上下文过长,可尝试精简提示词长度;若指令遵循度不足,则加强指令约束。 3. 若提示工程无法满足要求,分析问题,若缺失知识,先简单做知识库 RAG。 4. RAG 之后若想让模型表现更收敛更稳定,尝试微调模型。 5. 微调模型后,若模型表现变好,使用更多高级 RAG 技术,构造输入输出样本,进一步用于微调模型,构建正向迭代循环。 需要注意的是,该路径有个隐藏前提:该 LLM 应用依赖外部知识,需要 RAG。若不需要外部知识,则不需要使用 RAG,可以直接进入 prompt 工程与微调的正向迭代循环。 对于 RAG 流程中的检索有用信息部分,有以下改进策略: 1. 优化索引: 按照子部分索引:将文本块再拆分为较小的文本(例如单句),然后对这些小块进行多次索引。适用于有多个主题、有冲突信息的复杂长文本信息,确保与查询相关的上下文。 按照文本框可以回答的问题索引:让 LLM 生成与拆分的文本块相关的假设性问题,并将这些问题用于索引,适用于用户没有提出非常明确的问题,减少模糊性。 按照文本块的摘要进行索引:适用于文本框中有多余信息或者与用户查询无关细节的情况。 2. 重排 rerank:搜到相似信息后,选择策略,大部分场景下选择最相似的即可。 在从知识库中检索出内容后利用大模型进行总结时,有两点需要注意: 1. 优化 Prompt,但此处不展开,可参考相关文章。 2. 选择合适的大模型,考虑上下文长度、聪明度和生成速度。若回答场景是很长的文档,可能更关注上下文长度;大多数情况下,大模型越聪明,生成速度可能越慢。
2025-03-12