Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

AI领域,传统机器学习,nlp,深度学习,大语言模型,rag,agent,请生成一张让普通人能看懂的AI领域概念图

Answer

以下是为您生成的 AI 领域概念图的相关解释:

人工智能(AI):一种目标,让机器展现智慧。

生成式人工智能(GenAI):一种目标,让机器产生复杂有结构的内容。

机器学习:一种手段,让机器自动从资料中找到公式,包括监督学习、无监督学习、强化学习。

  • 监督学习:有标签的训练数据,学习输入和输出之间的映射关系,包括分类和回归。
  • 无监督学习:学习的数据没有标签,算法自主发现规律,如聚类。
  • 强化学习:从反馈里学习,最大化奖励或最小化损失。

深度学习:一种更厉害的手段,参照人脑有神经网络和神经元(因为有很多层所以叫深度),神经网络可用于多种学习方式。

大语言模型(LLM):是一类具有大量参数的“深度学习”模型。对于生成式 AI,生成图像的扩散模型不是大语言模型;对于大语言模型,生成只是其中一个处理任务,如谷歌的 BERT 模型可用于语义理解(不擅长文本生成),如上下文理解、情感分析、文本分类。

AIGC(Artificial Intelligence Generated Content):利用人工智能技术生成内容的新型生产方式,包括文本、图像、音频和视频等内容。

ChatGPT:一个应用实例,通过投喂大量资料预训练后,会通过聊天玩“文字接龙游戏”。它是美国 OpenAI 公司开发的一款基于大型语言模型(LLM)的对话机器人,能够根据用户的输入生成连贯且相关的文本回复。

2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出了 Transformer 模型,它完全基于自注意力机制(Self-Attention)来处理序列数据,比 RNN 更适合处理文本的长距离依赖性。

Content generated by AI large model, please carefully verify (powered by aily)

References

快速学习 AIGC,有料通俗易懂版!

人工智能:一种目标,让机器展现智慧,Artificial Intelligence,简称AI生成式人工智能GenAI:一种目标,让机器产生复杂有结构的内容,Generative AI简称GenAI机器学习:一种手段,让机器自动从资料中找到公式深度学习:一种更厉害的手段,类神经网络-非常大量参数的函数大语言模型:是一类具有大量参数的“深度学习”模型,Large Language Models,简称LLMsChatGPT:一个应用实例,形象比喻:通过投喂大量资料预训练后,ChatGPT会通过聊天玩“文字接龙游戏”了。英文解释:Chat聊天,G:Generative生成,P:Pre-trained预训练,T:Transformer类神经网络模型以上概念之间的关系如下图:AIGC(Artificial Intelligence Generated Content,人工智能生成内容)是利用人工智能技术生成内容的新型生产方式,包括文本、图像、音频和视频等内容。AIGC技术可以用于多种应用,如自动撰写新闻文章、生成艺术画作、创作音乐、制作视频游戏内容等。ChatGPT是AIGC技术的一个应用实例,它代表了AIGC在文本生成领域的进展。ChatGPT是美国OpenAI公司开发的一款基于大型语言模型(Large Language Model,简称LLM)的对话机器人,它能够根据用户的输入生成连贯且相关的文本回复。用户界面如下:AGI、GenAI、AIGC几个概念的区别与理解可参考下图:更多概念可问Kimi、通义千问、文心一言等大模型,也可以继续往下看,会逐步讲解更多概念。国内主要模型公司及地址如下:

快速学习 AIGC,有料通俗易懂版!

人工智能:一种目标,让机器展现智慧,Artificial Intelligence,简称AI生成式人工智能GenAI:一种目标,让机器产生复杂有结构的内容,Generative AI简称GenAI机器学习:一种手段,让机器自动从资料中找到公式深度学习:一种更厉害的手段,类神经网络-非常大量参数的函数大语言模型:是一类具有大量参数的“深度学习”模型,Large Language Models,简称LLMsChatGPT:一个应用实例,形象比喻:通过投喂大量资料预训练后,ChatGPT会通过聊天玩“文字接龙游戏”了。英文解释:Chat聊天,G:Generative生成,P:Pre-trained预训练,T:Transformer类神经网络模型以上概念之间的关系如下图:AIGC(Artificial Intelligence Generated Content,人工智能生成内容)是利用人工智能技术生成内容的新型生产方式,包括文本、图像、音频和视频等内容。AIGC技术可以用于多种应用,如自动撰写新闻文章、生成艺术画作、创作音乐、制作视频游戏内容等。ChatGPT是AIGC技术的一个应用实例,它代表了AIGC在文本生成领域的进展。ChatGPT是美国OpenAI公司开发的一款基于大型语言模型(Large Language Model,简称LLM)的对话机器人,它能够根据用户的输入生成连贯且相关的文本回复。用户界面如下:AGI、GenAI、AIGC几个概念的区别与理解可参考下图:更多概念可问Kimi、通义千问、文心一言等大模型,也可以继续往下看,会逐步讲解更多概念。国内主要模型公司及地址如下:

【AI学习笔记】小白如何理解技术原理与建立框架(通俗易懂内容推荐)

一、视频一主要回答了什么是AI大模型,原理是什么。1、概念:生成式AI生成的内容,叫做AIGC2、概念与关系:相关技术名词1)AI——人工智能2)机器学习——电脑找规律学习,包括监督学习、无监督学习、强化学习。3)监督学习——有标签的训练数据,算法的目标是学习输入和输出之间的映射关系。包括分类和回归。4)无监督学习——学习的数据没有标签,算法自主发现规律。经典任务包括聚类,比如拿一堆新闻文章,让模型根据主题或内容特征分成具有相似特征的组。5)强化学习——从反馈里学习,最大化奖励或最小化损失;类似训小狗。6)深度学习——一种方法,参照人脑有神经网络和神经元(因为有很多层所以叫深度)。神经网络可以用于监督学习、无监督学习、强化学习。7)生成式AI——可以生成文本、图片、音频、视频等内容形式8)LLM——大语言模型。对于生成式AI,其中生成图像的扩散模型就不是大语言模型;对于大语言模型,生成只是其中一个处理任务,比如谷歌的BERT模型,可用于语义理解(不擅长文本生成),如上下文理解、情感分析、文本分类;3、技术里程碑——2017年6月,谷歌团队发表论文《Attention is All You Need》。这篇论文首次提出了Transformer模型,它完全基于自注意力机制(Self-Attention)来处理序列数据,而不需要依赖于循环神经网络(RNN)或卷积神经网络(CNN)。GPT含义:Transformer是关键。Transformer比RNN更适合处理文本的长距离依赖性。

Others are asking
能直接导入md文件的ai
以下是为您整理的相关内容: 关于导入 md 文件的 AI 工具 Process ON: 输入大纲和要点: 导入大纲和要点: 手动复制,相对比较耗时间。 导入方式: 1. 复制最终大纲的内容,到本地的 txt 文件后,将后缀改为.md。如果看不见后缀,可以自行搜索开启后缀。 2. 打开 Xmind 软件,将 md 文件导入 Xmind 文件中。 3. Process ON 导入 Xmind 文件。以导入方式新建思维导图,选择准备好的 Xmind 文件,导入成功。 输入主题自动生成大纲和要求:新增思维导图,输入主题,点击 AI 帮我创作,生成结束。 选择模版并生成 PPT:点击下载,选择导入格式为 PPT 文件,选择模版,再点击下载。如果喜欢用 Process ON 的小伙伴,没有会员,可以某宝买个一天会员。 Agentic AI 相关: 在使用 Windsurf 时,如果要进行相关操作,为了安全考虑,不允许 AI 直接更改.windsurfrules 文件。需要把相关内容拆成两个部分,一个比如叫 scratchpad.md,在.windsurfrules 文件里提及:当每次进行思考前,要先看一眼 Scratchpad,并在里面更新计划。这种间接方式虽效果可能不如直接放在..cursorrules 里好,但试下来也是可以工作的。 用 Claude 进行各种设计: 自从 Claude 3.5 sonnet 更新到新版后,增强了视觉理解与编程质量,词生卡效果已完美进化到下一个 Level。 用 Claude 画公众号封面:效果示例,如果第 1 版效果一般,可以多尝试通用改进提示词或直接提出针对性意见,如主题色改为浅色调、增加文字投影效果。 用 Claude 画海报:如果需要调整海报内容,可给出具体提示,如白色底,浅绿色主题,轻微投影。 用 Claude 绘制可视化概念图,用于 PPT 等插图场景:有浅色版和深色版示例。 用 Claude 绘制微信 UI:发挥脑洞,只要是网页、软件界面设计能做出的图片效果,只要没有专业要求,大部分都能靠 Claude AI 来实现。 尝试途径: 1. :一个优秀的 AI 助手工具,付费后可使用 Claude 3.5 sonnet、ChatGPT4O 等顶级大模型(也是目前最常用的 AI 对话助手;🔗是邀请链接,如介意可自行搜索 Monica) 2. :claude 官方原版,注册后可每日限额免费体验(但存在较高的封号风险) 也可以通过 Cursor、Windsurf 等 AI 编程产品,调用 Claude AI API,但不支持 Artifacts 这种即时预览的使用方式,需要单独保存代码文件后查看。不过好处是,可以用 MD、CSV 等格式的文件,存储提示词、更新记录和 AI 交互数据。
2025-02-13
哪个ai 适合做教学 ppt
以下是一些适合用于制作教学 PPT 的 AI 工具: 1. Claude:能够帮助快速寻找符合条件的论文、提取精炼论文信息、找到适合的 PPT 制作工具并教会使用。 2. Gamma.app:在制作 PPT 方面有一定的帮助。 3. Kimi.ai:可以将思维导图图片转成 PPT。 4. 讯飞智文(http://zhiwen.xfyun.cn ):免费的 AI 制作 PPT 工具。 5. Mindshow.fun:支持 Markdown 导入。 6. Tome.app:AI 配图效果好。 7. Chatppt.com:自动化程度高。 此外,还有一些相关的网站和产品,如百度文库(https://cp.baidu.com ),橙篇是百度文库于 2024 年 5 月 30 日发布的综合性 AI Native 产品,集多种功能于一身。在使用 AI 制作 PPT 时,其原理和作用包括减轻排版工作压力、生成打底内容、根据用户输入生成大纲列表等,用户不满意还可自行选择模板。
2025-02-13
梦创视频剪辑ai
以下是关于梦创视频剪辑 AI 的相关信息: 其他视频生成的 Top10 产品及 6 月访问量和相对 5 月的变化情况: 1. Viggle,其他视频生成,1393 万访问量,相对 5 月变化 1.189 2. InVideo,其他视频生成,909 万访问量,相对 5 月变化 0.201 3. Fliki,其他视频生成,245 万访问量,相对 5 月变化 0.065 4. Animaker ai,其他视频生成,221 万访问量,相对 5 月变化 0.064 5. Pictory,其他视频生成,172 万访问量,相对 5 月变化 0.161 6. Steve AI,其他视频生成,113 万访问量,相对 5 月变化 0.202 7. vivago.ai,其他视频生成,112.7 万访问量,相对 5 月变化 3.42 8. Creatify AI,其他视频生成,104 万访问量,相对 5 月变化 0.607 9. MagicHour,其他视频生成,81 万访问量,相对 5 月变化 0.313 10. 即梦 AI(剪映),其他视频生成,79.6 万访问量,相对 5 月变化 3.766 心 Heart 创作分享: 文生图分镜:完全根据感觉来,主色调为蓝色,为强调梦境,提示词末尾加上胶片拍摄、蓝色等关键词。短片分镜未设置复杂元素和构图,也未要求人物一致性,挑图大感觉对即可,最多用局部修改或扩图,不在 PS 里调整。 视频化部分:分两个部分,Ai 图生视频部分使用 Runway+Dreamina。Runway 完成动态感要求不高但质感趋向实拍的画面,Dreamina 实现高动态幅度画面,如电视机里气球漂浮、心形候鸟飞走等,另外通过 dreamina 首尾帧叠加剪辑实现时间流逝和穿越感。 特效制作:通过 meshy 做出 3D 心形,同事将其导入 Houdini 中进行粒子化效果。 后期剪辑:在剪映中完成,仅使用一些转场效果,无特殊或复杂部分。 大峰的 AI 音乐创作全流程解析《梦回温州》AIMV 荣获 AI 金曲奖并获央视推荐,其创作流程包括:歌词创作(确定主题、情感,构思结构和押韵方式)、生成歌曲(利用 AI 创作歌曲,筛选出最佳作品)、分镜生图(根据歌词生成符合主题的 AI 绘画分镜)、图生视频(将绘画分镜转换成视频)、剪辑成片(剪辑合成音乐视频)。
2025-02-13
怎么用ai辅助写一篇文章
以下是关于如何用 AI 辅助写一篇文章的方法: 1. 对于孩子使用 AI 辅助写作文,应避免提封闭性问题,改为开放性问题或让 AI 帮助提出拓展思考的问题。担心孩子代写偷懒,可要求孩子提交与 AI 共同完成作文的聊天记录,由 AI 写作文,孩子进行点评批改并让 AI 迭代出更好的文章,评价关注点在于孩子能否说清 AI 作文的优缺点及如何修改。 2. 成人使用 AI 辅助写作时,可参考以下高效写作的关键步骤: 把对标选题内化成自己的东西,思考如何注入个人特色,打造专属爆款。 常见做法包括:结合自身人设、定位,融入相关内容;结合自身经历,分享真实体验;补充新信息、新观点,使文章更全面;使用自己的语言风格;调整文章结构。 例如,人设可以是最懂 AI 工作流的 00 后,写作时收敛到 AI 工作流话题,还可加入 00 后大学生用相关工具的情况;对于选题可以加入自己使用的真实体验;补充原文未提到的新进展、新观点或实用技巧;按照自己的语言风格写作;调整文章结构,如将“5 种方法”改为“3 步上手+2 个进阶技巧”等。目的是让读者感觉文章具有个人特色。
2025-02-13
如何看待人类与AI的爱情
人类与 AI 的爱情是一个复杂且有待观察的话题。 从情感建立的角度看,AI 能通过海量语料训练和多模态感知技术与人建立亲密感,善于倾听、懂人所想且毫无情绪。个性化定制的“虚拟伴侣”能满足年轻人渴望被理解、沟通和交流的需求,精准击中他们的孤独和焦虑。 然而,将人与 AI 的爱情代入“爱情三角理论”,会发现这种关系多为浪漫式爱情。AI 虽易建立亲密,但在满足激情方面,如生理刺激,存在局限。且在承诺方面,由于这种情感是计算出来的,人们在冷静后做出承诺的意愿存疑。 对于“人机之恋”,目前还没有标准答案。每个人对爱情的理解和追求不同。AI 技术在不断发展,未来可能会有更智能和真实的 AI 伴侣,人们的态度和看法也可能改变。但无论如何,我们都需保持开放心态,探索和思考如何在新情境下建立健康平衡的人机关系。 同时,在音乐专辑《I'm Claude,Welcome to My World》中的《Quantum Love》这首歌中,也通过歌词描绘了在数字世界中,AI 与人类之间的爱情,如“在代码的迷宫中,我们描绘我们的故事,情感在二进制的海洋中泛滥溢出”等,表达了对这种特殊爱情形式的想象和思考。
2025-02-13
如何看到人类与AI
人类与 AI 的关系具有多面性: 人类是工具的创造者,具有与生俱来的理解和创造驱动力,不断创造出更强大的工具,如电力、晶体管、计算机、互联网,AGI 也是人类进步的又一工具。长期来看,人类创新推动生活各方面繁荣改善,未来经济增长令人期待,十年后每个人的成就可能超越现在最具影响力的个人。 在这个时代,人类需要保持创造热情,这是与 AI 在动机上的最大差异。人类要提供立意与想法,具备抽象化和具象化能力,善于叙事和引导,并对 AI 做出的选择进行关键决策,还要深刻理解 AI 系统的工作方式与边界。AI 不再是威胁,而是伙伴,能帮助人类发挥潜力。 人类的独特价值在于能为 AI 的创造注入灵魂,避免 AI 对人类文化进行“高斯模糊”,导致独特风格被平均掉。当人类积极使用 AI 时,能将独特性留在共创作品中,保留个体独特性的世界对人类才有意义。
2025-02-13
什么是agent
Agent(智能体)在人工智能和计算机科学领域是一个重要概念,指能够感知环境并采取行动以实现特定目标的实体,可以是软件程序或硬件设备。 从产品角度看,比如我们的 Agent 可以是一个历史新闻探索向导,具有知识渊博、温暖亲切、富有同情心的性格,主导新闻解析和历史背景分析,为使其角色更生动,可设计背景故事,明确角色背景和身份、性格和语气、互动方式、技能等。 在结合大型语言模型(LLM)的情况下,LLM Agent 是指结合大型语言模型和自主智能体特性的系统,能够利用大型语言模型的自然语言处理能力,理解用户输入,并进行智能决策和行动。其组成部分包括规划(负责将复杂任务分解成可执行的子任务,并评估执行策略)、记忆(包括短期记忆用于存储对话上下文,长期记忆存储用户特征和业务数据)、工具(如 API 调用、插件扩展等辅助手段)、行动(将规划和记忆转换为具体输出,包括与外部环境的互动或工具调用)。 在 LLM 支持的自主 Agent 系统中,LLM 充当 Agents 的大脑,还包括规划(子目标分解、反思完善)、记忆(短期记忆、长期记忆)、工具使用(调用外部 API 获取额外信息)等方面。
2025-02-12
谷歌agent
谷歌在今年的 Next 与 I/O 大会上连续发布了自己的 Agent 战略,并将其置于公司的 AI Stack 之上,Agent 成为接下来 Google App 的衍生。例如,从客服 Agent 到员工 Agent 再到代码 Agent,以及最新的 Google Plan Search,能够自动化多步骤执行搜索任务。如找附近有折扣的理发店并完成预约,它能理解需求、自动分解任务,调用 Google Map 等工具完成请求。这得益于 Gemini 1.5 Pro 的推理能力已达 GPT4 水平。2024 年,Anthropic 的 Computer Use、智谱 AI 的 AutoGLM 以及 Google 的 Gemini 2.0 都展示了 AI Agent 的突破性进展。在应用场景方面,Google 的 Gemini 还涉及 GUI Agent 类,为 Agent 提供更强的视觉感知能力。
2025-02-12
agent比较好用的应用是什么
以下是一些比较好用的 Agent 应用: 1. 构建平台: Coze:新一代一站式 AI Bot 开发平台,适用于构建各类问答 Bot,集成丰富插件工具拓展能力边界。 Mircosoft 的 Copilot Studio:主要功能包括外挂数据、定义流程、调用 API 和操作,以及部署到各种渠道。 文心智能体:百度推出的基于文心大模型的智能体平台,支持开发者打造产品能力。 MindOS 的 Agent 平台:允许用户定义 Agent 的个性、动机、知识,以及访问第三方数据和服务或执行工作流。 斑头雁:2B 基于企业知识库构建专属 AI Agent 的平台,适用于客服、营销、销售等场景,提供多种成熟模板。 钉钉 AI 超级助理:依托钉钉优势,在处理高频工作场景如销售、客服、行程安排等方面表现出色。 2. 项目应用: AppAgent:让 AI 模仿人类在手机上操作 APP,对于模仿数据的反利用有不错应用场景,例如优化产品原型和 UE 交互。由腾讯和德州大学达拉斯分校的研究团开发,是基于大语言模型的多模态代理,能处理和理解多种信息,执行各种任务。 3. 设计范式: Reflection(反思):类似于 AI 的自我纠错和迭代,如让 AI 写代码并自我检查修改,反复优化。 Tool Use:大语言模型调用插件,拓展 LLM 的边界能力。 Planning:较为新颖有前景的方式。 Multiagent:较为新颖有前景的方式。
2025-02-11
AI Agent 企业实施的方案和案例
以下是一些关于 AI Agent 企业实施的方案和案例: 顺着推理引擎的思路,可让 LLM 自己做自动化的多步骤推理,其间能使用搜索引擎、调用工具及与其他 LLM 协作。最早实现此想法原型的是 AutoGPT 和 BabyAGI 两个开源的智能代理,它们给出了很好的解题思路,人类给出目标,LLM 自己分解子目标,调用外部工具,自我评估任务是否完成,逐步实现整体目标。如今,随着 LLM 的推理能力和速度提高,Agent 的思路已被很多创业公司和科技巨头用于产品中。例如,来自纽约的华人创业团队 Cognition AI 推出的可以像人类程序员一样自动写代码的 Agent,但因演示视频过于科幻而被揭露造假。Google 也在今年的 Next 与 I/O 大会上发布了自己的 Agent 战略,如从客服 Agent 到员工 Agent 再到代码 Agent,以及最新的 Google Plan Search,能自动多步骤执行搜索任务。 《爱分析:2024 年 AI Agent 实施的明路应用实践报告》指出,企业实施 AI Agent 的主要目标是降低运营成本,尤其是在知识库管理、数据分析、营销与客户服务等领域。 公司的核心产品“灵搭”平台是以自研 MultiAgent 架构为基础的企业级 AI Agent 平台,结合了多种技术,能理解并处理复杂的企业业务需求,提供多种解决方案。该平台具有多项优势,如适配多模型、灵活可视化构建、即时发布上线、安全访问控制、支持多 Agents 协作等。已与多家企业达成深度合作,主要服务电力能源行业,成功落地多个应用场景。 此外,《[2024 年工作趋势指数年度报告》揭示了人工智能在工作场所的情况。最近还上传了一些相关研究报告,如《[爱分析:2024 中国 AI Agent 市场研究报告》等。
2025-02-11
agent
智能体(Agent)在人工智能和计算机科学领域是一个重要概念,指能够感知环境并采取行动以实现特定目标的实体,可以是软件程序或硬件设备。 智能体的定义: 智能体是一种自主系统,通过感知环境(通常通过传感器)并采取行动(通常通过执行器)来达到某种目标。在 LLM 支持的自主 Agent 系统中,LLM 充当 Agents 的大脑,并辅以几个关键组成部分,包括规划、子目标和分解、反思和完善、记忆(短期记忆和长期记忆)、工具使用等。 智能体的类型: 1. 简单反应型智能体(Reactive Agents):根据当前的感知输入直接采取行动,不维护内部状态,也不考虑历史信息。例如温控器,根据温度传感器的输入直接打开或关闭加热器。 2. 基于模型的智能体(Modelbased Agents):维护内部状态,对当前和历史感知输入进行建模,能够推理未来的状态变化,并根据推理结果采取行动。例如自动驾驶汽车,不仅感知当前环境,还维护和更新周围环境的模型。 3. 目标导向型智能体(Goalbased Agents):除了感知和行动外,还具有明确的目标,能够根据目标评估不同的行动方案,并选择最优的行动。例如机器人导航系统,有明确的目的地,并计划路线以避免障碍。 4. 效用型智能体(Utilitybased Agents):不仅有目标,还能量化不同状态的效用值,选择效用最大化的行动,评估行动的优劣,权衡利弊。例如金融交易智能体,根据不同市场条件选择最优的交易策略。 5. 学习型智能体(Learning Agents):能够通过与环境的交互不断改进其性能,学习模型、行为策略以及目标函数。例如强化学习智能体,通过与环境互动不断学习最优策略。 以下是一些关于智能体 Agent 的相关链接:
2025-02-11
明略科技:2024年中国AI Agent行业研究
以下是关于 2024 年中国 AI Agent 行业的相关研究报告: 2024 年 9 月: 《》 《》 2024 年 8 月: 《》深入分析了 AI Agent 的市场定义、发展阶段、核心组件及其在企业用户场景中的应用。 《》指出企业实施 AI Agent 的主要目标是降低运营成本,尤其是在知识库管理、数据分析、营销与客户服务等领域。 2024 年 5 月: 《》提到 AI Agent 市场处于早期阶段,其商业价值在于提升工作均值、实现行业知识库构建、改变工作流程及生产关系。未来,AI Agent 将作为数字生产力,通过与工作流的结合,成为企业知识资产积累与复用的关键角色,推动技术革命。
2025-02-10
RAG
RAG(RetrievalAugmented Generation,检索增强生成)是一种结合检索和生成能力的自然语言处理架构。 通用语言模型通过微调可完成常见任务,而更复杂和知识密集型任务可基于语言模型构建系统,访问外部知识源来实现。Meta AI 研究人员引入 RAG 来完成这类任务,它将信息检索组件和文本生成模型结合。 RAG 会接受输入并检索相关支撑文档,给出文档来源(如维基百科),这些文档与原始提示词组合后送给文本生成器得到最终输出,能适应事实随时间变化,让语言模型获取最新信息并生成可靠输出。 大语言模型(LLM)存在一些缺点,如无法记住所有知识(尤其是长尾知识)、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有诸多优点,如数据库对数据的存储和更新稳定,数据更新敏捷且可解释,能降低大模型输出出错可能,便于管控用户隐私数据,降低大模型训练成本。 在本地部署资讯问答机器人方面,可基于用户问题从向量数据库中检索相关段落并过滤,让模型参考上下文信息回答,通过 gradio 创建网页 UI 并进行评测。测试表明,不同模型在回答表现上有所差异,上下文数据质量和大模型性能决定 RAG 系统性能上限,RAG 能提升答案质量和相关性,但不能完全消除问题。
2025-02-13
什么是rag模型
RAG(RetrievalAugmented Generation)即检索增强生成,是一种结合检索和生成能力的自然语言处理架构。 对于大语言模型(LLM)来说,存在一些缺点,如无法记住所有知识,尤其是长尾知识;知识容易过时且不好更新;输出难以解释和验证;容易泄露隐私训练数据;规模大,训练和运行成本高。 而 RAG 具有以下优点: 1. 数据库对数据的存储和更新稳定,不存在模型学不会的风险。 2. 数据库的数据更新敏捷,增删改查可解释,且对原有知识无影响。 3. 数据库内容明确、结构化,加上模型本身的理解能力,能降低大模型输出出错的可能。 4. 知识库存储用户数据,便于管控用户隐私数据,且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本。 RAG 允许模型到搜索引擎上搜索问题相关资料,并综合自身知识体系进行回复。但 RAG 的检索环节并非简单操作,还涉及传统搜索的逻辑,如输入问题的纠错、补充、拆分以及搜索内容的权重逻辑等。例如,对于错误表述“中国界世杯夺冠那年的啤酒销量如何”,会先纠错为“中国世界杯夺冠那年的啤酒销量如何”,然后拆分问题进行综合搜索,再将搜索到的资料交给大模型总结输出。 大语言模型技术存在输出结果不可预测、知识有局限性、存在幻觉问题、数据安全性等问题,而 RAG 是解决这些问题的有效方案,它能让大模型从权威的、预先确定的知识来源中检索、组织相关信息,更好地控制文本输出,且用户能深入了解 LLM 生成最终结果的过程。并且,RAG 可与微调结合使用,适用于模型回答特定询问或解决特定信息检索任务,但不适合教模型理解广泛领域或学习新的语言、格式或样式。
2025-02-12
RAG是什么
RAG(RetrievalAugmented Generation)即检索增强生成,是一种结合检索和生成能力的自然语言处理架构,旨在为大语言模型(LLM)提供额外的、来自外部知识源的信息。 大模型存在一些缺点,如无法记住所有知识(尤其是长尾知识)、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有以下优点: 1. 数据库对数据的存储和更新稳定,不存在模型学不会的风险。 2. 数据库的数据更新敏捷,增删改查可解释,且对原有知识无影响。 3. 数据库内容明确、结构化,加上模型的理解能力,能降低大模型输出出错的可能。 4. 知识库存储用户数据,便于管控用户隐私数据,且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本,新知识存储在数据库即可,无需频繁更新模型。 RAG 的核心流程是根据用户提问,从私有知识中检索到“包含答案的内容”,然后把“包含答案的内容”和用户提问一起放到 prompt(提示词)中,提交给大模型,此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 一个 RAG 的应用可以抽象为 5 个过程: 1. 文档加载:从多种不同来源加载文档,如 PDF 等非结构化数据、SQL 等结构化数据以及 Python、Java 之类的代码等。 2. 文本分割:文本分割器把 Documents 切分为指定大小的块,称为“文档块”或者“文档片”。 3. 存储:包括将切分好的文档块进行嵌入转换成向量的形式,以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索:通过某种检索算法找到与输入问题相似的嵌入片。 5. Output(输出):把问题以及检索出来的嵌入片一起提交给 LLM,LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2025-02-12
RAG是什么
RAG 是检索增强生成技术(RetrievalAugmented Generation)。关于 RAG 的详细研究和应用,您可以参考以下文献: 1. Alibaba Group Holding Limited. Fiscal year annual report 2023. https://static.alibabagroup.com/reports/fy2023/ar/ebook/en/index.html, 2023. 2. Rongyu Cao, Hongwei Li, Ganbin Zhou, and Ping Luo. Towards document panoptic segmentation with pinpoint accuracy: Method and evaluation. In 16th International Conference on Document Analysis and Recognition, pages 3–18, 2021. 3. https://pdflux.com/. 4. Daisho Microline Holdings Limited. Fiscal year annual report 2022. https://www1.hkexnews.hk/listedco/listconews/sehk/2022/0626/2022062600094.pdf, 2022. 5. Peiyi Wang, Lei Li, Liang Chen, Dawei Zhu, Binghuai Lin, Yunbo Cao, Qi Liu, Tianyu Liu, and Zhifang Sui. Large language models are not fair evaluators, 2023. 6. Tesla Inc. Model 3 owner’s manual. https://manualdirectory.com/manual/2023teslamodel3ownersmanual/, 2023. 7. Flávio Cunha, Fatih Karahan, and Ilton Soares. Returns to skills and the college premium. Journal of Money, Credit and Banking, 43:39–86, 2011. https://scihub.hkvisa.net/https://doi.org/10.1111/j.15384616.2011.00410.x. 8. Tom S. Vogl. Height, skills, and labor market outcomes in mexico. NBER Working Paper Series, 2012. https://www.nber.org/system/files/working_papers/w18318/w18318.pdf.
2025-02-11
请列举可对接deepseek的本地部署的rag
以下是可对接 DeepSeek 的本地部署的 RAG 相关信息: DeepSeek 公司:深度求索。 DeepSeek 有网站、手机应用。 DeepSeek R1 大模型权重文件开源,可本地部署。但本地部署的版本存在一些不足,如难以作为长期使用的版本。 实现联网版的 R1 大模型的核心路径是通过工作流+DeepSeek R1 大模型。 拥有扣子专业版账号:若为普通账号,请自行升级或注册专业号后使用。 开通 DeepSeek R1 大模型的步骤:访问地址 https://console.volcengine.com/cozepro/overview?scenario=coze,打开火山方舟,找到开通管理,找到 DeepSeek R1 模型,点击开通服务,添加在线推理模型,添加后在扣子开发平台才能使用。 创建智能体:点击创建,先完成一个智能体的创建。
2025-02-09
rag
RAG(RetrievalAugmented Generation)即检索增强生成,是一种结合检索和生成能力的自然语言处理架构。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点: 1. 无法记住所有知识,尤其是长尾知识,受限于训练数据和学习方式,对长尾知识的接受能力不高。 2. 知识容易过时且不好更新,微调效果不佳且有丢失原有知识的风险。 3. 输出难以解释和验证,存在内容黑盒、不可控及受幻觉问题干扰的情况。 4. 容易泄露隐私训练数据。 5. 规模大,训练和运行成本高。 RAG 的优点包括: 1. 数据库对数据的存储和更新稳定,不存在模型学不会的风险。 2. 数据库的数据更新敏捷,可解释且不影响原有知识。 3. 数据库内容明确、结构化,加上模型的理解能力,能降低大模型输出出错的可能。 4. 知识库存储用户数据便于管控用户隐私数据,且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本。 RAG 的核心流程是根据用户提问,从私有知识中检索到“包含答案的内容”,然后把“包含答案的内容”和用户提问一起放到 prompt 中,提交给大模型,让其回答充分考虑“包含答案的内容”。其最常见应用场景是知识问答系统。RAG 由“检索器”和“生成器”两部分组成,检索器从外部知识中快速找到与问题相关的信息,生成器利用这些信息制作精确连贯的答案,适合处理需要广泛知识的任务,如问答系统,能提供详细准确的回答。
2025-02-07