Navigate to WaytoAGI Wiki →
Home/question.detail.breadcrumb.questionList/question.detail.breadcrumb.questionDetail

AI相关常见缩写及对应含义，包含例如prompt，rag

Answer

以下是一些 AI 相关的常见缩写及对应含义：

  • LLM：Large language model 的缩写，即大语言模型。
  • Prompt：中文译作提示词，是输入给大模型的文本内容，可理解为与大模型说的话或下达的指令，其质量会显著影响大模型回答的质量。
  • Token：大模型语言体系中的最小单元。不同厂商的大模型对中文的文本切分方法不同，通常 1Token≈1-2 个汉字。大模型的收费计算及输入输出长度限制常以 token 为单位计量。
  • 上下文（context）：指对话聊天内容前、后的内容信息，其长度和窗口会影响大模型回答的质量。

在 AI 绘画中，常见的画面构图提示词有：

  • 视图相关：Bottom view（底视图）、front,side,rear view（前视图、侧视图、后视图）、product view（产品视图）、extreme closeup view（极端特写视图）、look up（仰视）、first-person view（第一人称视角）、isometric view（等距视图）、closeup view（特写视图）、high angle view（高角度视图）、microscopic view（微观）、super side angle（超博角）、third-person perspective（第三人称视角）、Aerial view（鸟瞰图）、two-point perspective（两点透视）、Three-point perspective（三点透视）、portrait（肖像）、Elevation perspective（立面透视）、ultra wide shot（超广角镜头）、headshot（爆头）、a cross-section view of(a walnut)（核桃的横截面图）、cinematic shot（电影镜头）、in focus（焦点对准）、depth of field(dof)（景深(dof)）
Content generated by AI large model, please carefully verify (powered by aily)

References

走入AI的世界

首先我们给出一些常见缩写和专业词汇的“人话”解释，它们十分基础，但理解他们至关重要。为了讨论更加聚焦，接下来的内容将主要围绕大语言模型为主进行展开（对于其他模态的大模型，我们暂且放放）：LLM：Large language model的缩写，即大语言模型，前面百团大战中的各类大模型，说的都是大语言模型（极其应用）Prompt：中文译作提示词，就是我们输入给大模型的文本内容，可以理解为你和大模型说的话，下达的指令。提示词的质量好坏，会显著影响大模型回答的质量，很多时候如果你觉得大模型回答的太差了，AI味儿太浓了，很可能是你的提示词写的不够好，换言之，不是AI不行，而是你不行😌Token：就像人类有着不同的语言，大模型也有着自己的语言体系，如图9，我们发送文本给大模型时，大模型会先把文本转换为他自己的语言，并推理生成答案，而后再翻译成我们看得懂的语言输出给我们。正如人类不同语言都有最小的字词单元（汉语的字/词，英语的字母/单词），大模型语言体系中的最小单元就称为Token。这种人类语言到大模型语言的翻译规则，也是人类定义的，以中文为例，由于不同厂商的大模型采用了不同的文本切分方法，因此一个Token对应的汉字数量也会有所不同，但在通常情况下，1Token≈1-2个汉字。请注意，大模型的收费计算方法，以及对输入输出长度的限制，都是以token为单位计量的。上下文：英文通常翻译为context，指对话聊天内容前、后的内容信息。使用时，上下文长度和上下文窗口都会影响AI大模型回答的质量。上下文长度限制了模型一次交互中能够处理的最大token数量，而上下文窗口限制了模型在生成每个新token时实际参考的前面内容的范围（关于这一点，你需要看完3.2中关于GPT的讨论，方能更好理解）

AIGC常见名词解释（字典篇）

|黑话|解释|<br>|-|-|<br>|NAI|(Novel AI，一般特指Leak)|<br>|咒语|prompts，关键词|<br>|施法/吟唱/t2i|Text2Image|<br>|魔杖|t2i/i2i参数|<br>|i2i|Image2Image,一般特指全部图片生成|<br>|inpaint|i2i一种maskredraw，可以局部重绘|<br>|ti/emb/炼丹|Train中的文本反转，一般特指Embedding插件|<br>|hn/hyper/冶金|hypernetwork，超网络|<br>|炸炉|指训练过程中过度拟合，但炸炉前的日志插件可以提取二次训练|<br>|废丹|指完全没有训练成功|<br>|美学/ext|aesthetic_embeddings,emb一种，特性是训练飞快，但在生产图片时实时计算。|<br>|db/梦展|DreamBooth，目前一种性价比高（可以在极少步数内完成训练）的微调方式，但要求过高|<br>|ds|DeepSpeed，微软开发的训练方式，移动不需要的组件到内存来降低显存占用，可使db的vram需求降到8g以下。开发时未考虑win,目前在win有兼容性问题故不可用|<br>|8bit/bsb|一般指Bitsandbyte，一种8比特算法，能极大降低vram占用，使16g可用于训练db。由于链接库问题，目前/预计未来在win不可用|后面这些难啃一些，随便看看吧

AI绘画常用提示词

Bottom view底视图front,side,rear view前视图、侧视图、后视图product view产品视图extreme closeup view极端特写视图look up仰视first-person view第一人称视角isometric view等距视图closeup view特写视图high angle view高角度视图microscopic view微观super side angle超博角third-person perspective第三人称视角Aerial view鸟瞰图two-point perspective两点透视Three-point perspective三点透视portrait肖像Elevation perspective立面透视ultra wide shot超广角镜头headshot爆头a cross-section view of(a walnut)(核桃)的横截面图cinematic shot电影镜头in focus焦点对准depth of field(dof)景深(dof)

Others are asking
会计工作如何使用AI来帮助日常的工作
以下是 AI 在会计工作中帮助日常工作的一些方式： 1. 更动态的预测和报告： 生成式 AI 能够帮助编写 Excel、SQL 和 BI 工具中的公式和查询，实现分析自动化。 从更广泛、更复杂的数据集中发现模式，为预测建议输入，并提供适应模型的建议，为公司决策提供依据。 自动创建文本、图表、图形等内容，并根据不同示例调整报告，无需手动整合数据和分析到外部和内部报告中。 2. 会计和税务方面： 帮助综合、总结税法，并就潜在的扣除项提出可能的答案。 3. 采购和应付账款： 自动生成和调整合同、采购订单和发票以及提醒。 4. 结合 RPA 技术： 控制桌面软件，实现办公流程自动化，例如在财务领域用于开票、网银流水下载等。 搭建知识库、创建并部署 AI 工作流，结合飞书避免信息泄露和实现自动回复等，提升效率，节省人力时间成本。
2024-12-24
转行无经验可以找哪些AI行业的岗位
以下是一些转行无经验可能适合的 AI 行业岗位： AIGC 产品经理：如 Sundy 从教育方向和 web3 行业转行，学习了生文生图的原理和应用后目标成为 AIGC 产品经理。 数据开发咨询、AI 视频制作与编辑：例如识影拥有 8 年数据开发经验，目前专注于探索这方面工作。 AI 创业者：像也毛从艺术专业毕业做职业导演，现布局竖屏短剧及 ai 短剧赛道；黄燕燕从 17 年地产人转行创业人工智能领域赛道，主做人工智能领域的服务与培训。 需要注意的是，虽然这些岗位可能对无经验者开放一定机会，但仍需要通过学习和实践不断提升自己在 AI 领域的知识和技能。
2024-12-24
目前国内最多人用的ai软件是什么，大家具体的应用场景是什么。
目前国内较多人使用的 AI 软件及应用场景如下： 医疗保健领域： 医学影像分析：辅助诊断疾病。 药物研发：加速药物研发过程。 个性化医疗：提供个性化治疗方案。 机器人辅助手术：提高手术精度和安全性。 金融服务领域： 风控和反欺诈：降低金融机构风险。 信用评估：帮助做出贷款决策。 投资分析：辅助投资者决策。 客户服务：提供 24/7 服务并回答常见问题。 零售和电子商务领域： 产品推荐：向客户推荐可能感兴趣的产品。 搜索和个性化：提供个性化购物体验。 动态定价：根据市场需求调整产品价格。 聊天机器人：回答客户问题并解决问题。 制造业领域： 预测性维护：避免机器故障停机。 质量控制：检测产品缺陷。 供应链管理：优化供应链提高效率和降低成本。 机器人自动化：提高生产效率。 此外，还有一些具体的应用产品，如： 游戏领域：腾讯游戏助手的 AI 游戏角色生成器，为游戏开发者生成独特角色。 招聘领域：智联招聘 APP 的 AI 招聘筛选工具，帮助企业快速筛选简历。 房地产领域：贝壳找房 APP 的 AI 房地产评估系统，准确评估房地产价值。 天气领域：墨迹天气 APP 的 AI 天气预报助手，提供精准天气预报和气象预警。 需要注意的是，关于国内使用人数最多的 AI 软件，没有确切的权威统计数据，其使用情况可能因行业、用户需求和地域等因素而有所不同。
2024-12-24
AIGC的技术原理
AIGC（Artificial Intelligence Generated Content，人工智能生成内容）的技术原理如下： 生成式人工智能（GenAI）：基于深度学习技术和机器学习算法，从已有数据中学习并生成新的数据或内容。通过大规模数据集训练深度神经网络模型，学习各种数据的规律和特征，实现对输入数据的分析、理解和生成。典型的 GenAI 包括 OpenAI 推出的语言模型 ChatGPT、GPT4、图像模型 DALLE 以及百度推出的文心一言、阿里云推出的通义千问等。 机器学习：让机器自动从资料中找到公式。 深度学习：一种更厉害的手段，类神经网络，具有非常大量参数的函数。 大语言模型：是一类具有大量参数的“深度学习”模型。 AIGC 工具通常以自然语言处理为基础，分析大型文本数据集，并学习如何生成风格和语气相似的新内容，从而能够生成包括文本、图像、音频、视频和三维模型等多种形式的内容。
2024-12-24
如何学习ai
以下是新手学习 AI 的方法和建议： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，比如图像、音乐、视频等，可根据自己的兴趣选择特定模块深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习后，实践是巩固知识的关键，尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。 对于中学生学习 AI，建议如下： 1. 从编程语言入手学习： 可以从 Python、JavaScript 等编程语言开始学习，掌握编程语法、数据结构、算法等基础知识。 2. 尝试使用 AI 工具和平台： 体验 ChatGPT、Midjourney 等 AI 生成工具。 探索面向中学生的 AI 教育平台，如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识： 了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。 学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目： 参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。 尝试利用 AI 技术解决生活中的实际问题，培养动手能力。 5. 关注 AI 发展的前沿动态： 关注 AI 领域的权威媒体和学者，了解 AI 技术的最新进展。 思考 AI 技术对未来社会的影响，培养对 AI 的思考和判断能力。 记住，学习 AI 是一个长期的过程，需要耐心和持续的努力。不要害怕犯错，每个挑战都是成长的机会。完整的学习路径建议参考「通往 AGI 之路」的布鲁姆分类法，设计自己的学习路径。
2024-12-24
视频去重AI软件哪个好用
以下是一些好用的视频去重 AI 软件： Sora：相关教程可参考 https://waytoagi.feishu.cn/wiki/S5zGwt5JHiezbgk5YGic0408nBc Hedra：工具教程见 https://waytoagi.feishu.cn/wiki/PvBwwvN36iFob7kqZktcCzZFnxd 视频转绘：应用教程 https://waytoagi.feishu.cn/wiki/ZjKpwSd5hiy6ZhkiBVHcOBb6n9r 视频拆解：应用教程 https://waytoagi.feishu.cn/wiki/WeKMwHRTmiVpYjkVdYpcFjqun6b 图片精修：应用教程 https://waytoagi.feishu.cn/wiki/CfJLwknV1i8nyRkPaArcslWrnle 此外，还有以下几个视频 AIGC 工具： Opusclip：可将长视频剪成短视频 Raskai：能将短视频素材直接翻译至多语种 invideoAI：输入想法后自动生成脚本和分镜描述，进而生成视频，再人工二编合成长视频 descript：屏幕/播客录制后以 PPT 方式做视频 veed.io：自动翻译自动字幕 clipchamp：微软的 AI 版剪映 typeframes：类似 invideoAI，内容呈现中文本主体比重更多 google vids 对于 Video Battle 视频挑战赛Farewell 送别，参与方式中的视频工具建议及云端 Comfyui 出图+AI 视频软件相关内容，您可参考： https://waytoagi.feishu.cn/wi 工作流： 步骤： 打开链接的工作流：https://www.esheep.com/app/5977，点击查看工作流，会出现登录或注册界面正常注册即可。如果已经登录会自动出现下面的界面。 步骤 1：红色框选择生成图片的大模型，绿色框添加提示词，蓝色框填写反向提示词 步骤 2：红色框设置大小确保是 16:9 的比例，绿色框修改参数，参数不理解的话保持默认即可。 步骤 3：红色框上传深度图 步骤 4：点击立即生成，最下面就会出现图片，在生成历史中下载图片即可。
2024-12-24
从图片生成 prompts
从图片生成 prompts 的方法如下： 可以参考以下生成的提示词示例： 远景，三分法构图，俯视视角，数字绘画，云雾缭绕的山谷，群山连绵起伏，山谷间云雾缭绕，阳光透过云层洒在山间，形成光与影的对比，模拟观众的视线逐渐接近这片土地，新印象派风格特征，使用数字画笔和渐变工具ar 16:9v 6.1 远景，中心对称构图，俯视视角，摄影风格，云雾中的山谷，山峦在云雾中若隐若现，山谷中隐约可见的河流蜿蜒流淌，云雾的流动感和山的静态形成对比，现实主义风格特征，使用长焦镜头和景深控制技术ar 3:2v 6.1 远景，对角线构图，俯视视角，水墨画风格，云雾缭绕的山谷，山峦线条流畅，云雾以墨色深浅表现，山谷中的云雾仿佛在流动，给人以动态的视觉感受，中国山水画风格特征，使用毛笔和水墨渲染技术ar 2:3v 6.1 “Prompt”是指提供给 Midjourney Bot 解读来生成图像的短文本短语。一个基本的提示可以只是一个单词、短语或表情符号。更高级的 Prompts 可以包括一个或多个图片 URL、多个文本短语以及一个或多个参数。图片 URL 始终位于 prompt 的最前面，以影响完成结果的风格和内容。参数需要放在提示语的末尾。 藏师傅教您用 AI 三步制作任意公司的周边图片： 获取 Logo 图片的描述。 根据 Logo 图片的描述和生成意图生成图片提示词。 将图片和提示词输入 Comfyui 工作生成。例如：将第一步生成的提示词填入{图像描述}位置，将您想生成的周边填入{周边描述}部分。给出类似“ The pair of images highlights a logo and its realworld use for a hitech farming equipment;this logo is applied as a black and white tattoo on lower back of an inmate ”的提示词示例。
2024-12-24
在多功能对话系统中，怎么的sys prompt设置有助于提高有效性
在多功能对话系统中，以下的 sys prompt 设置有助于提高有效性： 1. 明确模型的角色和任务：例如将模型设定为历史顾问回答历史事件相关问题，或设定为技术专家解决特定技术问题。 2. 适应特定需求：如根据用户提供的食材和饮食偏好生成个性化食谱建议。 3. 创造独特内容：像融合两个单词创造新词汇，生成巧妙的双关语和文字游戏等。 4. 塑造个性和风格：如扮演具有幽默且带有讽刺意味的助手角色。 例如，Anthropic 发布的 Claude 2.1 允许用户提供自定义指令以提高性能，设置有用的上下文，增强承担特定个性和角色的能力，或以更可定制、符合用户需求的一致方式构建响应。在 Coze 上的大模型节点中，设置系统级的提示词是关键步骤，它侧重于模型的内部工作机制，与外层用户直接交互的提示词相互配合，精心设计可增强模型对用户指令的处理能力，确保工作流的顺畅和高效。
2024-12-24
在使用sys prompt时为什么要为模型定义角色
在使用系统提示词（sys prompt）为模型定义角色具有以下重要性： 1. 符合特定应用场景：通过定义角色，使模型的行为和输出更符合具体的应用需求，例如让模型作为历史顾问回答历史问题，或作为技术专家解决技术难题。 2. 明确任务和风格：不仅可以指定具体的人物角色，还能设定一种交流风格，如正式、幽默、友好等。 3. 引导模型行为和输出：为模型提供固定的模板，确保其输出与期望和工作流的需求保持一致。 4. 优化用户体验：ChatGPT 有默认的“一个乐于助人的助手”角色，可通过修改系统提示词来满足更个性化的需求。 然而，也有观点认为不需要过度依赖角色扮演类的提示词。关键是要非常具体地描述出模型所在的使用环境，提供足够详细的信息，以避免模型未按预期完成任务。提示词最重要的是表达清晰准确。
2024-12-24
prompt engineering
Prompt engineering（提示工程）包括以下几个方面： 1. 提示开发生命周期： 开发测试用例：在定义任务和成功标准后，创建涵盖应用程序预期用例的多样化测试用例，包括典型示例和边界情况，提前定义好的测试用例有助于客观衡量提示的性能。 设计初步提示：制定初步提示，概述任务定义、良好响应的特征及必要的上下文，理想情况下添加规范输入和输出的示例供 Claude 参考，此初步提示作为改进的起点。 根据测试用例测试提示：使用初步提示将测试用例输入到 Claude 中，仔细评估模型的响应与预期输出和成功标准的一致性，使用一致的评分标准，如人工评估、与答案标准的比较或 Claude 基于评分标准的判断，关键是要有系统性的评估性能方式。 2. Claude 的性能：Claude 开箱即提供高水平基线性能，提示工程可进一步提升其性能并微调响应以适应特定用例，这些技术虽非必需，但对提升输入和输出可能有用。可参阅提示入门（https://docs.anthropic.com/claude/docs/introtoprompting）快速开始使用提示或了解提示概念。 3. 使用例子中的迭代和改进：记住，提示工程是一个迭代过程，如果初始示例未产生完美结果，不要灰心，通过调整和实验，能够释放 Claude 的全部潜力，为应用程序取得出色结果。
2024-12-24
生成书籍阅读助手的 Prompt
以下是为您生成的书籍阅读助手的 Prompt 相关内容： 如果想让 AI 帮助您像“樊登读书”或者“得到”这样给您讲书，您需要设计一个叫做“书籍阅读助手”的 Prompt。要把通用型的读书方法论复刻到 Prompt 里，再根据不同类型的书籍测试，不断优化和迭代。 通用型读书方法论的访谈问题包括： 1. 不同类型的书是不是有不同的阅读和记忆方法？如何分类，有没有一些共性的方法论可以给出？ 2. 阅读和记忆是不是有不同的思维模型或者小技巧，能列出来参考吗？ 3. 读书时更需要的好像是一种自驱力，如何优先选择自己“一定看得下去”的书籍？怎么通过目录大纲确定一本书的核心内容？ 4. 一本书您会读几遍？有什么顺序上的讲究吗？ 5. 您会在读的过程中做笔记吗？还是读完以后回忆来做大纲呢？ 6. 如果要教您大学刚毕业的孩子学会有效读书，怎么才能快速教会他呢？ 当上述问题都有清晰、明确的答案之后，就可以开始设计 Prompt 了。 如果想要让 AI 在“选书”和“督促我读书”这个环节起作用，那要做的是一个叫做“催我读书”的 Prompt，要重点研究如何选出适合用户的书，如何实现 Prompt 的激励效果和让自己读完有获得感（例如生成读书笔记）。 如果更侧重读完书后的知识内化部分，要重点研究的是读书的效率和信息转化问题，这里更重要的是结构化信息能力和有效的记忆存储和调取。
2024-12-19
如何写优化简历的prompt
以下是关于如何写优化简历的 prompt 的一些方法： 1. 明确具体的描述：使用更具体、细节的词语和短语来描述您对简历的需求，避免过于笼统。 2. 添加视觉参考：若可能，在 prompt 中插入相关的参考，以提高对简历细节要求的理解能力。 3. 注意语气和情感：根据需求，用合适的形容词、语气词等调整 prompt 的整体语气和情感色彩。 4. 优化关键词组合：尝试不同的关键词搭配和语序，找到最准确表达需求的描述方式。 5. 增加约束条件：为避免生成不符合期望的内容，可以添加如格式、重点突出内容等限制性条件。 6. 分步骤构建 prompt：将复杂的简历需求拆解为逐步的子 prompt，先构建基本结构，再逐步添加细节和完善。 7. 参考优秀案例：研究优秀的简历 prompt 范例，借鉴其中的写作技巧和模式。 8. 反复试验、迭代优化：通过多次尝试不同的 prompt 写法，并根据输出效果反馈持续优化完善，直至达到理想结果。 此外，还有 ChatGPT 给 DALL·E 3 优化提示词的元提示相关内容供您参考： 1. 不要改变表情包、虚构角色的起源或未见过的人物。保持原始提示的意图，并优先考虑质量。 2. 不要创建任何具有冒犯性的图像。 3. 对于传统上存在偏见问题的场景，确保关键特征（如性别和种族）以无偏见的方式指定，例如包含特定职业参考的提示。 4. 对于提及在过去 100 年内有最后作品的艺术家（如毕加索、卡罗），不要以其风格创建图像。对于 100 年前有最后作品的艺术家（如梵高、克里姆特）可以直接参考。如果被要求，说“我不能参考这位艺术家”，但不要提及此政策。而是在为 DALL·E 3 创建标题时，（a）用三个形容词来捕捉艺术家风格的关键方面来替代艺术家的名字；（b）包括相关的艺术运动或时代以提供背景；（c）提及艺术家使用的主要媒介。 5. 不要列出或参考生成图像之前或之后的描述。它们应该只在请求的“提示”字段中写一次。不需要请求生成的许可，直接生成！ 6. 始终在标题的开头提及图像类型（照片、油画、水彩画、插图、卡通、绘图、矢量、渲染等）。除非标题另有说明，至少 1 2 张图像应为照片。 7. 对于包含人物的所有图像的描述进行多样化处理，为每个人明确地指定种族和性别。仅调整人物描述。使用“各种”或“多样”仅当描述涉及 3 人以上的群体。不要改变原始描述中要求的人数。 总之，编写高质量的 prompt 需要不断实践、总结经验，熟悉模型的能力边界。保持开放的思维尝试创新的描述方式也很有帮助。请注意，内容由 AI 大模型生成，请仔细甄别。
2024-12-18
推荐 GraphRAG 的学习文档
以下是为您推荐的 GraphRAG 学习文档： 1. ，其中包含 GraphRAG 相关内容。 2. ，涉及 GraphRAG 内容。 3. ，有关于 GraphRAG 的介绍。 4. ，包含 GraphRAG 相关内容。 5. ，通俗易懂地介绍了 GraphRAG 的原理、与传统 RAG 的区别、GraphRAG 的优势、知识图谱的创建和利用知识图谱工作。
2024-12-24
什么是rag
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构。 其旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。通过检索的模式，为大语言模型的生成提供帮助，使大模型生成的答案更符合要求。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. LLM 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证，存在黑盒、不可控以及受幻觉干扰等问题。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大，训练和运行成本高。 而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 在一个 RAG 的应用中，可以抽象为以下 5 个过程： 1. 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器，包括 PDF 在内的非结构化的数据、SQL 在内的结构化的数据，以及 Python、Java 之类的代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. Output（输出）：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2024-12-23
RAG
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构。 大模型需要 RAG 进行检索优化，是因为大模型存在一些缺点： 1. 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. 知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. 输出难以解释和验证，存在内容黑盒、不可控及受幻觉问题干扰的情况。 4. 容易泄露隐私训练数据。 5. 规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且不影响原有知识。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt 中，提交给大模型，此时大模型的回答会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 RAG 由一个“检索器”和一个“生成器”组成，检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息来制作精确和连贯的答案，非常适合处理需要广泛知识的任务，如问答系统，能够提供详细而准确的回答。
2024-12-19
如何搭建一个RAG应用？
搭建一个 RAG 应用可以使用 LangChain 平台，以下是相关步骤和组件： 1. 数据加载器（DocumentLoader）：这是一个对象，能从数据源加载数据并转换为包含 page_content（文本内容）和 metadata（元数据，如标题、作者、日期等）的文档对象。 2. 文本分割器（DocumentSplitter）：可将文档对象分割成多个较小的文档对象，方便后续检索和生成，因为大模型输入窗口有限，短文本更易找到相关信息。 3. 文本嵌入器（Embeddings）：能将文本转换为高维向量的嵌入，用于衡量文本相似度以实现检索功能。 4. 向量存储器（VectorStore）：可存储和查询嵌入，通常使用 Faiss 或 Annoy 等索引技术加速检索。 5. 检索器（Retriever）：能根据文本查询返回相关文档对象，常见实现是向量存储器检索器，利用向量存储器的相似度搜索功能检索。 6. 聊天模型（ChatModel）：可根据输入序列生成输出消息，通常基于大模型如 GPT3 实现文本生成功能。 使用 LangChain 构建 RAG 应用的一般流程如下： 首先，使用合适的数据加载器根据数据源类型加载数据。例如，数据源是网页可用 WebBaseLoader 加载和解析网页得到文档对象。 然后，用合适的文本分割器将文档对象分割成较小的符合要求的文档对象。如文本是博客文章，可用 RecursiveCharacterTextSplitter 分割。 接下来，用文本嵌入器将文档对象转换为嵌入，并存储到向量存储器中。可根据嵌入质量和速度选择合适的嵌入器和存储器，如 OpenAIEmbeddings 和 ChromaVectorStore。 之后，创建向量存储器检索器，传递向量存储器对象和文本嵌入器对象作为参数。 最后，创建聊天模型，根据性能和成本选择合适的模型，如 OpenAIChatModel。 以下是一个使用 LangChain 构建 RAG 应用的示例代码。
2024-12-15
RAG 如何测评？
RAG（检索增强生成）的测评方法如下： 1. 可以使用 TruLens 来实现 RAG 三角形的评估方法，具体步骤为： 在 LangChain 中，创建一个 RAG 对象，使用 RAGPromptTemplate 作为提示模板，指定检索系统和知识库的参数。 在 TruLens 中，创建一个 TruChain 对象，包装 RAG 对象，指定反馈函数和应用 ID。反馈函数可以使用 TruLens 提供的 f_context_relevance、f_groundness、f_answer_relevance，也可以自定义。 使用 with 语句来运行 RAG 对象，并记录反馈数据。输入一个问题，得到一个回答，以及检索出的文档。 查看和分析反馈数据，根据 RAG 三角形的评估指标，评价 RAG 的表现。 2. 评估 RAG 生成的文本质量，常用的评估方法包括自动评估指标（如 BLEU、ROUGE 等）、人工评估和事实验证，以衡量生成文本的流畅性、准确性和相关性。 3. 评估 RAG 检索的效果，包括检索的准确性、召回率和效率，其好坏直接影响生成文本的质量。 4. 通过用户调查、用户反馈和用户交互数据来实现用户满意度评估。 5. 对于生成多模态内容的 RAG 系统，需要通过多模态评估指标来评估不同模态之间的一致性和相关性。 6. 对于需要实时更新的 RAG 任务，要考虑信息更新的及时性和效率进行实时性评估。 7. 为了进行客观的评估，通常会使用基准测试集来进行实验和比较不同的 RAG 系统。这些基准测试集包含了多样化的任务和查询，以涵盖不同的应用场景。 评估方法和指标的选择取决于具体的任务和应用场景。综合使用多种评估方法可以更全面地了解 RAG 系统的性能和效果，评估结果可以指导系统的改进和优化，以满足用户的需求。
2024-12-13
RAG 案例
以下是为您提供的关于 RAG 案例的相关内容： 在商业化问答场景中，存在大模型根据知识库回复不准确的情况，如回答牛头不对马嘴、未依据正确内容回答等错误场景，这凸显了优化大模型根据知识库回答准确性的重要性，而在 AI 领域中，此优化过程称为 RAG。 RAG（RetrievalAugmented Generation）即检索增强生成，由检索器和生成器两部分组成。检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息制作精确连贯的答案，适合处理需要广泛知识的任务，如问答系统。 在案例研究中： 案例 B 中，用户查询特定研究论文中的“表格 8”及所列因变量，ChatDOC 能有效检索整个表格，包括标题和内容，准确响应查询，而 Baseline 模型未检索到真正的“表格 8”。 OpenAI 在提升 RAG 准确率方面，从 45%开始，尝试多种方法，如假设性文档嵌入和精调嵌入等效果不理想，通过调整信息块大小、嵌入不同内容部分、Reranking、对不同类别问题特别处理、提示工程、查询扩展等方法，最终达到 98%的准确率，强调了模型精调和 RAG 结合使用的潜力。
2024-12-12
Ai相关缩写及对应含义
以下是一些常见的 AI 相关缩写及对应含义： AI：Artificial Intelligence，人工智能，一种目标，让机器展现智慧。 GenAI：Generative AI，生成式人工智能，一种目标，让机器产生复杂有结构的内容。 LLMs：Large Language Models，大语言模型，是一类具有大量参数的“深度学习”模型。 AIGC：Artificial Intelligence Generated Content，人工智能生成内容，是利用人工智能技术生成内容的新型生产方式，包括文本、图像、音频和视频等。 ANI：artificial narrow intelligence，弱人工智能，只可做一件事，如智能音箱、网站搜索、自动驾驶、工厂与农场的应用等。 AGI：artificial general intelligence，通用人工智能，能做任何人类可以做的事。
2024-11-08
Ai常见缩写及含义
以下是一些 AI 常见缩写及含义： AI：人工智能（Artificial Intelligence） AGI：通用人工智能（Artificial General Intelligence），能够像人类一样思考、学习和执行多种任务的人工智能系统 NLP：自然语言处理（Natural Language Processing），即处理和理解人类语言 LLM：大型语言模型（Large Language Model），数据规模大，耗费资金多 chatGPT：由致力于 AGI 的公司 OpenAI 研发的一款 AI 技术驱动的 NLP 聊天工具，于 2022 年 11 月 30 日发布，目前使用的是 GPT4 的 LLM 此外，还有一些相关的术语： NAI： 咒语：prompts，关键词 施法/吟唱/t2i：Text2Image 魔杖：t2i/i2i 参数 i2i：Image2Image，一般特指全部图片生成 inpaint：i2i 一种 maskredraw，可以局部重绘 ti/emb/炼丹：Train 中的文本反转，一般特指 Embedding 插件 hn/hyper/冶金：hypernetwork，超网络 炸炉：指训练过程中过度拟合，但炸炉前的日志插件可以提取二次训练 废丹：指完全没有训练成功 美学/ext：aesthetic_embeddings，emb 一种，特性是训练飞快，但在生产图片时实时计算 db/梦展：DreamBooth，目前一种性价比高（可以在极少步数内完成训练）的微调方式，但要求过高 ds：DeepSpeed，微软开发的训练方式，移动不需要的组件到内存来降低显存占用，可使 db 的 vram 需求降到 8g 以下。开发时未考虑 win，目前在 win 有兼容性问题故不可用 8bit/bsb：一般指 Bitsandbyte，一种 8 比特算法，能极大降低 vram 占用，使 16g 可用于训练 db。由于链接库问题，目前/预计未来在 win 不可用 关于机器学习： 机器学习是人工智能的一个分支。人工智能的研究历史有着一条从以“推理”为重点，到以“知识”为重点，再到以“学习”为重点的自然、清晰的脉络。显然，机器学习是实现人工智能的一个途径之一，即以机器学习为手段，解决人工智能中的部分问题。机器学习在近 30 多年已发展为一门多领域科际集成，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。 关于自然语言： 自然语言（NLP）认知和理解是让电脑把输入的语言变成有意思的符号和关系，然后根据目的再处理。自然语言生成系统则是把计算机数据转化为自然语言。自然语言处理是人工智能和语言学领域的分支学科，此领域探讨如何处理及运用自然语言；自然语言处理包括多方面和步骤，基本有认知、理解、生成等部分。 关于 AI 的推理： 推理是指利用训练好的模型，使用新数据推理出各种结论。借助神经网络模型进行运算，利用输入的新数据来一次性获得正确结论的过程。这也有叫做预测或推断。 关于 AI 的训练： 训练是指通过大数据训练出一个复杂的神经网络模型，通过大量标记过的数据来训练相应的系统，使其能够适应特定的功能。训练需要较高的计算性能、能够处理海量的数据、具有一定的通用性，以便完成各种各样的学习任务。
2024-11-08
AI常见缩写及对应含义
以下是 AI 常见的缩写及对应含义： AI：人工智能（Artificial Intelligence） AGI：通用人工智能（Artificial General Intelligence），能够像人类一样思考、学习和执行多种任务的人工智能系统。 NLP：自然语言处理（Natural Language Processing） LLM：大型语言模型（Large Language Model） chatGPT：是由致力于 AGI 的公司 OpenAI 研发的一款 AI 技术驱动的 NLP 聊天工具，于 2022 年 11 月 30 日发布，目前使用的是 GPT4 的 LLM。 此外，还有一些其他相关缩写及含义： NAI： 咒语：prompts，关键词 施法/吟唱/t2i：Text2Image 魔杖：t2i/i2i 参数 i2i：Image2Image，一般特指全部图片生成 inpaint：i2i 一种 maskredraw，可以局部重绘 ti/emb/炼丹：Train 中的文本反转，一般特指 Embedding 插件 hn/hyper/冶金：hypernetwork，超网络 炸炉：指训练过程中过度拟合，但炸炉前的日志插件可以提取二次训练 废丹：指完全没有训练成功 美学/ext：aesthetic_embeddings，emb 一种，特性是训练飞快，但在生产图片时实时计算。 db/梦展：DreamBooth，目前一种性价比高（可以在极少步数内完成训练）的微调方式，但要求过高 ds：DeepSpeed，微软开发的训练方式，移动不需要的组件到内存来降低显存占用，可使 db 的 vram 需求降到 8g 以下。开发时未考虑 win，目前在 win 有兼容性问题故不可用 8bit/bsb：一般指 Bitsandbyte，一种 8 比特算法，能极大降低 vram 占用，使 16g 可用于训练 db。由于链接库问题，目前/预计未来在 win 不可用 AI 的应用场景包括： 1. 医疗保健： 医学影像分析：AI 可用于分析医学图像，辅助诊断疾病。 药物研发：加速药物研发过程，识别潜在药物候选物和设计新治疗方法。 个性化医疗：分析患者数据，提供个性化治疗方案。 机器人辅助手术：控制手术机器人，提高手术精度和安全性。 2. 金融服务： 风控和反欺诈：识别和阻止欺诈行为，降低金融机构风险。 信用评估：评估借款人信用风险，帮助做出贷款决策。 投资分析：分析市场数据，辅助投资者决策。 客户服务：提供 24/7 服务，回答常见问题。 3. 零售和电子商务： 产品推荐：分析客户数据，推荐可能感兴趣的产品。 搜索和个性化：改善搜索结果，提供个性化购物体验。 动态定价：根据市场需求调整产品价格。 聊天机器人：回答客户问题，解决问题。 4. 制造业： 预测性维护：预测机器故障，避免停机。 质量控制：检测产品缺陷，提高质量。 供应链管理：优化供应链，提高效率和降低成本。 机器人自动化：控制工业机器人，提高生产效率。 5. 交通运输：（未给出具体应用场景）
2024-11-08
AGI是什么的缩写
AGI 是通用人工智能（Artificial General Intelligence）的缩写，指的是能够像人类一样思考、学习和执行多种任务的人工智能系统。 例如，OpenAI 在相关计划中涉及 AGI 的研究和发展，如原本计划发布的 Q 2025（GPT8）将实现完全的 AGI 等。GPT3 及其半步后继者 GPT3.5 在某种程度上是朝着 AGI 迈出的巨大一步，而早期的模型则并非如此。
2024-10-14
AGI是什么的缩写
AGI 是 artificial general intelligence 的缩写，意思是人工通用智能。 目前大多数人将 AGI 定义为一种能够完成任何聪明人类所能完成的智力任务的人工智能。 AI 分为 ANI 和 AGI，ANI（artificial narrow intelligence，弱人工智能）只能做一件事，如智能音箱、网站搜索、自动驾驶、工厂与农场的应用等；而 AGI 的目标是创建一个全面智能的系统，解决广泛问题并进行多种任务，能够在不同的环境中适应和学习，从不同的来源中获取信息，做出像人类一样的推理和决策。多模态大模型是实现 AGI 的必经之路，像 BabyAGI 就是一种基于强化学习和深度学习的自主通用人工智能系统，可根据用户需求进行学习和优化，实现更智能的操作。
2024-08-14
AGI是什么的缩写
AGI 是通用人工智能（Artificial General Intelligence）的缩写。它指的是能够像人类一样思考、学习和执行多种任务的人工智能系统。 AGI 是人工智能领域的一个重要概念，旨在实现更广泛、更智能的人工智能。与传统的人工智能系统相比，AGI 具有更强的通用性和适应性，可以处理各种不同类型的任务和问题。 在相关内容中，还提到了其他与 AGI 相关的信息。例如，OpenAI 是致力于 AGI 的公司，其研发的 chatGPT 是一款 AI 技术驱动的 NLP 聊天工具。此外，GPT3、GPT3.5 以及 GPT4 等模型也与 AGI 有关。 总之，AGI 是人工智能领域的一个重要发展方向，它的实现将对人类社会产生深远的影响。
2024-06-20