直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

大模型的原理

回答

大模型的原理如下:

  1. 大模型是通过输入大量语料,让计算机获得类似人类的“思考”能力,从而能够理解自然语言,并进行文本生成、推理问答、对话、文档摘要等工作。其训练和使用过程可以类比为上学参加工作:
    • 找学校:训练大模型需要大量计算,GPU 更合适,只有有资本购买大量 GPU 的才有能力训练。
    • 确定教材:大模型需要大量的数据量,几千亿序列(Token)的输入是基本标配。
    • 找老师:采用合适的算法讲述数据内容,让大模型更好理解 Token 之间的关系。
    • 就业指导:为让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。
    • 搬砖:就业指导完成后,进行如翻译、问答等工作,在大模型里称之为推导(infer)。
  2. 大模型的本质是一个基于语言的概率模型,它返回其认为概率最大的内容。如果直接问大模型而不提供 Prompt,相当于大模型随机给出答案。有了 Prompt,相当于给了一个模板,包括对模型的要求、输入和输出的限制,大模型在这个限制下得到概率最大的答案。
  3. 大模型与当下智能语音技能的 NLU 存在本质差别。语音技能 NLU 是通过一系列规则、分词策略等训练而成,其运作逻辑规律可观测,具有 if-else 式的逻辑性。而大模型凭借海量数据在向量空间中学习知识的关联性形成,其运作逻辑难以观测,脱离了 if-else 的层面。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

Ranger:【AI 大模型】非技术背景,一文读懂大模型(长文)

在深入了解了AI的运作原理,并盘了众多当前市面上AI的落地产品之后,我们不妨重新回到最开始的问题。此次AI大模型究竟引发了怎样的变革?在思考这个问题之前,我想先分享下去年刚接触大模型时,困扰我的一个问题。即大模型与当下的智能语音技能的NLU存在什么差异?此前,我也曾涉足过一些语音产品的设计逻辑,知道语音技能链路其实就是把声音转为ASR,再对文本进行NLU理解,然后映射到对应的语音技能表中,最后让程序依据相应的语音技能指令完成逻辑。乍看起来,大模型能实现的,通过语音技能似乎也能达成,那我们引入大模型的意义在哪里呢?抱着这样的疑问,我尝试去理解了大模型的原理。当我在初步理解大模型的原理之后,我发现二者还是存在本质性的差别的。差别在于,后者的语音技能NLU仅是通过一系列规则、分词策略等训练而成的产物。而且NLU的运作逻辑规律都是可观测的,具有if-else式的逻辑性。而大模型,则是凭借海量的数据,在向量空间中学习知识的关联性从而形成的,其运作逻辑难以观测,已然脱离了if-else的层面。

大模型入门指南

通俗来讲,大模型就是输入大量语料,来让计算机获得类似人类的“思考”能力,使之能够理解自然语言,能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。既然是学习,那我们就可以用『上学参加工作』这件事来类比大模型的训练、使用过程:1.找学校::训练LLM需要大量的计算,因此GPU更合适,因此只有购买得起大量GPU的贵族学校才有资本训练自己的大模型2.确定教材::大模型顾名思义就是大,需要的数据量特别多,几千亿序列(Token)的输入基本是标配3.找老师::即用什么样的算法讲述“书本”中的内容,让大模型能够更好理解Token之间的关系4.就业指导::学完书本中的知识后,为了让大模型能够更好胜任某一行业,需要进行微调(fine tuning)指导5.搬砖::就业指导完成后,下面就要正式干活了,比如进行一次翻译、问答等,在大模型里称之为推导(infer)

从原理到应用一次讲清楚 Prompt

[title]从原理到应用一次讲清楚 Prompt[heading1] 2、用更加专业的方式定义 [content]Prompt大模型的本质是一个基于语言的概率模型,他返回他觉得概率最大的内容。如果是直接问大模型,没有提供Prompt,相当于大模型随机给出他的答案。有了Prompt,其实是给了一个模板,这个模板包括了对于模型的要求,输入和输出的限制,大模型在这个限制之下,去得到概率最大的答案。

其他人在问
国内评分最高的国内大模型是什么
根据目前的测评报告,在国内大模型中,得分较高的有文心一言 4.0(API),其总分 79.02 分。在工具使用的测评中,智谱清言表现不俗,取得 83.78 的高分,排名国内模型第一。过去八个月国内模型在 SuperCLUE 基准上的第一名多次为文心一言 4.0。综合来看,国内大模型在不断进步,与国外模型的差距在逐渐缩小,但不同模型在不同方面的表现各有优劣。
2024-09-17
本地知识库系统如何利用大语言模型
以下是关于本地知识库系统如何利用大语言模型的相关内容: 一、部署大语言模型 1. 下载并安装 Ollama 根据电脑系统,从 https://ollama.com/download 下载 Ollama。 下载完成后,双击打开,点击“Install”。 安装完成后,将 http://127.0.0.1:11434/ 复制进浏览器,若出现相关字样则表示安装完成。 2. 下载 qwen2:0.5b 模型(0.5b 方便测试,设备充足可下载更大模型) Windows 电脑:点击 win+R,输入 cmd 点击回车。 Mac 电脑:按下 Command(⌘)+ Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,选择“终端”应用程序。 复制相关命令行并粘贴回车,等待自动下载完成。(下载久了若卡住,鼠标点击窗口,键盘点空格可刷新) 二、了解 RAG 利用大模型的能力搭建知识库是 RAG 技术的应用。在进行本地知识库搭建实操前,需对 RAG 有大概了解。大模型训练数据有截止日期,当需要依靠不在训练集中的数据时,主要通过检索增强生成 RAG 实现。RAG 应用可抽象为 5 个过程: 1. 文档加载:从多种来源加载文档,LangChain 提供 100 多种不同的文档加载器,包括 PDF 等非结构化数据、SQL 等结构化数据以及代码等。 2. 文本分割:文本分割器把 Documents 切分为指定大小的块,称为“文档块”或“文档片”。 3. 存储:涉及将切分好的文档块嵌入转换成向量形式,并将向量数据存储到向量数据库。 4. 检索:通过某种检索算法找到与输入问题相似的嵌入片。 三、通过 Open WebUI 使用大模型 1. 首先访问相关网址,打开页面时使用邮箱注册账号。 2. Open WebUI 一般有两种使用方式: 聊天对话。 RAG 能力,可让模型根据文档内容回答问题,这是构建知识库的基础之一。 3. ChatGPT 访问速度快、回答效果好的原因: 快:GPT 大模型部署的服务器配置高。 好:GPT 大模型的训练参数多、数据更优以及训练算法更好。
2024-09-17
算法和模型是什么关系
算法和模型是相互关联但又有所区别的概念。 模型是对问题或现象的一种抽象表示,它描述了数据之间的关系和模式。例如,在卷积神经网络(CNN)中,其结构就是一种模型,主要用于模式识别任务。 算法则是用于解决问题或实现模型的一系列步骤和方法。在 AI 领域,算法用于训练和优化模型。比如在自然语言处理和图像识别中,某些算法能够使 CNN 在计算上更有效、更快速,从而击败大多数其他算法。 随着我们对大脑工作机制的认知加深,神经网络的算法和模型也会不断发展和进步。 同时,在确保 AI 模型的道德和伦理性方面,也涉及到一系列的算法设计和处理步骤,如数据清洗、算法设计以减少偏见和不公平性、制定道德和伦理准则、保持透明度、接收用户反馈、持续监控、人工干预以及对相关人员进行教育和培训等。 另外,生成式人工智能模型正在从根本上改变我们与计算机的关系,使其有可能成为我们的伴侣,这也对我们对关系的定义提出了新的挑战。
2024-09-15
有什么大模型是可以预测人的行为或者将来发展的
以下是一些与预测人的行为或将来发展相关的大模型信息: 斯坦福大学和谷歌的生成式智能体能够产生令人信服的人类行为代理。相关链接:https://syncedreview.com/2023/04/12/stanfordugooglesgenerativeagentsproducebelievableproxiesofhumanbehaviours/ 关于大模型的未来展望,认为它们将能够读取和生成文本,拥有更丰富的知识,具备多种能力,如查看和生成图像与视频、听取发声创作音乐、利用系统 2 进行深入思考等,还可能在特定领域内自我优化和针对任务进行定制调整。 同时,还为您提供了一些大模型相关的其他资源链接: Google Research,2022 & beyond:Generative models:https://ai.googleblog.com/2023/01/googleresearch2022beyondlanguage.htmlGener ativeModels Building the most open and innovative AI ecosystem:https://cloud.google.com/blog/products/aimachinelearning/buildinganopengenerativ eaipartnerecosystem Generative AI is here.Who Should Control It?https://www.nytimes.com/2022/10/21/podcasts/hardforkgenerativeartificialintelligen ce.html Generative AI:Perspectives from Stanford HAI:https://hai.stanford.edu/sites/default/files/202303/Generative_AI_HAI_Perspectives.pd f Generative AI at Work:https://www.nber.org/system/files/working_papers/w31161/w31161.pdf The future of generative AI is niche,not generalized:https://www.technologyreview.com/2023/04/27/1072102/thefutureofgenerativeaiis nichenotgeneralized/ Attention is All You Need:https://research.google/pubs/pub46201/ Transformer:A Novel Neural Network Architecture for Language Understanding:https://ai.googleblog.com/2017/08/transformernovelneuralnetwork.html
2024-09-15
有什么模型是可以预测人的行为和发展的
以下是一些可以用于预测人的行为和发展的模型: 1. 思维模型: 战略与决策模型,如 SWOT 分析、MECE 原则等,专注于帮助个人或组织做出更好的决策和解决问题。 目标设定与执行的模型,如 SMART 原则、PDCA 循环等,提供了设置和实现目标的框架,确保行动的指向性和高效性。 系统思维模型,如反馈循环、杠杆点等,用于理解和处理复杂系统及其动态,促进整体观和互联性思考。 心理学模型,如认知偏误、习惯形成等,揭示人在认知和行为上的模式和偏差,帮助理解和预测人类行为。 学习与创新模型,如费曼学习法、思维导图等,旨在促进知识获取、深化理解和创造性思考。 2. Token 预测:看似简单的统计学技巧,其中蕴含巨大潜力。预测下一个语言符号(Token)的质量,反映了对语言背后隐藏的语义和知识的理解程度。一个足够强大的语言模型,可以模拟出超越现实的假想情况,通过人类数据进行推理和外推,从而有可能预测一个睿智、博学和能力非凡的人的行为举止。
2024-09-15
推荐几个好用的大语言模型
以下是一些好用的大语言模型: 1. OpenAI 的 GPT4:在多种任务上表现卓越,包括文本生成、理解、翻译以及各种专业和创意写作任务。 2. Anthropic 公司的 Claude 3:在特定领域和任务上有出色能力。 3. 谷歌的 Gemini。 4. 百度的文心一言。 5. 阿里巴巴的通义大模型。 此外,还有一些在特定方面表现突出的大语言模型,如: 1. Meta 的 Llama2 系列。 2. 评估中的 GPT3(包括 textada001、textbabbage001、textcurie001 和 textdavinci002)。 3. LaMDA(有 422M、2B、8B、68B 和 137B 参数的模型)。 4. PaLM(有 8B、62B 和 540B 参数的模型)。 5. UL2 20B。 6. Codex(OpenAI API 中的 codedavinci002)。 如果想了解国内的大模型效果,可以参考第三方基准评测报告: 。内容由 AI 大模型生成,请仔细甄别。
2024-09-14
GPT原理是什么,用 浅显语言逐层说明
ChatGPT 的原理可以用浅显的语言逐层说明如下: 首先,它获取与迄今为止的文本相对应的 token 序列,并找到表示它们的嵌入(即一组数字的数组)。 然后,在这个嵌入上进行操作,以“标准神经网络方式”,值“逐层流动”到网络的连续层中,从而生成一个新的嵌入(即一个新的数字数组)。 接着,从这个数组的最后一部分生成一个大约有 50,000 个值的数组,这些值将变成不同可能的下一个 token 的概率。 关键是,这个流程的每个部分都是由神经网络实现的,其权重由端到端的网络训练确定。 此外,您还可以通过以下资源更深入地了解: 视频: 《ChatGPT 诞生记:先捞钱,再谈理想|OpenAI 翻身史》,林亦 LYi 讲解, 《【渐构】万字科普 GPT4 为何会颠覆现有工作流》,YJango 讲解, 《终于有人把 chatGPT 说清楚了——全网最深入浅出的 chatGPT 原理科普》,新石器公园讲解 文章: 《ChatGPT 中,G、P、T 分别是什么意思?》, 《大白话聊 ChatGPT》,逐字稿:
2024-09-18
RAG技术实现的原理步骤
RAG 技术实现的原理步骤主要包括以下几个方面: 1. 理解问题:AI 模型首先需要理解用户的提问或指令。 2. 文档加载:从多种不同来源加载文档,如包括 PDF 在内的非结构化数据、SQL 在内的结构化数据,以及 Python、Java 之类的代码等。 3. 文本分割:文本分割器把 Documents 切分为指定大小的块,称为“文档块”或者“文档片”。 4. 存储: 将切分好的文档块进行嵌入转换成向量的形式。 将 Embedding 后的向量数据存储到向量数据库。 5. 检索:通过某种检索算法从向量数据库中找到与输入问题相似的嵌入片。 6. 检索相关知识:AI 模型根据对问题的理解,从外部知识库中检索相关的信息。 7. 整合知识与推理:AI 模型将检索到的知识与自身的推理能力相结合,生成最终的答案或内容。 例如,在医疗领域,RAG 技术可以帮助医疗 AI 助手获取最新的医学知识和临床案例,从而提高其诊断和治疗建议的准确性。但需要注意的是,在将大型文档转换为可检索内容的过程中,如文档解析和文本切分、嵌入向量生成等步骤,每一步都可能导致信息损失,复合损失会显著影响 RAG 响应的效果。
2024-09-17
RAG技术原理
RAG(RetrievalAugmented Generation,检索增强生成)是一种自然语言处理技术,主要用于提高语言模型的效果和准确性。其原理包括以下几个方面: 1. 由于大模型的训练数据有截止日期,当需要依靠不在训练集中的数据时,RAG发挥作用。 2. 过程包括文档加载,从多种来源加载包括非结构化、结构化和代码等不同类型的文档。 3. 进行文本分割,把文档切分为指定大小的块。 4. 涉及存储环节,包括将切分好的文档块嵌入转换成向量形式,并将向量数据存储到向量数据库。 5. 通过某种检索算法从向量数据库中检索出与输入问题相似的嵌入片。 6. 结合了检索和生成两种主要的自然语言处理方法。 检索部分从大量文本数据中检索出与输入问题最相关的信息,通常使用检索系统在大规模文档集合中寻找相关文段。 生成部分使用类似 GPT 的语言模型,根据检索到的信息生成响应或回答,涉及理解检索内容并生成连贯、相关且信息丰富的文本。 7. RAG 的出现解决了语言模型仅依靠固定资料回答问题的局限性,允许模型到搜索引擎上搜索相关资料,并结合自身知识体系综合回复。 其中的检索环节并非简单操作,还包含对输入问题的纠错、补充、拆分以及对搜索内容的权重逻辑等。
2024-09-17
ai 生成 ppt 的原理是什么
AI 生成 PPT 的原理通常包括以下步骤: 1. AI 生成 PPT 大纲:利用自然语言处理技术和相关算法,根据用户输入的主题或需求生成初步的 PPT 大纲框架。 2. 手动优化大纲:用户对生成的大纲进行手动调整和完善,使其更符合具体的需求和期望。 3. 导入工具生成 PPT:将优化后的大纲导入到特定的工具中,这些工具大多基于 Markdown 语法的内容来完成 PPT 的生成。例如以爱设计为例,其他工具的操作方式也大同小异。 4. 优化整体结构:对生成的 PPT 进行整体结构的优化,包括页面布局、内容排版、色彩搭配等方面的调整。 目前市面上的 AI 生成 PPT 工具,如讯飞智文等,通过自动化和智能化的设计流程,极大地简化了 PPT 的制作工作,使得非设计专业人士也能轻松制作出高质量的演示文稿。用户可以根据自己的需求和喜好选择合适的 AI PPT 工具,以提高工作效率和演示效果。 如果您是第一次使用 AI 生成 PPT,对于原理比较好奇,或者对于提示词不是很熟悉,可以参考以下两篇文章: 1. 2. 此外,还为您推荐两篇市场分析的文章供参考: 1. 2.
2024-09-11
代码生成原理
代码生成的原理如下: 在 Windows/Linux 上,Cmd K(也称为“Ctrl K”)允许在编辑器窗口中生成新代码或编辑现有代码。如果在按 Ctrl/Cmd K 时未选择任何代码,Cursor 将根据在提示栏中键入的提示生成新代码。 Cursor 能够看到您最近的更改,从而预测您下一步要做的事情。 大语言模型在代码生成方面是一个有效的应用场景,例如 Copilot。可以通过一些有效的提示词执行代码生成任务,例如编写简单的用户欢迎程序,或者提供有关数据库架构并要求生成有效的 MySQL 查询,甚至不需要指定要使用的编程语言。
2024-09-11
什么是agent,技术原理是什么,有哪些应用
智能体(Agent)是指能够自主感知环境、做出决策并执行动作以实现特定目标的实体。 其技术原理包括: AppAgent 可以通过自主学习和模仿人类的点击和滑动手势,能够在手机上执行各种任务。它是一个基于大语言模型的多模态代理,能够处理和理解多种类型的信息(如文本、图像、触控操作等)。 沉浸式单机剧本杀 Bot 由多个 agent 共同协作完成,包括主持人 Agent 通过对话引导玩家,条件判断 Agent 负责解析玩家输入判断触发条件,以及通过对剧本内容进行向量化处理和构建索引来使剧情展开更流畅。 智能体的应用领域广泛,例如: 自动驾驶:自动驾驶汽车中的智能体感知周围环境,做出驾驶决策。 家居自动化:智能家居设备(如智能恒温器、智能照明)根据环境和用户行为自动调节。 游戏 AI:游戏中的对手角色(NPC)和智能行为系统。 金融交易:金融市场中的智能交易算法,根据市场数据做出交易决策。 客服聊天机器人:通过自然语言处理与用户互动,提供自动化的客户支持。 机器人:各类机器人(如工业机器人、服务机器人)中集成的智能控制系统。
2024-09-11