NLP相关概念

最后，我们来总结一下这些“小故事”，从图灵奠定自然语言处理的根基，到SHRDLU实现了理解、生成自然语言，大约过去了20年时间，在这短短20年里，科技突飞猛进的速度让我们瞠目结舌（虽然现在的你可能觉得当时的技术很原始）。虽然现在的自然语言处理已经被归到人工智能学科下，但我们仍能看清楚这三者之间的关系，即：自然语言处理（NLP）中包含了自然语言理解（NLU）和自然语言生成（NLG）。如下图所示：而这三者分别干的事情如下：1.NLP：它涉及各种技术和方法，使计算机能够分析、理解和生成人类语言，例如文本和语音。NLP的目标是让计算机像人类一样理解和使用语言，从而实现人机交互的自然化。2.NLU:专注于让计算机理解人类语言的含义。NLU系统试图理解句子和词语背后的含义，而不是仅仅处理单个词语。NLU能够识别文本中的情感、意图和实体，并将其转化为计算机可以理解的结构化信息。3.NLG:专注于让计算机生成人类可以理解的语言。NLG系统将结构化数据转化为自然语言文本，例如新闻报道、产品描述、聊天机器人回复等。NLG能够根据不同的需求和场景，生成不同风格和语气的文本。好了，讲了这么多，不知道今天有没有把这三个概念学会？如果想学习更多人工智能知识，欢迎关注我。谢谢。以上。

自然语言处理（Natural Language Processing，NLP）是研究人与计算机之间，使用自然语言进行有效通信。就是希望机器能像人一样，具备正常人的语言理解能力。有别于计算机语言，“自然语言”是人类发展过程中形成的一种信息交流方式，包括汉语、英语、法语等世界上所有的语种语言。“处理”包含理解、转化、生成等过程。“自然语言处理”就是指用计算机对自然语言的形、音、义等信息进行处理，即对字、词、句、篇章的输入、输出、识别、分析、理解、生成等的操作和加工。实现人机间的信息交流，[heading2]用途[content]如文字校对、信息检索、机器翻译、问答系统、聊天机器人、文章摘要、舆情监测、情绪分析等都涉及到NLP相关技术。[heading2]技术原理[content]按照内容构成的层次，NLP的基本技术原理可以分成5个层次：1.词法分析。找到词汇的各个词素，从中获得语言学信息；2.句法分析。对句子和短语的结构进行分析，目的是要找出词、短语等的相互关系以及各自在句中的作用；3.语义分析。找出词义、结构意义及其结合意义，从而确定语言所表达的真正含义或概念；4.篇章分析。分析篇章结构，识别不同部分之间的语义联系，结合内外部信息，在整体上理解篇章；5.内容生成

作者：小A，aaronxic，[知乎个人主页](https://www.zhihu.com/people/aaronxic)发表时间：2023年7月8日原文地址：https://zhuanlan.zhihu.com/p/640784855[heading2]开篇[content]大家好，我是小A。今天给大家带来本系列的第二篇内容，主要介绍LLM基座模型里常见的3种transformer架构，encoder-only，encoder-decoder和decoder-only[heading2]NLP任务速览[content]在深入介绍LLM网络结构之前，我们先简单了解一下NLP(Natural Language Processing)都包含了哪些任务。主要包含3大类任务自然语言理解任务(NLU,Natural Language Understanding)。特点是能看到完整上下文信息，然后做广义分类任务，典型任务如文本情感分析，词性标注，信息检索等。有条件自然语言生成任务(conditioned-NLG,Natural Language Generation)。特点是seq2seq，典型任务例如机器翻译，自动摘要等。无条件自然语言生成任务(unconditioned-NLG)。特点是开放性的句子生成，典型任务如问答系统(QA)、对话机器人(ChatBot)等。一开始针对不同任务会使用不同的模型，后来发现NLG任务能通过in-context learning+prompt来完成NLU任务，于是逐渐收敛到了NLG任务。