到今天，大语言模型还会产生“幻觉”吗

隐私泄露可以被大致分为三种：记忆隐私泄露，系统隐私泄露与上下文隐私泄露。我们先来聊聊第一种：记忆数据了、泄露。自回归语言模型的训练可以类比为模型在预训练数据中不断学习的过程,在学习的过程中,除了提取的`语言知识之外,模型无可避免的会记住一些数据。就像背诵一样,可能查询是完全没有恶意的,但模型返回了他人的隐私信息,例如左侧的ChatGPT回答,就正是模型输出了无意识记忆的url,而该url正好指向他人的隐私相册。模型的记忆形式其实和人类很类似,如果模型背诵的次数少,那么模型的记忆能力就会显著下降例如右图所示,横轴是重复次数,纵轴是被记住的可能性,可以看到见过的次数越多,模型就越容易背下来因此在LLM的数据隐私保护中,一个直观地解决办法就是让模型减少见数据的次数,少看几遍,也就记不住了第二种则是系统隐私泄露。例如，大家熟知的“骗取GPTs的System Prompt”就是系统隐私泄漏的一种。第三种则是“上下文隐私泄露”。接下来，我们来讲讲大家耳熟能详的“幻觉”问题。大语言模型偶尔会根据输入,输出一些荒谬或不符合事实的内容。目前，各家大语言模型都在该问题上表现得不尽如人意。为什么大语言模型会出现幻觉呢？以下的论文提供了一些解释：例如第一种：Imitative Falsehoods，样本存在错误。如果大语言模型这个“学生”学习的“教材”中有错误，那它也对不到哪里去。缓解该问题的一个办法是上采样（Up Sampling）。第二种是Outdated Factual Knowledge：以前正确，现在过时了的信息

[heading2]总结大语言模型的介绍与原理国内大模型的分类：国内大模型有通用模型如文心一言、讯飞星火等，处理自然语言；还有垂直模型，专注特定领域如小语种交流、临床医学、AI蛋白质结构预测等。大模型的体验：以‘为什么我爸妈结婚的时候没有邀请我参加婚礼’和‘今天我坐在凳子上’为例，体验了Kimi、通义千问、豆包等大模型的回答和续写能力，发现回复有差异，且大模型基于统计模型预测生成内容。大语言模型的工作原理：大语言模型工作原理包括训练数据、算力、模型参数，在训练数据一致情况下，模型参数越大能力越强，参数用b链形容大小。Transformer架构：Transformer是大语言模型训练架构，17年出现用于翻译，具备自我注意力机制能理解上下文和文本关联，其工作原理是单词预测，通过嵌入、位置编码、自注意力机制生成内容，模型调教中有控制输出的temperature。关于大语言模型的原理、应用及相关概念Transformer模型原理：通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率，是一个偏向概率预测的统计模型。大模型幻觉：大模型通过训练数据猜测下一个输出结果，可能因错误数据导致给出错误答案，优质数据集对其很重要。Prompt的分类和法则：分为system prompt、user prompt和assistant prompt，写好prompt的法则包括清晰说明、指定角色、使用分隔符、提供样本等，核心是与模型好好沟通。Fine tuning微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。RAG概念：未对RAG的具体内容进行详细阐述，仅提出了这个概念。

因此，接下来我们将讨论一些模型的局限性，因为我认为在开发具有大型语言模型的应用程序时保持这些局限性非常重要。如果在其训练过程中，模型被暴露于大量的知识之中，那么它并没有完美地记忆所见到的信息，因此它并不十分清楚它的知识边界。这意味着它可能会尝试回答有关深奥话题的问题，并且可能会虚构听起来很有道理但实际上不正确的东西。我们将这些捏造的想法称为幻觉。因此，我将向您展示一个例子，在这个例子中模型会产生幻觉。这是一个例子，展示了模型如何编造一个来自真实牙刷公司的虚构产品名称的描述。因此，这个提示是：“告诉我关于Boy的AeroGlide Ultra Slim智能牙刷的情况。”如果我们运行它，模型将为我们提供一个相当逼真的虚构产品的描述。这样做的危险在于，这听起来实际上是相当逼真的。因此，当您构建自己的应用程序时，请确保使用本笔记本中介绍的一些技术来避免出现这种情况。这是模型已知的弱点，我们正在积极努力应对。在您希望模型根据文本生成答案的情况下，另一种减少幻觉的策略是要求模型首先从文本中找到任何相关的引文，然后要求它使用那些引文来回答问题，并将答案追溯回源文件通常是非常有帮助的，可以减少这些幻觉的发生。大功告成！您已经完成提示指南，接下来您将进入下一个视频，了解迭代提示开发过程。