安全大模型是一个重要的研究领域。以下是关于安全大模型的一些关键信息：
一个最直观的办法，就是我们在预训练阶段，对模型的预训练数据进行过滤，不让模型学习那些我们不想要的有害知识，例如图示中的红色文档，灰色文档则代表有一定有害数据，但达不到过滤阈值的这样模型学习到的知识中就不直接包含这些有害数据了但此方法往往应用于工业界，例如baichuan2在其开源的技术报告中就提到他们使用了这种技术进行了数据过滤，用于减少模型的有害输出但是考虑到数据之间的关联性，即使一些有害信息丰富的文档被删除掉，但大模型仍然可能从数据的关联中学会有害的内容，并且在面对不良信息时，模型缺少相关知识，反而有可能因此仅仅使用数据过滤是不够的。ChatGPT的早期版本，也就是我们俗称的GPT3.5，正是由GPT-3经过对齐得来的通过让模型与人类的价值观进行对齐，语言模型的任务目标从续写变为了人类的AI助手不光输出形式和任务形式发生了极大的变化并且对齐的helpful，honest，harmless原则确保了语言模型输出的无害性和真实性。那么对齐是如何确保语言模型的输出是安全的，又是如何训练的呢？
encoder-only:这些模型通常适用于可以自然语言理解任务，例如分类和情感分析.最知名的代表模型是BERTencoder-decoder:此类模型同时结合了Transformer架构的encoder和decoder来理解和生成内容。该架构的一些用例包括翻译和摘要。encoder-decoder的代表是google的T5decoder-only:此类模型更擅长自然语言生成任务。典型使用包括故事写作和博客生成。这也是我们现在所熟知的众多AI助手的结构我们目前耳熟能详的AI助手基本都来自左侧的灰色分支,当然也包括ChatGPT。这些架构都是根据谷歌2017年发布的论文“attention is all you need”中提出的transformer衍生而来的，在transformer中，包括Encoder，Decoder两个结构目前的大型语言模型就是右侧只使用Decoder的Decoder-only架构的模型大模型又大在哪呢？第一，大模型的预训练数据非常大，这些数据往往来自于互联网上，包括论文，代码，以及可进行爬取的公开网页等等，一般来说，现在最先进的大模型一般都是用TB级别的数据进行预训练。第二，参数非常多，Open在2020年发布的GPT-3就已经达到170B的参数
第三种和第四种则是让人类或大语言模型作为鉴别器参与攻击样本生成。第二类是白盒攻击：在知道模型参数的情况下对模型进行攻击。例如，下面的工作就是基于梯度的攻击，它自动地找出一段最能引起LLM对毒性问题做出肯定回答的字符串。下面是一些针对越狱问题可以采用的防御手段：接下来是未来与展望;11月以来,LLM最大的一个事件就是OPENAI首席科学家ilya联合董事会解雇了OPENAI的灵魂人物之一：sam altman据匿名人士透露,解雇sam altman正是因为ilya认为过快的商业化将会导致模型安全失控,产生不安全的AI或大模型为什么ilya会有AI必须安全的思想呢,这就不得不提到图灵奖得主,被誉为DL三巨头之一的hinton,hinton是ilya的老师,同时也是支持对AI监管的重要人物之一。bengio,hinton,姚期智等著名研究者认为,大模型及其驱动的AI必须引入安全性监管,确保大模型是Safety的,防止其失控或对人类造成伤害.并且他们在网上签署了联名公开信,用于表达对于AI失控的担忧,呼吁学术界和工业界对大模型进行监管。