Chat with Wiki - 目前字节有哪些可以运用到安全审核业务的大模型？

Answer

字节在安全审核业务中可能运用到的大模型包括：

Claude-2-100k 模型，其上下文上限是 100k Tokens，即 100000 个 token。
ChatGPT-16k 模型，其上下文上限是 16k Tokens，即 16000 个 token。
ChatGPT-4-32k 模型，其上下文上限是 32k Tokens，即 32000 个 token。

大模型的相关知识：

大模型中的数字化便于计算机处理，为让计算机理解 Token 之间的联系，需把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。
以 Transform 为代表的大模型采用自注意力机制来学习不同 token 之间的依赖关系，生成高质量 embedding。大模型的“大”指用于表达 token 之间关系的参数多，例如 GPT-3 拥有 1750 亿参数。
大模型的架构包括 encoder-only（适用于自然语言理解任务，如分类和情感分析，代表模型是 BERT）、encoder-decoder（同时结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容，代表是 google 的 T5）、decoder-only（更擅长自然语言生成任务，典型使用包括故事写作和博客生成，众多 AI 助手基本都来自此架构）。大模型的特点包括预训练数据非常大（往往来自互联网，包括论文、代码、公开网页等，一般用 TB 级数据进行预训练）、参数非常多（如 Open 在 2020 年发布的 GPT-3 已达到 170B 的参数）。

Content generated by AI large model, please carefully verify (powered by aily)

References

从官方文档可以看到我们目前使用的模型有哪些，以及每个模型的token限制。除此之外，最直观能感受到各类模型token限制的其实是poe:在这里我们看到的16K、32K、100K就是指token上限。Claude-2-100 k模型的上下文上限是100k Tokens，也就是100000个tokenChatGPT-16 k模型的上下文上限是16k Tokens，也就是16000个tokenChatGPT-4-32 k模型的上下文上限是32k Tokens，也就是32000个token但似乎很多小伙伴不理解这个限制具体影响在哪些方面。所以我替你们问了一下GPT（真不懂你们为什么不自己问/手动狗头）从回答可以看出，这个token限制是同时对下述两者生效的：1、一次性输入2、一次对话的总体上下文长度，值得注意的是这个长度不是达到上限就停止对话，而是遗忘最前面的对话，你可以理解为鱼的记忆只有7秒，第8秒的时候他会忘记第1秒的事，第9秒的时候……（某些同学是不是恍然大悟了）

大模型入门指南

数字化的好处是便于计算机处理。但为了让计算机理解Token之间的联系，还需要把Token表示成稠密矩阵向量，这个过程称之为embedding([3])，常见的算法有：基于统计Word2Vec，通过上下文统计信息学习词向量GloVe，基于词共现统计信息学习词向量基于深度网络CNN，使用卷积网络获得图像或文本向量RNN/LSTM，利用序列模型获得文本向量基于神经网络BERT，基于Transformer和掩码语言建模（Masked LM）进行词向量预训练Doc2Vec，使用神经网络获得文本序列的向量以Transform为代表的大模型采用自注意力（Self-attention）机制来学习不同token之间的依赖关系，生成高质量embedding。大模型的“大”，指的是用于表达token之间关系的参数多，主要是指模型中的权重（weight）与偏置（bias），例如GPT-3拥有1750亿参数，其中权重数量达到了这一量级，而词汇表token数只有5万左右。参考：[How does an LLM"parameter"relate to a"weight"in a neural network?](https://datascience.stackexchange.com/questions/120764/how-does-an-llm-parameter-relate-to-a-weight-in-a-neural-network"How does an LLM"parameter"relate to a"weight"in a neural network?")

从 0 到 1 了解大模型安全，看这篇就够了

encoder-only:这些模型通常适用于可以自然语言理解任务，例如分类和情感分析.最知名的代表模型是BERTencoder-decoder:此类模型同时结合了Transformer架构的encoder和decoder来理解和生成内容。该架构的一些用例包括翻译和摘要。encoder-decoder的代表是google的T5decoder-only:此类模型更擅长自然语言生成任务。典型使用包括故事写作和博客生成。这也是我们现在所熟知的众多AI助手的结构我们目前耳熟能详的AI助手基本都来自左侧的灰色分支,当然也包括ChatGPT。这些架构都是根据谷歌2017年发布的论文“attention is all you need”中提出的transformer衍生而来的，在transformer中，包括Encoder，Decoder两个结构目前的大型语言模型就是右侧只使用Decoder的Decoder-only架构的模型大模型又大在哪呢？第一，大模型的预训练数据非常大，这些数据往往来自于互联网上，包括论文，代码，以及可进行爬取的公开网页等等，一般来说，现在最先进的大模型一般都是用TB级别的数据进行预训练。第二，参数非常多，Open在2020年发布的GPT-3就已经达到170B的参数在GPT3中，模型可以根据用户输入的任务描述，或给出详细的例子，完成任务但这与我们熟知的ChatGPT仍然有着很大的差距，使用ChatGPT只需要像和人类一样对话，就可以完成任务。除了形式上的不同之外，还有一个更加重要的差距，那就是安全性上的差别。