大模型测试开发的知识梳理 -WayToAGI

回答

以下是关于大模型测试开发的知识梳理：

《Perplexity 指标究竟是什么?》：作者小 A 从自身经验出发，总结梳理新手友好的 transformer 入坑指南，计划从算法 1（NLP 中的 transformer 网络结构）、算法 2（CV 中的 transformer 网络结构）、算法 3（多模态下的 transformer 网络结构）、训练（transformer 的分布式训练）、部署（transformer 的 tvm 量化与推理）五个方面介绍。
《初探 LLM 基座模型》：主要介绍 LLM 基座模型里常见的 3 种 transformer 架构，包括 encoder-only、encoder-decoder 和 decoder-only。
《从 0 到 1 了解大模型安全，看这篇就够了》：介绍了 transformer 的架构，如 encoder-only 适用于自然语言理解任务，encoder-decoder 用于理解和生成内容，decoder-only 擅长自然语言生成任务；还提到大模型的特点，如预训练数据大（来自互联网，包括论文、代码、公开网页等，常以 TB 级别计）、参数多（如 GPT-3 已达 170B）。
《开发：产品视角的大模型 RAG 应用》：从产品视角分享大模型 RAG 应用，包括 LangChain 初体验，预计分成 3 篇分享，分别是项目背景、初步体验和评测结果，调优思路分享，如何测评。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

|标题|备注|作者|链接|发布日期|附件(1)|单选| |-|-|-|-|-|-|-| |Perplexity指标究竟是什么?|笔者小A从自己实际入坑的经验出发，尝试总结梳理出新手友好的transformer入坑指南。一方面能倒逼自己理清知识脉络，另一方面希望能让后面的新同学少走弯路，更快拿到自己想要的知识。 本系列计划从以下五个方面对transformer进行介绍 算法1:NLP中的transformer网络结构 算法2:CV中的transformer网络结构 算法3:多模态下的transformer网络结构 训练:transformer的分布式训练 部署:transformer的tvm量化与推理|[aaronxic](https://www.zhihu.com/people/aaronxic)|[（1）Perplexity指标究竟是什么?](https://ywh1bkansf.feishu.cn/wiki/E1pjwy9OMirKTdkFQDEcDDlfnTh)|2023/07/05||| |初探LLM基座模型|本篇内容主要介绍LLM基座模型里常见的3种transformer架构，encoder-only，encoder-decoder和decoder-only|[aaronxic](https://www.zhihu.com/people/aaronxic)|[（2）初探LLM基座模型](https://ywh1bkansf.feishu.cn/wiki/UU9pwtOFtiKIqAkQiSVc3Zdun7e)|2023/07/06|||

从 0 到 1 了解大模型安全，看这篇就够了

encoder-only:这些模型通常适用于可以自然语言理解任务，例如分类和情感分析.最知名的代表模型是BERTencoder-decoder:此类模型同时结合了Transformer架构的encoder和decoder来理解和生成内容。该架构的一些用例包括翻译和摘要。encoder-decoder的代表是google的T5decoder-only:此类模型更擅长自然语言生成任务。典型使用包括故事写作和博客生成。这也是我们现在所熟知的众多AI助手的结构我们目前耳熟能详的AI助手基本都来自左侧的灰色分支,当然也包括ChatGPT。这些架构都是根据谷歌2017年发布的论文“attention is all you need”中提出的transformer衍生而来的，在transformer中，包括Encoder，Decoder两个结构目前的大型语言模型就是右侧只使用Decoder的Decoder-only架构的模型大模型又大在哪呢？第一，大模型的预训练数据非常大，这些数据往往来自于互联网上，包括论文，代码，以及可进行爬取的公开网页等等，一般来说，现在最先进的大模型一般都是用TB级别的数据进行预训练。第二，参数非常多，Open在2020年发布的GPT-3就已经达到170B的参数

开发：产品视角的大模型 RAG 应用

最近接触了大模型+本地知识库的问答应用实践。从0到1开始做的过程中，参考了很多网上的教程和分享文章，其中绝大部分都是技术向的分享。感谢各位热爱总结和分享的开发大佬，让我在没有太多技术背景的情况下快速补齐了项目落地实践所需的基础知识。同时，也想从产品视角出发，分享我所理解的大模型RAG应用，以及我作为产品这一角色，在实践过程中的经验（坑）。因为篇幅问题，这一系列的分享，预计会分成3篇：1、LangChain框架初体验：项目背景，初步体验和评测结果2、调优思路分享：基于公开资料和实践的Langchain调优思路分享3、如何测评：如何基于业务场景构建测试集和测评标准，并开展测评，以及过程中踩过的坑今天来分享第一部分—LangChain框架初体验。