以下是为您找到的关于大模型的实战技术文章:
我们认识了Embedding(嵌入)是一个浮点数的向量(列表),两个向量之间的距离度量它们的相关性,小的距离表示高相关性,大的距离表示低相关性。知道了Embedding共有:词、句子、文档、图像等分类。还分析了Embedding在大模型中的价值。最后是Embedding的实战部分:从数据集中获取Embedding结果,并保存为csv文件。最后,本示例中的实战代码,参考的是官方最新文档的内容,加上个人测试阶段的遇到的问题、代码注释等OpenAI官网文档链接:https://platform.openai.com/docs/introduction大模型技术,除了在OpenAI官网能看到的:Embedding、Function Call和Fune Tuning等。进阶到企业级应用开发的大模型技术还会涉及到:利用开源的Embedding模型、向量数据库去做检索增强生成(RAG),以及购买GPU服务器去基于开源大模型搭建企业级大模型项目。
原文链接:https://mp.weixin.qq.com/s/8mDLFFmgKOQC8WK2kkwhaA原创:皇子|皇子谈技术|2024-03-21 19:54有朋友说想学习大模型应用开发技术,让我谈一谈。首先大模型应用开发技术不需要我们掌握机器学习和深度学习的算法,但是要有编程思维、python基础,然后跟着下面的步骤走,就能学得明白。下面正式开始认识大模型Embedding的理论知识,加代码实战。看大家反馈,如果觉得难,我有打算接着《[讲清Transformer模型架构](http://mp.weixin.qq.com/s?__biz=MzkyMzYyNjQxOQ==&mid=2247484298&idx=1&sn=d638818dab71ce80a5e9426a0393cfc9&chksm=c1e37d56f694f440291b7cf5f233cfebea0696f76d838d28fb6854f2e40150c4411e9bf2a76b&scene=21#wechat_redirect)》,继续往后写GPT和BERT模型,又或者加入更多的实战,欢迎私信交流。
|标题|备注|作者|链接|发布日期|附件(1)|单选|<br>|-|-|-|-|-|-|-|<br>|ChatBot是怎么炼成的?|本文介绍了LLM基座大模型下游应用ChatBot的研发过程。在介绍ChatBot之前,作者先介绍了LLM在辅助编程方面的应用,主要包括Codex和AlphaCode两个奠基性工作。Codex提出了编程数据集和pass@k指标,并采用了2阶段训练方式。文章还介绍了Codex的局限性和辅助编程问题定义。|[aaronxic](https://www.zhihu.com/people/aaronxic)|[(3)ChatBot是怎么炼成的?](https://ywh1bkansf.feishu.cn/wiki/HRnLw588DiTDLPkSTXCcKit8nbD)|2023/07/08|||<br>|多模态的大一统之路|首先介绍了Vision Transformer的入门知识和相关的应用。包括了[ViT(2020.10)](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2010.11929),[ViT-22B(2023.02)](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2302.05442),[Swin Transformer(2021.08)](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2103.14030),[MAE(2021.11)](https://link.zhihu.com/?