从零到一学习 LLM 上层 AI 应用开发,您可以参考以下步骤:
以下是一些相关的学习资源:
在课程方面,欢迎来到针对开发者的 AIGPT 提示工程课程。该课程将分享软件开发最佳实践的提示,涵盖常见用例,包括总结、推理、转换和扩展,并指导使用 LLM 构建一个聊天机器人。在大型语言模型或 LLM 的开发中,大体上有基础 LLM 和指令调整后的 LLM 两种类型。基础 LLM 已训练出根据文本训练数据预测下一个单词,通常在大量数据上训练,以找出接下来最有可能的单词。
学习大型语言模型(LLM)的开发是一个系统性的过程,需要涵盖多个方面的知识和技能。以下是一些建议的学习路径和资源:1.掌握深度学习和自然语言处理基础-机器学习、深度学习、神经网络等基础理论-自然语言处理基础,如词向量、序列模型、注意力机制等-相关课程:吴恩达的深度学习课程、斯坦福cs224n等2.理解Transformer和BERT等模型原理-Transformer模型架构及自注意力机制原理-BERT的预训练和微调方法-掌握相关论文,如Attention is All You Need、BERT论文等3.学习LLM模型训练和微调-大规模文本语料预处理-LLM预训练框架,如PyTorch、TensorFlow等-微调LLM模型进行特定任务迁移-相关资源:HuggingFace课程、论文及开源仓库等4.LLM模型优化和部署-模型压缩、蒸馏、并行等优化技术-模型评估和可解释性-模型服务化、在线推理、多语言支持等-相关资源:ONNX、TVM、BentoML等开源工具5.LLM工程实践和案例学习-结合行业场景,进行个性化的LLM训练-分析和优化具体LLM工程案例-研究LLM新模型、新方法的最新进展6.持续跟踪前沿发展动态-关注顶会最新论文、技术博客等资源
面向开发者的LLM入门课程:地址:[https://github.com/datawhalechina/prompt-engineering-for-developers](https://github.com/datawhalechina/prompt-engineering-for-developers)简介:一个中文版的大模型入门教程,围绕吴恩达老师的大模型系列课程展开,主要包括:吴恩达《ChatGPT Prompt Engineering for Developers》课程中文版,吴恩达《Building Systems with the ChatGPT API》课程中文版,吴恩达《LangChain for LLM Application Development》课程中文版等。提示工程指南:地址:[https://www.promptingguide.ai/zh](https://www.promptingguide.ai/zh)简介:该项目基于对大语言模型的浓厚兴趣,编写了这份全新的提示工程指南,介绍了大语言模型相关的论文研究、学习指南、模型、讲座、参考资料、大语言模型能力以及与其他与提示工程相关的工具。LangChain🦜️🔗中文网,跟着LangChain一起学LLM/GPT开发:地址:[https://www.langchain.asia](https://www.langchain.asia/)简介:Langchain的中文文档,由是两个在LLM创业者维护,希望帮助到从刚进入AI应用开发的朋友们。LLMs九层妖塔:地址:[https://github.com/km1994/LLMsNineStoryDemonTower](https://github.com/km1994/LLMsNineStoryDemonTower)简介:ChatGLM、Chinese-LLaMA-Alpaca、MiniGPT-4、FastChat、LLaMA、gpt4all等实战与经验。
欢迎来到这门针对开发者的AIGPT提示工程课程。我很高兴能够与Isa Fulford一起授课。她是OpenAI的技术团队成员,她开发了流行的AIGPT检索插件,同时也教授人们如何在产品中使用LLM或大型语言模型技术,也为OpenAI食谱做出贡献。我很高兴能和她一起授课。同时我也很高兴在这里与大家分享一些提示最佳实践。实际上,关于提示已经有了很多互联网上的材料,例如“30个人人都必须知道的提示”。很多焦点都放在了AIGPT的Web版界面上,这使得很多人只用于完成特定的任务,而且经常是一次性的。但我认为,LLM大型语言模型作为一名开发人员的强大之处在于使用API调用LLM快速构建软件应用程序。实际上,AI Fund在我的团队与DeepLearning.AI的姊妹公司合作,为很多创业公司应用这些技术到许多不同的应用领域,看到LLM API可以使开发人员非常快速地构建应用程序实属令人兴奋。因此,在这门课程中,我们将与您分享一些您可以做到什么的可能性,以及如何最佳实践地完成这些任务。有很多要涵盖的内容。首先,你将学习一些软件开发最佳实践的提示。然后,我们将涵盖一些常见的用例,包括总结、推理、转换和扩展。接着,你将使用LLM构建一个聊天机器人。我们希望这会激发你的想象力,并能够创建出新的应用程序。在大型语言模型或LLM的开发中,大体上有两种类型的LLM,我将其称为基础LLM和指令调整后的LLM。因此,基础LLM已经训练出来根据文本训练数据预测下一个单词。通常是在互联网和其他来源的大量数据上进行训练,以找出接下来最有可能的单词。例如,如果你提示“一次有一个独角兽”,它可能会继续完整这个句子,预测出接下来的几个单词是“和所有的独角兽朋友生活在一个神奇的森林里”。但如果你提示“法国的首都是什么”,那么LLM可能会给出正确的回答“巴黎”,或者可能会给出错误的回答。训练后的LLM可以接收新的提示作为输入,并输出预测结果。