Chat with Wiki - 学习路径

Answer

以下是系统学习 LLM 开发以及 AI 技术的学习路径：

LLM 开发学习路径：

掌握深度学习和自然语言处理基础：包括机器学习、深度学习、神经网络等基础理论，以及自然语言处理中的词向量、序列模型、注意力机制等。相关课程有吴恩达的深度学习课程、斯坦福 cs224n 等。
理解 Transformer 和 BERT 等模型原理：熟悉 Transformer 模型架构及自注意力机制原理，掌握 BERT 的预训练和微调方法，阅读相关论文如 Attention is All You Need、BERT 论文等。
学习 LLM 模型训练和微调：进行大规模文本语料预处理，掌握 LLM 预训练框架如 PyTorch、TensorFlow 等，微调 LLM 模型进行特定任务迁移，参考 HuggingFace 课程、论文及开源仓库等资源。
LLM 模型优化和部署：掌握模型压缩、蒸馏、并行等优化技术，进行模型评估和可解释性研究，实现模型服务化、在线推理、多语言支持等，运用相关开源工具如 ONNX、TVM、BentoML 等。
LLM 工程实践和案例学习：结合行业场景进行个性化的 LLM 训练，分析和优化具体 LLM 工程案例，研究 LLM 新模型、新方法的最新进展。
持续跟踪前沿发展动态：关注顶会最新论文、技术博客等资源。

AI 技术学习路径：

偏向技术研究方向：
1. 数学基础：线性代数、概率论、优化理论等。
2. 机器学习基础：监督学习、无监督学习、强化学习等。
3. 深度学习：神经网络、卷积网络、递归网络、注意力机制等。
4. 自然语言处理：语言模型、文本分类、机器翻译等。
5. 计算机视觉：图像分类、目标检测、语义分割等。
6. 前沿领域：大模型、多模态 AI、自监督学习、小样本学习等。
7. 科研实践：论文阅读、模型实现、实验设计等。
偏向应用方向：
1. 编程基础：Python、C++等。
2. 机器学习基础：监督学习、无监督学习等。
3. 深度学习框架：TensorFlow、PyTorch 等。
4. 应用领域：自然语言处理、计算机视觉、推荐系统等。
5. 数据处理：数据采集、清洗、特征工程等。
6. 模型部署：模型优化、模型服务等。
7. 行业实践：项目实战、案例分析等。

无论是技术研究还是应用实践，数学和编程基础都是必不可少的。同时需要紧跟前沿技术发展动态，并结合实际问题进行实践锻炼。

此外，在开始学习 AI 时，还需根据电脑的硬件情况和自身财力选择合适的方式，如本地部署、在线平台或配台电脑。必学、必看内容是基础课，主要解决环境问题和软件安装问题；建炉针对不同炼丹方式提供不同炼丹工具的安装教程；正式内容部分分为数据集预处理、模型训练以及模型调试及优化三个部分。

Content generated by AI large model, please carefully verify (powered by aily)

References

问：怎么系统学习 llm 开发？

学习大型语言模型（LLM）的开发是一个系统性的过程，需要涵盖多个方面的知识和技能。以下是一些建议的学习路径和资源：1.掌握深度学习和自然语言处理基础-机器学习、深度学习、神经网络等基础理论-自然语言处理基础，如词向量、序列模型、注意力机制等-相关课程：吴恩达的深度学习课程、斯坦福cs224n等2.理解Transformer和BERT等模型原理-Transformer模型架构及自注意力机制原理-BERT的预训练和微调方法-掌握相关论文，如Attention is All You Need、BERT论文等3.学习LLM模型训练和微调-大规模文本语料预处理-LLM预训练框架，如PyTorch、TensorFlow等-微调LLM模型进行特定任务迁移-相关资源：HuggingFace课程、论文及开源仓库等4.LLM模型优化和部署-模型压缩、蒸馏、并行等优化技术-模型评估和可解释性-模型服务化、在线推理、多语言支持等-相关资源：ONNX、TVM、BentoML等开源工具5.LLM工程实践和案例学习-结合行业场景，进行个性化的LLM训练-分析和优化具体LLM工程案例-研究LLM新模型、新方法的最新进展6.持续跟踪前沿发展动态-关注顶会最新论文、技术博客等资源

问：AI的技术历史和发展方向，目前最前沿的技术点有哪些

1.数学基础:线性代数、概率论、优化理论等2.机器学习基础:监督学习、无监督学习、强化学习等3.深度学习:神经网络、卷积网络、递归网络、注意力机制等4.自然语言处理:语言模型、文本分类、机器翻译等5.计算机视觉:图像分类、目标检测、语义分割等6.前沿领域:大模型、多模态AI、自监督学习、小样本学习等7.科研实践:论文阅读、模型实现、实验设计等[heading3]偏向应用方向[content]1.编程基础:Python、C++等2.机器学习基础:监督学习、无监督学习等3.深度学习框架:TensorFlow、PyTorch等4.应用领域:自然语言处理、计算机视觉、推荐系统等5.数据处理:数据采集、清洗、特征工程等6.模型部署:模型优化、模型服务等7.行业实践:项目实战、案例分析等无论是技术研究还是应用实践,数学和编程基础都是必不可少的。同时需要紧跟前沿技术发展动态,并结合实际问题进行实践锻炼。内容由AI大模型生成，请仔细甄别。

必学必看基础 ❗️

根据电脑的硬件情况和自身财力💰选择合适的开始方式本地部署如果你的电脑是M芯片的Mac电脑（Intel芯片出图速度非常慢，因此不建议）或者2060Ti及以上显卡的Windows电脑，可以选择本地部署。强烈建议在配有N卡的Windows电脑上进行在线平台对于电脑不符合要求的小伙伴可以直接使用在线工具，在线工具分为在线出图和云电脑两种，前者功能可能会受限、后者需要自己手动部署，大家根据实际情况选择即可配台电脑❗️非常不建议一上来就配主机，因为大概率会变成游戏机或者吃灰（土豪请随意）。玩几个月后还对AI有兴趣的话再考虑配个主机。主机硬盘要大，显卡预算之内买最好，其他的随意[heading2]课程简述[content]先验经验需要熟练使用文生图、图生图；需要有一定的逻辑思考能力以及推理能力；适合炼丹新人、小白课程安排课程大约70-80%是理论和方法论的内容，大部分练习会在课外跟大家沟通、练习。只有少部分必要内容会在课上演示[heading2]学习路径[content]必学、必看内容是基础课，主要是为了解决环境问题和软件安装不上的问题；建炉是针对不同炼丹方式提供了不同的炼丹工具的安装教程；正式的内容部分分为了数据集预处理、模型训练以及模型调试及优化三个部分