Java 程序员如何从 0 到 1 开发微调模型

以下是为 Java 程序员转型大模型算法工程师提供的一些建议： 1. 学习相关理论知识：了解大模型的基本原理，包括模型架构、预训练及微调、部署及推理等。 2. 掌握技术工具：熟悉 LLM 相关技术，如 Transformer、Prompt Tuning、RLHF、Langchain、Agent、MOE、RAG 等。 3. 提升编程能力：熟悉算法和数据结构，具备扎实的编程基础，尤其是 Python 开发。 4. 积累项目经验： 可以参考大圣的全网最适合小白的 Llama3 部署和微调教程，该教程手把手教您下载并部署 Llama3 模型，使用甄嬛数据集微调模型，并了解微调的意义和概念。但需注意，此教程不会讲解微调的技术性原理及文中用到的 Python 代码。 关注招聘信息，例如序智科技和中国移动设计院的招聘需求，了解大模型算法工程师的职责和要求，针对性地提升自己的能力。 5. 增强相关技能： 对至少 2 个框架具备源码级别的理解和优化能力，包括但不限于 Langchain、XAgent、ChatDev、DsPy、AutoGPT、BabyAGI、MetaGPT。 熟悉 GPT Function Calling 原理，熟练掌握 Prompt Engineering。 对预训练/微调（尤其是微调）熟练，熟练掌握 huggingface/deepspeed（或其他框架）。 对多模态大模型有一定了解，精通低代码平台会是加分项。 您可以根据自身情况，有针对性地进行学习和实践，逐步实现从 Java 程序员向大模型算法工程师的转型。

对于 Java 程序员将 AI 结合到 K12 教育公司的业务中，以下是一些可能的方向和建议： 首先，可以考虑利用自然语言处理技术来改善学生与学习平台的交互体验。例如，开发智能客服，能够自动回答学生和家长常见的问题，提高服务效率。 其次，通过机器学习算法对学生的学习数据进行分析，从而实现个性化的学习推荐。比如根据学生的学习进度、成绩、学习习惯等因素，为他们推荐适合的课程、练习和学习资源。 另外，运用图像识别技术来辅助教学材料的制作和评估。例如，自动识别和批改学生的手写作业、试卷等。 还可以开发智能辅导系统，为学生提供实时的学习指导和答疑服务。 最后，利用语音识别和合成技术，打造有声读物、语音教学等功能，丰富教学形式。 但在将 AI 引入业务的过程中，需要注意数据的安全性和合法性，以及确保技术的可靠性和稳定性。同时，要充分考虑教育的特点和学生的需求，以实现有效的融合和应用。

以下是为有 Java、Scala、Hadoop、Spark、Flink 开发经验的员工提供的 AI 入门学习提纲及对应学习内容： 1. 学习资源推荐： 系统化学习：观看李弘毅老师的生成式 AI 导论、吴达的生成式 AI 入门视频等，并整理学习笔记与大家交流互动。 社区共创学习：参与社区共创活动，通过做小项目反向推动学习。 参考资料：A16Z 推荐的 AI 相关原理内容，包括 GPT 相关知识、Transformer 模型运作原理、大语言模型词语接龙原理等基础知识。 官方 cookbook：open AI 的官方 cookbook，小琪姐做了中文精读翻译。 历史脉络资料：整理 open AI 的发展时间线、万字长文回顾等。 2. 学习路径： 从提示词开始学习与各类模型的对话，了解其重要性和结构化提示词的优势。 学习过程中可以先从国内模型工具入手，不花钱，若想进阶再考虑高阶方向。 3. 其他学习方式： 创作者将内容做成可视化形式，后续会发到群里。 上传相关 PPT 用作参考。 从温达、李弘毅老师课程等学习入门。 了解时代杂志评选的百位领军人物。 学习 AI 相关名词解释，如 AGI、AIGC、agent、prompt 等，可通过与 AI 对话或李继刚老师的课程来理解。 订阅赛博蝉星公众号、国外优质博主的 blog 或 Twitter 等获取最新信息并投稿。 参与社区活动，如 AIPU、CONFIUI 生态大会、每月的切磋大会、新活动 AIPO 等。

大模型在以 Java 和 Vue 技术为主的软件开发公司中，具有以下一些应用场景： 1. 代码自动生成：大模型可以根据需求描述生成 Java 或 Vue 的代码片段，提高开发效率。 2. 代码优化建议：分析现有代码，提供优化的建议和策略，提升代码质量。 3. 智能错误检测与修复：快速识别代码中的错误，并提供可能的修复方案。 4. 需求分析与理解：帮助更好地理解和梳理复杂的业务需求，转化为技术实现的思路。 5. 自动化测试用例生成：根据代码和需求生成有效的测试用例，提高测试效率和覆盖度。 6. 技术选型辅助：在面临新的项目或技术难题时，提供相关技术选型的参考和建议。

对于 35 岁的 Java 后端开发人员转型 AI 开发，以下是一些建议： 1. 利用固定格式文档结合 AI 进行代码开发时，要强调组员的主观能动性，让他们自主设计，组长负责引导和经验分享。文档并非唯一最佳方式，可尝试用简短描述或 Prompt 辅助代码生成。在 AI 编程中，设计非常重要，模块化低耦合设计和清晰的上下文对代码生成效果尤为关键。参考链接： 2. 借助 AI 编程工具（如 Cursor），熟悉 LLM 原理，探索复杂 Prompt 和定制化规则。开展 LLM 相关的 Side Project（如翻译工具、AI 对话应用等），通过实践快速掌握技能。将 AI 当老师，边做边学，获取即时反馈，持续提升。核心建议是行动起来，找到正反馈，坚持使用 AI 辅助编程。参考链接：

以下是为您制定的从 0 到 1 学习 AIGC 知识的学习计划，并为您提供相关学习资料： 一、学习计划 1. 基础知识学习 了解 AIGC 的基本概念和发展历程。 学习机器学习的基础知识，包括数据获取、特征工程、模型训练、评估与应用等方面。 2. 框架学习 学习 Langchain 框架：了解其丰富的功能，能够根据需求更换模型和实现方式。参考网址：https://python.langchain.com/docs/get_started/introduction.html 掌握 Flask / FastAPI 框架：学习如何与前端或业务后端做接口对接，根据具体场景选择合适的框架。参考网址： FastAPI：https://fastapi.tiangolo.com/zh/ Flask: https://flask.palletsprojects.com/en/2.3.x/ 3. 实践应用 通过实际项目练习，深入理解 AIGC 的应用开发。 二、学习资料 1. 关于机器学习的定义和流程： 卡耐基梅隆大学计算机学院教授汤姆·米切尔（Tom Michell）对机器学习的定义：“计算机程序能从经验 E 中学习，以解决某一任务 T，并通过性能度量 P，能够测定在解决 T 时机器在学习经验 E 后的表现提升” 学习数据获取、特征工程、模型训练、评估与应用等方面的知识。 2. 框架学习资料： Langchain 框架：https://python.langchain.com/docs/get_started/introduction.html Flask 框架：https://flask.palletsprojects.com/en/2.3.x/ FastAPI 框架：https://fastapi.tiangolo.com/zh/ 希望这个学习计划和学习资料对您有所帮助，祝您学习顺利！

如果您不会写代码但想利用 AI 帮您写代码，可以参考以下方法： 1. 对于编程小白来说，最好向 AI 提供代码节点中的范例，也就是新进入代码节点的 IDE 中所看到的那些代码（从 async def 到 return 的内容）。因为 AI 可能并不清楚代码中规定的输入输出格式（比如代码节点的 Python 语言使用字典的形式来组织输入和输出的变量），所以提供范例可以尽可能减少您需要对 AI 所写代码的改动。 2. 需要向 AI 说清楚输入变量与输出变量的类型。 3. 最好说明与工作流中匹配或想要的变量名称，以减少二次修改。 4. 最好列出输入变量的具体书写形式，以方便 AI 尽可能准确地理解。如果是 Object 或 Array 这样较为复杂的形式，您不会写，可以使用下面这个方法：在前一个节点后接一个“文本处理”节点，选择字符串拼接，输入选择前一个节点输出中所需的那个变量，拼接内容写{{String1}}就行，然后试运行，展开该节点的运行结果，复制最终输出中“output:”后面的内容即可，如果内容太长，提问时可省略不重要的具体内容，保留书写形式即可。 5. 说清楚代码要实现什么功能，如果功能较为复杂，尽量将运行逻辑说清楚，越清楚越好。描述中尽量用变量名称来指代所涉及到的各个变量。 这里给出一个提问范式供大家参考： 请仿照上述代码的结构，用 python 编写代码，实现以下功能： 输入变量为。 输出变量为。 。关键步骤请附上注释。 另外，如果您在处理 SQL 代码时不会写，也可以让 AI 帮忙。例如，您可以将以下内容发送给 AI：学习这个文档 https://www.coze.cn/docs/guides/database，然后帮我撰写用于工作流的 sql。之后按照 AI 的回复要求提供具体需求，如数据库表名称、操作类型、相关字段等，AI 会为您生成相应的 SQL 语句。 在使用代码节点时，即使您不是程序员，也可以让 AI 帮您写代码。但要先搞清楚输入和输出以及想要代码实现的逻辑。比如在处理谷歌搜索节点的输出作为 Code 节点的输入时，要先了解相关字段，如 link（网址）、title（标题）、snippet（简短介绍）、source（来源）等。

程序员在使用 AI 时，可能会涉及以下一些 AI 工具： 1. GitHub Copilot：由 GitHub 联合 OpenAI 和微软 Azure 团队推出，支持多种语言和 IDE，能为程序员快速提供代码建议，帮助提高编写代码的效率。 2. 通义灵码：阿里巴巴团队推出，基于通义大模型，提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码注释生成等多种能力。 3. CodeWhisperer：亚马逊 AWS 团队推出的由机器学习技术驱动的代码生成器，为开发人员实时提供代码建议。 4. CodeGeeX：智谱 AI 推出的开源免费 AI 编程助手，基于 130 亿参数的预训练大模型，可快速生成代码。 5. Cody：代码搜索平台 Sourcegraph 推出的 AI 代码编写助手，借助强大的代码语义索引和分析能力，了解开发者的整个代码库。 6. CodeFuse：蚂蚁集团支付宝团队为国内开发者提供的智能研发服务的免费 AI 代码助手，基于蚂蚁集团自研的基础大模型进行微调。 7. Codeium：一个由 AI 驱动的编程助手工具，通过提供代码建议、重构提示和代码解释来帮助软件开发人员提高编程效率和准确性。 此外，还有一些其他相关的 AI 工具，如： 1. ChatAll：可以同时与多个 AI 机器人实时聊天的开源工具，支持多种主流 AI 聊天机器人。 2. AIProductsAllInOne：整理了一些 ChatGPT 以及 AI 相关的生产力工具。 3. Shell GPT：在命令行中集成了 ChatGPT，帮助快速编写 shell 命令、代码片段等。 4. 飞书 GPT：集成了飞书、GPT3.5、Dall·E、Whisper 等 API，支持多种功能。 5. ChatPDF：提取 PDF 文件内容并交给 ChatGPT 分析，实现一对一对话交流。 6. GitHub Copilot X：基于 AI 驱动的跨时代代码编辑器，带来全新编程体验。 在 PPT 制作方面，有以下 AI 工具： 1. MindShow 2. 爱设计 3. 闪击 4. Process ON 5. WPS AI 每个工具都有其特色和适用场景，程序员可以根据自己的需求选择最适合的工具。

通义灵码是基于通义大模型的 AI 研发辅助工具，具有以下特点和能力： 提供代码智能生成、研发智能问答、多文件代码修改、自主执行等能力，为开发者带来智能化研发体验，引领 AI 原生研发新范式。 具备多文件代码修改和工具使用的能力，可与开发者协同完成编码任务，如需求实现、问题解决、单元测试用例生成、批量代码修改等。 核心能力包括：从片段级到多文件级的 AI 编码，能完成涉及工程内多文件级的编码任务；新增多种上下文感知、意图理解、反思迭代、工具使用等能力，开发者可与 AI 协同完成更复杂的编码任务；自动完成工程内多个文件的代码修改的 Diff 生成，并提供多文件的变更审查视图，高效完成 AI 生成代码的确认；构建人机协同工作流，通过多轮对话逐步完成编码任务，产生多个快照版本，可任意切换、回退。 第二期「AI 实训营」手把手学 AI 【第二期：大咖带你快速上手通义灵码 AI 程序员】相关信息： 讲师：梦飞，WaytoAGI Agent 核心创作者，词元映射 CEO。 课表： 01/22 20:00 【直播回放】 ，主题为0 基础入门篇：写代码像聊天一样简单，可以进入钉钉群获取更多文档：https://alidocs.dingtalk.com/i/nodes/yQod3RxJKGvvkP3rfj5Lgoy7Jkb4Mw9r?utm_scene=person_space ，课程内容包括 AI 编程的能力与边界、通义灵码上手指南、一句话 AI 编程小游戏展示。 01/23 20:00 【直播回放】 ，主题为AI 编程实战篇：人人都能“福从天降”，课程内容包括 0 基础带练“福从天降”小游戏、自然语言生成更多小游戏、如何在 Github 部署并生成在线链接。 本期共学直播地址： 会议时间：20:00 21:30 会议 ID：932 264 694 会议链接：vc.feishu.cn/j/932264694 加入通义灵码钉钉共学群（钉钉群号：78080029971），大咖在线答疑。春节专题，现场发红包！2 天课程，带你从小白到进阶，从学习到实践，全面了解 AI 应用开发！和百万开发者一起共学、共享、共实践！

通义灵码是基于通义大模型的 AI 研发辅助工具，具有以下特点和能力： 提供代码智能生成、研发智能问答、多文件代码修改、自主执行等能力，为开发者带来智能化研发体验，引领 AI 原生研发新范式。 具备多文件代码修改和工具使用的能力，可与开发者协同完成编码任务，如需求实现、问题解决、单元测试用例生成、批量代码修改等。 核心能力包括：从片段级到多文件级的 AI 编码，能完成涉及工程内多文件级的编码任务；新增多种上下文感知、意图理解、反思迭代、工具使用等能力，开发者可与 AI 协同完成更复杂的编码任务；自动完成工程内多个文件的代码修改的 Diff 生成，并提供多文件的变更审查视图，高效完成 AI 生成代码的确认；构建人机协同工作流，通过多轮对话逐步完成编码任务，产生多个快照版本，可任意切换、回退。 第二期「AI 实训营」手把手学 AI 【第二期：大咖带你快速上手通义灵码 AI 程序员】相关信息： 讲师：梦飞，WaytoAGI Agent 核心创作者，词元映射 CEO。 课表： 01/22 20:00 【直播回放】 ，主题为0 基础入门篇：写代码像聊天一样简单，可以进入钉钉群获取更多文档：https://alidocs.dingtalk.com/i/nodes/yQod3RxJKGvvkP3rfj5Lgoy7Jkb4Mw9r?utm_scene=person_space ，课程内容包括 AI 编程的能力与边界、通义灵码上手指南、一句话 AI 编程小游戏展示。 01/23 20:00 【直播回放】 ，主题为AI 编程实战篇：人人都能“福从天降”，课程内容包括 0 基础带练“福从天降”小游戏、自然语言生成更多小游戏、如何在 Github 部署并生成在线链接。 本期共学直播地址： 会议时间：20:00 21:30 会议 ID：932 264 694 会议链接：vc.feishu.cn/j/932264694 加入通义灵码钉钉共学群（钉钉群号：78080029971），大咖在线答疑。春节专题，现场发红包！2 天课程，带你从小白到进阶，从学习到实践，全面了解 AI 应用开发！和百万开发者一起共学、共享、共实践！

对于 Python 程序员学习 AI，以下是一些建议和基础内容： AI 背景知识： 基础理论：理解人工智能、机器学习、深度学习的定义及相互关系。 历史发展：简要回顾 AI 的发展历程和重要里程碑。 数学基础： 统计学基础：熟悉均值、中位数、方差等统计概念。 线性代数：掌握向量、矩阵等基本概念。 概率论：了解基础的概率论知识，如条件概率、贝叶斯定理。 算法和模型： 监督学习：熟悉常用算法，如线性回归、决策树、支持向量机（SVM）。 无监督学习：了解聚类、降维等算法。 强化学习：知晓其基本概念。 评估和调优： 性能评估：掌握如何评估模型性能，包括交叉验证、精确度、召回率等。 模型调优：学会使用网格搜索等技术优化模型参数。 神经网络基础： 网络结构：理解神经网络的基本结构，如前馈网络、卷积神经网络（CNN）、循环神经网络（RNN）。 激活函数：熟悉常用的激活函数，如 ReLU、Sigmoid、Tanh。 此外，还有相关的课程内容，如“和 Cursor AI 一起学 Python 编程”： 第一节：Python 是什么、Cursor 使用、notebook 远程编程。包括熟悉 Cursor 界面，安装和设置，指导下载安装 Cursor 编辑器，了解界面布局和基本功能，编写第一个程序，体验 AI 辅助功能，如代码自动补全和错误提示，使用 Bohrium 进行远程编程，注册和登录，在线编写和运行代码等。课程时间为 45 分钟，教学内容涵盖 Python 简介、发展历史和特点、在数据分析和人工智能领域的优势、在人文学科的应用、在语言教学和研究中的实际案例，以及对 Cursor 编程环境和 Bohrium 在线编程平台的介绍。

以下是本地部署 ollama + deep seek 后有效搭建机械领域知识库或微调为机械领域的步骤： 1. 下载 Ollama 程序：官方网址为 https://ollama.com/ 。默认下载到 C 盘，若想修改安装目录到 D 盘，后续会有相关说明。下载完成后，右下角会出现 Ollama 的图标，打开命令行输入相应命令回车。根据自身独立显卡性能选择模型，如英伟达 2060Super 可选择 Deepseekr1:14b 的模型。若下载速度慢，可按 Ctrl+C 强制退出重新下载。下载完毕后，再下载一个嵌入模型，Ollama 的 bge 模型官方网址：https://ollama.com/library/bgem3 ，输入相应命令，下载好后直接退出终端。 2. 配置模型：返回 RAGFlow 中，打开右上角设置，进入模型提供商进行配置。选择 Ollama，并配置相关信息，基础 URL 按要求设置，设置完成后点击确定。 3. 导入嵌入模型：导入一个嵌入模型用于文本向量化。 4. 设置系统模型：完成相关设置。 5. 创建知识库：返回知识库，进入数据集，可导入文件或设置文件夹当作知识库，自行设置。导入完毕后，对文件进行解析，解析速度取决于本机 GPU 性能，越好的显卡解析越快。解析完成后，进行检索测试，测试没问题即可进入聊天界面，助理设置可自行设置。

DeepSeek 微调相关信息如下： DeepSeek 有更聪明的 R1zero 实验版本，它采用完全从零开始的强化学习，无需人类监督训练，学会了用更多思考步骤解决推理任务和反思推理步骤，但存在输出内容可读性差、语言混合、风险不可控等问题，所以常见的是经过冷启动与微调的 R1 版本，以确保生成内容稳定、安全、道德、无害。 在模型蒸馏微调方面，会带着大家复现模型的蒸馏和微调，并讲解相关知识。用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。 DeepSeek 在 2024 年 4 月推出的 DeepSeekMath 模型中首次采用了 GRPO（Group Relative Policy Optimization）算法，之后的 V3 和 R1 也应用了该算法提升模型的推理能力。

要完全本地化部署 DeepSeek 并使用您的文档、文本、图片等内容进行训练和微调，以下是一些相关的信息和步骤： 1. 模型训练与平台服务： 模型复现与微调：1:1 复现通常没问题，但理解细节并自行制作需要基础知识。有手把手教程、数据集等可帮助 1:1 复现，微调在特定领域可降低幻觉，参数量不变但权重变化。 训练模型的学习方法：先会用再学会训，从训的过程中倒推学习参数调整，这是以用导学的学习方法。 模型回答效果对比：微调后的模型在回答排列组合等问题时，思考前几乎无反馈，答案多为英文且格式稳定，但仍可能答错。 2. 平台服务介绍： 阿里云提供多种解决方案。 百炼是提供多种模型服务的 Maas 平台。 派平台是提供云服务的 PaaS 平台，二者在定位、服务内容和核心差异上有所不同。 3. 关于模型训练与数据集相关问题： 数据资源情况：默认提供公共数据训练集，百派平台能匹配模型和数据，通义开源了不少数据集。 多模态训练：多模态有自身标注方式，如视频拉框标注。 参数量变化：通常训练模型参数量固定，若想改变需改模型层，但可能要从头调。 本地微调框架：可使用 llama factory 等框架，需搭建并部署。 开源数据下载：可在 GitHub、hugging face、Mo Model Scope 等平台获取。 数据集转化：将文档资料转成数据集可先手动形成 SOP，再逐步自动化，初期需大量人力。 4. 本地部署介绍：讲解了如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。 5. 免费额度说明：在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 6. 平台服务差异：介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 7. 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。 R1 模型的强化学习：通过强化学习，在训练过程中给予模型反馈，如路线规划是否成功到达终点、输出格式是否符合期望等，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。 R1 模型的蒸馏与微调：用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。 R1 与其他模型的差别：R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。 模型的相互帮助：Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。 请注意，在进行本地化部署和训练微调时，需要具备一定的技术知识和经验，并且要遵循相关的法律法规和道德规范。

以下是一些可能找到了解 AI 模型微调和 RAG 知识库的外包开发团队的途径： 1. 相关技术社区和论坛：例如一些专注于 AI 开发的社区，开发者可能会在其中分享经验和提供服务。 2. 专业的自由职业者平台：如 Upwork、Freelancer 等，您可以在这些平台上发布需求，寻找合适的团队或个人。 3. 参考行业报告和研究：部分报告中可能会提及相关的优秀开发团队或公司。 4. 联系 AI 领域的知名机构或公司：他们可能会推荐或提供相关的外包服务。 5. 社交媒体和专业群组：在如 LinkedIn 等社交媒体上的 AI 相关群组中发布需求，可能会得到相关团队的回应。 另外，从提供的资料中，以下信息可能对您有所帮助： 红杉的相关分析提到，迁移学习技术如 RLHF 和微调正变得更加可用，开发者可以从 Hugging Face 下载开源模型并微调以实现优质性能，检索增强生成（RAG）正在引入关于业务或用户的上下文，像 Pinecone 这样的公司的向量数据库已成为 RAG 的基础设施支柱。彬子的经历中，有出海垂直领域 Agent 平台的项目经理咨询 RAG 策略优化。2024 人工智能报告中提到对增强生成检索（RAG）的兴趣增长促使了嵌入模型质量的提高，传统 RAG 解决方案中的问题得到解决。

微调 DeepSeek 可以通过以下步骤和方法： 1. 应用 KL 散度约束更新策略来调整策略的概率分布。例如，已知 ABC 策略初始概率分布为，根据相对优势调整后的权重可以通过指数函数来转换，以确保权重为正数且总和为 1。计算未归一化的权重，如 A: e^1≈2.178，B：e^0=1，C: e^1≈0.368，然后归一化权重，总和=2.718+1+0.368=4.086，新权重分别为 A: 2.718/4.086≈0.665，B: 1/4.086≈0.245，C: 0.368/4.086≈0.09。通过这样的步骤，策略 A 的总体优势最高，其权重增加，策略 B 表现中等，权重基本保持不变，策略 C 表现较差，权重减少。在不同场景（不同组）的计算中，每个策略的权重会相应调整以获得更高的分数。在文本生成阶段，可以用来评估和调整不同生成策略（比如贪婪搜索，随机采样，束搜索）的有效性，从而提高生成文本（尤其是复杂文本）的连贯性和多样性。 2. 模型蒸馏微调方面，用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。同时，Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。 3. 在训练过程中给予模型反馈，如路线规划是否成功到达终点、输出格式是否符合期望等，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。 4. 关于部署方面，讲解了如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。同时介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 更加完善的训练说明，可直接阅读官方论文：DeepSeekAI《DeepSeekR1:Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》https://arxiv.org/html/2501.12948

蒸馏和微调是在人工智能领域中常见的概念，它们有一定的区别和联系。 蒸馏是一种模型压缩技术，通过将复杂的大模型的知识和能力“提炼”到较小的模型中，以减少模型的参数和计算量，同时保持一定的性能。 微调则是在已有的预训练模型基础上，使用特定任务的数据对模型进行进一步的训练，以使其在特定任务上表现得更好。 它们的关联在于：都是为了优化模型在特定场景下的性能。不同之处在于，蒸馏侧重于模型压缩，而微调侧重于针对特定任务的适应性训练。 提示词和微调都是提高模型表现的方法，但方式不同。提示词是在使用模型时直接提供特定的指令或上下文，引导模型生成合适的回答，灵活方便，无需重新训练模型。微调则需要对模型进行额外训练，使用特定任务的数据调整模型参数，使其在该任务上表现更佳，但需要时间和计算资源。 微调具有一些优点，如能提高特定任务的性能和效率，适用于强调现有知识、自定义结构或语气、教授复杂指令等，但不适用于添加新知识和快速迭代。成功案例如 Canva 通过微调显著提高了性能。最佳实践包括从提示工程和小样本学习开始、建立基线、从小处着手并注重质量，还可以将微调和 RAG 相结合以获得最佳性能。

以下是不同的 embedding 模型： 1. 词嵌入： Word2Vec：包括 CBOW（Continuous BagofWords）和 SkipGram 模型，由 Google 提出，用于学习单词之间的语义关系。 GloVe（Global Vectors for Word Representation）：由斯坦福大学开发，旨在结合全局统计信息和局部上下文窗口的优势来生成单词嵌入。 FastText：由 Facebook AI 团队推出，不仅考虑单个单词，还考虑内部字符 ngram，对于罕见词汇有更好的表现。 ELMo（Embeddings from Language Models）：利用双向 LSTM 对整个句子进行建模，产生上下文敏感的单词嵌入。 2. 情景化的词嵌入： BERT（Bidirectional Encoder Representations from Transformers）：由 Google 推出，利用 Transformer 架构的预训练模型，能够根据上下文提供动态的单词嵌入。 GPT（Generative Pretraining Transformer）及其后续版本 GPT2/3/4：由 OpenAI 开发，也是基于 Transformer 的自回归模型，同样能产出上下文相关的嵌入。 XLNet、RoBERTa 等都是 BERT 之后改进或扩展的预训练模型。 3. 句子和文档嵌入： Doc2Vec：扩展了 Word2Vec，能够为整个文档生成统一的向量表示。 Average Word Embeddings：将一段文本中所有单词的嵌入取平均作为整体的文本表示。 Transformers Sentence Embeddings：如 BERT 的标记对应的向量，或者专门针对句子级别的模型如 SentenceBERT。 4. 实体/概念嵌入： Knowledge Graph Embeddings：如 TransE、DistMult、ComplEx 等，用于将知识图谱中的实体和关系嵌入到低维向量空间中。 5. 其他类型： 图像 Embeddings：使用卷积神经网络（CNN）进行图像特征提取，得到的特征向量即为图像嵌入。 音频 Embeddings：在语音识别和声纹识别中，将声音信号转化为有意义的向量表示。 用户/物品 Embeddings：在推荐系统中，将用户行为或物品属性映射到低维空间以进行协同过滤或基于内容的推荐。 图 Embeddings：是用于学习图结构的表示学习方法，将图中的节点和边映射到低维向量空间中。通过学习图嵌入，可以将复杂的图结构转化为向量表示，以捕捉节点之间的结构和关联关系。这些方法可以通过 DeepWalk、Node2Vec、GraphSAGE 等算法来实现。图嵌入在图分析、社交网络分析、推荐系统等领域中广泛应用，用于发现社区结构、节点相似性、信息传播等图属性。 此外，以 OpenAI 为例，第一代嵌入模型（不推荐）包括： 所有第一代模型（以001 结尾的模型）都使用 GPT3 分词器，最大输入为 2046 个分词。 第一代嵌入由五个不同的模型系列生成，这些模型系列针对三个不同的任务进行了调整：文本搜索、文本相似性和代码搜索。 相似性嵌入：textsimilaritybabbage001、textsimilaritycurie001、textsimilaritydavinci001。 文本搜索嵌入：textsearchadaquery001、textsearchbabbagedoc001、textsearchbabbagequery001、textsearchcuriedoc001、textsearchcuriequery001、textsearchdavincidoc001、textsearchdavinciquery001。 代码搜索嵌入：codesearchadatext001、codesearchbabbagecode001、codesearchbabbagetext001。 对于001 文本嵌入（不是002，也不是代码嵌入），建议将输入中的换行符替换为单个空格，因为当存在换行符时可能会有更糟糕的结果。

分布式预训练模型并行主要包括以下内容： 张量并行：当模型参数增大，除流水线并行外，还可用张量并行缓解，即以前的模型并行。以矩阵乘为例，对权重矩阵 B 有按列切分和按行切分两种方案。按列切分，A 不变，每一列独立计算后结果 concat 在一起；按行切分，A 对应列切分，两部分独立计算后结果 sum 在一起。 大模型发展历程：2017 年发布的 Attention Is All You Need 论文开启了相关研究。之后有多种预训练模型，如 2018 年 Google 提出的 BERT，创新性地双向预训练并行获取上下文语义信息和使用掩码语言建模；2018 年 OpenAI 提出的 GPT，开创仅用自回归语言建模作为预训练目标；2021 年 Meta 提出的首个开源模型 LLAMA，为构建更大规模、更通用的语言模型提供方法与工具。 分布式训练的其他方面： 分布式通信原语包括点对点通信和集合通信，集合通信包含多种方式。 3D 并行包括数据并行，各自有优势和问题。 ZeRO 针对数据并行显存占用大的问题提出优化，Alpa 借鉴 AI 编译器思路对 3D 并行建模并用自动化搜索方式得到并行策略。 如果想了解更多关于 transformer 在 NLP/多模态/AIGC 的算法知识、分布式训练知识，以及如何在 TVM 上做 PTQ 量化和部署，可以关注作者 aaronxic。

以下是关于模型的相关信息： 我调用的是抖音集团的云雀大模型。 OpenAI API 由具有不同功能和价位的多种模型提供支持，包括 GPT4、GPT3.5、DALL·E、Whisper、Embeddings、Codex、Moderation、GPT3 等，您还可以通过微调针对特定用例对原始基本模型进行有限的定制。 在 Cursor 中，使用光标聊天、Ctrl/⌘K 和终端 Ctrl/⌘K 可以轻松在不同模型之间切换。在 AI 输入框下方有下拉列表，允许选择要使用的模型，默认准备好的模型有 GPT4o、GPT4、Claude 3.5 Sonnet 以及 Cursor 的自定义模型 cursorsmall，cursorsmall 不如 GPT4 智能但速度更快且用户可无限制访问，还可以在 Cursor Settings>Models>Model Names 下添加其他模型。

以下是关于优化大模型+知识库的提示词技巧，以解决将知识库配置给大模型做 RAG 后召回率不高或者不遵循指令的问题： 首先，了解 LLM 应用性能优化的推荐路径： 1. 从 prompt 工程开始把 LLM 应用快速跑起来。 2. 若遇到表现性能不足等问题，如结构化提示词占用上下文过长，可尝试精简提示词长度；若指令遵循度不足，则加强指令约束。 3. 若提示工程无法满足要求，分析问题，若缺失知识，先简单做知识库 RAG。 4. RAG 之后若想让模型表现更收敛更稳定，尝试微调模型。 5. 微调模型后，若模型表现变好，使用更多高级 RAG 技术，构造输入输出样本，进一步用于微调模型，构建正向迭代循环。 需要注意的是，该路径有个隐藏前提：该 LLM 应用依赖外部知识，需要 RAG。若不需要外部知识，则不需要使用 RAG，可以直接进入 prompt 工程与微调的正向迭代循环。 对于 RAG 流程中的检索有用信息部分，有以下改进策略： 1. 优化索引： 按照子部分索引：将文本块再拆分为较小的文本（例如单句），然后对这些小块进行多次索引。适用于有多个主题、有冲突信息的复杂长文本信息，确保与查询相关的上下文。 按照文本框可以回答的问题索引：让 LLM 生成与拆分的文本块相关的假设性问题，并将这些问题用于索引，适用于用户没有提出非常明确的问题，减少模糊性。 按照文本块的摘要进行索引：适用于文本框中有多余信息或者与用户查询无关细节的情况。 2. 重排 rerank：搜到相似信息后，选择策略，大部分场景下选择最相似的即可。 在从知识库中检索出内容后利用大模型进行总结时，有两点需要注意： 1. 优化 Prompt，但此处不展开，可参考相关文章。 2. 选择合适的大模型，考虑上下文长度、聪明度和生成速度。若回答场景是很长的文档，可能更关注上下文长度；大多数情况下，大模型越聪明，生成速度可能越慢。

大模型企业落地方案主要包括以下几个方面： 1. 提高内容可信： 做具备通用能力的大模型，通过商业交付应用、反馈和评测来解决内容可信问题。 不断优化数据以解决实际应用问题，如自我学习能力等。 走向垂直化，结合场景用一个模型和框架提高内容精准度。 2. 解决算力成本高、训练重复和资源紧缺的问题： 以 GPT3 模型为例，现有千卡集群训练一个月，单次训练周期一个月，总成本超过 1200 万美金，且全行业训练卡持续涨价。 目前仍无人能用商业化的国产芯片做大模型训练。 3. 降低大模型价格或使用垂直领域模型落地。 4. 以百度智能云为例： 在 IaaS 层，百舸 AI 异构计算平台解决算力问题，提供从集群创建到模型训练、推理的完整算力管理方案，提升算力管理能力和模型训练效率，确保高达 99.5%的有效训练时间，为大模型应用落地提供强大算力支撑。 在 Paas 层，千帆大模型平台解决大模型的调用、开发和应用开发问题，支持调用文心大模型全系列模型，提供全面工具链，支持定制化模型开发，通过 AppBuilder 提供企业级 Agent 和企业级 RAG 开发能力，还能将企业应用数据反馈到模型中形成良性循环，持续优化模型性能。 在 SaaS 层，提供丰富的常用应用供客户选择，如数字人平台曦灵、智能客服应用客悦等。 此外，大模型在实际应用中存在一些问题，如知识的局限性、幻觉问题和数据安全性问题，而 RAG 是解决上述问题的一套有效方案，它可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息，更好地控制大模型生成的文本输出，并且用户可以深入了解 LLM 如何生成最终的结果。RAG 可以和微调结合使用，两者并不冲突。