要完全本地化部署 DeepSeek 并使用您的文档、文本、图片等内容进行训练和微调,以下是一些相关的信息和步骤:
模型训练与平台服务:
平台服务介绍:
关于模型训练与数据集相关问题:
本地部署介绍:讲解了如果拥有云服务器如何进行本地部署,以及满血版本地部署的实际情况。
免费额度说明:在 freely.aliyun.com 可领取 500 元免费额度,但有使用限制,不能部署满血版和较大的增流模型。
平台服务差异:介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。
模型蒸馏微调:会带着大家复现模型的蒸馏和微调,并讲解相关知识。
请注意,在进行本地化部署和训练微调时,需要具备一定的技术知识和经验,并且要遵循相关的法律法规和道德规范。
[01:57:41](https://waytoagi.feishu.cn/minutes/obcnxm53m6nzpp16a89r5c8s?t=7061000)大模型及知识库使用讲解与问题解答本章节许键介绍模型API调用方法与知识库创建。告知获取API key位置及调用设置,详细讲解创建Rag应用(知识库)流程,包括上传非结构化文件、数据解析、切分段落等操作,还回答诸多问题,如知识库访问权限、智能体接收文档等,并提及作业是构建常用应用。[02:15:10](https://waytoagi.feishu.cn/minutes/obcnxm53m6nzpp16a89r5c8s?t=8110000)工作流创建、模型能力及相关问题探讨本章节主要讨论工作流相关问题。涉及历史版本功能,如对话流不支持上传文档,可向百练提需求;探讨了根据小说写序章、英文翻译、文字校对等工作流搭建;解释了模型能力、query概念;还提到工作流发布渠道、联网搜索网站设置及根据用户语言回复等内容。[02:22:50](https://waytoagi.feishu.cn/minutes/obcnxm53m6nzpp16a89r5c8s?t=8570000)通义千问相关应用及明天课程安排交流本章节主要讨论智能体相关内容,包括图片识别后让大语言模型回答防治方法,智能体应用及工作流概念、工具添加等。还提及明天将教Deepseek本地部署、蒸馏模型部署及微调,分享了发布智能体消耗token等情况,最后回答了一些问题并预告通义千问推理模型进展。
关于模型训练与平台服务的介绍模型复现与微调:1:1复现没问题,理解细节并自行制作需基础知识。提供手把手教程、数据集等可1:1复现,微调在特定领域可降低幻觉,参数量不变但权重变化。训练模型的学习方法:先会用再学会训,从训的过程中倒推学习参数调整,这是一种以用导学的学习方法。模型回答效果对比:微调后的模型在回答排列组合等问题时,思考前几乎无反馈,答案多为英文且格式稳定,但仍可能答错。平台服务介绍:阿里云提供多种解决方案,百炼是提供多种模型服务的Maas平台,派平台是提供云服务的PaaS平台,二者在定位、服务内容和核心差异上有所不同。关于模型训练与数据集相关问题的探讨数据资源情况:默认提供公共数据训练集,百派平台能匹配模型和数据,通义开源了不少数据集。多模态训练:多模态有自身标注方式,如视频拉框标注。参数量变化:通常训练模型参数量固定,若想改变需改模型层,但可能要从头调。本地微调框架:可使用llama factory等框架,需搭建并部署。开源数据下载:可在GitHub、hugging face、Mo Model Scope等平台获取。数据集转化:将文档资料转成数据集可先手动形成SOP,再逐步自动化,初期需大量人力。
关于AI模型部署与相关知识的讲解本地部署介绍:讲解了如果拥有云服务器如何进行本地部署,以及满血版本地部署的实际情况。免费额度说明:指出在freely.aliyun.com可领取500元免费额度,但有使用限制,不能部署满血版和较大的增流模型。平台服务差异:介绍了DLC、DSW和EAS等模型部署平台服务的差别。模型蒸馏微调:会带着大家复现模型的蒸馏和微调,并讲解相关知识。Deepseek R1模型的制作及相关模型比较R1模型的强化学习:通过强化学习,在训练过程中给予模型反馈,如路线规划是否成功到达终点、输出格式是否符合期望等,对正确路线增强权重,使做对的概率变高,导致思考逻辑变长。R1模型的蒸馏与微调:用Deepseek RE Zero蒸馏出带思考的数据,基于Deepseek V3微调,进行冷启动,再做强化学习,还从非公布模型提取微调数据,加上人类偏好,最终形成R1。R1与其他模型的差别:R1是原生通过强化学习训练出的模型,蒸馏模型是基于数据微调出来的,基础模型能力强,蒸馏微调模型能力也会强。模型的相互帮助:Deepseek R1反过来蒸馏数据微调V3,形成互相帮助的局面,使两个模型都更强。