以下是使用阿里 PAI 部署大模型的步骤:
代码不是本文的重点,也不重要.本文的思路大家都能听懂,跟着学习思路就能理解R1的蒸馏是怎么回事了.相信我,我做到了,你完全可以跟着做到.[heading1]模型部署[content]1.模型部署为了便宜,咱们部署32b的蒸馏模型来展示同样的效果:选中模型卡片以后,就会出现部署按钮.选择vLLM部署小插曲:竞价系统(用更便宜的价格部署模型)1.部署完成后在EAS服务中可以找到API的endpoint和key信息同样也是在EAS服务中可以查看部署情况和日志,如果竞价获得不了资源,可以适当调整价格在EAS服务中可以直接尝试试用模型:调试方法:Get models方法:需要用vllm框架部署才能支持:chat方法:比如7b的蒸馏模型就换成这样的就可以了.尝试部署一个qwen2.5-7b-instruct的原生模型,并看看它的回答方式,并且测试问题“9.11和9.9的大小?”[heading1]蒸馏->数据[content]在咱们本地的python环境中,或者notebook gallery里建立一个实例来执行python.代码不重要,重要的是思路!完全可以直接用百炼/PAI的工作流,嵌套大模型的方式,一行代码都没有来执行实现.执行这段代码:咱们最终会获得一个一个json文件,就是蒸馏出来的数据集了.通常这里都需要检查下数据的正确性,才进行下一步的训练微调过程.
(完成提交,将获得由阿里云提供的作业完成礼包🎁!)在阿里云PAI平台上部署一个模型,并调试验证确认自己的部署成功.要求:调试信息中修改content的内容,必须在content内容中带上自己的钉钉“昵称”来向大模型对话.完成后,在截止时间2025/03/05之前,将自己调试成功的效果截图(截图中的“content”内必须带着自己的钉钉),提交到「问卷地址」.提交的截图示例:
由于我们上一步中蒸馏的数据集很小,不足以改变模型权重,因此我们使用一个别人做好的数据集.在使用前可以打开看下里面的结构,和我们蒸馏出来的数据结构是一致的.[Bespoke-Stratos-17k_thought.json.zip](https://bytedance.feishu.cn/space/api/box/stream/download/all/Wk2fbCI5YohTIxxn1XIclRAZn4e?allow_redirect=1)1.建立你用于训练的数据集下载并解压这个数据集,然后在PAI平台的数据集中找到你的OSS存储,建立数据集.然后上传数据集:1.开始部署模型进行训练选择这个7b-instruct的原生模型,选择训练选择全参微调,并选择自定义数据集:注意超参需要这么配置:系统提示词的内容如下:最后体现在我们的配置上就是这样的:这个训练要求需要使用灵骏的资源,比如8卡H100,需要的显存比较大:点击训练就可以开始训练了.如果在DLC里看到下面的状态就是训练成功了.1.训练完成就可以测试模型效果了同样在model gallery里面找到训练好的模型,点击右上角的部署.使用vllm部署.部署完成后,使用如下命令调试(注意大小写):