高校本地部署 DEEPSEEK 可以参考以下内容:
以上信息仅供参考,具体操作可能会因实际情况有所不同。
AI模型的云端部署与试用PaaS平台特性:PaaS平台支持多机分布式部署,满足推理性能要求,使用独占资源和专有网络,能一站式完成模型蒸馏。模型价格差异:简单应用开发平台交付产品价格在千元、万元或几十万元级别,为公司打造专有模型价格更高。云端部署操作:登录Pad控制台,通过model gallery进行部署,如Deepseek R1模型,可选择SG浪或Vim推理框架,根据资源出价,部署后可在模型在线服务EAS查看状态。模型试用方法:使用postman,通过修改接口和复制文档中的内容进行在线调试,发送请求查看状态码,根据模型名称和相关要求输入内容进行试用。作业布置:部署成功一个大语言模型,通过调试证明成功,在调试内容中带上钉钉昵称向模型对话,将成功结果提交问卷可获得阿里云小礼包。模型蒸馏及相关部署操作API调用与服务关停:介绍了模型API的调用方法,包括查找位置、获取token等,强调使用后要及时停止或删除服务以避免持续付费。模型蒸馏概念:教师模型将知识蒸馏给学生模型,有多种蒸馏方式,如R1通过蒸馏数据集并用于学生模型微调。蒸馏应用场景:包括车机等算力有限场景,能让小模型在特定领域有良好效果,还能实现低成本高速推理和修复模型幻觉。模型部署实操:在model gallery中选择模型,如1000问7B指令模型,进行部署,选择VIM加速和竞价模式,查看部署状态和日志。
关于AI模型部署与相关知识的讲解本地部署介绍:讲解了如果拥有云服务器如何进行本地部署,以及满血版本地部署的实际情况。免费额度说明:指出在freely.aliyun.com可领取500元免费额度,但有使用限制,不能部署满血版和较大的增流模型。平台服务差异:介绍了DLC、DSW和EAS等模型部署平台服务的差别。模型蒸馏微调:会带着大家复现模型的蒸馏和微调,并讲解相关知识。Deepseek R1模型的制作及相关模型比较R1模型的强化学习:通过强化学习,在训练过程中给予模型反馈,如路线规划是否成功到达终点、输出格式是否符合期望等,对正确路线增强权重,使做对的概率变高,导致思考逻辑变长。R1模型的蒸馏与微调:用Deepseek RE Zero蒸馏出带思考的数据,基于Deepseek V3微调,进行冷启动,再做强化学习,还从非公布模型提取微调数据,加上人类偏好,最终形成R1。R1与其他模型的差别:R1是原生通过强化学习训练出的模型,蒸馏模型是基于数据微调出来的,基础模型能力强,蒸馏微调模型能力也会强。模型的相互帮助:Deepseek R1反过来蒸馏数据微调V3,形成互相帮助的局面,使两个模型都更强。
|时间|主题|课程内容|课程文档||-|-|-|-||02/25 20:00|#阿里云百炼篇:用DeepSeek搭建智能体|阿里云百炼满血版DeepSeek介绍<br>基于阿里云百炼的DeepSeek智能体搭建|[尝鲜阿里云百炼上的DeepSeek玩法.pdf](https://bytedance.feishu.cn/space/api/box/stream/download/all/RSqWbr9FzozYSsxehRDc0iNVnWe?allow_redirect=1)||02/26 20:00|#人工智能平台PAI篇:本地部署满血版DeepSeek|DeepSeek R1技术原理<br>解锁DeepSeek的不同玩法:问答助手?蒸馏?微调?<br>实战演练:DeepSeek R1满血版快速部署&蒸馏训练|[用阿里云PAI复现Deepseek蒸馏.pdf](https://bytedance.feishu.cn/space/api/box/stream/download/all/HWHTbXYWYoc0t8xsSk0cNalTnGg?allow_redirect=1)|