知识蒸馏是一种模型压缩和训练的方法。在训练中，大模型作为教师模型，轻量级模型作为学生模型，学生模型不仅学习任务的真实标签，还学习教师模型生成的软标签，从而能够“站在巨人的肩膀上”学习。例如，NVIDIA 技术博客介绍了通过剪枝和知识蒸馏将 Llama-3.1 8B 模型缩减为 Llama-3.1-Minitron 4B 模型的方法。剪枝通过移除模型中的一些参数来减少计算需求和内存占用，而知识蒸馏让小模型学习大模型的输出以提高性能。轻量级模型基础能力的增强，对未来的 AI 应用生态具有重要意义。同时，使用强化微调技术，轻量级模型能够通过精选数据的训练超越同代大模型的表现，这对垂直领域的模型应用也将产生很大影响。
使用知识蒸馏的训练方法，大模型作为教师模型，轻量级模型作为学生模型，轻量级模型通过模仿大模型的行为进行训练。轻量级模型不仅学习任务的真实标签，还学习大模型生成的软标签，能够“站在巨人的肩膀上”学习。轻量级模型的基础能力越来越强，意味着同样的能力，模型能够越来越快、成本越来越低地实现，这对2025年的AI应用生态可能有着不小的意义。另一个值得瞩目的进展是，12月的发布中，OpenAI推出了强化微调技术，使用极少训练数据即在特定领域轻松地创建专家模型。使用几十到几千个高质量数据，微调后的o1-mini模型得分提高80%，能直接反超o1正式版。使用强化微调，轻量级模型能够通过精选数据的训练，直接超越同代大模型的表现，这对垂直领域的未来的模型应用，也将产生很大影响。
知识图谱（Knowledge Graph，KG）是一种揭示实体之间关系的语义网络，可以对现实世界的事物及其相互关系进行形式化地描述。知识图谱于2012年5月17日被Google正式提出，其初衷是为了提高搜索引擎的能力，增强用户的搜索质量以及搜索体验。知识图谱可以将Web从网页链接转向概念链接，支持用户按照主题来检索，实现语义检索。[heading2]关键技术[content]1.知识抽取：通过自动化的技术抽取出可用的知识单元实体抽取：命名实体识别（Named Entity Recognition，NER）从数据源中自动识别命名实体；关系抽取（Relation Extraction）：从数据源中提取实体之间的关联关系，形成网状的知识结构；属性抽取：从数据源中采集特定实体的属性信息。2.知识表示属性图三元组3.知识融合：在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等，达到数据、信息、方法、经验等知识的融合，形成高质量知识库实体对齐（Entity Alignment）：消除异构数据中的实体冲突、指向不明等不一致性问题；知识加工：对知识统一管理，形成大规模的知识体系本体构建：以形式化方式明确定义概念之间的联系；质量评估：计算知识的置信度，提高知识的质量。知识更新：不断迭代更新，扩展现有知识，增加新的知识4.知识推理：在已有的知识库基础上挖掘隐含的知识
NVIDIA技术博客介绍了如何通过剪枝和知识蒸馏将Llama-3.1 8B模型缩减为Llama-3.1-Minitron 4B模型的方法。提供了一个详细的流程，用于将大型的Llama-3.1 8B模型通过剪枝和知识蒸馏技术转换为更小的Llama-3.1-Minitron 4B模型。剪枝是一种减少模型大小的技术，它通过移除模型中的一些参数来减少计算需求和内存占用，而不显著降低性能。知识蒸馏则是一种模型压缩方法，它通过让一个小模型（学生模型）学习一个大模型（教师模型）的输出来提高小模型的性能。[heading2][如何构建Townie——一个能够生成全栈应用的应用程序](https://blog.val.[content]Posma描述了自己如何通过Val Town平台构建Townie的原型，包括如何使用Vercel的AI SDK、如何通过LLM生成代码、如何处理数据库持久性问题、如何实现前后端代码的分离以及如何优化成本和速度。他还展示了如何通过“Make Real”功能将绘图转换为具有后端的HTML，以及如何通过E-VALL-UATOR评估LLM生成的代码质量。[heading2][Anthropic的提示工程互动教程](https://github.com/anthropic[content]Anthropic发布了两个用来学习提示工程的教程，完成课程后，将能够学到：掌握一个良好提示的基本结构识别常见故障模式，并学习解决它们的“80/20”技术了解Claude的优点和缺点从头开始为常见用例构建强大的提示另一个课程是面向中高级人员的，将学习如何将关键提示技术融入复杂的实际提示中。