从零跑通文本知识蒸馏：GPT-2 XL → GPT-2 Small 全流程实战

摘要：本文记录在一次 RTX 4090 D (24GB) 本地环境下，从零搭建并跑通文本知识蒸馏（Knowledge Distillation）完整流程的全过程。覆盖环境配置、数据准备、蒸馏训练、效果评估，以及踩过的 7 个真实坑和解决方案。最终将 GPT-2 Small 的困惑度从 47.01 降至 25.32（↓ 46.1%）。