深度学习模型在多个畛域，特意是计算机视觉和人造言语处置中，曾经取得了反派性的停顿，但是，随着模型复杂性和资源需求的始终攀升，如何将这些庞大模型的常识稀释为更紧凑、更高效的方式，成为了钻研的热点，常识蒸馏，作为一种将常识从复杂模型转移到更便捷......