多層級(jí)特征融合與雙教師協(xié)作的知識(shí)蒸餾

摘要： 目的 知識(shí)蒸餾旨在不影響原始模型性能的前提下，將一個(gè)性能強(qiáng)大且參數(shù)量也較大的教師模型的知識(shí)遷移到一個(gè)輕量級(jí)的學(xué)生模型上。在圖像分類領(lǐng)域，以往的蒸餾方法大多聚焦于全局信息的提取而忽略了局部信息的重要性。并且這些方法多是圍繞單教師架構(gòu)蒸餾，忽視了學(xué)生可以同時(shí)向多名教師學(xué)習(xí)的潛力。因此，提出了一種融合全局和局部特征的雙教師協(xié)作知識(shí)蒸餾框架。方法 首先隨機(jī)初始化一個(gè)教師（臨時(shí)教師）與學(xué)... （共16頁）