• <menu id="4yacc"></menu>
    • 論文
    主辦單位:煤炭科學研究總院有限公司、中國煤炭學會學術期刊工作委員會

    深度學習中知識蒸餾研究綜述

    2022-09-16

    作者:邵仁榮,劉宇昂,張偉,王駿

    作者單位:華東師范大學計算機科學與技術學院


    在人工智能迅速發展的今天,深度神經網絡廣泛應用于各個研究領域并取得了巨大的成功,但也同樣面臨著諸多挑戰.


    首先,為了解決復雜的問題和提高模型的訓練效果,模型的網絡結構逐漸被設計得深而復雜,難以 適應移動計算發展對低資源、低功耗的需求.知識蒸餾最初作為一種從大型教師模型向淺層學生模型遷移知識、提 升性能的學習范式被用于模型壓縮.然而隨著知識蒸餾的發展,其教師學生的架構作為一種特殊的遷移學習方式,演化出了豐富多樣的變體和架構,并被逐漸擴展到各種深度學習任務和場景中,包括計算機視覺、自然語言處理、推薦系統等等.


    另外,通過神經網絡模型之間遷移知識的學習方式,可以聯結跨模態或跨域的學習任務,避免知識遺忘;還能實現模型和數據的分離,達到保護隱私數據的目的.知識蒸餾在人工智能各個領域發揮著越來越重要 的作用,是解決很多實際問題的一種通用手段.


    本文將近些年來知識蒸餾的主要研究成果進行梳理并加以總結,分析該領域所面臨的挑戰,詳細闡述知識蒸餾的學習框架,從多種分類角度對知識蒸餾的相關工作進行對比和分析, 介紹了主要的應用場景,在最后對未來的發展趨勢提出了見解。


    論文鏈接
      責任編輯:宮在芹
    今日專家

    男,1978年生于江西貴溪,博士,副教授,碩導,江西理工大學經濟管理學院專...

    亮點論文

    這項技術的關鍵在于頭發富含碳和氮,而這兩種物質在設計發光粒子時是很有價值的特性??茖W家們在240℃(464℉)的溫度下焚燒頭發,將其分解,使其分子結構中包含碳和氮。...

    今日企業
    • 神州機械注冊資金1億元,形成了以干法選煤新工藝、新裝備研發、選...

    主辦單位:煤炭科學研究總院有限公司 中國煤炭學會學術期刊工作委員會

    ©版權所有2015 煤炭科學研究總院有限公司 地址:北京市朝陽區和平里青年溝東路煤炭大廈 郵編:100013
    京ICP備05086979號-16  技術支持:云智互聯
    一级毛片a片
  • <menu id="4yacc"></menu>