深度神經(jīng)網(wǎng)絡(luò)模型任務(wù)切分及并行優(yōu)化方法

摘要： 為解決傳統(tǒng)手工切分神經(jīng)網(wǎng)絡(luò)模型計(jì)算任務(wù)并行化方法面臨的并行化難度大、訓(xùn)練耗時(shí)長(zhǎng)、設(shè)備利用率低等問題，提出了一種基于深度神經(jīng)網(wǎng)絡(luò)(DNN)模型特性感知的任務(wù)切分及并行優(yōu)化方法。結(jié)合硬件計(jì)算環(huán)境，對(duì)模型計(jì)算特性進(jìn)行動(dòng)態(tài)分析，獲取模型內(nèi)部相關(guān)性和各類參數(shù)屬性，構(gòu)建原始計(jì)算任務(wù)有向無(wú)環(huán)圖(DAG)；利用增強(qiáng)反鏈，構(gòu)建DAG節(jié)點(diǎn)間可分區(qū)聚類的拓?fù)潢P(guān)系，將原始DAG轉(zhuǎn)換為易于切分的反鏈DA... （共14頁(yè)）