5月16日消息，隨著深度學(xué)習(xí)技術(shù)的爆炸性發(fā)展，很多企業(yè)、開(kāi)發(fā)者都發(fā)表了自己的研究論文，展示最新取得的不俗成績(jī)。但是在實(shí)際使用時(shí)，很可能遇到模型大小方面的問(wèn)題。Google近日公開(kāi)了自家全新ML模型壓縮技術(shù)Learn2Compress。

　　該技術(shù)能為開(kāi)發(fā)的深度學(xué)習(xí)模型變得更為輕量化，并在移動(dòng)設(shè)備上去執(zhí)行。Learn2Compress將NN模型壓縮為輸入一個(gè)大型的TF模型，自動(dòng)生成隨時(shí)可用的設(shè)備模型。

　　對(duì)于Learn2Compress技術(shù)的本質(zhì)，谷歌提了如下三點(diǎn)：

　　·通過(guò)除無(wú)意義的權(quán)重和激活來(lái)減少模型的大小;

　　·通過(guò)減少模型中使用的位數(shù)來(lái)提高推理速度;

　　·聯(lián)合訓(xùn)練和精餾方法策略，老師網(wǎng)絡(luò)是一個(gè)給定的模型，學(xué)生網(wǎng)絡(luò)是被壓縮的，這些模型很窄，有助于我們顯著減輕計(jì)算負(fù)擔(dān)，此外還能夠同時(shí)訓(xùn)練不同規(guī)模的學(xué)生網(wǎng)絡(luò)。

　　結(jié)果就是Learn2Compress效果非常好，可以更快更小地生成模型，有時(shí)甚至超過(guò)了給定的模型。