【烽巢網】

人工智能領域的深度學習模型越具有開創性，它們的規模就越大。今年最熱門的自主語言處理模型GPT-3就是一個很好的例子。為了達到像人類一樣書寫的準確性和速度水平，這個模型需要1750億個參數、350 GB內存和至少1200萬美元資金的投入。但是，除了成本之外，像這樣的大型人工智能模型還面臨一個巨大的能耗問題。

馬薩諸塞大學阿默斯特分校的研究人員發現，訓練一個大型人工智能模型所需的計算能力可以產生超過60萬磅的二氧化碳排放——這是一輛普通汽車在其壽命內排放量的5倍! 這些模型通常需要更多的能量來處理并生成設置(或稱為推理階段)。英偉達估計，運行神經網絡模型所產生的成本中，有80- 90%來自推理過程，而不是訓練過程。

為了在人工智能領域取得更大的進展，普遍觀點認為，我們將不得不做出巨大的環境權衡。但事實并非如此，大型模型可以縮小到可以在日常工作站上或服務器上運行，而不必犧牲準確性和速度。

過往：計算能力平均每3.4個月翻一番

十多年前，斯坦福大學(Stanford University)的研究人員發現，用于驅動視頻游戲中的圖形處理器(稱為Gpu)，可以用于深度學習模型。這一發現引發了一場為深度學習應用程序創建越來越強大的專用硬件的競賽。反過來，科學家們創建的模型變得越來越大。其邏輯是，更大的模型會導致更準確的結果。硬件功能越強大，這些機型運行速度就越快。

OpenAI的研究證明，這一假設在該領域已被廣泛采用。從2012年到2018年，深度學習模型的計算能力平均每3.4個月翻一番。所以，這意味著在6年的時間里，用于人工智能的計算能力增長了驚人的30萬倍。如上所述，這種能力不僅用于訓練算法，還可以在生成設置中使用它們。麻省理工學院(MIT)最近的一項研究表明，我們可能會比想象中更快地達到計算能力的上限。

更重要的是，資源的限制使得深度學習算法的使用僅限于那些有能力使用它的人。當深度學習可以應用于從醫學成像中檢測癌細胞到阻止在線仇恨言論的所有領域時，我們不能限制訪問。不過，我們也不能承受建造更大、更耗電的模型所帶來的環境后果。

未來：變得越來越小

幸運的是，研究人員發現了一些新的方法來縮小深度學習模型，并通過更智能的算法來改變訓練數據集的應用。通過這種方式，大型模型可以在生產環境中以更低的能耗運行，并且仍然可以根據用例實現預期的結果。

這些技術有可能使機器學習大眾化，為更多沒有數百萬美元來投資訓練算法并將其投入生產的組織服務。這對于“邊緣”用例尤其重要，想想相機、汽車儀表盤、智能手機等微型設備吧，在這些用例中，大型的、專門的AI硬件在物理上是不實用的。

研究人員正在通過刪除神經網絡中一些不需要的連接，或者通過簡化數學運算來縮小模型。這些更小、更快的模型可以在任何地方運行，其精度和性能與大型模型相似。這意味著我們不再需要爭先恐后地使用最強大的計算能力，從而對環境造成更大的破壞。讓大型模型變得更小、更高效是深度學習的未來。

另一個主要問題是針對不同的用例，在新的數據集上一遍又一遍地訓練大型模型。一種叫做遷移學習的技術可以幫助防止這個問題。遷移學習使用預先訓練的模型作為起點。模型的知識可以通過一個有限的數據集“轉移”到一個新的任務中，而不必從頭開始重新訓練原始模型。這是朝著減少訓練新模型所需的計算能力、能源和資金邁出的關鍵一步。

底線是什么?

模型可以(而且應該)在任何可能的情況下縮小，以使用更少的計算能力。并且知識可以被回收和重用，而不是從頭開始深度學習的訓練過程。最終，找到減少模型大小和相關計算能力的方法(在不犧牲性能或精度的情況下)將是深度學習的下一個偉大突破。通過這種方式，任何人都能夠以更低的成本在生產中運行這些應用程序，而無需在環境方面做出巨大的犧牲。當我們把大型人工智能放在小的地方時，一切都是可能的——甚至是幫助阻止氣候變化的毀滅性影響。