出品 | 網(wǎng)易智能（公眾號smartman163）

期號 | 第79期（2018年訪于舊金山）

作者 | 定西

如今，AI芯片的戰(zhàn)火愈演愈烈，英特爾也是時候拿出自己的“深水炸彈”了，而這次天將降大任的就是最新版NNP芯片。

它的全名叫Nervana NNP-L1000（Spring Crest），支持bfloat16這一業(yè)界廣泛用于神經(jīng)網(wǎng)絡(luò)的數(shù)字格式，隨著時間的推移，英特爾將在AI產(chǎn)品線上擴(kuò)展對bfloat16的支持，包括英特爾至強(qiáng)處理器和英特爾FPGA，英特爾Nervana NNP的目標(biāo)是可實現(xiàn)高計算利用率并支持多芯片互連的真正模型并行。

主導(dǎo)這一產(chǎn)品的是英特爾AI產(chǎn)品事業(yè)部（AIPG），AIPG是英特爾人工智能的拳頭部門，負(fù)責(zé)策劃和執(zhí)行關(guān)于AI方面的研發(fā)和產(chǎn)品路線，其中，Carey Kloss是AI硬件的負(fù)責(zé)人，自1996年以來，他一直在芯片行業(yè)從事工作。

這位芯片專家來自Nervana，這家公司2016年并入英特爾麾下，他們幾乎撐起來了AIPG的半邊天，Carey和Nervana公司的CEO Naveen Rao一同加入英特爾，目前，Naveen Rao擔(dān)綱英特爾AI戰(zhàn)略總策劃師，任英特爾副總裁。

這次，關(guān)于更多新款AI云端芯片的問題，網(wǎng)易智能對Carey進(jìn)行了專訪。

| 性能提升3到4倍 不畏懼競爭對手

問：Lake Crest和Spring Crest的主要區(qū)別是什么？

Carey：Lake Crest是先前的設(shè)計，是更穩(wěn)定的處理器。我們在創(chuàng)業(yè)時就開始使用它。進(jìn)入更現(xiàn)代化的制程節(jié)點(diǎn)，我們集成了更多的Die（硅芯片），可以獲得更快的處理速度。

我們認(rèn)為Lake Crest作為軟件開發(fā)工具（software development vehicle）更好,部分原因是因為我們?nèi)ブС至?/span>bfloat?？蛻魧τ谀茉谥苯荧@得成果更興奮，而不是還需要在中間做一些工作。

關(guān)于Spring Crest的制程節(jié)點(diǎn)，我們尚未公布關(guān)于哪些產(chǎn)品使用制程節(jié)點(diǎn)的任何信息。因為需要一定的時間去制造硅片，也需要時間把硅片變成新的神經(jīng)網(wǎng)絡(luò)處理器，這是延遲到2019年上市的原因。

性能方面，Lake Crest作為我們第一代處理器，現(xiàn)在被用作軟件開發(fā)工具的時候，我們實現(xiàn)了在GEMM和卷積神經(jīng)上都實現(xiàn)了非常好的計算利用率。并且這不僅僅是96%吞吐量的利用率，而是在沒有充分定制化的情況下,我們也取得了大多數(shù)情況下實現(xiàn)GEMM高于80%的計算利用率,這也是很了不起的。

當(dāng)我們開發(fā)Spring Crest這個下一代芯片時，我們保持高計算利用率，新的產(chǎn)品在性能上有3到4倍的性能提升。

問：此前Lake Crest的計算利用率達(dá)到了96％， 但Spring Crest的計算利用率稍微低了，這是為什么？

Carey：實際上這個是我的想法，把利用率適當(dāng)下降，有些情況上確實可以實現(xiàn)98%。在沒有資源沖突，每個硅芯片都能完全運(yùn)行的情況下，可以99%甚至100%計算利用率。

每個架構(gòu)都會有些情況能夠充分利用，無論它們現(xiàn)實與否。我想在Spring Crest幻燈片上展示的是，大多數(shù)情況下都能實現(xiàn)的利用率。我們當(dāng)然可以展示在基準(zhǔn)測試中獲得100%計算利用率的例子，但是我想表示的是很多用例都會有很高的利用率。

問：芯片晚些時候上市會給英特爾在市場競爭中造成不利影響嗎？

Carey：我認(rèn)為我們逐步轉(zhuǎn)向bfloat是一個重要的考慮因素， 因為如果這就是市場需要的，那么我認(rèn)為我們對它的反應(yīng)很快， 我不知道我們的競爭對手的路線圖是什么，但我認(rèn)為我們的反應(yīng)速度相對較快，所以我認(rèn)為我們不會在神經(jīng)網(wǎng)絡(luò)處理上處于劣勢。

bfloat最近變得更受歡迎，我所知道的是，在過去四個月中，有多個客戶來到我們這里并特別要求bfloat。

問：哪些類型的顧客或者行業(yè)對Spring Crest感興趣？

Carey：Spring Crest可以說是最高等級的Nervana神經(jīng)元處理器架構(gòu)。

因此，它有同樣的客戶，例如超大規(guī)模中心，超大規(guī)模CSP，已經(jīng)擁有相當(dāng)強(qiáng)大的數(shù)據(jù)科學(xué)工作的大型企業(yè)客戶，例如政府和其他企業(yè)。

我想從另一種角度來回答這個問題，哪些客戶對此不感興趣。數(shù)據(jù)科學(xué)或人工智能還是比較新的，這是一個非常熱門，非常激動人心的領(lǐng)域，而且正在迅速改變。傳統(tǒng)的企業(yè)客戶可能擁有數(shù)據(jù)，但他們可能無法在其數(shù)據(jù)中心部署高端設(shè)備。我們作為英特爾提供的服務(wù)，以及我們的路線圖和我們的總體策略是提供整個產(chǎn)品組合。你可以基于nGraph和Xeon開始工作。你的數(shù)據(jù)中心已經(jīng)部署了英特爾至強(qiáng)處理器，那你沒有理由再去購買神經(jīng)網(wǎng)絡(luò)處理器或者其他類似產(chǎn)品。你有了至強(qiáng)并且圍繞至強(qiáng)做一些工作，你可以得到你的數(shù)據(jù)狀態(tài)。

但如果你發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)可以幫助你，并且嘗試找到如何能夠讓它賺錢，這時候你可以說你更加嚴(yán)肅認(rèn)真對待它，當(dāng)然英特爾可以提供神經(jīng)網(wǎng)絡(luò)處理器產(chǎn)品，能夠讓你更嚴(yán)謹(jǐn)?shù)厝ミM(jìn)行訓(xùn)練?，F(xiàn)在你可以購買很多NNP產(chǎn)品，并可以運(yùn)用相同的軟件棧，你可以獲得相同的優(yōu)化和優(yōu)化路徑，你可以為不同的硬件進(jìn)行優(yōu)化。甚至你可以用不同的Crest或者Xeon，這取決你想要干什么。或者，你已經(jīng)開始了訓(xùn)練階段，你的數(shù)據(jù)科學(xué)家開始嘗試去訓(xùn)練不同的模型，現(xiàn)在你的需求是大規(guī)模部署推理階段。

重中之重是，不是一種解決方案滿足所有需求，如果你需求的是低延且小模型，至強(qiáng)就能幫助到你，它可以把數(shù)據(jù)從云到端手機(jī)起來。如果是一些大型模型，而不是只處理一種類型的數(shù)據(jù)，你需要一些更具體能夠進(jìn)行推理的部署。這就是和我們今天早上宣布有關(guān)，這里潛在蘊(yùn)含著，我們正計劃給數(shù)據(jù)中心提供推理加速，當(dāng)然更多細(xì)節(jié)不能透露。

| 整合資源快速迭代 初始團(tuán)隊只有45人

問：在開發(fā)新芯片的時候你們遇到了什么樣的困難？

Carey：我們先來談一下Lake Crest，我們創(chuàng)業(yè)初期就開始研發(fā)Lake Crest，我們整個團(tuán)隊大概45人，當(dāng)時正在構(gòu)建一個最大的Die（硅芯片），我們開發(fā)了Neon，我們還構(gòu)建了云棧，這些都是40-45人團(tuán)隊所完成的。

這就是挑戰(zhàn)，公司成立在2014年，直到去年芯片才真正問世，3年的時間不短，現(xiàn)在一切都是新的，我們現(xiàn)在屬于英特爾，可以訪問英特爾的資源，流程也變得簡單，同時也有足夠的員工同時進(jìn)行處理器多代開發(fā)，就像一個真正CPU公司。

我認(rèn)為我已經(jīng)具備了明年取得成功所有要素，小團(tuán)隊成長會有陣痛，我們花了很長時間才把第一批產(chǎn)品拿出來，但我們現(xiàn)在處于合理的節(jié)奏中，現(xiàn)在我們每年都會看到改進(jìn)，當(dāng)前我們的人員配置合理，資源配置合適，能夠更好的展開工作。

問：但整合所有需要的資源并不是一件容易的事吧？

Carey：當(dāng)然不是一件容易的事情，但英特爾在將產(chǎn)品推出市場方面擁有豐富的經(jīng)驗，我曾經(jīng)在大大小小不同的公司工作過，英特爾這點(diǎn)讓我印象非常深刻，英特爾有迄今為止我見過的最佳的后硅培養(yǎng)（post-silicon bring-up）和架構(gòu)分析。出品芯片，我們有數(shù)百個系統(tǒng)同時運(yùn)行。

而且，同事們夜以繼日協(xié)同工作，不僅僅來自Nervana的員工，6個月前剛加入的員工也是如此。當(dāng)然讓數(shù)以百計的員工朝著同一個愿景工作是很困難的，但英特爾是我所經(jīng)歷過的做的更好的一家公司。

問：什么是Lake Crest編程模型？它與GPU相似嗎？

Carey：不是的，從高層面看，任何加速器都是一樣的，你有一個為特定的圖層編寫的內(nèi)核，將內(nèi)核放在設(shè)備里，然后將數(shù)據(jù)存儲在設(shè)備上，這就可以了。

所以從這個角度來看，它們都非常相似，在較低層面上，Lake Crest和Crest家族一般都沒有共享的二級緩存，它具有軟件控制的內(nèi)存，因此軟件工程師或者內(nèi)核開發(fā)工程師可以控制內(nèi)存中的內(nèi)容，控制其在內(nèi)存中保留的時間，控制從處理元件到處理元件的內(nèi)容，從芯片到芯片的內(nèi)容，它是靜態(tài)的，你無需處理緩存沖突等。

讓這成為可能的是，在深度學(xué)習(xí)中，你能提前知道所有的操作，內(nèi)核開發(fā)工程師能更輕松地保留數(shù)據(jù)，移動數(shù)據(jù)和優(yōu)化性能，我們可以這樣做，因為我們不需要做隨機(jī)指示，我可以提前知道指示。

而這一切對數(shù)據(jù)科學(xué)家來說都是隱藏的，數(shù)據(jù)科學(xué)家從來不想圍繞GPU編碼，他們只是想要高速度，而Nervana GPU內(nèi)核就是這樣提供的，我們擁有世界上最快的GPU內(nèi)核，我們擁有與某些客戶合作的FT16內(nèi)核，這也是Nervana比硬件更為出名的地方，硬件實際上并沒有被討論，這些高速內(nèi)核使數(shù)據(jù)科學(xué)家能夠從當(dāng)時的硬件中獲取最多的內(nèi)容，而無需被低水平細(xì)節(jié)所打擾，這是一種很好的模式，因為可以在不同的產(chǎn)品中改變計算機(jī)結(jié)構(gòu)，并且由于除了位于英特爾的專門核心團(tuán)隊外，沒有人直接在硬件上編寫代碼，我們可以管理這一更改并且始終盡可能優(yōu)化硬件，可以添加說明，可以添加函數(shù)，可以改變事物的工作方式，可以在不影響數(shù)據(jù)科學(xué)的情況下更改bfloat。

| 積極應(yīng)對行業(yè)變化 新芯片明年上市

問：數(shù)據(jù)科學(xué)家本身不關(guān)注硬件？

Carey：沒錯，我不認(rèn)為數(shù)據(jù)科學(xué)家真正關(guān)心的是底層的問題，他們只是希望它速度很快，他們不會在乎法拉利是電動的還是混合動力的，是V12還是四缸發(fā)動機(jī) 他們只想在三秒鐘內(nèi)看到它從0到60。

問：nGraph與CUDA相比的優(yōu)勢是什么？

Carey：nGraph與CUDA還是不一樣的，CUDA你可以理解為 nGraph的底面，我們稱之為變壓器，nGraph通過一個固定的API接收來自TensorFlow、Caffe或MXNet的輸入，然后通過圖形編譯器進(jìn)行性能優(yōu)化，排除一些不需要的東西，然后將其發(fā)送給CPU的MKL-DNN，所以CPU仍然使用MKL-DNN，即使在nGraph中也是如此，相似的，我們也需要為Crest的變壓器，我們也需要一個英特爾其他硬件的變壓器。

問：目前是否有關(guān)于Spring Crest的速度有多快的數(shù)據(jù)或基準(zhǔn)？

Carey：我們暫時沒有公布具體數(shù)字，與Lake Crest相比，在性能上有3-4倍的提升，基于我們用客戶提供的Lake Crest反饋，我們在整個設(shè)計過程中提高了性能。

問：有人認(rèn)為我們正處于部署算法的早期，你對算法的潛在變化有什么看法？

Carey：我認(rèn)為算法和硬件之間有一點(diǎn)共生關(guān)系，反之亦然。

如果你往回看，過去的幾年，在GPU上的GEMM核心會很快，因此當(dāng)時所有的深度學(xué)習(xí)都指出如何利用GEMM核心來進(jìn)行工作，因為這也是GPU僅有可以很快進(jìn)行處理的地方，如今，GPU上有很多新的核心，數(shù)據(jù)科學(xué)家指出許多新的寫入核心，我們的硬件處于兩者之間，它并沒有完全固定的函數(shù)，我們的硬件處理各種各樣的激勵函數(shù)，通過bfloat處理各種浮點(diǎn)運(yùn)算，并且我們控制設(shè)備執(zhí)行超出當(dāng)前浮點(diǎn)范圍的事情，你的GEMM，你的卷積神經(jīng)，將會得到超級優(yōu)化，我們不會像其他競爭對手一樣擁有固定的函數(shù)，我們不會像GPU一樣為了通用用途，我認(rèn)為我們處于一個良好的中間點(diǎn)，在未來的幾年也不會過時，隨著時間的推移，我們將增加更多的通用硬件，以處理更多的混合工作負(fù)載。

問：你們是如何制定AI路線圖的？背后有哪些考慮？

Carey：我們的路線圖與任何人的路線圖都相似：每年更大，更強(qiáng)，更快。

我們每年都會進(jìn)行增量架構(gòu)更改以提升性能，行業(yè)中出現(xiàn)的任何新事物如果與我們的硬件產(chǎn)品組合相關(guān)，我們會采取行動。（完）

注：《AI英雄》人物專訪隸屬網(wǎng)易智能工作室，與行業(yè)人士一起洞察技術(shù)趨勢，捕捉行業(yè)機(jī)會。轉(zhuǎn)載請注明出處，違者必究！