7月6日至7月8日，2023世界人工智能大會在上海舉辦。7月6日下午，Graphcore（中文名“擬未”）總裁、大中華區(qū)總經(jīng)理盧濤接受了《每日經(jīng)濟(jì)新聞》記者專訪。
(資料圖片僅供參考)
本屆大會評選出九大“鎮(zhèn)館之寶”，擬未“Graphcore C600 IPU處理器PCIe卡”就位列其中。據(jù)悉，Graphcore C600 IPU處理器PCIe卡主打推理，兼做訓(xùn)練，可以支持各種主流的AI應(yīng)用，在搜索和推薦等業(yè)務(wù)上具有一定優(yōu)勢。它在提供低延時、高吞吐量的同時不損失精度，幫助AI開發(fā)人員解決“精度與速度難兩全”的痛點(diǎn)。
Graphcore總裁、大中華區(qū)總經(jīng)理盧濤
圖片來源：受訪者供圖
值得一提的是，C600在提供強(qiáng)大的算力、易用性和靈活性的同時，還實(shí)現(xiàn)了低時延和低功耗，在運(yùn)行典型工作負(fù)載時的散熱設(shè)計功耗為185瓦，可為運(yùn)維人員減少數(shù)據(jù)中心運(yùn)營開支。
IPU與GPU有何差異？
目前，業(yè)界普遍使用英偉達(dá)的GPGPU作為算力芯片，擬未的IPU和英偉達(dá)的GPGPU相比，有何差異呢？
盧濤表示：“首先從設(shè)計理念上，就和（英偉達(dá)）挺不一樣的。一是計算架構(gòu)不一樣，二是存儲架構(gòu)不一樣。我們是綜合了非常多個核的處理器，比如C600，每個IPU具有1472個處理核心，能夠并行運(yùn)行8832個獨(dú)立程序線程。而英偉達(dá)GPU的SM Core（stream multiprocessor核心）大概是100多個，不同產(chǎn)品配置不一樣。其所謂的CUDA Core和Tensor Core其實(shí)是掛在SM上面的加速器、運(yùn)算器。CUDA Core只是一個運(yùn)算單元。”
圖片來源：每經(jīng)記者 朱成祥 攝
存儲架構(gòu)方面，盧濤表示：“無論是英偉達(dá)的GPU，還是谷歌的TPU，都是兩級內(nèi)存。一級是（顯示）芯片里面有一個四五十兆的內(nèi)存，外面掛著HBM或者顯存。我們IPU，在芯片里面就有900兆的片上SRAM存儲，并且是分布式的。之前我們所說的1472個處理核心，跟片上SRAM存儲是耦合在一起的。”
IPU這種架構(gòu)有何好處呢？盧濤稱：“計算（核心）跟存儲耦合，非常適合做稀疏化，以及做一些高維運(yùn)算。跟GPU對比，如果對稀疏性要求比較高、高維方面要求比較高，我們的優(yōu)勢會更大。如果是矩陣運(yùn)算，我們就差不多或者是優(yōu)勢小一些。”
軟件生態(tài)：不兼容CUDA，為客戶提供更優(yōu)解
從上述介紹來看，C600是主打推理，兼做訓(xùn)練。那么擬未本身的芯片產(chǎn)品，主要應(yīng)用于訓(xùn)練端還是用于推理端呢？
盧濤表示：“我們是訓(xùn)練、推理一體的，只不過針對系統(tǒng)層面會有不一樣的要求。比如說訓(xùn)練，要做大規(guī)模的擴(kuò)展。如訓(xùn)練集群，需要一千個或者幾千個處理器連接在一起。推理不需要那么大規(guī)模的互聯(lián)。訓(xùn)練和推理，我們處理器本身沒有特別大的區(qū)別，更多是從系統(tǒng)層面體現(xiàn)。”
值得一提的是，英偉達(dá)不僅強(qiáng)在硬件，其軟件生態(tài)CUDA更是難以替代。那么，擬未的IPU能兼容CUDA嗎？
盧濤表示：“我們不兼容CUDA，這是一個非常有意思的問題，屬于哲學(xué)層面上的問題。如果你是客戶，詢問是否CUDA兼容，本質(zhì)是想不花任何功夫，或者花很少的精力，把軟件、把應(yīng)用在處理器上用起來。”
他進(jìn)一步分析稱：“這里面就有兩個命題，一是CUDA兼容，但CUDA是英偉達(dá)自己的軟件生態(tài)，是針對英偉達(dá)GPU架構(gòu)實(shí)現(xiàn)的。API你能看得到，但底層各種優(yōu)化，都是針對其GPU體系結(jié)構(gòu)優(yōu)化的，你根本不知道怎么做。二是CUDA不兼容，這就需要盡量減少客戶遷移的成本，讓客戶在極端情況下，不需要做什么就能遷移，或者花比較少的工作量就能遷移。”
封面圖片來源：受訪者供圖
