7月6日至7月8日，2023世界人工智能大會在上海舉辦。7月6日下午，Graphcore（中文名“擬未”）總裁、大中華區總經理盧濤接受了《每日經濟新聞》記者專訪。
(資料圖片僅供參考)
本屆大會評選出九大“鎮館之寶”，擬未“Graphcore C600 IPU處理器PCIe卡”就位列其中。據悉，Graphcore C600 IPU處理器PCIe卡主打推理，兼做訓練，可以支持各種主流的AI應用，在搜索和推薦等業務上具有一定優勢。它在提供低延時、高吞吐量的同時不損失精度，幫助AI開發人員解決“精度與速度難兩全”的痛點。
Graphcore總裁、大中華區總經理盧濤
圖片來源：受訪者供圖
值得一提的是，C600在提供強大的算力、易用性和靈活性的同時，還實現了低時延和低功耗，在運行典型工作負載時的散熱設計功耗為185瓦，可為運維人員減少數據中心運營開支。
IPU與GPU有何差異？
目前，業界普遍使用英偉達的GPGPU作為算力芯片，擬未的IPU和英偉達的GPGPU相比，有何差異呢？
盧濤表示：“首先從設計理念上，就和（英偉達）挺不一樣的。一是計算架構不一樣，二是存儲架構不一樣。我們是綜合了非常多個核的處理器，比如C600，每個IPU具有1472個處理核心，能夠并行運行8832個獨立程序線程。而英偉達GPU的SM Core（stream multiprocessor核心）大概是100多個，不同產品配置不一樣。其所謂的CUDA Core和Tensor Core其實是掛在SM上面的加速器、運算器。CUDA Core只是一個運算單元。”
圖片來源：每經記者 朱成祥 攝
存儲架構方面，盧濤表示：“無論是英偉達的GPU，還是谷歌的TPU，都是兩級內存。一級是（顯示）芯片里面有一個四五十兆的內存，外面掛著HBM或者顯存。我們IPU，在芯片里面就有900兆的片上SRAM存儲，并且是分布式的。之前我們所說的1472個處理核心，跟片上SRAM存儲是耦合在一起的。”
IPU這種架構有何好處呢？盧濤稱：“計算（核心）跟存儲耦合，非常適合做稀疏化，以及做一些高維運算。跟GPU對比，如果對稀疏性要求比較高、高維方面要求比較高，我們的優勢會更大。如果是矩陣運算，我們就差不多或者是優勢小一些。”
軟件生態：不兼容CUDA，為客戶提供更優解
從上述介紹來看，C600是主打推理，兼做訓練。那么擬未本身的芯片產品，主要應用于訓練端還是用于推理端呢？
盧濤表示：“我們是訓練、推理一體的，只不過針對系統層面會有不一樣的要求。比如說訓練，要做大規模的擴展。如訓練集群，需要一千個或者幾千個處理器連接在一起。推理不需要那么大規模的互聯。訓練和推理，我們處理器本身沒有特別大的區別，更多是從系統層面體現。”
值得一提的是，英偉達不僅強在硬件，其軟件生態CUDA更是難以替代。那么，擬未的IPU能兼容CUDA嗎？
盧濤表示：“我們不兼容CUDA，這是一個非常有意思的問題，屬于哲學層面上的問題。如果你是客戶，詢問是否CUDA兼容，本質是想不花任何功夫，或者花很少的精力，把軟件、把應用在處理器上用起來。”
他進一步分析稱：“這里面就有兩個命題，一是CUDA兼容，但CUDA是英偉達自己的軟件生態，是針對英偉達GPU架構實現的。API你能看得到，但底層各種優化，都是針對其GPU體系結構優化的，你根本不知道怎么做。二是CUDA不兼容，這就需要盡量減少客戶遷移的成本，讓客戶在極端情況下，不需要做什么就能遷移，或者花比較少的工作量就能遷移。”
封面圖片來源：受訪者供圖
