 【產通社,3月15日訊】美國AI超級計算機公司Cerebras表示,其下一代waferscale AI芯片的性能比上一代產品提高一倍,而消耗相同的功率。晶圓級引擎3(WSE-3)包含4萬億個晶體管,由于使用了更新的芯片制造技術,比上一代產品增加了50%以上。該公司表示,將在新一代AI計算機中使用WSE-3,這些計算機目前安裝在達拉斯的一個數據中心,形成一臺能夠進行8億次浮點運算的超級計算機。 該公司表示,CS-3可以訓練多達24萬億個參數的神經網絡模型,是當今最大LLMs的10倍以上。公司已經與高通達成了一項聯合開發協議,旨在將AI推理的性價比提高10倍。 有了WSE-3,Cerebras可以繼續生產世界上最大的單芯片。該芯片呈正方形,邊長215毫米,使用了幾乎整個300毫米的硅晶圓來制造一個芯片。芯片制造設備通常僅限于生產不超過約800平方毫米的硅片。芯片制造商已經開始通過使用3D集成和其他先進封裝技術來組合多個芯片,從而擺脫這一限制。但即使在這些系統中,晶體管數量也有數百億個。 像往常一樣,如此大的芯片伴隨著一些令人興奮的最高級。 你可以在WSE芯片的繼承中看到摩爾定律的影響。第一個于2019年首次亮相,使用臺積電的16納米技術制造。對于2021年抵達的WSE-2,Cerebras轉向了臺積電的7納米工藝。WSE-3是用這家晶圓巨頭的5納米技術制造的。 自第一個超大規模芯片問世以來,晶體管數量增加了兩倍多。同時,用途也發生了變化。例如,芯片上AI核心的數量明顯持平,內存和內部帶寬也是如此。盡管如此,每秒浮點運算次數的性能提升超過了所有其他指標。 圍繞新AI芯片CS-3構建的計算機旨在訓練新一代巨型大型語言模型,比OpenAI的GPT-4和谷歌的Gemini大10倍。該公司表示,CS-3可以訓練多達24萬億個參數的神經網絡模型,是當今最大LLMs的10倍以上,而無需其他計算機所需的一套軟件技巧。根據Cerebras的說法,這意味著在CS-3上訓練一個1萬億參數模型所需的軟件與在GPU上訓練一個10億參數模型一樣簡單。 可以組合多達2048個系統,這種配置將在一天內從頭開始訓練流行的LLM Llama 70B。不過,該公司表示,目前還沒有那么大的項目。 Cerebras CEO Andrew Feldman表示,神經網絡模型的執行是AI應用的天花板。Cerebras估計,如果地球上每個人都使用ChatGPT,每年將花費1萬億美元——更不用說大量的化石燃料能源了。 Cerebras和高通建立了合作伙伴關系,目標是將推理成本降低10倍。他們的解決方案將涉及應用神經網絡技術,如權重數據壓縮和稀疏性——刪除不必要的連接。這樣,經過大腦訓練的網絡將在高通的新推理芯片AI 100 Ultra上高效運行。(來源:IEEE;編譯:鐠元素)
|