国产中文在线亚洲精品官网,亚洲乱码一区二区三区国产精品,亚洲一区无码中文字幕

加入收藏

今天是：2025年5月10日星期六您現(xiàn)在位于：首頁(yè) → 智造 → 辦公電子（應(yīng)用指南）

Graphcore PopRT實(shí)現(xiàn)零代碼模型推理部署

日期：2023/4/16 12:01:28 作者：

當(dāng)你和ChatGPT聊天時(shí)，你有沒(méi)有想過(guò)，在那個(gè)閃爍的光標(biāo)背后，正在發(fā)生什么？

ChatGPT在收到你的輸入指令后，到生產(chǎn)出答案的過(guò)程就是推理。AI推理是將用戶輸入的數(shù)據(jù)，通過(guò)訓(xùn)練好的模型產(chǎn)生有價(jià)值信息的過(guò)程。在LLM類(lèi)模型應(yīng)用、自動(dòng)駕駛、量化交易、搜索、推薦等很多場(chǎng)景中，對(duì)于AI推理效率的要求非常高。為進(jìn)一步幫助克服AI應(yīng)用部署的時(shí)延痛點(diǎn)，Graphcore搭配C600推出了高性能推理SDK——PopRT，幫助開(kāi)發(fā)者實(shí)現(xiàn)零代碼推理部署已經(jīng)訓(xùn)好的模型，同時(shí)帶來(lái)低時(shí)延和高吞吐量，極大縮短AI業(yè)務(wù)商業(yè)變現(xiàn)時(shí)間窗口，為企業(yè)用戶贏得市場(chǎng)先機(jī)。

PopRT構(gòu)成

PopRT包括轉(zhuǎn)換器、編譯器和運(yùn)行時(shí)：

    轉(zhuǎn)換器
        提供對(duì)op-fusion、constant-folding等廣泛使用的優(yōu)化方法內(nèi)置支持
        提供對(duì)FP16和FP8訓(xùn)練后量化的內(nèi)置支持，這種訓(xùn)練后量化可以實(shí)現(xiàn)更低的時(shí)延和更高的吞吐量，并且精度損失很小
        支持將多個(gè)模型融合為一個(gè)
    編譯器
        支持模型切分和流水線
        為運(yùn)行時(shí)導(dǎo)出PopEF（Poplar可執(zhí)行格式）
    運(yùn)行時(shí)
        支持自動(dòng)批處理
        支持移除填充以減少對(duì)自然語(yǔ)言處理（NLP）模型的無(wú)用計(jì)算（或通過(guò)移除填充對(duì)自然語(yǔ)言處理模型進(jìn)行更有效的推理）
        支持針對(duì)CV（計(jì)算機(jī)視覺(jué)）模型的多模型推理

部署和運(yùn)行

Graphcore始終堅(jiān)持降低IPU的使用門(mén)檻，廣泛支持各類(lèi)主流的機(jī)器學(xué)習(xí)框架，讓開(kāi)發(fā)者能夠在自己熟悉的環(huán)境中工作，專(zhuān)注創(chuàng)新。

PopRT優(yōu)化模型可與英偉達(dá)Triton和TF-Serving一起部署，并可以通過(guò)PopRT運(yùn)行時(shí)API很容易地與第三方框架和服務(wù)平臺(tái)集成。

優(yōu)化推理性能

搭配Grapchore C600高端推訓(xùn)一體加速卡，PopRT使得開(kāi)發(fā)者可以“一鍵”零代碼部署已經(jīng)訓(xùn)練好的AI應(yīng)用，可以大幅加速計(jì)算機(jī)視覺(jué)、自動(dòng)語(yǔ)音識(shí)別、自然語(yǔ)言處理（BERT、GPT類(lèi)）、多模態(tài)和推薦系統(tǒng)的AI應(yīng)用的部署速度，加速整個(gè)數(shù)據(jù)中心的各項(xiàng)工作負(fù)載，縮短研發(fā)到商用的時(shí)間。

欲了解各類(lèi)模型在C600的優(yōu)異性能，請(qǐng)聯(lián)系info_china@graphcore.ai

在C600上使用PopRT

C600是擬未為云和數(shù)據(jù)中心打造的高端推訓(xùn)一體加速卡，主打推理，兼做訓(xùn)練，可以支持各種主流的AI應(yīng)用，在搜索和推薦等業(yè)務(wù)上別具優(yōu)勢(shì)。為了使得C600在推理場(chǎng)景發(fā)揮更大效能，PopRT在C600的基礎(chǔ)上進(jìn)一步針對(duì)推理進(jìn)行了優(yōu)化，低時(shí)延和高吞吐使得用戶可以高效地進(jìn)行推理，一鍵部署已經(jīng)訓(xùn)好的模型。

現(xiàn)在，15億參數(shù)量的GPT2-XL已經(jīng)在C600上成功部署（詳情請(qǐng)見(jiàn)本次推送首條）。在PopRT的加持下，GPT2-XL的推理延時(shí)在C600上已經(jīng)達(dá)到1 ms/token的水平。這意味著在實(shí)際應(yīng)用場(chǎng)景中，模型可以快速響應(yīng)用戶的請(qǐng)求，極大提高用戶體驗(yàn)。

查詢(xún)進(jìn)一步信息，請(qǐng)?jiān)L問(wèn)官方網(wǎng)站