亚洲日韩欧洲乱码AV夜夜摸,国产亚洲精品免费,亚洲毛片在线免费观看

加入收藏

今天是：2025年7月7日星期一您現在位于：首頁 → 智造 → 辦公電子（應用指南）

Graphcore PopRT實現零代碼模型推理部署

日期：2023/4/16 12:01:28 作者：

當你和ChatGPT聊天時，你有沒有想過，在那個閃爍的光標背后，正在發生什么？

ChatGPT在收到你的輸入指令后，到生產出答案的過程就是推理。AI推理是將用戶輸入的數據，通過訓練好的模型產生有價值信息的過程。在LLM類模型應用、自動駕駛、量化交易、搜索、推薦等很多場景中，對于AI推理效率的要求非常高。為進一步幫助克服AI應用部署的時延痛點，Graphcore搭配C600推出了高性能推理SDK——PopRT，幫助開發者實現零代碼推理部署已經訓好的模型，同時帶來低時延和高吞吐量，極大縮短AI業務商業變現時間窗口，為企業用戶贏得市場先機。

PopRT構成

PopRT包括轉換器、編譯器和運行時：

    轉換器
        提供對op-fusion、constant-folding等廣泛使用的優化方法內置支持
        提供對FP16和FP8訓練后量化的內置支持，這種訓練后量化可以實現更低的時延和更高的吞吐量，并且精度損失很小
        支持將多個模型融合為一個
    編譯器
        支持模型切分和流水線
        為運行時導出PopEF（Poplar可執行格式）
    運行時
        支持自動批處理
        支持移除填充以減少對自然語言處理（NLP）模型的無用計算（或通過移除填充對自然語言處理模型進行更有效的推理）
        支持針對CV（計算機視覺）模型的多模型推理

部署和運行

Graphcore始終堅持降低IPU的使用門檻，廣泛支持各類主流的機器學習框架，讓開發者能夠在自己熟悉的環境中工作，專注創新。

PopRT優化模型可與英偉達Triton和TF-Serving一起部署，并可以通過PopRT運行時API很容易地與第三方框架和服務平臺集成。

優化推理性能

搭配Grapchore C600高端推訓一體加速卡，PopRT使得開發者可以“一鍵”零代碼部署已經訓練好的AI應用，可以大幅加速計算機視覺、自動語音識別、自然語言處理（BERT、GPT類）、多模態和推薦系統的AI應用的部署速度，加速整個數據中心的各項工作負載，縮短研發到商用的時間。

欲了解各類模型在C600的優異性能，請聯系info_china@graphcore.ai

在C600上使用PopRT

C600是擬未為云和數據中心打造的高端推訓一體加速卡，主打推理，兼做訓練，可以支持各種主流的AI應用，在搜索和推薦等業務上別具優勢。為了使得C600在推理場景發揮更大效能，PopRT在C600的基礎上進一步針對推理進行了優化，低時延和高吞吐使得用戶可以高效地進行推理，一鍵部署已經訓好的模型。

現在，15億參數量的GPT2-XL已經在C600上成功部署（詳情請見本次推送首條）。在PopRT的加持下，GPT2-XL的推理延時在C600上已經達到1 ms/token的水平。這意味著在實際應用場景中，模型可以快速響應用戶的請求，極大提高用戶體驗。

查詢進一步信息，請訪問官方網站