| 終端側(cè)AI如何賦能生成式AI實現(xiàn)規(guī)模化擴展 |
| 日期：2023/6/16 21:32:55 作者： |
|
|
|
|
| |
|
|
隨著生成式AI的飛速普及1和計算需求的日益增長2，混合處理的重要性空前突顯。正如傳統(tǒng)計算從大型主機和瘦客戶端演變?yōu)楫斍霸贫撕瓦吘壗K端相結(jié)合的模式，AI處理必須分布在云端和終端進行，才能實現(xiàn)AI的規(guī)模化擴展并發(fā)揮其最大潛能。
與僅在云端進行處理不同，混合AI架構在云端和邊緣終端之間分配并協(xié)同處理AI工作負載。云端和邊緣終端（如智能手機、汽車、個人電腦和物聯(lián)網(wǎng)終端）協(xié)同工作，能夠?qū)崿F(xiàn)更強大、更高效且高度優(yōu)化的AI。
節(jié)省成本是主要推動因素。舉例來說，據(jù)估計使用基于生成式AI的搜索，每一次查詢(query)其成本是傳統(tǒng)搜索方法的10倍3，而這只是眾多生成式AI的應用之一。
混合AI將支持生成式AI應用開發(fā)者和提供商利用邊緣側(cè)終端的計算能力降低成本。混合AI架構或僅在終端側(cè)運行AI，能夠在全球范圍帶來高性能、個性化、隱私和安全等優(yōu)勢。
混合AI架構可以根據(jù)模型和查詢需求的復雜度等因素，選擇不同方式在云端和終端側(cè)之間分配處理負載。例如，如果模型大小、提示(Prompt)和生成長度小于某個限定值，并且能夠提供可接受的精確度，推理即可完全在終端側(cè)進行。如果是更復雜的任務，模型則可以跨云端和終端運行。
混合AI還能支持模型在終端側(cè)和云端同時運行，也就是在終端側(cè)運行輕量版模型時，在云端并行處理完整模型的多個token，并在需要時更正終端側(cè)的處理結(jié)果。
隨著強大的生成式AI模型不斷縮小，以及終端側(cè)處理能力的持續(xù)提升，混合AI的潛力將會進一步增長。參數(shù)超過10億的AI模型已經(jīng)能夠在手機上運行，且性能和精度達到與云端相似的水平。不久的將來，擁有100億或更高參數(shù)的模型將能夠在終端上運行。
混合AI策略適用于幾乎所有生成式AI應用和終端領域，包括手機、筆記本電腦、XR頭顯、汽車和物聯(lián)網(wǎng)。這一策略對推動生成式AI規(guī)模化擴展，滿足全球企業(yè)與消費者需求至關重要。我們堅信，混合處理將成為AI的未來。查詢進一步信息，請訪問官方網(wǎng)站https://www.qualcomm.cn/media/document．/files/hun-he-aishi-aide-wei-lai-di-yi-bu-fen-zhong-duan-ce-aihe-hun-he-aikai-qi-aide-wei-lai.pdf。
|
|
| → 『關閉窗口』 |
|
| |
|
|
|
|
|
|
