|
隨著生成式AI的飛速普及1和計算需求的日益增長2，混合處理的重要性空前突顯。正如傳統計算從大型主機和瘦客戶端演變為當前云端和邊緣終端相結合的模式，AI處理必須分布在云端和終端進行，才能實現AI的規模化擴展并發揮其最大潛能。
與僅在云端進行處理不同，混合AI架構在云端和邊緣終端之間分配并協同處理AI工作負載。云端和邊緣終端（如智能手機、汽車、個人電腦和物聯網終端）協同工作，能夠實現更強大、更高效且高度優化的AI。
節省成本是主要推動因素。舉例來說，據估計使用基于生成式AI的搜索，每一次查詢(query)其成本是傳統搜索方法的10倍3，而這只是眾多生成式AI的應用之一。
混合AI將支持生成式AI應用開發者和提供商利用邊緣側終端的計算能力降低成本。混合AI架構或僅在終端側運行AI，能夠在全球范圍帶來高性能、個性化、隱私和安全等優勢。
混合AI架構可以根據模型和查詢需求的復雜度等因素，選擇不同方式在云端和終端側之間分配處理負載。例如，如果模型大小、提示(Prompt)和生成長度小于某個限定值，并且能夠提供可接受的精確度，推理即可完全在終端側進行。如果是更復雜的任務，模型則可以跨云端和終端運行。
混合AI還能支持模型在終端側和云端同時運行，也就是在終端側運行輕量版模型時，在云端并行處理完整模型的多個token，并在需要時更正終端側的處理結果。
隨著強大的生成式AI模型不斷縮小，以及終端側處理能力的持續提升，混合AI的潛力將會進一步增長。參數超過10億的AI模型已經能夠在手機上運行，且性能和精度達到與云端相似的水平。不久的將來，擁有100億或更高參數的模型將能夠在終端上運行。
混合AI策略適用于幾乎所有生成式AI應用和終端領域，包括手機、筆記本電腦、XR頭顯、汽車和物聯網。這一策略對推動生成式AI規模化擴展，滿足全球企業與消費者需求至關重要。我們堅信，混合處理將成為AI的未來。查詢進一步信息，請訪問官方網站https://www.qualcomm.cn/media/document．/files/hun-he-aishi-aide-wei-lai-di-yi-bu-fen-zhong-duan-ce-aihe-hun-he-aikai-qi-aide-wei-lai.pdf。
|
