面向終端側生成式AI規模化擴展 高通重新定義SoC系統性能-新華網
新華網 > > 正文
2024 06/29 09:11:30
來源:新華網

面向終端側生成式AI規模化擴展 高通重新定義SoC系統性能

字體:

  6月27日,高通公司AI産品技術中國區負責人萬衛星在2024世界移動通信大會(MWC上海)“人工智能領域的投資、創新與生態系統發展”主題會議上發表題為“終端側生成式AI的未來” 的演講。

  萬衛星&&,生成式AI的能力和用例正不斷豐富和擴展,高通通過其創新的SoC系統設計,憑藉面向生成式AI全新設計的NPU和異構計算系統,為終端側AI規模化擴展提供了有力支持。

  “生成式AI正在從雲端遷移到邊緣雲和終端側,未來端雲協同的混合AI將推動生成式AI的規模化擴展。通過在雲和邊緣及終端側之間分配工作負載,我們提供更強大、更高效和高度優化的體驗。”萬衛星説,針對新的AI用例和工作負載,高通重新定義和設計了SoC,定義了一個專為AI而打造的SoC的系統,推出了高通AI引擎這個異構計算系統。高通AI引擎中包含CPU、GPU、NPU,以及超低功耗的高通傳感器中樞。

  演講中,萬衛星詳細介紹了高通SoC的異構計算系統如何滿足豐富的生成式AI用例的多樣化要求,包括對算力等各種KPI的要求。同時,他還介紹了高算力、低功耗NPU的演進路線,以及如何利用第三代驍龍8移動&&率先實現多模態大模型的端側運行。

  去年高通發布的第三代驍龍8移動&&,可以支持完整運行100億參數以上的模型。在AI方面,特別是NPU與前代産品相比有哪些提升?據萬衛星介紹,第一,利用微架構升級提供極致性能;第二,手機作為一個集成度非常高的産品,其功耗一直都是需要重點解決的問題,因此高通為NPU設置了加速器專用電源,實現了更加出色的能效;同時,高通還升級了微切片技術,在算子深度融合層面充分釋放硬體算力和片上內存。除此之外,其他的提升和改進還包括更大的帶寬、更高的主頻等,從而打造出擁有卓越AI性能和能效的SoC。

  “從參數量級的角度來説,2024年及以後我們將有望看到更多100億參數以上的大模型在端側運行,並帶來較好的用戶體驗。”萬衛星説。

  除提供手機SoC,高通也涉足汽車、PC、物聯網、XR等領域,高通AI軟體棧已經賦能其所有産品線的絕大多數AI&&。“這就意味着,我們的合作夥伴和開發者朋友們,只要在高通的一個&&上完成模型的部署,就可以非常方便地遷移到高通的其他産品線。”萬衛星説。

  另據萬衛星介紹,除了提供領先的硬體和靈活的軟體之外,高通也在構建AI生態系統,支持國內外廣泛的終端側生成式AI模型,持續推動AI技術的發展和創新。

【糾錯】 【責任編輯:周靖傑】