2023 10/30 16:39:55
來源:新華網

中國電腦大會現場百度CTO王海峰揭秘文心大模型4.0

字體:

  新華網瀋陽10月30日電(記者崔師豪)近日,第二十屆中國電腦大會(CNCC2023)在遼寧瀋陽舉辦,國內外電腦領域的專家學者、科技領軍人才、企業代表共同探討計算及資訊科學技術領域最新進展和宏觀發展趨勢。百度首席技術官、深度學習技術及應用國家工程研究中心主任王海峰在會上解讀文心大模型最新技術,闡述大模型産業模式。據了解,自文心一言3月發布至今,文心大模型4.0訓練演算法效率提升3.6倍,周均訓練有效率超過98%,推理性能提升50倍。

  王海峰認為,人工智慧具有多種典型能力,理解、生成、邏輯、記憶是其中的基礎能力,這四項能力越強,越接近通用人工智慧,而大語言模型具備了這四項能力,且越來越強,為發展通用人工智慧帶來了曙光。

  據介紹,百度在3月16日發布知識增強大語言模型文心一言,目前文心一言的基礎模型已迭代到文心大模型4.0版本。知識增強大語言模型從數萬億數據和數千億知識中融合學習,得到預訓練大模型,在此基礎上採用有監督精調、人類反饋強化學習、提示等技術,具備知識增強、檢索增強和對話增強的技術優勢。

  據了解,在推理方面,文心大模型4.0通過大規模邏輯數據構建、邏輯知識建模、多粒度語義知識組合以及符號神經網絡,提升邏輯能力。此外,在輸入和輸出階段都進行知識點增強。而在插件方面,通過數據驅動、提示構建以及插件增強進行場景適配,協同優化。文心一言已上線百度搜索、覽卷文檔、E言易圖、説圖解畫、一鏡流影等原生插件,擴展了大模型能力邊界,更適應場景需要。

  此外,百度進一步研制了智能體機制,包括理解、規劃、反思和進化,能夠做到可靠執行、自我進化,並一定程度上將思考過程白盒化,讓機器像人一樣思考和行動,自主完成復雜任務,在環境中持續學習實現自主進化。

  王海峰表示,基于更強平臺、更優數據、更好演算法,我們訓練出規模更大、效果更好的文心大模型4.0。通過飛槳與文心的協同優化,模型周均訓練有效率超過98%,訓練演算法效率提升3.6倍,推理性能提升50倍。文心4.0的理解、生成、邏輯、記憶四大能力顯著提升,其中理解和生成能力的提升幅度相近,而邏輯和記憶能力的提升則更大,邏輯的提升幅度達到理解的近3倍,記憶的提升幅度也達到了理解的2倍多。

【糾錯】 【責任編輯:劉舒】