4月1日,中國首個自主研發(fā)、開源開放、功能豐富的深度學習平臺飛槳,宣布新一代飛槳框架3.0正式發(fā)布,以“動靜統(tǒng)一自動并行”等五大核心技術創(chuàng)新為大模型訓推提速。
作為大模型時代的Infra“基礎設施”,深度學習框架的重要性愈發(fā)凸顯,大模型訓練、推理等任務都離不開深度學習框架的優(yōu)化與支撐。
飛槳框架3.0從設計理念上實現了從底層硬件適配到頂層開發(fā)體驗的全面進化,在訓練效率、性能、兼容性等關鍵指標上建立了新標桿。其中,“動靜統(tǒng)一自動并行”“大模型訓推一體”“科學計算高階微分”“神經網絡編譯器”“異構多芯適配”這五大技術新特性,系統(tǒng)性解決了當前大模型產業(yè)面臨的訓練成本高、推理效率低、硬件適配難等核心痛點。
飛槳提出的“動靜統(tǒng)一自動并行”技術,大幅降低大模型開發(fā)訓練成本,讓算法創(chuàng)新回歸核心價值創(chuàng)造;同時,“訓推一體”設計理念打破了訓練與推理的割裂狀態(tài),通過全方位深度優(yōu)化,飛槳框架3.0能夠支持眾多開源大模型進行高性能推理,并在DeepSeek V3/R1上取得了突出的性能表現。
目前,飛槳框架3.0支持文心4.5、文心X1等多款主流大模型,DeepSeek-R1滿血版單機部署吞吐提升一倍。通過技術算法創(chuàng)新,飛槳讓低時延、高吞吐、低算力成本的推理服務成為了現實。
同時,在科學智能領域,飛槳框架3.0錨定科學前沿探索需要,提升微分方程求解速度。通過高階自動微分和神經網絡編譯器技術,加速微分方程求解,速度比PyTorch開啟編譯器優(yōu)化后的2.6版本平均快115%。飛槳還對DeepXDE、Modulus 等主流開源科學計算工具進行了廣泛適配,并成為 DeepXDE 的默認推薦后端。其展現的科學智能潛力在氣象預測、生命科學、航空航天等領域具有廣泛的應用價值。
此外,在運算速度上,借助創(chuàng)新研制的神經網絡編譯器CINN,實現性能的顯著提升,部分算子執(zhí)行速度提升4倍,模型端到端訓練速度提升27.4%。
在硬件適配方面,飛槳框架3.0推出了多芯片統(tǒng)一適配方案,構建“一次開發(fā),全棧部署”的生態(tài)體系。目前已支持60余款主流芯片,覆蓋訓練集群、自動駕駛、智能終端等場景,開發(fā)者只需編寫一份代碼即可實現跨芯片無縫遷移,硬件適配成本直降80%。
公開信息顯示,早在2016年飛槳首次開源,并于2018年發(fā)布1.0版本,填補了國內深度學習框架空白;到2021年2.0版本發(fā)布,成熟完備的動態(tài)圖模式引領行業(yè),更強大的分布式訓練能力,兼具了易用性與靈活性;再到如今飛槳框架3.0發(fā)布,專為大模型設計,以五大特性開啟大模型時代。
截至2024年10月,飛槳文心生態(tài)已凝聚1808萬開發(fā)者,服務了43萬家企事業(yè)單位,創(chuàng)建了101萬個模型。
友情鏈接: 政府 高新園區(qū)合作媒體
Copyright 1999-2024 中國高新網chinahightech.comAll Rights Reserved.京ICP備14033264號-5
電信與信息服務業(yè)務經營許可證060344號主辦單位:《中國高新技術產業(yè)導報》社有限責任公司