數(shù)據(jù)交易導航網是一個數(shù)據(jù)要素市場相關的數(shù)據(jù)交易、數(shù)據(jù)管理、數(shù)據(jù)服務等數(shù)商企業(yè)商業(yè)生態(tài)導航平臺。
網址：https://wenxin.baidu.com/
在模型層，文心大模型一次性發(fā)布11個大模型，涵蓋基礎大模型、任務大模型、行業(yè)大模型的三級體系，全面滿足產業(yè)應用需求；在工具與平臺層，全面升級大模型開發(fā)套件、文心API和提供全流程開箱即用大模型能力的EasyDL和BML開發(fā)平臺，全方位降低應用門檻；新增產品與社區(qū)層，包括AI藝術與輔助創(chuàng)作平臺“文心一格”、產業(yè)級搜索系統(tǒng)“文心百中”和旸谷社區(qū)，讓更多人零距離感受到最先進的AI大模型技術帶來的新體驗。
除行業(yè)大模型外，此次還發(fā)布了5個基礎大模型和1個任務大模型，包括：知識增強輕量級大模型ERNIE 3.0 Tiny、跨模態(tài)理解大模型ERNIE ViL 2.0、跨模態(tài)生成大模型ERNIE ViLG 2.0、文檔智能大模型 ERNIE-Layout、單序列蛋白質結構預測大模型HelixFold-Single和代碼大模型 ERNIE-Code。
其中，知識增強輕量級大模型ERNIE 3.0 Tiny是以ERNIE 3.0千億參數(shù)大模型為師，通過多任務知識蒸餾手段將千億多任務大模型的所學遷移至輕量級模型中，訓練了10億級、億級、千萬級不同體量大小的輕量級大模型。ERNIE 3.0 Tiny具備非常優(yōu)秀的泛化能力，同時相對于超大參數(shù)模型，推理速度提升數(shù)十倍到百倍，能夠顯著降低超大參數(shù)模型落地的成本。ERNIE 3.0 Tiny和ERNIE ViLG大模型將上線“鵬城云腦”，在云腦上精調訓練、部署服務，進一步降低大模型開發(fā)和應用的門檻。
文心大模型工具平臺全面升級，全流程支撐大模型開箱即用
為了讓開發(fā)者更加方便、快速地使用大模型的最新能力，文心大模型工具與平臺進行了全面更新。吳甜介紹到，在工具方面，文心大模型開發(fā)套件全面升級，發(fā)布行業(yè)大模型定制工具，同時提供更加完備的場景化建模工具、更為豐富的模型精調工具，以及大模型可信學習工具，讓大模型開發(fā)訓練更加靈活高效；文心API服務支持多種模型尺寸的精調，體驗專區(qū)提供更多可體驗能力，同時基于大規(guī)模集群算力分布式推理加速能力，可滿足大規(guī)模高性能產業(yè)級調用。
大模型的開發(fā)、訓練、推理部署的門檻是非常高的。為了更好地支持大模型應用落地，飛槳發(fā)布了端到端大模型開發(fā)套件PaddleFleetX。針對大模型的訓練挑戰(zhàn)，PaddleFleetX基于框架自適應分布式訓練能力，根據(jù)模型和硬件平臺的特點，自動感知硬件特性，支持在異構硬件上進行自適應并行訓練。同時，充分發(fā)揮飛槳動轉靜能力優(yōu)勢，進行訓練加速，實現(xiàn)端到端的極致性能優(yōu)化。訓練過程還支持彈性容錯訓練，大幅提升訓練過程的魯棒性。針對大模型推理部署的挑戰(zhàn)，PaddleFleetX提供了大小模型無縫聯(lián)動的能力，以滿足大模型推理對性能的極致要求。同時，PaddleFleetX支持自適應分布式推理技術，真正做到分布式策略的訓推一體，大可支持超大模型的服務化部署，小可協(xié)同極致小型化策略，支持端側輕量化部署。
