這兩年AI領域最熱的一個詞就是大模型，全球的科技巨頭紛紛落子。為什么大模型這么熱？

我們正在經歷第四次工業革命，核心的驅動力就是人工智能。但是在產業初期，不同行業、不同場景對AI的需求既復雜且碎片，同時AI人才也相對稀缺，所以很多企業靠人工去開發AI應用，成本高、效率低、落地慢。AI成為真正的驅動力，就需要很強的通用性，這就是大模型的價值所在——大模型已成為AI領域軍備競賽的關鍵。

今天，百度聯合鵬城實驗室重磅發布雙方共同研發的全球首個知識增強千億大模型——鵬城-百度·文心（模型版本號：ERNIE 3.0 Titan），該模型參數規模達到2600億，相比GPT-3的參數量提升50%，在60多項任務中取得最好效果。

鵬城-百度·文心大模型的落地，讓中國在AI軍備賽中又增加一枚重要籌碼。

多方優勢打造“核武器”

我們知道，AI取決于算力、算法、數據三個要素，而鵬城-百度·文心大模型在這三要素上都有著不可替代的領先性。

• 先看算力優勢。

鵬城-百度·文心由鵬城實驗室提供算力。我們知道，AI對于算力的要求非常高，并不是每個企業都有能力搭建如此強大的算力中心，鵬城實驗室就是在這樣的背景下成立的、為行業提供強大算力的一個平臺。“鵬城云腦Ⅱ”主要提供人工智能研究必須的計算力資源、存儲資源、網絡資源、數據資源和研究環境，覆蓋人工智能基礎研究、重大應用、操作系統、數據資源共享、產業服務等專門研究實驗領域。鵬城云腦Ⅱ算力集群是我國首個國產E級AI算力平臺，吞吐性能國際領先，蟬聯全系統輸入輸出和10節點規模系統兩項世界冠軍。如此強大的“鵬城云腦II”成為大模型研發的肥沃土地，文心大模型因為數據量大，對算力要求極高，所以選擇與鵬城實驗室合作。

飛槳超大模型訓練與推理

• 再看架構與算法優勢。

大模型的訓練和推理對深度學習框架帶來很大的挑戰，而百度自研的飛槳是國內首個自主研發、功能豐富、開源開放的產業級深度學習平臺，在深度學習模型開發、訓練、推理和部署等方面，飛槳已可比肩TensorFlow、PyTorch等國際主流框架。飛槳具備開發便捷的深度學習框架、超大規模深度學習模型訓練技術、多端多平臺部署的高性能推理引擎、產業級開源模型庫四大領先技術。

據最新調研報告顯示，在IDC 2021年上半年深度學習框架平臺市場份額調研中，百度位列中國深度學習平臺市場綜合份額第一。百度飛槳、Google、Facebook形成鼎立格局，其中飛槳是市場三強中唯一國產品牌，并持續穩步增長。市場數據顯示，飛槳企業版EasyDL連續兩年保持市場排名首位，BML百度全功能AI開發平臺顯現強勁增速。

飛槳的端到端自適應分布式框架，實現了數據并行、模型并行、流水線并行、分組參數切片等等，使得超大規模的訓練能夠得以有效實現，鵬城-百度·文心模型并行效率高達90%。

在算法上，為提升模型語言理解和生成能力，百度提出了可控學習與可信學習算法。在可控學習方面，通過將模型預測出的文本屬性和原始文本進行拼接，構造從指定屬性生成對應文本的預訓練數據，模型通過對該數據的學習，實現不同類型的零樣本生成能力。在可信學習方面，針對模型生成結果與真實世界的事實一致性問題，通過自監督的對抗訓練，讓模型學習區分數據是真實的還是模型偽造的，使得模型對生成結果真實性具備判斷能力，從而讓模型可以從多個候選中選擇最可靠的生成結果，顯著提升了生成結果的可信度。

• 最后再看數據優勢。

AI訓練取決于數據量，數據越多訓練出來的AI越聰明。文心大模型與眾不同之處在于除了在海量無結構數據學習以外，還融合了大規模的知識，所以文心被稱為知識增強大模型。我們知道，知識是做搜索起家的百度的天然優勢。該千億大模型學習了多源異構的大規模數據與知識。百度知識增強大模型能夠從大規模知識和海量無結構數據中融合學習，學習效率更高、效果更好，具有良好的可解釋性。

由此可見，鵬城-百度·文心大模型集合了最強算力----鵬城云腦II、最強AI架構——百度飛槳、再結合知識增強這樣的核心特色，三方面的優勢相結合，形成了一個重磅“核武器”，為中國AI產業軍備又填了一枚籌碼。

百度知識基因成就“與眾不同”

其實，這兩年在大模型熱下，全球幾大科技巨頭不斷刷新大模型的數據量上線。2017年Transformer結構的提出，使得深度學習模型參數突破了1億，隨后模型參數一個比一個大，到了BERT網絡模型的提出，使得參數量首次超過3億規模，GPT-3模型超過百億，鵬城盤古實現千億稠密的規模，而此次百度文心參數規模達到2600億，相信這個記錄很快也會再次刷新。

大模型似乎沒有最大、只有更大。事實上，“大”只是一個相對值。AI的價值除了數據量大，還由很多方面的因素構成，不同大模型需要有自己的特色。

在懂懂看來，鵬城-百度·文心大模型眾不同之處就在于數據與知識的結合，這也是百度的獨特優勢所在，所以文心定位是知識增強大模型。

眾所周知，知識是人類智慧的結晶，是人類進步的重要推動力。想讓計算機像人一樣理解和認知世界，也需要讓計算機具備獲取、運用知識的能力。百度提出了知識增強大模型“文心”，突破了多源異構數據難以統一表示與學習的瓶頸。文心如同站在巨人的肩膀上，訓練效率和理解準確率大幅提升，并具備更好的可解釋性。據悉，隨著模型不斷進展，現在不僅能做理解，還能做生成，比如說要做知識推理、小說續寫、歌詞創作、作詩，這些都可以做得很好。

• 首先看跨語言。

人類歷史長河中曾經有幾萬種語言。從縱向看，一個國家、地區在不同時代有不同的語言。從橫向看，同一時代不同國家甚至不同地區都有不同的官方語言。所以同一語義可能會有很多種不同的表達。為此，百度研制了知識增強跨語言大模型ERNIE-M，可同時從多種語言中學習，提升跨語言理解能力，讓機器有了同時學習和理解多種語言的能力。

比如，做機器翻譯的時候，以前是需要雙語對照的，一句中文對應一句英文的譯文，現在基于文心大模型不必再死板的一一對照，而是非平行語料。

• 其次是跨模態。

人類是通過語言、語音、視覺等多種模態獲得對真實世界的統一認知。AI如果像人一樣理解真實世界，不僅需要聽懂語音、看懂圖像視頻、理解語言，這就需要突破不同模態、異構信息的語義融合統一難題。百度提出知識增強跨模態大模型，包括理解大模型ERNIE-ViL、生成大模型ERNIE-ViLG，實現了復雜場景的多層次、高精度語義理解。其中，理解大模型ERNIE-ViL在視覺常識推理任務榜單獲得第一名；生成大模型ERNIE-ViLG實現文圖雙向生成，是全球規模最大中文跨模態生成模型。

AI的“輪子”駛向千行百業

我們在文章的開篇就講過，千行百業對于AI的期待都很高，但AI面臨落地難的問題。大模型堪稱AI的“輪子”，輪子造好了，行業應用也就會越跑越快，加速AI的落地。正如高文院士所說，“預訓練模型對整個科學的發展、社會的發展、創新的發展都是非常重要的工具。運用這個工具，可以幫助做很多人工智能的賦能，不局限于某個領域，這對人工智能的發展都是一個福音。”

文心大模型是百度大腦最新的核心技術突破，能夠做到效果提升、帶來成本降低、實現應用便捷，大幅降低AI應用門檻，滿足各種場景需求，加速產業的智能化升級。

這一次文心大模型不是一個泛泛的模型，而是帶來了“全景圖”，其中既包含基礎通用的大模型，也包含面向重點領域和重點任務的大模型，比如NLP（自然語言理解）大模型、CV（計算機視覺）大模型和跨模態大模型。同時，還有豐富工具與平臺支撐高效便捷的應用開發，包括EasyDL-大模型零門檻AI開發平臺和BML-大模型全功能AI開發平臺，以及大模型開發工具、大模型輕量化工具和大模型部署工具。這就相當于不僅鋪好了公路，還造好了汽車，具體往哪開就看不同客戶的不同需求了。

保險公司合同業務處理是一大難點，任務繁重、人員緊張、工作強度大、準確性和及時性要求高。一份合同需要完成近40個類目的條款解析分類，人工處理一份合同大概需要小半天時間，無論是人力成本、處理效率還是及時性都是行業業務環節中如何提高產能與效率的巨大挑戰。通過百度文心大模型賦能，國內一家大型保險公司定制了保險合同條款智能解析模型，業務員處理單份合同文本的時長縮短到1分鐘，速度是之前的幾十倍，大大提升了工作效率。

中國聯通作為國內領先的運營商，服務上億用戶，一方面要更好的客戶體驗，另一方面也要不斷降低成本，傳統的服務模式已經不能滿足需求。中國聯通與百度合作，聯手打造了集約化智慧客服，面向場景可定制的對話技術。該技術以文心大模型強大的語義表示能力為基礎，建立了面向對話理解問題的專用預訓練模型。在保持優異應用效果的同時，該模型對數據標注量的需求降低45%以上，顯著提升了智能客服業務鋪開的效率。

鵬城-百度·文心大模型是融合了自然語言理解和自然語言生成的全能模型，致力于解決傳統AI模型泛化性差、強依賴昂貴人工標注數據、落地成本高等應用問題，滿足真實場景中的應用需求，在各類AI應用場景都具備了極強的泛化能力。也就是說，有了鵬城-百度·文心大模型這個基礎，在面向不同的任務、在不同的應用場景里做少量任務數據進行遷移學習，就可以應用于很多場景。

經過這幾年發展，百度文心大模型已經應用于很多行業，比如說通信、金融、醫療、保險、證券、辦公、互聯網、醫療等等行業。隨著這次文心大模型全景圖的發布，百度AI也將加快滲透，在更多行業中開花結果。