?6月1日上午，在聚集了200余位國內外頂尖AI專家的2021北京智源大會開幕式上，北京智源人工智能研究院發布全球最大預訓練模型——“悟道2.0”巨模型，參數量高達1.75萬億！

北京智源大會是由智源研究院主辦的年度國際性AI高端學術交流會議，定位于“內行的AI頂級會議”，旨在成為北京乃至中國AI發展的學術名片。

而此次重磅發布的“悟道2.0”巨模型，是中國首個全球最大萬億模型，比有1.6萬億個參數的谷歌最大模型Switch Transformer，足足多了1500億個參數；是OpenAI GPT-3模型參數量的10倍。

此外，“悟道2.0”還取得多項世界級創新突破，在預訓練模型架構、微調算法、效預訓練框架等面實現了原始理論創新，并在世界公認的AI能排名榜單上，取得9項能?的領先地位。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI▲智源“悟道”智能模型：大模型+大平臺+大生態

尤其值得提的是，這個由智源副院、清華、學教授唐杰率領中國科學家團隊聯合攻關的萬億模型，首次100%基于國產超算平臺打造、運中國技術，打破原來只能用GPU訓練模型的問題。

智源研究院還與新華社戰略合作，將悟道模型應用于新聞數字化轉型；并合作智譜AI、微軟小冰公司，聯合培養準備進入清華唐杰實驗室的中國首位原創虛擬學生“華智冰”。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI▲中國首位原創虛擬學生“華智冰”：基于“悟道2.0”大模型和小冰框架的AI內容生成技術生成

一、萬億模型新里程碑，9項頂尖AI能力

這個全球最大、中國首個萬億參數的雙語多模態模型，究竟能做什么？

悟道同時支持NLP理解、生成任務與文生圖、圖生文任務。簡單來說，從作詩寫文、對聯問答到配圖猜圖、繪畫設計，它都能與人類一較高下。

在世界公認的9項Benchmark上，悟道2.0均取得了頂尖能力水平，達到了精準智能。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI▲悟道2.0在9項Benchmark上取得的新成就

以悟道模型包含的全球最大中文多模態生成模型CogView為例，這個模型有40億個參數，代表了世界頂尖的?圖繪畫能?。

CogView克服了做文圖模型在半精度下因為上下溢無法正常收斂的關鍵問題，也是繼DALL·E之后少有的通?領域?圖模型。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI▲CogView：精度最高的通用領域文圖模型

在MS COCO文本生成圖像任務權威指標FID上，CogView打敗OpenAI擁有130億參數的DALL·E模型，獲得世界第一。

給一段符合現實場景或者天馬行空的話，比如“金發女郎打電話”、“素描房子”，或者“老虎踢足球”、“一個人在月球上騎自行車”，CogView都能創作出相應的圖像。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI▲生成符合句子含義的圖像

CogView也能直接實現類似于OpenAI CLIP模型的?評分功能，且畫風多元，中國畫、卡通畫、輪廓畫、油畫等等都能生成。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI▲生成各種風格的“東方明珠”

CogView還能充當設計師。比如，通過與阿?巴巴達摩院智能計算組合作，CogView經過GAN的增強后，應?到阿?的服飾設計業務。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI▲將CogView經過GAN增強后應用到阿里的服飾設計業務

或許，你的購物?里，就躺著“悟道”的設計。

如果說CogView展現了AI的最佳實際作畫能?，神經元可視化技術，則突破想象地描繪出AI的夢境——對于?個給定的文本概念，得到與其特征表示最為接近的圖像可視化。

從如下圖示，多模態預訓練后的神經?絡已經能“看到”抽象的人類概念。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI▲生成“圣誕”、“夢境”等抽象概念

AI的想象世界，也許有人類手筆所無法觸碰的美輪美奐。

除了按字生圖外，悟道也能實現根據圖片來生成描述圖片內容的流暢語句，并能預測每個動畫圖像的準確標簽，大大提高圖像標記任務的效率，這給自動生成字幕、將圖片與對應“金句”、歌詞相匹配等應用帶來便利。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI▲理解圖像信息并提煉關鍵標簽

目前，悟道多項應用正在逼近突破圖靈測試。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI

二、為什么“全球最大”模型，會出現在智源？

“悟道”攻關團隊由智源副院?、清華?學教授唐杰領銜，清華、北大、大、中科院等100余位科學家聯合攻關，形成了AI的特戰團隊。

今年3月20日，智源研究院發布我國首個超大規模智能模型“悟道1.0”，包含中文、多模態、認知、蛋白質預測在內的系列模型，取得了多項國際領先的AI技術突破。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI▲“悟道2.0”超大規模預訓練模型陣容及最新成果

這一項目的啟動，要追溯到2020年6月。當時OpenAI擁有1750億個參數的超大規模語言模型GPT-3橫空出世，火速紅遍全球AI圈。

在接受智東西專訪時，智源研究院理事長張宏江評價說：“GPT-3的誕生，標志著AI已經從過去15年發展中的算法突破，進入大系統的突破。”

預見到大模型的里程碑意義后，智源的核心成員迅速做了一番研究，判斷這對中國AI產業至關重要。經過與產學政多方交流，智源隨即做出決策并組建團隊，專攻大模型。

研發大模型絕非易事，超大規模算力、足質足量的數據、算法根基深厚的學者缺一不可。

而介乎于產學政之間的智源研究院，恰恰具備高效整合這些資源的能力。這也是為什么，智源團隊在短短幾個月內，即創下“悟道”巨模型的新紀錄。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI▲“悟道2.0”巨模型

“悟道”萬億模型一統文本與視覺兩大陣地，支持中英雙語，在共4.9T的高質量清洗數據上訓練。

從技術突破來看，悟道·文匯基于GLM+CogView+FastMoE技術，CogView已經在前文聊過，GLM2.0、FastMoE技術也都值得一提。

最大的英文通用預訓練模型GLM2.0曾首次打破BERT和GPT壁壘，開創性地以單?模型兼容所有主流架構。

新代版本更是模型創新、以少勝多的高性能AI典范：以100億參數量，足以匹敵微軟170億參數的Turing-NLG模型，取得多項任務的更優成績。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI

開創性的FastMoE技術，是打破國外技術瓶頸，實現“萬億模型”基石的關鍵。

此前因谷歌萬億模型的核心參數MoE（Mixture of Experts）和其昂貴的硬件強綁定，絕多數無法得到使用與研究機會。

MoE是個在神經網絡中引入若專家絡（Expert Network）的技術，能直接推動預訓練模型經從億級參數到萬億級參數的跨越，但它離不開對谷歌分布式訓練框架mesh-tensorflow和谷歌定制硬件TPU的依賴。

而FastMoE打破了這個限制：作為首個支持PyTorch框架的MoE系統，它簡單易用、靈活、?性能，且?持大規模并行訓練。

FastMoE由“悟道文匯”和“悟道文溯”兩個研究小組聯合攻關，可在不同規模的計算機或集群上支持探索不同的MoE模型在不同領域的應用，相比直接使用PyTorch實現的版本，提速47倍。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI▲單GPU多experts情況下，FastMoE相比普通PyTorch實現的加速比

新一代FastMoE支持Switch、GShard等復雜均衡策略，持不同專家不同模型，最大測試了幾萬個專家的MoE訓練。

FastMoE已基于阿里PAI平臺，探索在支付寶智能化服務體系中的應用；亦在國產神威眾核超算平臺成功部署。

目前該技術已經開源，這為萬億模型實現?案補上了最后?塊短板。

此外，智源提出FewNLU小樣本學習系統，在小樣本學習自然語言理解任務上實現新SOTA，極大縮小了與全監督學習條件下微調性能的差距。

其中包含的P-tuning 2.0算法，歷史上首次實現自回歸模型在理解任務上超越自編碼模型，極大拉近少樣本學習和全監督學習的差距，少樣本學習能力遙遙領先。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI▲“悟道”攻關團隊成員

三、高效易用，全部開源

“效易用”是“悟道2.0”巨模型的另?張標簽。

?規模預訓練模型的參數規模，通常遠超傳統的專?AI模型，在算?資源、訓練時間等?面消耗巨大。

為了提升?規模預訓練模型的產業普適性和易用性，悟道團隊搭建高效預訓練框架，實現了全鏈路的原創突破或迭代優化，預訓練效率?幅提升，并且全部開源。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI▲面向預訓練模型的全鏈路高效訓練框架CPM-2

（1）?效編碼：研發了最高效、最抗噪的中?預訓練語?模型編碼，解決僻字等問題；

（2）?效模型：構建了世界首個純非歐空間模型，只需一半的參數量，即可達到近似歐式模型的效果；

（3）?效訓練：世界首創規模預訓練模型融合框架，形成效訓練新模式，訓練時間縮短27.3%，速度提升37.5%；

（4）?效微調：世界首創多類別Prompt微調，只需訓練0.001%參數，即可實現下游任務適配；

（5）高效推理：世界首創低資源?模型推理系統，單機單卡GPU可進千億規模的模型推理。

悟道·文源還包含世界最大中文自然語言能力評測數據集，這是目前最全面系統的中文自然語言能力評測基準，能綜合反映模型的語言能力。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI▲智源指數

此外，智源研究院打造了全球最大的中語料庫WuDaoCorpora，擴展了多模態和對話兩?全新元素，再次升級創造3項全球最：最中文本數據集、多模態數據集、中對話數據集。

除了規模，該語料庫仍延續了標簽全、隱私保護好的優勢特征。WuDaoCorpora2.0也將進行部分開放，為產業與研究進數據持。

四、已合作21家企業，“悟道”生態圈擴張中

智源研究院理事長張宏江認為，模型將成為個AI未來平臺的起點，成為類似“電”的基礎建設，為社會源源不斷供應智源。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI▲智源研究院理事長張宏江演講

張宏江說，“悟道2.0”智能模型系統將構建“大模型、大平臺、大生態”。

一是以“大規模”“高精度”“高效率”為發展目標，持續研發大模型；二是圍繞大模型研發，構建大規模算力平臺，支撐信息、生命、物理領域的大模型研發；三是通過示范應用搭建、API開放、開源社區等，構建大模型生態。

悟道大模型已在產業智能應面全開花。

例如，智源研究院與新華社戰略合作，將悟道大模型應?于新聞智能化轉型，實現了新聞領域0到1的突破。

“悟道”能處理新聞下游任務，如新聞內容處理、圖?生成、傳播優化等，它還具備接近人類的圖?創意能力，可以作詩、問答或進行創意寫作。

此外，中國首位原創虛擬學生“華智冰”也現身智源大會開幕式。這個AI學生拜智源副院長、清華?學教授唐杰為師，今日進入清華實驗室學習。

“她”具備持續學習新知識和回答復雜推理問題的能力，將逐漸學會寫詩、作畫、唱歌、編程等各種內容創作技能。

 ▲AI學生“華智冰”演示視頻：背景音樂、面容、詩詞、繪畫作品，均基于“悟道2.0”大模型和小冰框架的AI內容生成技術

“華智冰”由智源研究院、智譜AI與小冰公司聯合培養，基于智源悟道2.0超大模型、小冰AI完備框架、智譜AI數據與知識雙輪驅動的AI框架而實現。研究人員們期望，“華智冰”在知識水平、情商等方面都會不斷成長。

“悟道”模型現已與美團、米、快、搜狗、360、寒武紀、好未來、新華社等21家產業生態合作企業進行戰略合作簽約，涵蓋?業應?企業、IT?頭企業、中創新企業等。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI

▲悟道生態戰略合作伙伴

同時，智源發起組建“悟道”?模型技術創新?態聯盟的倡議，吸引更多企業加入，將以聯盟為樞紐，以企業需求為導向，推動模型研發，共同開發基于“悟道”模型的智能應用，從而促進產業集聚。

圍繞“悟道”模型產業生態建設，后續，智源研究院將向個開發者、中小創新企業、行業應?企業、IT領軍企業等不同主體，分別提供模型開源、API調、“專業版”?模型開發、大模型開發許可授權等多種形態的模型能?服務，賦能AI技術開發。

同時，智源研究院擬通過成?創業投資基、舉辦“悟道之巔”模型應創新大賽等式，不斷發掘和培育基于超規模智能模型的創新企業，推動AI產業可持續發展。

五、智源最新進展：已遴選94位智源學者，建設8個智源創新中心

除了發布悟道2.0外，在智源大會開幕式上，智源研究院院長、北京大學教授黃鐵軍還分享了智源研究院的最新進展。

1、持續實施智源學者計劃，引進培養優秀科學家

截至目前，智源學者計劃已遴選智源學者94人，分別來自北大、清華、中科院等高校院所與曠視、京東等優勢企業。

他們的研究覆蓋人工智能的數理基礎、人工智能的認知神經基礎、機器學習、自然語言處理、智能信息檢索與挖掘、智能系統架構與芯片等重大研究方向。

2、建設“超大規模人工智能模型訓練平臺”

智源研究院加緊部署通用智能發展，推動建設“超大規模人工智能模型訓練平臺”，研制“信息、生命、物質”領域超大規模智能模型，以及搭建模型訓練及運行所需的大規模算力資源及軟件環境。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI▲智源創新的中心任務：三個智能模型+一套智算體系

其中，算力資源部分將建成體系架構先進、高速互聯互通、可擴展高效并行的AI超級計算平臺，同時，通過搭建AI軟硬件測試驗證平臺，遴選百度昆侖、華為昇騰、寒武紀思元等高性能國產AI芯片及軟件參與平臺建設，為AI前沿技術提供試驗驗證環境。

3、建立智源創新中心，推動原創成果轉化落地

迄今智源研究院已經建設8個智源創新中心，覆蓋疾病腦電、智能信息處理、認知知識圖譜、安全人工智能等方向，通過開放智源的生態資源，支持關鍵核心技術攻關，推動AI原始重大創新和關鍵技術落地和深度應用。

在本屆智源大會上，智源研究院將于6月3日發布源創計劃，提供兩類服務：一類是技術驅動，即扶持科學家創業；另一類是需求拉動，給缺乏AI技術、想轉向智能化的企業做技術對接。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI▲智源源創計劃

4、開放高質量數據集，建設聯合實驗室

智源數據開放研究中心重點建設智能醫療等行業的高質量AI數據集，面向業界提供數據共享服務，推出智能平臺，并組織相關數據競賽。

悟道數據團隊還構建了全球最大中文語料數據庫WuDaoCorpora，這次WuDaoCorpora2.0擴展了多模態和對話兩大全新元素，再次升級創造3項全球最大：最大中文本數據集（3TB）、多模態數據集（90TB）與中?對話數據集（181G）。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI

另外，智源研究院與曠視、京東分別建設并開放了全球最大的物體檢測數據集Objects365、全球最大多輪對話文本數據集。智源研究院還分別聯合曠視、京東、予果生物等企業共建實驗室，推動場景開放，實施協同創新。

5、建設智源社區，舉辦北京智源大會

社區方面，智源研究院推動智源社區建設，著力構建AI學者社交網絡，建立活躍的AI學術和技術創新生態，培養下一代問題的發現者、解決者。

目前，智源社區已匯聚6萬名AI學者和技術人員，未來，智源社區將緊密聯系3000名以上的頂尖AI學者，輻射10萬以上AI科研和技術人員。

6、參與并引領國際AI治理，促進AI可持續發展

2019年5月，智源研究院成立人工智能倫理與可持續發展研究中心，并同北大、清華、中科院計算所等單位聯合發布了我國第一個人工智能發展與治理準則——《人工智能北京共識》。

為推動北京共識落地，智源研究院將在2021年9月發布我國首個針對兒童的人工智能發展原則《面向兒童的人工智能北京共識》，并在建設我國首個“人工智能治理公共服務平臺”，針對AI技術在研發及應用過程中潛在的倫理問題提供檢測服務。

它還發起了成立國際組織“面向可持續發展的人工智能協作網絡”，劍橋大學、新加坡管理大學、聯合國機器人與人工智能中心等機構已加入。

結語：開啟國內超大規模模型時代

在智源研究團隊眼中，未來，?模型將成為類似“電?”的新平臺，將AI的“智力”如同電力般，源源不斷、?高效普惠地輸送進各?各業。

智源“悟道”巨模型，正是這?趨勢的先?者。

這一萬億參數模型的里程碑式突破，與智源攻關團隊深厚的算法根基、數據積累和算力匯聚能力都密不可分。

自2018年底成立以來，智源研究院持續匯集國內頂尖AI人才，推進AI領域最基礎問題和最關鍵難題的研究，并陸續取得許多國際領先的新成果。

接下來，“悟道”不止是要做“中國第?”，而且要持續瞄向世界頂尖水平，讓機器全方面接近?的思考，邁向通工智能。

也就是說，以后你在知乎看到的“謝邀”答主，你在展覽上看到的設計大師，說不定就是AI了。

今日推出的“悟道”，僅是智源研究院的重大研究進展之一。在開幕式后，2021北京智源大會將于6月1日至3日期間，圍繞各種國際AI前沿和產業熱點召開29場專題論壇，分享最新研究成果。

智源大會公布全球最大AI模型！1.75萬億參數，超過谷歌和OpenAI

除了在今天上午發表演講的圖靈獎得主、加拿大蒙特利爾大學教授Yoshua Bengio之外，圖靈獎得主、計算機體系結構宗師David Patterson，2017年歐洲大腦獎得主、世界著名神經科學家Peter Dayan，加州大學伯克利分校人工智能統計中心創始人Stuart Russell，自動駕駛之父Sebastian Thrun，計算可持續性領域開創者Carla Gomes，國內AI經典西瓜書《機器學習》作者、南京大學教授周志華等國內外200余位尖端AI專家，均將在接下來的三天內分享前沿思想。