11月22日，由深圳市福田區(qū)人民政府、深圳市福田區(qū)科技創(chuàng)新局和粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院（International Digital Economy Academy, 簡(jiǎn)稱(chēng)“IDEA”）聯(lián)合舉辦的2021 IDEA大會(huì)在深圳福田成功召開(kāi)。大會(huì)以“The World Needs a Few Good IDEAs”為主旨，圍繞人工智能與數(shù)字經(jīng)濟(jì)展開(kāi)討論。上午10時(shí)，IDEA創(chuàng)院理事長(zhǎng)、美國(guó)國(guó)家工程院外籍院士、英國(guó)皇家工程院外籍院士沈向洋，在創(chuàng)新展示會(huì)環(huán)節(jié)宣布， IDEA認(rèn)知計(jì)算與自然語(yǔ)言研究中心（簡(jiǎn)稱(chēng)“IDEA CCNL”）將啟動(dòng) “封神榜”大模型開(kāi)源計(jì)劃。
沈向洋宣布“封神榜”大模型開(kāi)源計(jì)劃
最近兩年，預(yù)訓(xùn)練逐漸成為整個(gè)認(rèn)知智能的基礎(chǔ)，自然語(yǔ)言和計(jì)算機(jī)視覺(jué)的算法全方面的依賴(lài)于預(yù)訓(xùn)練模型來(lái)構(gòu)建。
預(yù)訓(xùn)練模型的規(guī)模從最初的1億參數(shù)BERT到一千多億參數(shù)的GTP-3，正在以每年10倍的速度增加。針對(duì)不同的下游任務(wù)，我們需要不同的結(jié)構(gòu)，不同的尺寸和不同的專(zhuān)業(yè)領(lǐng)域的預(yù)訓(xùn)練模型。
這個(gè)世界需要更多更大的模型。但是，有限的算力資源是限制整個(gè)領(lǐng)域進(jìn)一步發(fā)展的瓶頸。尤其是高校、小公司和一些傳統(tǒng)公司，根本不具備足夠的算力來(lái)訓(xùn)練和使用大規(guī)模預(yù)訓(xùn)練模型。這些都阻礙了整個(gè)人工智能技術(shù)更進(jìn)一步的落地。
這個(gè)世界需要一個(gè)答案。
“封神榜”大模型系列模型矩陣
會(huì)上，沈向洋代表IDEA CNNL正式宣布：開(kāi)啟 “封神榜”大模型開(kāi)源計(jì)劃。在這個(gè)計(jì)劃中，IDEA CCNL全方面地開(kāi)源一系列的自然語(yǔ)言預(yù)訓(xùn)練大模型。此系列模型將覆蓋不同的模型結(jié)構(gòu)、不同的模型尺寸、不同的專(zhuān)業(yè)領(lǐng)域。IDEA CCNL也將對(duì)此系列模型做持續(xù)的升級(jí)，不斷融合最新的數(shù)據(jù)和最新的訓(xùn)練算法，致力于打造中文認(rèn)知智能的通用基礎(chǔ)設(shè)施，避免重復(fù)建設(shè)，為全社會(huì)節(jié)省算力。
本次IDEA宣布開(kāi)源的“封神榜”大模型家族
同時(shí)，IDEA CCNL表示，希望各個(gè)公司、高校、機(jī)構(gòu)加入到這個(gè)開(kāi)源計(jì)劃中，一起共建大模型開(kāi)源體系。未來(lái)，當(dāng)大家需要一個(gè)新的預(yù)訓(xùn)練模型，都應(yīng)該是首先從封神榜中選取一個(gè)最適合各自任務(wù)的開(kāi)源大模型，做繼續(xù)訓(xùn)練，然后再把新的模型開(kāi)源回這個(gè)體系。這樣，每個(gè)人用最少的算力，就能得到自己的模型，同時(shí)這個(gè)開(kāi)源大模型體系也能持續(xù)擴(kuò)大。
二郎神系列
二郎神系列是Encoder結(jié)構(gòu)為主的雙向語(yǔ)言模型，專(zhuān)注于解決各種自然語(yǔ)言理解任務(wù)。13億參數(shù)的二郎神-1.3B大模型采用280G數(shù)據(jù)，運(yùn)用32張A100訓(xùn)練14天，是最大的開(kāi)源中文Bert大模型。2021年11月10日在中文語(yǔ)言理解權(quán)威評(píng)測(cè)基準(zhǔn)FewCLUE 榜單上登頂。其中，CHID(成語(yǔ)填空)、TNEWS(新聞分類(lèi))超過(guò)人類(lèi)，CHID(成語(yǔ)填空)、CSLDCP(學(xué)科文獻(xiàn)分類(lèi))、OCNLI(自然語(yǔ)言推理)單任務(wù)第一，刷新小樣本學(xué)習(xí)記錄，詳情可參見(jiàn)https://mp.weixin.qq.com/s/bA_9n_TlBE9P-UzCn7mKoA。未來(lái)，二郎神系列會(huì)持續(xù)在模型規(guī)模、知識(shí)融入、監(jiān)督任務(wù)輔助等方向不斷優(yōu)化。
二郎神登頂FewCLUE榜單
領(lǐng)域模型-余元系列
IDEA CCNL負(fù)責(zé)人張家興博士也曾表示，“封神榜”大模型開(kāi)源計(jì)劃不會(huì)止步于此，在學(xué)術(shù)、醫(yī)療、金融、法律等重要領(lǐng)域方向上也會(huì)逐步開(kāi)源領(lǐng)域?qū)俅竽Ｐ?，比如即將在醫(yī)學(xué)領(lǐng)域推出應(yīng)用的余元系列擁有35億參數(shù)余元-3.5B大模型，采用50G的醫(yī)療領(lǐng)域數(shù)據(jù)和知識(shí)，在已有的通用模型基礎(chǔ)上，運(yùn)用256張A100繼續(xù)訓(xùn)練28小時(shí)，該模型參數(shù)記錄了大量醫(yī)療知識(shí)，在醫(yī)療事實(shí)判斷上，準(zhǔn)確率可以接近90%。
周文王系列
周文王系列是IDEA CCNL聯(lián)合追一科技有限公司的新結(jié)構(gòu)大模型。該模型在訓(xùn)練階段就統(tǒng)一考慮LM（Language Model）和MLM（Mask Language Model）任務(wù)，增加了旋轉(zhuǎn)位置編碼技術(shù)，讓模型同時(shí)具備生成和理解的能力。、13億參數(shù)的周文王-1.3B大模型采用280G數(shù)據(jù)，運(yùn)用32張A100訓(xùn)練14天，是中文領(lǐng)域同時(shí)做LM和MLM任務(wù)最大的模型。將來(lái)會(huì)在模型規(guī)模、知識(shí)融入、監(jiān)督任務(wù)輔助等方向不斷優(yōu)化。
聞仲系列
聞仲系列是Decoder結(jié)構(gòu)為主的單向語(yǔ)言模型，是一系列強(qiáng)大的生成模型。35億參數(shù)的聞仲-3.5B大模型采用100G數(shù)據(jù)，運(yùn)用256張A100訓(xùn)練28小時(shí)，具備強(qiáng)大的生成能力。
燃燈系列
燃燈系列是Transformer結(jié)構(gòu)為主的編解碼語(yǔ)言模型，把所有NLP任務(wù)轉(zhuǎn)化成文本生成任務(wù)，7.7億參數(shù)的燃燈-770M大模型采用280G數(shù)據(jù)，運(yùn)用16張A100訓(xùn)練14天，能夠很好地完成自然語(yǔ)言生成和理解任務(wù)。
上述的模型只是“封神榜”大模型開(kāi)源計(jì)劃的開(kāi)始，后續(xù)IDEA CCNL將持續(xù)的開(kāi)源更多的模型。同時(shí)IDEA表示，希望更多業(yè)界伙伴一起加入開(kāi)源計(jì)劃，一起推動(dòng)中文認(rèn)知智能和自然語(yǔ)言的深入發(fā)展和產(chǎn)業(yè)落地。
