5月21日消息,5月18日,2023第七屆世界智能大會于國家會展中心(天津)正式開始。而天河新一代超級計算機是中國新一代百億億次超級計算機,也在此次展會迎來首次亮相。
同時,為充分發(fā)揮超算在算力方面的優(yōu)勢,推動國產(chǎn)異構(gòu)超級計算機平臺在AI應(yīng)用開發(fā)和服務(wù)領(lǐng)域中的應(yīng)用。
國家超算天津中心在大會上發(fā)布了天河E級智能計算開放創(chuàng)新平臺”和天河天元大模型”。
據(jù)介紹,中文大語言模型的數(shù)據(jù)集非常稀缺。國家超算天津中心搜集整理了網(wǎng)頁數(shù)據(jù)、各種開源訓(xùn)練數(shù)據(jù)、中文小說數(shù)據(jù)、古文數(shù)據(jù)、百科數(shù)據(jù)、新聞數(shù)據(jù),以及專業(yè)領(lǐng)域的中醫(yī)、醫(yī)藥、問診、法律等多種數(shù)據(jù)集。
訓(xùn)練數(shù)據(jù)集總token數(shù)達到350B,最終訓(xùn)練打造出了自己的中文語言大模型天河天元大模型。
據(jù)悉,天河E級智能計算開放創(chuàng)新平臺”將帶來突破百億億次的跨模態(tài)的超級計算算力,支撐傳統(tǒng)的科學(xué)工程計算,并服務(wù)智能混合計算,打造全方位的算力賦能創(chuàng)新和數(shù)字經(jīng)濟高質(zhì)量發(fā)展載體。