首頁 >國內(nèi) >

每日速訊:第十屆ASC超算總決賽:挑戰(zhàn)179億參數(shù)大模型訓(xùn)練


(資料圖片)

5月10日,第十屆ASC世界大學(xué)生超級(jí)計(jì)算機(jī)競賽總決賽在中國科學(xué)技術(shù)大學(xué)落下帷幕。北京大學(xué)、中國科學(xué)技術(shù)大學(xué)分獲冠亞軍,中國科學(xué)技術(shù)大學(xué)獲e Prize計(jì)算挑戰(zhàn)獎(jiǎng),浙江大學(xué)獲最高計(jì)算性能獎(jiǎng)。

正式?jīng)Q賽的首日,24支隊(duì)伍向AI語言大模型、超級(jí)團(tuán)隊(duì)賽和HPL&HPCG基準(zhǔn)測試三道賽題展開比拼。

據(jù)悉,本屆比賽e Prize計(jì)算挑戰(zhàn)獎(jiǎng)的指定賽題是AI語言大模型。ASC組委會(huì)提供了100GB高質(zhì)量中文數(shù)據(jù)集,要求參賽隊(duì)基于此數(shù)據(jù)集分別實(shí)現(xiàn)15億、179億參數(shù)的2個(gè)AI語言大模型。參賽隊(duì)需要自行設(shè)計(jì)模型訓(xùn)練策略并完成模型訓(xùn)練過程,在追求極致性能的同時(shí),還要滿足精度約束等嚴(yán)苛條件,使得這道賽題極具挑戰(zhàn)性。

南方科技大學(xué)代表隊(duì)表示,“前期我們研究了很多大模型相關(guān)論文,學(xué)習(xí)如何進(jìn)行并行優(yōu)化、主流分布式訓(xùn)練框架等。但是拿到這個(gè)賽題時(shí)還是非常驚訝,179億參數(shù)的模型真的很大,對(duì)顯存、GPU等資源及并行計(jì)算優(yōu)化的要求遠(yuǎn)遠(yuǎn)超出我們的預(yù)期?!?/p>

據(jù)介紹,本屆超級(jí)團(tuán)隊(duì)賽由24支隊(duì)伍通過抽簽組成4個(gè)超級(jí)團(tuán)隊(duì),每個(gè)超級(jí)團(tuán)隊(duì)需包含一支線上參賽隊(duì)伍,以跨團(tuán)隊(duì)合作的形式共同完成決賽首日公布的量子線路采樣模擬的賽題。

隨機(jī)量子線路的采樣問題因?yàn)槠渚薮蟮慕?jīng)典模擬復(fù)雜度被認(rèn)為是展示量子計(jì)算優(yōu)越性的最佳候選者。2019年谷歌量子人工智能團(tuán)隊(duì)發(fā)表基于懸鈴木量子芯片的隨機(jī)量子線路采樣實(shí)驗(yàn),宣稱其經(jīng)典模擬時(shí)間需要花費(fèi)超算一萬年,而量子實(shí)驗(yàn)僅需200秒,因此展示了量子優(yōu)越性。

本屆比賽的賽題是通過一個(gè)基于張量網(wǎng)絡(luò)的算法來模擬53比特12循環(huán)的懸鈴木量子線路,并計(jì)算谷歌實(shí)驗(yàn)中采樣出來的1024個(gè)末態(tài)比特串樣本的嚴(yán)格振幅以及這些樣本的隨機(jī)交叉上熵保真度。相較于傳統(tǒng)的模擬算法,基于張量網(wǎng)絡(luò)的量子線路模擬方法能夠大大加速模擬的過程,將谷歌宣稱的一萬年模擬時(shí)間縮短到數(shù)十秒,達(dá)成超過10億倍的性能提升。量子線路的高效經(jīng)典模擬方法能夠幫助人們對(duì)量子計(jì)算優(yōu)越性有一個(gè)更為清晰的認(rèn)知,與此同時(shí)也能助力量子硬件以及量子實(shí)驗(yàn)的設(shè)計(jì)、測試以及驗(yàn)證。

在HPL計(jì)算基準(zhǔn)性能測試中,浙江大學(xué)以每秒109萬億次浮點(diǎn)運(yùn)算性能的佳績名列榜首。他們設(shè)計(jì)搭建了“1機(jī)8卡”異構(gòu)加速系統(tǒng),在3000W總功耗約束下,將更多功耗分配給GPU進(jìn)行應(yīng)用運(yùn)算,并結(jié)合精細(xì)的控制優(yōu)化,實(shí)現(xiàn)整體系統(tǒng)109萬億次/秒的HPL持續(xù)浮點(diǎn)運(yùn)算性能。

ASC超算競賽采用國際最通用的超級(jí)計(jì)算機(jī)浮點(diǎn)性能基準(zhǔn)測試程序HPL,這也是全球超算TOP500排行的主要依據(jù)。ASC競賽規(guī)則要求各參賽隊(duì)伍自行設(shè)計(jì)超算系統(tǒng),在總功耗3000W約束下正確完成包括HPL計(jì)算性能基準(zhǔn)測試在內(nèi)的各項(xiàng)計(jì)算任務(wù)。

ASC世界大學(xué)生超級(jí)計(jì)算機(jī)競賽是由中國發(fā)起組織,并得到亞洲及歐美相關(guān)專家和機(jī)構(gòu)支持,旨在通過大賽平臺(tái)推動(dòng)各國及地區(qū)間超算青年人才交流和培養(yǎng),提升超算應(yīng)用水平和研發(fā)能力,發(fā)揮超算的科技驅(qū)動(dòng)力,促進(jìn)科技與產(chǎn)業(yè)創(chuàng)新。ASC超算大賽迄今已舉行至第10屆,吸引超過萬名世界各國大學(xué)生參賽,是全球最大規(guī)模的超算競賽。(柯巖)

關(guān)鍵詞:

責(zé)任編輯:Rex_11

推薦閱讀