近日,在美國(guó)休斯敦閉幕的第13屆網(wǎng)絡(luò)搜索與數(shù)據(jù)挖掘國(guó)際會(huì)議(WSDM 2020)上,華為云帶領(lǐng)的聯(lián)合團(tuán)隊(duì)摘得WSDM Cup 2020大賽“論文引用意圖識(shí)別任務(wù)”金牌。
WSDM被譽(yù)為全球信息檢索領(lǐng)域最有影響力也最權(quán)威的會(huì)議之一,會(huì)議關(guān)注社交網(wǎng)絡(luò)上的搜索與數(shù)據(jù)挖掘,尤其關(guān)注搜索與數(shù)據(jù)挖掘模型、算法設(shè)計(jì)與分析、產(chǎn)業(yè)應(yīng)用和提升準(zhǔn)確性與效果的實(shí)驗(yàn)分析。今年已經(jīng)是WSDM的第十三屆會(huì)議。
本次WSDM Cup共有三個(gè)賽題任務(wù),華為云奪金賽題內(nèi)容為“論文引用意圖識(shí)別”:比賽提供一個(gè)論文庫(kù)(約含80萬篇論文),同時(shí)提供對(duì)被引用論文的引用文本描述,參賽選手需要根據(jù)論文引用描述從論文庫(kù)中匹配三篇最相關(guān)的論文。
論文是人類最前沿知識(shí)的媒介,如果可以理解論文中的數(shù)據(jù),可以極大地?cái)U(kuò)充計(jì)算機(jī)理解知識(shí)的能力和范圍。在論文中,作者經(jīng)常會(huì)引用其他論文,并對(duì)被引論文做出對(duì)應(yīng)描述。如果通過計(jì)算機(jī)可以自動(dòng)地理解、識(shí)別描述對(duì)應(yīng)的被引論文,不僅可以加深我們對(duì)科研脈絡(luò)的理解,還能在科研知識(shí)圖譜、科研自動(dòng)問答系統(tǒng)和自動(dòng)摘要系統(tǒng)等領(lǐng)域有所進(jìn)步。
華為云語音語義創(chuàng)新Lab帶領(lǐng)華南理工大學(xué)、華中科技大學(xué)、武漢大學(xué)、江南大學(xué)學(xué)生組成的聯(lián)合團(tuán)隊(duì),針對(duì)該問題制定了“整體召回+重排+集成”的方案。在整體召回階段,通過輕量化的文本相似度計(jì)算方法(如BM25、TFIDF、Word2Vec等),以較少的計(jì)算代價(jià)從大規(guī)模論文庫(kù)中檢索出給定查詢的可能相關(guān)的論文集合。在重排階段,通過計(jì)算量大但更準(zhǔn)確的方法對(duì)這些候選論文中的每一篇論文計(jì)算和引用描述的相似度值并重新排序,例如采用基于深度學(xué)習(xí)的預(yù)訓(xùn)練語言模型BERT等。華為云團(tuán)隊(duì)觀察到,賽題中所給語料都是生物醫(yī)學(xué)領(lǐng)域,因此采用了基于生物醫(yī)藥和科學(xué)領(lǐng)域語料進(jìn)行預(yù)訓(xùn)練的BioBERT和SciBERT語言模型對(duì)論文進(jìn)行重排。通過對(duì)所有模型的結(jié)果進(jìn)行集成,最終得到三篇最相關(guān)的論文。
華為云在本次比賽中運(yùn)用的文本匹配技術(shù),可廣泛用于搜索、對(duì)話機(jī)器人、知識(shí)圖譜構(gòu)建等領(lǐng)域。
憑借在自然語言處理領(lǐng)域的全棧技術(shù)積累,華為云連續(xù)斬獲了多個(gè)相關(guān)領(lǐng)域權(quán)威比賽冠軍。2019年10月華為云在DigSci科學(xué)數(shù)據(jù)挖掘大賽(學(xué)術(shù)論文搜索匹配大賽)上奪冠,精準(zhǔn)率超過第二名5個(gè)百分點(diǎn)。在2019 CCF大數(shù)據(jù)與計(jì)算智能大賽決賽中,華為云獲得金融實(shí)體級(jí)情感分析大賽冠軍,體現(xiàn)了在文本情感分析和知識(shí)圖譜領(lǐng)域的實(shí)力。
目前,華為云語音語義相關(guān)服務(wù)已經(jīng)成功應(yīng)用于政務(wù)、金融、油氣、醫(yī)療、汽車、物流、保險(xiǎn)、電商、稅務(wù)、媒體等具有語音識(shí)別、語言理解、知識(shí)管理等需求的業(yè)務(wù)領(lǐng)域。
