兩位歐洲核子研究中心的理論物理學(xué)家從谷歌的搜索頁(yè)中獲得靈感,試圖開(kāi)發(fā)一個(gè)新算法以更好地評(píng)價(jià)科學(xué)家及他們的工作。在arXiv最近發(fā)表的一項(xiàng)研究中,Alessandro Strumia和Riccardo Torre提出了使用谷歌的PageRank算法原理的新指標(biāo),該算法之前主要用于決定網(wǎng)頁(yè)在搜索結(jié)果中的顯示順序。
圖片來(lái)自網(wǎng)絡(luò)
如今,生產(chǎn)率指數(shù),例如H因子等越來(lái)越成為研究基金申請(qǐng),學(xué)術(shù)工作評(píng)價(jià)的一部分。提出新指標(biāo)的兩位物理學(xué)家認(rèn)為他們關(guān)于綜合指數(shù)的提議將改善這些評(píng)價(jià),但是也有其他研究人員對(duì)其透明度表示擔(dān)憂(yōu)。
許多研究工作者都在致力于找到一個(gè)能夠綜合評(píng)測(cè)學(xué)者研究工作的指標(biāo),Strumia和Torre只是其中的兩個(gè)。Torre說(shuō):“因?yàn)槿缃褡髡吆驼撐牡臄?shù)量越來(lái)越巨大,實(shí)現(xiàn)文獻(xiàn)計(jì)量評(píng)估是非常重要的。”現(xiàn)有的評(píng)價(jià)體系過(guò)于簡(jiǎn)單而存在缺陷,他們擔(dān)心有的學(xué)者會(huì)鉆空子來(lái)提高自己的評(píng)價(jià)指數(shù),比如不斷地自引。
兩位物理學(xué)家選擇了一種依賴(lài)于擴(kuò)大引文定義的方法。傳統(tǒng)的計(jì)算方法只統(tǒng)計(jì)了那些正在被引用的研究工作,但忽略了Strumia和Torre口中的“二次引用”的東西,也就是當(dāng)你引用某篇文章時(shí),這篇文章其實(shí)是引用之前一篇文章的,而之前那篇的引用貢獻(xiàn)就被忽略了。
為了能讓這些二次引用也發(fā)揮價(jià)值,Strumia和Torre采用了PaperRank, 一種以所有前引數(shù)據(jù)為基礎(chǔ)的研究影響力評(píng)估方法。它與谷歌的PageRank類(lèi)似,后者通過(guò)計(jì)算鏈接到特定網(wǎng)站的網(wǎng)頁(yè)的數(shù)量和質(zhì)量對(duì)網(wǎng)站進(jìn)行排名。Torre表示,PaperRank展現(xiàn)出真正的價(jià)值需要一些時(shí)間,隨著時(shí)間的推移那些二代三代甚至未來(lái)的引用被計(jì)入其中,其結(jié)果才能展現(xiàn)出意義。另一方面,由于PaperRank會(huì)評(píng)價(jià)所有文獻(xiàn)中的所有其他相似研究,而不僅僅針對(duì)其中一個(gè)或幾個(gè)作者的工作,因此很難鉆空子。如果有人做了比你做了更重要的工作,即便你的引用數(shù)很高,你得到的貢獻(xiàn)值也很小。
此外,并非所有的引用都是平等的,研究人員會(huì)更希望得到他們自己研究領(lǐng)域內(nèi)大牛們的認(rèn)可。所以Strumia和Torre又創(chuàng)建了AuthorRank,以此來(lái)鼓勵(lì)那些被高引作者所引用的研究人員。
Torre說(shuō)在現(xiàn)實(shí)世界里,當(dāng)求職者申請(qǐng)某一崗位的時(shí)候,雇主會(huì)對(duì)他遞交的文件進(jìn)行篩查,對(duì)這個(gè)人的能力進(jìn)行評(píng)估,但出現(xiàn)上百個(gè)申請(qǐng)人的時(shí)候,這一工作便很艱難。Torre說(shuō),他們希望自己提出的評(píng)估體系在這一場(chǎng)景中也能發(fā)揮作用。AuthorRank在識(shí)別評(píng)估那些年代已久,未能上線的工作方面也表現(xiàn)十分出色。
為了測(cè)試他們的這套指標(biāo), Strumia和Torre在擁有70,000多名作者,超過(guò)一百萬(wàn)篇論文的在線物理數(shù)據(jù)庫(kù)INSPIRE中運(yùn)行了AuthorRank和PaperRank。AuthorRank的結(jié)果顯示,Paul Dirac是歷史上最具影響力的物理學(xué)家。上了名單的,目前還在世并依然投身科研的三位物理學(xué)分別是新澤西州普林斯頓高級(jí)研究所的Edward Witten,德克薩斯大學(xué)奧斯汀分校的諾貝爾獎(jiǎng)獲得者Steven Weinberg,和荷蘭烏特勒支大學(xué)的諾貝爾獎(jiǎng)獲得者Gerard't Hooft。根據(jù)PaperRank的計(jì)算,Weinberg 1967年關(guān)于統(tǒng)一弱電磁力的文章“輕子模型”是在INSPIRE中最有影響力的工作。
Strumia和Torre還對(duì)一些最新的論文進(jìn)行了評(píng)測(cè)。在自2010年以來(lái)發(fā)表的研究中,2012年關(guān)于黑洞防火墻的論文“Black holes: Complementarity or firewalls?”位居榜首。
而對(duì)于近年來(lái)蜂擁涌現(xiàn)的各種評(píng)價(jià)指數(shù)比較熟悉的學(xué)者們就Strumia和Torre的新指數(shù)也意見(jiàn)不一。芬蘭赫爾辛基大學(xué)的生物學(xué)家Justin Flatt說(shuō):“這些指標(biāo)在某些特定情境下非常有用,例如在基礎(chǔ)物理學(xué)等特定領(lǐng)域?yàn)檠芯咳藛T終身成就做出評(píng)價(jià)。但在做招聘、推廣和資助決策時(shí),我會(huì)避免使用它們,特別是對(duì)于年輕的研究人員。”
荷蘭萊頓大學(xué)科學(xué)與技術(shù)研究中心副主任Ludo Waltman覺(jué)得他們的體系非常有意義并且值得探討。但由于其復(fù)雜性,PaperRank和AuthorRank透明度不如簡(jiǎn)單的基于引用的指標(biāo),這意味著可能會(huì)產(chǎn)生一些誤讀。雖然這些指數(shù)難以被鉆空子,但它們可能會(huì)被單獨(dú)一篇高引論文影響綜合結(jié)果。
Strumia和Torre還建立了第三個(gè)指標(biāo)CitationCoin,這個(gè)指標(biāo)將消除兩個(gè)研究人員之間互引的數(shù)據(jù)。該指數(shù)旨在解決過(guò)度自引和大型引用聯(lián)盟的問(wèn)題,即同組研究人員之間的過(guò)度互引。
但是,F(xiàn)latt說(shuō),這樣的衡量標(biāo)準(zhǔn)可能會(huì)將引用簡(jiǎn)單地變成一種認(rèn)可度的標(biāo)識(shí),而不是“將概念,技術(shù)和進(jìn)步聯(lián)系在一起”的工具。Flatt自己也開(kāi)發(fā)過(guò)一個(gè)針對(duì)自引做法的指標(biāo),他認(rèn)為 “自引和非自引都很重要,只要它們來(lái)自協(xié)作,持續(xù),前沿的工作”。
-
谷歌
+關(guān)注
關(guān)注
27文章
6211瀏覽量
106438 -
算法
+關(guān)注
關(guān)注
23文章
4644瀏覽量
93670
原文標(biāo)題:消除自引和組內(nèi)互引,新的論文評(píng)價(jià)體系能否帶來(lái)真正公平?
文章出處:【微信號(hào):zhishexueshuquan,微信公眾號(hào):知社學(xué)術(shù)圈】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
ADC的靜態(tài)指標(biāo)有專(zhuān)用的分析工具嗎?
24 ADC會(huì)有個(gè)Output Data Rate (fDATA)的指標(biāo),這個(gè)指標(biāo)具體含義是什么?
谷歌公司被立案調(diào)查 谷歌股價(jià)暴跌 谷歌母公司Alphabet跌8%
請(qǐng)問(wèn)datasheet上面的PSRR指標(biāo)指什么?
使用AP525測(cè)試發(fā)現(xiàn),THD+N指標(biāo)和SNR指標(biāo)與Datasheet相差較大,為什么?
被人忽視的“ILD”指標(biāo),竟隱藏著高速設(shè)計(jì)的核心思維
NPU與機(jī)器學(xué)習(xí)算法的關(guān)系
從TPU v1到Trillium TPU,蘋(píng)果等科技公司使用谷歌TPU進(jìn)行AI計(jì)算
瞬態(tài)響應(yīng)的性能指標(biāo)包括哪些
揭秘谷歌搜索算法工作原理,與官方聲明存在矛盾
截殺ChatGPT-4o,谷歌系A(chǔ)I產(chǎn)品迎來(lái)全面升級(jí)

評(píng)論