兩位歐洲核子研究中心的理論物理學家從谷歌的搜索頁中獲得靈感,試圖開發一個新算法以更好地評價科學家及他們的工作。在arXiv最近發表的一項研究中,Alessandro Strumia和Riccardo Torre提出了使用谷歌的PageRank算法原理的新指標,該算法之前主要用于決定網頁在搜索結果中的顯示順序。
圖片來自網絡
如今,生產率指數,例如H因子等越來越成為研究基金申請,學術工作評價的一部分。提出新指標的兩位物理學家認為他們關于綜合指數的提議將改善這些評價,但是也有其他研究人員對其透明度表示擔憂。
許多研究工作者都在致力于找到一個能夠綜合評測學者研究工作的指標,Strumia和Torre只是其中的兩個。Torre說:“因為如今作者和論文的數量越來越巨大,實現文獻計量評估是非常重要的。”現有的評價體系過于簡單而存在缺陷,他們擔心有的學者會鉆空子來提高自己的評價指數,比如不斷地自引。
兩位物理學家選擇了一種依賴于擴大引文定義的方法。傳統的計算方法只統計了那些正在被引用的研究工作,但忽略了Strumia和Torre口中的“二次引用”的東西,也就是當你引用某篇文章時,這篇文章其實是引用之前一篇文章的,而之前那篇的引用貢獻就被忽略了。
為了能讓這些二次引用也發揮價值,Strumia和Torre采用了PaperRank, 一種以所有前引數據為基礎的研究影響力評估方法。它與谷歌的PageRank類似,后者通過計算鏈接到特定網站的網頁的數量和質量對網站進行排名。Torre表示,PaperRank展現出真正的價值需要一些時間,隨著時間的推移那些二代三代甚至未來的引用被計入其中,其結果才能展現出意義。另一方面,由于PaperRank會評價所有文獻中的所有其他相似研究,而不僅僅針對其中一個或幾個作者的工作,因此很難鉆空子。如果有人做了比你做了更重要的工作,即便你的引用數很高,你得到的貢獻值也很小。
此外,并非所有的引用都是平等的,研究人員會更希望得到他們自己研究領域內大牛們的認可。所以Strumia和Torre又創建了AuthorRank,以此來鼓勵那些被高引作者所引用的研究人員。
Torre說在現實世界里,當求職者申請某一崗位的時候,雇主會對他遞交的文件進行篩查,對這個人的能力進行評估,但出現上百個申請人的時候,這一工作便很艱難。Torre說,他們希望自己提出的評估體系在這一場景中也能發揮作用。AuthorRank在識別評估那些年代已久,未能上線的工作方面也表現十分出色。
為了測試他們的這套指標, Strumia和Torre在擁有70,000多名作者,超過一百萬篇論文的在線物理數據庫INSPIRE中運行了AuthorRank和PaperRank。AuthorRank的結果顯示,Paul Dirac是歷史上最具影響力的物理學家。上了名單的,目前還在世并依然投身科研的三位物理學分別是新澤西州普林斯頓高級研究所的Edward Witten,德克薩斯大學奧斯汀分校的諾貝爾獎獲得者Steven Weinberg,和荷蘭烏特勒支大學的諾貝爾獎獲得者Gerard't Hooft。根據PaperRank的計算,Weinberg 1967年關于統一弱電磁力的文章“輕子模型”是在INSPIRE中最有影響力的工作。
Strumia和Torre還對一些最新的論文進行了評測。在自2010年以來發表的研究中,2012年關于黑洞防火墻的論文“Black holes: Complementarity or firewalls?”位居榜首。
而對于近年來蜂擁涌現的各種評價指數比較熟悉的學者們就Strumia和Torre的新指數也意見不一。芬蘭赫爾辛基大學的生物學家Justin Flatt說:“這些指標在某些特定情境下非常有用,例如在基礎物理學等特定領域為研究人員終身成就做出評價。但在做招聘、推廣和資助決策時,我會避免使用它們,特別是對于年輕的研究人員。”
荷蘭萊頓大學科學與技術研究中心副主任Ludo Waltman覺得他們的體系非常有意義并且值得探討。但由于其復雜性,PaperRank和AuthorRank透明度不如簡單的基于引用的指標,這意味著可能會產生一些誤讀。雖然這些指數難以被鉆空子,但它們可能會被單獨一篇高引論文影響綜合結果。
Strumia和Torre還建立了第三個指標CitationCoin,這個指標將消除兩個研究人員之間互引的數據。該指數旨在解決過度自引和大型引用聯盟的問題,即同組研究人員之間的過度互引。
但是,Flatt說,這樣的衡量標準可能會將引用簡單地變成一種認可度的標識,而不是“將概念,技術和進步聯系在一起”的工具。Flatt自己也開發過一個針對自引做法的指標,他認為 “自引和非自引都很重要,只要它們來自協作,持續,前沿的工作”。
-
谷歌
+關注
關注
27文章
6171瀏覽量
105509 -
算法
+關注
關注
23文章
4617瀏覽量
93030
原文標題:消除自引和組內互引,新的論文評價體系能否帶來真正公平?
文章出處:【微信號:zhishexueshuquan,微信公眾號:知社學術圈】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論