李品 楊建林:大數據時代哲學社會科學學術成果評價:問題、策略及指標體系

選擇字號:   本文共閱讀 142 次 更新時間:2019-11-11 07:35:39

進入專題: 哲學社會科學     學術成果     成果評價     大數據    

李品   楊建林  

   內容提要:[目的/意義]學術成果評價是推進哲學社會科學健康發展的重要因素,長期以來,傳統同行評議和科學計量學方法在哲學社會科學學術成果評價中暴露出的問題越來越多,挑戰固有方法的統治地位、開發有針對性的評價策略已刻不容緩。文章試圖探索大數據環境下哲社學術成果評價的變革及其實現,特別是提出了大數據思維下的哲社學術成果的評價指標體系。[方法/過程]基于比較分析和綜合分析,對傳統哲學社會科學評價方法的弊端進行分析,然后對大數據給哲學社會科學評價帶來的改變進行分析,最后提出基于大數據環境的哲學社會科學評價策略和指標體系。[結果/結論]提出大數據時代哲學社會科學學術成果評價的策略:由引文著錄分析轉向多維度的引用內容與行為分析,由面向成果的階段性靜態評價轉向以“學術活動”為中心的全過程動態評價,由學術影響力評價轉向學術價值和社會效益評價。在此基礎上,構建由兩個一級指標、5個二級指標和34個三級指標組成的大數據背景下哲學社會科學學術成果評價指標體系。

   關 鍵 詞:哲學社會科學  學術成果  成果評價  大數據  philosophy and social sciences  academic out put  output evaluation  big data

  

   1 引言

  

   長期以來,學術評價一直處于定量評價與定性評價的分裂中。定量評價因其客觀有限性、公正性不足、專業缺位、結論簡單等弊端飽受詬病,南京大學蘇新寧教授指出,極端量化、唯量化的學術評價應當終止[1];大連理工大學李沖等也指出,量化評價因學科的不同而普遍適用性有限[2];而定性評價也因其主觀隨意性、低效性、評價過程隱蔽性、結果難以復證和監督的缺陷等飽受質疑,雖有定性與定量評價相結合的方法作為互補和填充,但因實施同行評議的學術共同體與第三方評價機構這兩個定性與定量評價主體難以融合、各自為政,結合的效果始終差強人意。當下的問題是,第三方評價機構由于其缺失專業性而無法參與定性評價,即便是專注于定量評價,也因其無法做出專業性結論這一短板,使其評價有失完整。但是學術共同體卻未必不能在定量評價上下功夫。當前學術界公認哲學社會科學學術成果評價是學術共同體的定性評價而非第三方機構的定量評價,但這是前大數據時代的共識。

   大數據時代,這些問題當有所改變。大數據所帶來的“基于云計算的數據處理與應用模式,通過數據的集成共享、交叉復用形成的智力資源和知識服務能力”[3]不僅可以拓展定量分析的數據類型和研究范疇,還可以借助數據挖掘與分析等前期輔助作用,使學術共同體的定性評價突破人力與時間的界限,使海量的定性分析和高效的價值判斷成為可能,同時,還可以監督其主觀性,佐證其公信力。換言之,大數據時代,使定量評價以更為專業的姿態融入到哲學社會科學的學術成果評價成為可能,也使定性評價的高效性和公信力得以保障。定性與定量評價深入的無縫對接與融合在大數據時代將成為新的評價方式。基于此,國際上量化評價方法已呈現出了新的發展趨勢:深度質量化和語義化趨向、替代計量數據快速興起[4]。可見,大數據之于學術評價的滲透已漸漸風生水起。

   習近平總書記在哲學社會科學工作座談會上針對我國哲學社會科學領域存在的問題指出,我國哲學社會科學的“學術評價體系不夠科學”。中國社會科學雜志社研究室學者彭秋歸認為,學術性和意識形態屬性是哲學社會科學研究兩個最基本的屬性,學術標準和政治標準是哲社評價中兩個最基本的要求[5]。哲學社會科學(以下簡稱“哲社”)學術成果的特殊性,是其在評價研究中被單獨剝離出來討論的主要原因。學界對哲學(人文)社會科學評價問題也給予了一定重視,如大連理工大學姜春林認為,人文社會科學研究成果評價要基于成果的內在屬性而展開[6];重慶郵電大學代金平提出,哲學社會科學評價除注重學術創新性和學術影響力外,更要重視研究者的基本價值取向,注重成果的價值導向[7]。

   傳統的同行評議和科學計量學方法在哲社學術成果評價中已顯得力不從心。大數據時代為現有方法的突破提供了新的思維模式(基于多元、分布式數據的關聯),以及推動這種思維模式得以實現的數據環境(提供不同格式、不同學術活動的學術成果發布平臺)與技術支撐(文本挖掘技術、語義關聯技術等)。基于此,本文提出了大數據思維下的哲社學術成果評價策略,重點探索大數據環境下哲社學術成果評價的變革及其實現,特別是提出了大數據思維下的哲社學術成果的評價指標體系。以此使哲社成果評價從注重以影響力等外圍指標為主深入、拓展到引用內容、社會價值等深層次的內容指標,從基于期刊論文、專著等數據的評價拓展到各種類型和表現形式的學術活動評價,從而更加深刻而全面地揭示學者學術表現。

  

   2 哲社學術成果評價存在的問題與思考

  

   當前,我國各學科學術成果評價主要由以質性評估為核心的同行評議法和以量化評估為手段的科學計量法兩種方法構成[8]。日本學者K.Selvarajoo指出,應用科學計量學來評價學術成就正在誤導各種年齡階段的學者[9],而同行評議法須建立在專家的價值觀和思維方式之上,受主觀因素影響較大[10],這兩種方法本身的缺陷在國內外已被較普遍地認識。

   不同于自然科學(以下簡稱自科)注重探索自然界的真理,可以在世界范圍內采用共通的標準,哲社研究對象很大程度是人和社會,這就決定了哲社學術成果的特殊性:①成果內容以思想性、意識形態性、價值導向性為主要特征。先不考慮專家的社會文化影響,本身這些內容評價就對同行評議專家的學術素養和思維認知提出了很高的要求,而科學計量學指標更是幾乎無能為力;②成果的傳播與應用具有明顯的影響延時性、成果轉化模糊性、作用價值體驗性和非正式學術交流突出性等特征。多來自“學術圈內”的理論派同行專家顯然只憑自身直覺和經驗無法真正深刻而又客觀地分析成果中這些問題的表現,而以引文、發文,甚至基于替代計量學(altmetrics)中下載、轉載等各項僅流于表面的計量指標,更難以對此做出有效評判;③哲社學者受感性思維和社會環境變化影響顯著,這就要求不僅要對其階段性成果存量進行分析,還必須建立長期的面向整個研究過程和學術生涯的評價機制,這是現有同行評議機制和科學計量學評價方法無法企及的。

   綜上,現有同行評議和科學計量學方法除本身所固有的缺陷影響著哲社學術成果評價的科學性和客觀性外,這兩種方法也因管理與技術上無法克服的障礙,而沒有針對哲社成果的特殊性采取有效的措施來應對,由此更加強化了當前對哲社學術成果認知局限和結論偏差的風險。具體表現在以下方面:

   2.1 簡單線性關聯的引文著錄分析忽略了引用的復雜含義

   引文分析作為學術成果評價的重要方法已出現50余年,科學引文索引數據庫的出現為其提供了強大的應用動力。其實,基于著錄信息的引文分析從產生開始就受到質疑,1986年,T.A.Brooks認為,引文分析法在沒有搞清引文動機、引文行為之前就開始被使用了[11]。引文著錄分析通常是用來描述文獻或作者之間的相互影響,這種影響沒有任何的指向性和強度性考量,過程中還隱含一個假設:每篇被引文獻對施引文獻均具有相同的價值[12],顯然這是不合理的。實際上,傳統引文著錄分析主要想回答兩個問題:是否兩篇文章具有相互關聯性?文章被引用次數是多少?這就將學術影響力與引用次數等同起來。H.Small曾指出,沒有任何證據表明高被引論文具有高影響力[13]。引文分析存在缺陷的本質原因是將文獻間相互引用的關系理解為簡單的線性關系,而忽略了引用的下列復雜含義:

   2.1.1 引文行為的復雜性賦予了引用率豐富的內涵 引文行為有其范圍性,其上限(即對實際參考文獻準確且充分引用)和下限之間可能出現不相關或弱相關引文[14],其中引用動機(如非正常的動機[15])、引用內容(如方法類論文占優[16])和引用類型(正引、反引、明引、暗引等)是導致這一現象的關鍵要素。多年來雖然不少成果對引文行為進行了一定嘗試性分析,如E.Garfield提出15種引用原因,指出被引用次數無法揭示出作者的引用動機[17]。但因樣本量選取(大小、結構)、分析方法和文獻收集不完整等難以克服的技術性缺陷,再加之引文行為本身的社會文化復雜性(心理層面、認知層面和動機層面等)問題,始終沒能夠提出切實可行的有效解決方案。

   2.1.2 引用率數據模糊了不同學科間的差異 如理科和工科、人文學科與社會科學、應用學科與基礎學科存在顯著差異[18]。然而,因學科之間關系的復雜性、學科內部中研究問題的不同(如基礎性研究、應用性研究等),導致只關注數據的引文著錄分析無法區別學科間的引用差異。尤其是在哲社領域,很多學科的論文無論有多優秀其引用率都有可能不高,這是由學科本身的特征決定的。而科學共同體更多地關注高被引文獻,忽視了低被引或零被引文獻[19]。

   2.1.3 引用過程的時滯性降低了引文分析的效率 W.Glanzel等研究結果顯示:整體上超過80%的文獻是發表3年內首次被引,超過90%的文獻是發表后5年內首次被引[20];與此類似,荷蘭科學計量學家A.F.J.Van Raan發現了“睡美人”現象[21],均有力地證明了文獻被引用的時滯性問題,這種時滯會對科研成果影響力、科研人員評價造成拖延,以至于無法真正反映當時當下的真實科研情況,尤其是對于激勵年輕科研人員也十分不利。而科學研究中非正式交流的興起(如學術博客、預印本、學術社區等),使得大量資料在正式發表前已通過非正式渠道廣泛傳播[22],非正式交流已成為科研成果傳播和影響力深化的重要方式之一,當前僅局限于以文獻為基礎的引文分析會因在此方面的缺陷,使分析效率大大降低。

   2.2 面向成果的階段性靜態評價存在以偏概全的風險

   在非正式學術交流發展迅猛的背景下,哲社學術成果不僅體現在以文獻為載體的表達形式中,而且廣泛地存在于各種非正式交流語境中,非正式學術交流具有顯著的時效性和動態性,需要實時跟蹤分析,靜態固化形態的成果分析,顯然存在片面性。不僅如此,學術活動和學術生涯等這種以靜態成果形式無法表達的動態進程性工作,對于哲社這種“慢熱型”和“沉淀型”的特點至關重要,對這些要素進行全面分析,是發現人才、培養人才,進而產生更多優秀學術成果的重要保障。而當前局限于某一階段并只關注具體成果的評價方式,顯然無法實現這一目標。

   2.3 學術影響力評價無法客觀洞察學術成果的學術價值和社會效益

   知識經濟時代、創新驅動發展戰略下,科學研究對于社會發展的重要作用被寄予厚望。哲社研究不僅要產出高影響力的學術成果,更重要的是這些成果能夠體現學術價值和產生社會效益。學術價值體現在學術的創新性、前沿性和對學術研究的推動作用,不同于學術影響力大多局限于表面的學術傳播與傳承,學術價值更多體現的是思想、理念與內容上的深度引導,是加速科學發展的關鍵;社會效益的核心則是學術成果在推動社會實踐(如政策制定、社會管理與發展等)發展中的指導作用。

傳統科學計量學指標局限在“學術圈內”的表面影響力評價顯然不適應時代發展要求,正如M.Taylor指出,當前的科學計量學指標對于理解學術成果在社會中的影響十分有限[23]。尤其是社會發展的復雜性日益突出,全球變暖、食品安全、生態服務缺失、社會發展與管理中暴露的種種矛盾等均需要科學研究對此做出重要貢獻,(點擊此處閱讀下一頁)

    進入專題: 哲學社會科學     學術成果     成果評價     大數據    

本文責編:陳冬冬
發信站:愛思想(http://www.ufnaisc.cn),欄目:天益綜合 > 學術規范
本文鏈接:http://www.ufnaisc.cn/data/118937.html
文章來源: 《圖書情報工作》 2018年16期

0 推薦

在方框中輸入電子郵件地址,多個郵件之間用半角逗號(,)分隔。

愛思想(aisixiang.com)網站為公益純學術網站,旨在推動學術繁榮、塑造社會精神。
凡本網首發及經作者授權但非首發的所有作品,版權歸作者本人所有。網絡轉載請注明作者、出處并保持完整,紙媒轉載請經本網或作者本人書面授權。
凡本網注明“來源:XXX(非愛思想網)”的作品,均轉載自其它媒體,轉載目的在于分享信息、助推思想傳播,并不代表本網贊同其觀點和對其真實性負責。若作者或版權人不愿被使用,請來函指出,本網即予改正。
Powered by aisixiang.com Copyright © 2020 by aisixiang.com All Rights Reserved 愛思想 京ICP備12007865號 京公網安備11010602120014號.
易康網
后三杀一码这么难 福建时时彩开奖列表 大赢家足球即时赔率 十一运夺金直播时时彩 昌平附近哪里卖菜赚钱 学生寒假可以做什么赚钱 南通金游棋牌 诛仙手游怎么卖金币赚钱 胆包天打一生肖 金蟾捕鱼的打鱼技巧 河南十一选五 完美国际挂哪里赚钱多 北京地铁扫怎么赚钱 摩尘娱乐安卓 20万倍炮真人捕鱼比赛手机版 买大小 庄家如何赚钱 足球即时指数球探