在社會科學研究中,人們一般認為定量研究的結果是較為科學的,因為定量研究“用數據說話”。然而,也有學者質疑定量研究所依賴數據的獲取、選擇、分析過程,并進而質疑其結論的正確性,認為錯誤的研究結論會誤導政策制定者。
據美國加州大學伯克利分校官網報道,1月3日出版的《科學》(Science)雜志上刊登了該校教授愛德華·米格爾(Edward Miguel)領導的一個跨學科研究小組撰寫的《提高社會科學研究透明度》(Promoting Transparency in Social Science Research),該文指出某些社會科學研究在數據運用方面存在明顯錯誤,呼吁在科學研究和評審過程中采取更嚴格、更透明的標準以提高社會科學研究的可信度。
錯誤結論誤導政策制定者
米格爾領導的研究小組以美國哈佛大學經濟學家卡門·萊因哈特(Carmen Reinhart)和肯尼思·羅格夫(Kenneth Rogoff)于2010年發(fā)表的一篇有漏洞的論文為例,說明科研過程中的某些不當做法會導致錯誤的結論,而當這些研究涉及國計民生的重大課題(如公共衛(wèi)生、農業(yè)、教育、環(huán)境政策等)時,造成的損失將難以挽回。
萊因哈特和羅格夫在其2010年發(fā)表的論文《負債時代的經濟增長》(Growth in a Time of Debt)中曾論斷:“當一國外債總額達到該國GDP的60%時,該國經濟年增長率將下降2%;當外債總額達到GDP的90%時,經濟年增長率將下降約50%。”這篇文章被政客廣泛用于證明推行經濟緊縮政策有效,美國右翼政治勢力更以此為依據鞏固其財政緊縮的政治主張。《負債時代的經濟增長》在近年來關于政府債務管理乃至稅收政策的討論中起到了很大影響,為自2010年起在歐美各國日漸流行的財政緊縮主張?zhí)峁┝擞辛χС帧?/p>
然而,也有學者對《負債時代的經濟增長》一文的數據提出質疑。美國馬薩諸塞大學阿默斯特分校經濟學研究生托馬斯·赫恩登(Thomas Herndon)和他的兩位導師羅伯特·波林(Robert Pollin)、邁克爾·阿什(Michael Ash)發(fā)現(xiàn)萊因哈特和羅格夫的計算過程中有錯誤。赫恩登和導師嘗試用他們自己的數據重新計算高負債和經濟增長緩慢之間的關聯(lián)性,但復制計算失敗,于是聯(lián)系了萊因哈特和羅格夫,后者同意提供自己當初計算的電子表格。赫恩登等人由此發(fā)現(xiàn)萊因哈特和羅格夫的電子表格中有一處明顯錯誤:原本應計算的是從表格第30行至第49行的20個國家的平均值,而實際上計算的只有從第30行至第44行的15個國家的平均值。
如果說這個錯誤是客觀的,另一些數據處理上的問題就顯得更為主觀,比如萊因哈特和羅格夫將某些國家在二戰(zhàn)結束后幾年的數據排除掉,卻沒有在論文中說明原因。另外,萊因哈特和羅格夫在做加權時也采取了一些非常規(guī)做法,比如英國在1946—1964年這19年間是高債務穩(wěn)定增長的狀態(tài)(債務占GDP比例超過90%,平均經濟增長率為2.4%),新西蘭在某一年里債務占GDP比例超過90%,當年經濟增長率為-7.6%,但萊因哈特和羅格夫在計算中賦予新西蘭這一年的數據與英國19年平均數據相同的權重,導致計算結果更傾向于“高負債率影響經濟增長”的結論。
在重新計算原始數據以消除上述問題帶來的偏差后,結果顯示,高負債率和經濟增長緩慢之間的正相關性就沒有那么強了:萊因哈特和羅格夫的論文顯示負債率高于90%的國家平均經濟增長速度僅有-0.1%,而重新計算后發(fā)現(xiàn)這一速度實為2.2%。
改變數據收集和報告方式
為避免類似錯誤對公共政策的制定產生不利影響,米格爾領導的研究小組推薦了一些關鍵性的改進途徑:詳細記錄并公開數據收集和分析的原始信息;制定預分析計劃并登記注冊,以便將假設檢驗和探究性研究區(qū)別開;通過公開渠道將研究資料、計劃和數據存檔并共享,以供獨立研究者檢測并擴展已得出的研究結果。
《提高社會科學研究透明度》的作者之一、美國斯坦福大學政治學教授戴維·萊廷(David Laitin)說,研究小組建議的模式并不會從根本上改變社會科學的本質,而是會對數據收集和報告的方式產生一些影響。他相信這些小的改變能促使人們修正那些已獲得廣泛肯定的科研成果。
一些公共機構已經采取了與米格爾等人的建議相類似的措施,如美國政治學會(American Political Science Association)2012年成立職業(yè)倫理、權利和自由委員會(Committee on Professional Ethics, Rights, and Freedoms),規(guī)定研究人員有義務通過公開研究數據、明確說明研究方法來支持自己的結論。某些心理學期刊的編輯部門、美國行政管理和預算局(Office of Management and Budget)、美國經濟學會(American Economic Association)等也采取了相關措施。
提升科研透明度有助增強科研誠信
《提高社會科學研究透明度》的作者之一、加州大學伯克利分校哈斯商學院市場學副教授雷夫·尼爾森(Leif Nelson)、賓夕法尼亞大學沃頓商學院運營與信息管理系副教授約瑟夫·西蒙斯(Joseph Simmons)和尤里·西蒙遜(Uri Simonsohn)2011年曾發(fā)表過一篇相關論文《偽積極心理學:數據收集和分析的非公開靈活性導致任何科研成果都可被稱為“具有重大意義”》(False-positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allow Presenting Anything as Significant)。文中談到,“作為科學家,我們的目標不應是盡可能多地發(fā)表論文,而是發(fā)現(xiàn)并傳播真相。但是許多科學家常常忽略這一目標,屈服于壓力,為編制出能夠被發(fā)表的研究成果而采用任何可接受的手段”。
米格爾等人認為,提高科研透明度并不會扼殺研究人員的創(chuàng)造力或給其帶來過重的負擔,反而有助提升科研誠信并擴大研究成果影響力。正如《提高社會科學研究透明度》的作者之一、美國弗吉尼亞大學心理學系副教授布賴恩·諾塞克(Brian Nosek)所說,“開放的科學才是更可信的科學”。