科學技術者들의 硏究成果, 제대로 評價받으려면[동아광장/이성주]

東亞日報
入力 2022年 7月 5日 03時 00分

코멘트: 個

좋아요: 個

코멘트: 個

商用化移轉科學技術論文, 評價 쉽지 않아
論文引用回數評價도 少數分野等에 不利
定性評價로 補完하고 審査專門性確保해야

이성주 객원논설위원·서울대 산업공학과 교수 — 이성주 客員論說委員·서울대 産業工學科敎授

지난달 29日韓國科學技術團體總聯合會(過寵)가 開催한 2022年大韓民國科學技術年次大會에서 總 248篇의 論文이 科學技術優秀論文賞을 受賞했다. 科總所屬學會에서 發行하는 國內學術誌論文中 한 篇을 學會에서 推薦하고 科總에서 審査하여 受賞者가 選定되는데, 各學會別로 優秀論文을 選定하고자 깊은 苦悶을 했을 것이다. 누리號發射나 폴더블 디스플레이와 같이 科學技術이 可視的成果로 表現되는 境遇에는 그 優秀性을 評價하는 것이 比較的 쉽다. 反面科學技術이 아직 製品이나 서비스로 具現되기 以前段階인 論文의 評價는 쉽지 않다.

이에 論文의 價値를 評價하고자 活用되는 指標가 引用回數이다. 論文의 參考文獻情報를 活用하면 特定論文이 後續硏究에 얼마나 活用되었는지 分析할 수 있다. 卽, 後續硏究의 參考文獻 리스트에 많이 言及된 論文일수록 그 價値가 높은 것이다. 그러나 論文이 後續硏究에 引用되기 위해서는 꽤 오랜 時間이 所要된다. 따라서 論文이 아니라 論文이 發表된 學術誌의 優秀性을 나타내는 JIF(Journal Impact Factor)를 통해 學術誌에 發表된 論文의 優秀性을 推定하곤 한다.

JIF는 學術誌의 影響力을 評價하고자 1955年提案된 後只今은 클래리베이트社에 依해 每年發表되고 있다. 計算方法은 簡單하다. 2021年發行된 學術誌에 실린 論文들이 그에 앞서 2年間(2019∼2020年) 學術誌A에 실린 論文을 引用한 回數가 1000回이고, 同一期間學術誌A에 실린 論文이 200篇이라면, 學術誌A의 2021年度 JIF는 5街 된다. 2021年資料가 必要하므로 2021年 JIF는 2022年에 發表된다. 特히 昨年부터는 學術誌에 正式揭載되기 前 온라인上에서 公開된 Early Access 論文에 對해, 온라인 公開時點을 基準으로 JIF를 計算함에 따라 많은 學術誌들의 JIF가 크게 올라갔다. 이렇게 計算된 네이처의 2021年 JIF는 無慮 69.504이다.

元來 이 指標는 圖書館에서 學術誌購買에 參考하고자 만들어졌으나 只今은 學術誌의 水準을 評價하고 더 나아가 學術誌에 發表된 論文의 水準을 評價하는 데 適用되고 있다. 特히 硏究實績에 對한 評價가 얼마나 많은 論文을 發表했는지에 焦點을 맞추던 量的評價에서 얼마나 優秀한 論文을 發表했는지를 强調하는 質的評價로 變化하며, JIF는 優秀論文評價에 重要한 基準으로 생각되어 왔다. 그러나 언뜻 合理的으로 보이는 이 方法은 事實 여러 問題가 있다.

첫째는 引用情報自體가 갖는 問題이다. 後續硏究에의 活用度는 分野의 規模에 따라 다르다. 例를 들어, 生命科學이나 醫學分野는 關聯硏究者의 數가 많은 만큼 JIF가 높다. 이 問題를 解決하고자 分野別 JIF 값을 相對的으로 評價하여 等數를 내고 있으나 分野가 작으면 如前히 不利하다. 高校內申에서 全校生의 數가 작으면 아무리 優秀한 成績으로 1等을 해도 全體의 4%까지만 주는 1等級을 받기 어려운 것처럼 말이다. 게다가 JIF 값은 引用된 回數가 極端的으로 높은 一部論文에 依해 決定되기도 한다. 따라서 JIF가 높은 學術誌라고 해서 그 學術誌에 실린 모든 論文이 同一하게 優秀하다 말하기는 어렵다.

둘째는 硏究의 質을 引用情報로 測定함으로써 생기는 問題이다. 例를 들어, 先行硏究를 整理하는 리뷰論文의 境遇硏究의 質과 無關하게 引用되는 回數가 높다. 그 結果 리뷰論文이 많이 실리는 學術誌의 JIF는 높아질 可能性이 있다. 硏究의 優秀性을 後續硏究에의 影響力으로만 限定하는 것도 問題이다. 硏究의 優秀性은 科學技術的影響뿐 아니라 社會經濟的影響을 考慮해야 하는데 引用回數만 가지고 이 모두를 考慮하는 것은 限界가 있기 때문이다.

多幸인 것은 JIF보다는 學術誌의 傳統과 哲學을 더 重要하게 생각하는 硏究者들이 많다. 또한 技術的으로 JIF를 높이려는 努力보다 學術誌의 方向을 設定하는 데 價値 있는 努力을 기울이는 學術誌도 많다. 特히 우리나라는 BK21 事業을 中心으로 硏究評價方法을 改善하려는 努力을 持續해 왔다. JIF 外에 分野別差異를 反映한 指標 여러 個를 活用함으로써 定量評價의 公正性을 높이고, 同時에 專門家精誠評價를 통해 指標만으로는 測定되지 않는 硏究의 質을 評價하려는 것이다. 다만 이러한 改善方案이 信賴性을 얻기 위해서는 該當分野硏究의 優秀性을 客觀的으로 評價할 수 있는 國內外專門家 그룹이 確保되어야 한다. 이러한 모든 努力이 더해졌을 때 비로소 科學技術者들의 硏究成果가 제대로 評價받는 學術生態系가 構築될 것이다.

이성주 客員論說委員·서울대 産業工學科敎授

#硏究成果 #科學技術論文 #審査專門性確保