한 마리 고독한 공룡처럼 연구비를 찾아 헤매던 김공룡 박사, 정부에서 동물처럼 움직이는 로봇을 개발하기 위해 실시한 ‘고생물 움직임 연구지원사업’에 지원해 연구비를 받는 데 성공한다! 이제 행복한 연구 시작일까? 세상에 ‘공짜 점심’은 없다. 김공룡 박사는 연구비를 받은 만큼 괜찮은 연구를 했다는 걸 보여줘야 한다. 이 검증 단계가 바로 ‘연구 평가’다.
연구자들은 연구비를 확보하기 위해 국가의 연구 과제에 지원합니다. 과제 제안서를 제출해 본인이 이 과제를 수행하기 위해 얼마나 적합한지, 어떤 연구를 진행할 계획인지 보여줍니다. 이렇게 과제 제안서가 선정된다면 무사히 연구비를 지원받아 연구를 시작할 수 있습니다. 우리의 김공룡 박사, 연재 4화 만에 드디어 연구할 수 있군요.
그런데 말입니다. 어쩌면 처음 하는 연구라, 어쩌면 성공 가능성이 낮은 모험적인 연구라 연구비를 받은 후에도 제대로 연구를 진행하지 못하는 과학자가 있을 수 있습니다. 정말 만약에, 연구비를 탔으니 연구 자체는 대충하는 과학자가 있을 수도 있고요.
물론 이런 악의적인 연구자는 없어야 하겠지만, 국민들이 낸 소중한 세금으로 추진되는 연구라면 이것들이 처음 제시한 목표대로 잘 진행되고 있는지, 더 나은 연구는 어떻게 진행할지 정부가 나서 평가할 필요가 있습니다. 그 역할을 하는 단계가 ‘연구 평가’입니다.
평가의 주체는 동료, 연구의 양과 질 따져
한국에는 정부가 추진하는 과학기술 분야의 연구개발 활동을 성과 중심으로 평가하는 ‘국가연구개발사업 등의 성과평가 및 성과관리에 관한 법률’이 있습니다. 연구 평가를 진행하지 않으면 법을 위반하게 되는 겁니다.
연구 평가는 크게 과제를 선정할 때 제안서를 보는 ‘선정 평가’, 과제가 잘 진행되고 있는지 살펴보는 ‘중간 평가’, 과제가 끝나고 연구 결과물이 어떤지 확인하는 ‘최종 평가’의 세 단계로 구분할 수 있습니다. 연구 과제의 크기나 참여자, 길이에 따라 중간 평가가 빠지기도 하고, 최종 평가 이후의 연구 파급력을 확인하는 ‘추적 평가’가 덧붙기도 하죠.
연구 평가의 주체는 정부 부처의 공무원이나 평가 기관이 아닌, 다른 동료 연구자들입니다. 학술지에 논문이 게재될 때 비슷한 분야의 다른 연구자들이 익명으로 논문 내용을 검증하는 ‘동료 평가(peer review)’가 이뤄지는 것처럼, 정부의 과제 평가도 동료 평가 방식입니다. 연구의 의미를 가장 잘 이해할 수 있는 사람은 역시 과학자라서겠죠. 김공룡 박사가 진행하는 정부 과제 ‘삼엽충의 보행 동작 연구’도 동료 학자들이 평가할 겁니다. 이들은 질적 평가와 양적 평가, 두 가지 방식으로 연구가 어떤 수준인지 판단합니다.
양적 평가는 과제 도중 논문이나 특허가 몇 개 나왔는지 말 그대로 ‘양’을 봅니다. 김공룡 박사가 과제 제안서에 목표로 썼던 ‘국제학술지 논문 1개, 국내학술지 논문 2개’라는 조건을 충족시켰는지 등을 봅니다.
질적 평가는 이렇게 진행된 연구가 얼마나 중요하고 독창적인지 ‘질’을 측정합니다. 논문의 수가 많지는 않아도 지금까지 한 번도 밝혀지지 않은 삼엽충의 독창적인 걸음걸이를 발견해 세계 삼엽충 학계를 뒤흔들어놨다거나, 움직이는 로봇 개발에 바로 적용할 수 있는 삼엽충의 보행법을 발견했다면 논문의 가치를 높게 평가하는 식이죠.
질적 평가를 하는 과정에는 논문이 게재된 학술지의 임팩트 팩터(IFImpact Factor) 같은 수치가 추가로 동원됩니다. IF는 학술지가 인용된 횟수를 분석해서 이 학술지가 얼마나 중요한지 알려주는 수치입니다. 잘 알려진 국제학술지인 ‘네이처’의 2022년 IF는 64.8이었습니다. 반면 네이처에서 제공하는 오픈 액세스 학술지인 ‘사이언티픽 리포트’의 IF는 4.6으로, IF가 크게 차이가 납니다. 사이언티픽 리포트보다는 네이처에 실리는 논문이 더 중요한 연구로 받아들여진다는 뜻입니다.
IF를 절대적인 평가 기준으로 볼 수는 없겠지만, 질적 평가에서는 이런 방식을 적용해 중요한 학술지에 실리거나 피인용 수가 많은 논문인 경우 가중치를 둡니다.
너무 깐깐한 평가, 연구에는 방해?
여기까지만 보면 연구 평가는 당연히 필요한 것처럼 보입니다. 그런데 막상 연구자들과 과학행정가 사이에서는 ‘과한 연구 평가 제도가 오히려 과학 연구를 방해한다’는 의견이 나오고 있습니다. 어찌된 일일까요.
제22대 국회의원 선거에 출마한 우주과학 전문가, 황정아 한국천문연구원 책임연구원은 2월 28일 과학동아와의 인터뷰에서 “먼저 동료 평가 제도를 개선해야 한다”며, “한국 동료 평가의 문제는 연구자의 수가 너무 적어 평가에 참여할 연구자도 한정적이라는 것”이라 주장했습니다. 김공룡 박사를 예로 들면, 연구를 제대로 평가할 고생물학자의 수가 너무 적으니 김공룡 박사의 전문 분야인 삼엽충과는 관련이 없는 분야의 고생물학자가 평가에 들어오거나, 아예 전문성이 낮은 다른 분야의 연구자들이 동료 평가에 들어오는 일이 발생한다는 겁니다. 평가 자체도 쉽지 않습니다. 황 책임연구원은 “과제 평가에 겨우 30분 정도의 시간을 주는 경우도 허다하다”며, “동료 평가를 오랫동안 공들여서 할 수 있는 환경이 필요하다”고 말했습니다.
한편 홍성주 과학기술정책연구원(STEPI) 혁신시스템연구본부장은 “한국은 연구 평가 단계가 촘촘하게 짜여있고 자주 진행돼서, 연구자들이 오히려 연구에 집중하기 힘들어 한다”는 이야기를 남겼습니다. 그의 설명에 따르면 한국은 과제가 뽑히긴 쉽지만, 평가 단계가 어렵습니다. 처음에 목표로 한 성과를 달성하도록 수많은 평가를 거친다는 거죠.
그 결과 연구자는 연구가 아닌 연구 평가에 불필요한 에너지를 낭비하게 됩니다. 나아가 성공 가능성이 낮은 혁신적인 연구 대신 평가를 통과하기 쉬운, 성공 가능성이 높고 단순한 연구만 추구할 수도 있습니다. 완전히 새롭고 혁신적인 연구가 나오기 힘들다는 뜻이죠. 홍 본부장은 반대 사례로 미국을 들었습니다. 미국에선 과제가 선정되긴 어려우나, 일단 지원을 받으면 평가는 빡빡하지 않다고 말입니다.
‘더 나은 연구를 돕는다’ 평가 본연의 목적 되새겨야
이런 R&D 연구 평가가 처음부터 문제였다고 볼 수는 없습니다. 홍 본부장은 “한국의 연구 평가 체계는 처음부터 정량적 목표를 세우고, 이 목표를 이행했을 때 좋은 평가를 줘왔다”며, “양적인 성장이 필요한 경우에는 이런 평가 체계가 훌륭하게 작동한다”고 설명했습니다. 과학기술의 후발 주자로, 특정 분야를 빠르게 성장시키기에는 최적인 ‘추격형’ 연구 평가 체계라는 뜻입니다.
그 결과 지난 반세기 동안 한국의 과학기술은 양적으로, 질적으로 성장을 거듭했습니다. 그런데 이제는 선진국을 따라잡는 ‘추격’이 아니라 새로운 연구를 이끌어나가는 ‘선도’가 중요해진 시점이라는 의견이 여기저기서 나옵니다. 말하자면 미래의 선도형 연구를 위해서는 현재 한국의 연구 평가 체계가 맞지 않을 수도 있다는 우려죠. 홍 본부장은 이렇게 설명합니다.
“한국의 연구 평가 체계는 이미 잘 조직돼 있습니다. 양적 평가는 세계 최고 수준이에요. 오히려 이런 평가를 완화해서, 과학자들이 더 자유롭고 창의적인 연구를 할 수 있도록 풀어줘야 합니다.”
앞으로의 연구 평가는 어떻게 바뀌어야 할까요. 이 질문에 답하기 위해서는 연구 평가 본연의 목적, ‘더 나은 연구를 도와준다’를 되새겨 볼 필요가 있습니다. 과학기술 체계가 급격히 성장한 지금 한국엔 세금을 잘 쓰는지 감시하는 ‘관리형 평가제도’보다는, 연구자를 성장시키고 더 나은 연구를 도와주는 ‘성장형 평가제도’가 더 필요할지도 모르겠습니다.
*편집자주. ‘R&D 예산 삭감’ 사태 이후로 과학계가 시끌시끌합니다. 도대체 무슨 일일까요. 상황을 이해하려면 과학정책에 대해 알아야 합니다. 만화와 함께 과학정책에 쉽게 접근해보려 합니다.