한국과학기술기획평가원은 12월 10일 양재동 KISTEP 국제회의실에서 ‘정부 R&D의 도전성·창의성 평가방안’을 주제로 제15회 KISTEP 수요포럼을 개최했다. 이번 포럼은 추격형 연구개발이 아닌 선도형 연구개발이 중요해짐에 따라 패러다임을 전환하기 위한 방안을 모색하기 위해 마련되었다.
 
포럼은 김소영 KAIST 과학기술정책대학원 교수의 주제발표와 유경만 한국기초과학지원연구원 국가연구시설진흥센터장, 고영주 한국화학연구원 대외협력본부장의 패널토론순으로 진행되었다.  
김소영 KAIST 과학기술정책대학원 교수는 주제발표에 앞서 평가제도 자체에 대한 연구가 필요하다고 강조했다. 그는 평가결과에 대한 불신이 생기는 이유로 평가시스템이 ▲도전적/창의적 과제를 낮게 평가하는 경우(false negative)▲도전적/창의적이지 않은 과제를 높게 평가하는 경우(false positive)가 있다고 밝히며, 이런 경우에 도전/창의적인 과제가 제대로 평가받기 힘들다며 이를 개선할 방안에 대해 설명했다.

 
김 교수는 “평가의 정밀성은 평가시스템의 ‘전문성’으로, 정확성은 평가시스템의 ‘공정성’으로 인식되는 경향이 존재하기 때문에 false negative의 경우에는 평가의 정밀성에 대한 우려가, false positive의 경우엔 평가의 정확성에 대한 우려가 생길 수 있다. 이러한 부작용을 개선하기 위해 도전성과 창의성을 평가지표에 어떻게 적용시킬지 연구하는 것이 중요하다.”고 평가제도의 나아가야할 바에 대해 제언했다. 그는 이어 “리스크가 높은 연구가 꼭 연구의 높은 도전성과 연결되지는 않고, 또 높은 도전성을 가지고 있다고 해서 좋은 성과를 내는 것도 아니다. 따라서 리스크가 높다고 해서 좋은 성과를 내는 것이 아닌 만큼, 연구자 인식의 변화도 필요하다”고 말했다. 또한 성실실패와 불성실실패를 가려내는 것도 평가제도가 유의해야할 바라며, 꼭 성과를 내는 것만이 아닌 ‘제대로 된 실패’에 대한 평가도 이루어져야 할 것이라고 덧붙였다.

  이어진 패널토론에서 유경만 센터장은 “평가에 앞서 ‘도전’에 대한 정의를 ‘예상되는 어려움에도 불구하고 이를 극복해나가려는 의지’, 그리고 ‘창의’에 대한 정의를 ‘고정관념에서 탈피하여 새로운 것을 구현하거나 생각하는 것’이라고 명확히 설정해야 한다”고 입장을 밝혔다. 또 “‘성실실패’라는 단어는 참 아이러니 한 것이다. 왜냐하면 ‘성실’은 과정을, ‘실패’는 결과를 나타내기 때문”이라고 말하며 결과를 중시하는 우리나라 정서상 실패를 성실실패로 인정할 수 있을 것인지에 대해 의구심을 표명했다. 그는 대안으로 ‘좋은 실패와 ’나쁜 실패라는 두 가지를 제시하며 좋은 실패는 받아들여질 수 있고 교훈이 되는 실패를, 나쁜 실패는 부주의나 오판 등을 통한 실패라고 말했다. 따라서 우리는 정확히 ‘좋은 실패’를 지향해야 하며 성실실패에 대한 인정기준, 즉 좋은 실패에 대한 평가지표를 마련해야 할 것이라고 제언했다. 마지막으로 “실패는 성공을 위한 과정임을 잊지 말아야 한다”고도 말했다.

  이어 고영주 본부장도 유경만 센터장의 의견에 동의하며 개념수립이 가장 중요할 것이라고 말했다. 고 본부장은 “과제 기획단계와 과제 선정간의 관계가 긴밀해야 한다. 후에도 연구가 기획과 유사하게 유지 되는지를 추적할 필요가 있다”고 단계적 평가의 중요성에 대해 설명했다. 그는 도전적/창의적 연구는 ▲목표가 도전적/창의적이어야 할 것▲내부적으로 정량을, 외부적으로는 정성에 대한 평가가 이루어 질 것▲기획단계 강화되어야 할 것이라는 세 가지 요소를 고루 갖춰야 한다고 말하고 덧붙여 “결과 뿐 아니라 연구노트나 연구과정을 평가하는 방법이 생긴다면 연구자들에게 큰 동기부여가 될 것”이라며 긍정적 효과에 대해 전망했다. 그는 무엇보다도 단계별 평가지표에 대한 지속적 연구가 이루어져야 한다고 거듭 강조했다.