과학기술정책 이슈에 대한 심층분석 정보
이슈분석
이슈분석
연구영향 평가체계국제 비교
- 국가 영국
- 주제분류 과학기술국제화
- 발간일 2010-01-01
- 권호
영국 고등교육재정위원회(HEFCE)는 연구우수성평가체제의 개발을 위한 호주, 영국, 미국, 네덜란드 등 4개국의 평가체계를 분석한 보고서를 발표. 보고서는 호주의 연구 평가체제(RQA)가 신뢰성, 다양성, 포괄성 등의 부분에서 가장 높은 점수를 받았다고 평가. 그러나 평가 업무의 과중성이나 동기부여의 문제는 어떤 나라의 체제도 높은 점수를 받지 못함. 우리나라도 R&D 성과의 추후 활용과 R&D의 과학적, 경제사회적 영향까지 평가하는 체계의 구축이 필요함.
--------------------------------------------------------------------------------------------
1. 개요
□ 영국 고등교육재정위원회(HEFCE)는 기존의 연구평가체계(RAE)*를 개선한 ‘연구우수성 평가체계(REF)’** 개발을 위해 랜드연구소 유럽지부에 주요 국가들의 연구평가체계 조사‧분석을 의뢰
* RAE : Research Assessment Exercise(영국 최초의 연구평가제도로 동료평가에 기초한 대학별 RAE의 결과에 따라 대학별 재정지원 규모를 결정)
** REF : Research Excellence Framework
○ REF에서는 기존의 RAE보다 연구의 질적 평가 강화를 위해 보다 많은 성과 지표*를 활용할 계획
* 계량서지학적 지표, 전문가 또는 동일분야 종사자의 의견 등을 포함
○ '연구우수성 평가체계(REF)' 개발을 위한 주요 기준을 설정하고 4개국(호주, 영국, 미국, 네덜란드)의 평가체계를 분석
※ 7개국(호주, 영국, 미국, 네덜란드, 스웨덴, 캐나다, 일본)의 14개의 평가체계 가운데, 워크숍을 통해 4개의 평가체계를 선정
2. 주요국의 연구평가체계
호주 : 연구의 질 및 접근성 평가체계(RQF, Research Quality and Accessibility Framework)
○ 대학의 연구활동에 대한 양적 위주의 평가를 탈피하고, 질적인 향상을 추구하기 위해 정부가 2004년에 도입
- 구체적 연구 사례 및 증거에 기반하여 연구활동의 질과 영향력에 대해 체계적이고 지속적으로 평가
※ 획일적 양적평가지표에 의한 평가와 달리, 다양한 양적‧질적 평가정보의 제공과 동료평가를 근간으로 함
○ 연구성과에 대한 질적 수준 뿐 아니라, 사회‧경제적 파급효과 및 환경, 문화에 걸친 다양한 영향력이 평가항목에 포함
※ 적용가능성이 검증된 체계이나, ’07년에 정권이 교체된 후 정치적 이유로 미실행
○ (시사점) 획일적 영향평가지표를 지양하고, 양적‧질적 평가정보를 통한 연구 사례를 분석하는 유일(唯一)한 방법론
영국 : RAND/ARC 영향평가 시스템(RAISS, RAND/ARC Impact Scoring System)
○ 랜드연구소와 관절염연구재단*(ARC, Arthritis Research Campaign)이 개발하여 2008년에 실행한 시스템으로 ARC가 지원한 연구의 영향 및 성과 정보를 평가
* 영국내 네번째로 큰 생명의학 자선재단으로 기초연구, 임상연구 및 의료계 전문인에 의한 연구를 지원
- 연구자 설문조사를 통해 ARC가 지원한 연구성과를 조사하고 분석한 평가체계
※ 연구자로부터 연구 영향에 관한 데이터를 수집하는 매우 구조화된 시스템
○ 연구 역량의 향상 및 보건 관련 정책 개발에 활용하는 등 넓은 영역에 대한 영향을 다루고 있으며, 평가 결과는 전략적 의사결정의 정보로 이용
○ (시사점) 생명의학 분야만을 개발하는 한계점이 있으므로, 다른 모든 분야로의 응용 확대가 차후의 과제임
미국 : 사업평가제도(PART, Program Assessment Rating Tool)
○ 관리예산처(OMB, Office of Management and Budget)는 연방사업의 경영 및 성과 측정을 돕기 위해 ’02년에 개발하여 ’04년부터 실행
※ 1993년에 정부성과법(GPRA, Government Performance Results Act)이 제정되었고, PART는 연방정부의 사업들을 평가하는 수단으로 설계
- 평가체계는 4개 범주, 25~30개의 질문으로 구성되어 있으며, 2008년 기준으로 1,000여개의 프로그램을 평가하는데 사용
○ PART는 증거기반(Evidence-based)의 평가도구로써, 관리예산처 외에도, 타 연방정부의 예산 및 정책에 유용하게 활용 가능
※ 행정부는 사업평가체계의 평가 세부 사항을 일반 대중 및 국회에게 제공
○ (시사점) 다양한 정부 사업에 적용가능한 평가체계로 확장성이 좋음
네덜란드 : 연구의미평가(ERiC, Evaluating Research in Context)
○ 2004년 개발된 표준평가규정(SEP, Standard Evaluation Protocol)의 영향평가 방법론의 부재라는 문제를 해결하기 위해 고등교육계 이해관계자들이 협업하여 ‘연구의미평가(ERiC)’ 시스템을 개발
- 연구의 의미에 있어 연구의 질(quality), 생산성(Productivity), 타당성(relevance), 지속성 및 실행가능성(vitality & feasibility)의 네 개의 범주로 나누어 연구결과를 비교‧평가하는 시스템
○ 대학에서 연구의 영향을 평가하는 평가체계로 자체평가, 지표기반, 이해관계자 분석 등 몇 가지 평가 접근법을 결합
○ ERiC은 2세대 표준평가규정(2009~2015)으로 통합됨
○ (시사점) 전반적인 영향력 평가를 포함한다는 장점이 있으나, 과도한 업무량이 요구되어 질 수 있음
3. 국가별 연구평가체계 검토 결과
□ ‘연구우수성 평가체계(REF)’의 5가지 기준에 대한 각 국가의 연구평가체계의 부합성 평가 결과
○ 호주의 ‘연구의 질 및 접근성 평가체계(RQA)’가 REF 개발 기준에 대한 부합정도가 가장 높음
○ ‘평가업무의 실용성 및 과중 업무 유발’, ‘부정적인 선입견 및 동기 유발‘의 두 개 기준에는 4개의 평가체계 모두 좋은 평가를 받지 못함
- 이 두 가지 기준에 대한 부합성을 향상시키기 위해, 평가와 관련한 행정적 업무량 파악 및 기존 평가체계인 RAE의 업무량과 비교하는 추가적인 연구가 필요
4. 정책적 시사점
□ 한국도 R&D투자 확대에 따른 투자 효율성 확보 등을 위해 1999년부터 R&D사업 성과평가제도를 도입‧운영 중
--------------------------------------------------------------------------------------------
1. 개요
□ 영국 고등교육재정위원회(HEFCE)는 기존의 연구평가체계(RAE)*를 개선한 ‘연구우수성 평가체계(REF)’** 개발을 위해 랜드연구소 유럽지부에 주요 국가들의 연구평가체계 조사‧분석을 의뢰
* RAE : Research Assessment Exercise(영국 최초의 연구평가제도로 동료평가에 기초한 대학별 RAE의 결과에 따라 대학별 재정지원 규모를 결정)
** REF : Research Excellence Framework
○ REF에서는 기존의 RAE보다 연구의 질적 평가 강화를 위해 보다 많은 성과 지표*를 활용할 계획
* 계량서지학적 지표, 전문가 또는 동일분야 종사자의 의견 등을 포함
○ '연구우수성 평가체계(REF)' 개발을 위한 주요 기준을 설정하고 4개국(호주, 영국, 미국, 네덜란드)의 평가체계를 분석
※ 7개국(호주, 영국, 미국, 네덜란드, 스웨덴, 캐나다, 일본)의 14개의 평가체계 가운데, 워크숍을 통해 4개의 평가체계를 선정
|
|
< 연구우수성 평가체계(REF) 개발 기준 >
|
|
|
|
||
|
◇ 평가자와 대학에서 신뢰를 받고 받아들여질 수 있는가? |
||
|
|
||
2. 주요국의 연구평가체계
호주 : 연구의 질 및 접근성 평가체계(RQF, Research Quality and Accessibility Framework)
○ 대학의 연구활동에 대한 양적 위주의 평가를 탈피하고, 질적인 향상을 추구하기 위해 정부가 2004년에 도입
- 구체적 연구 사례 및 증거에 기반하여 연구활동의 질과 영향력에 대해 체계적이고 지속적으로 평가
※ 획일적 양적평가지표에 의한 평가와 달리, 다양한 양적‧질적 평가정보의 제공과 동료평가를 근간으로 함
|
|
< 연구의 질 및 접근성 평가체계의 목적>
|
|
|
|
|
|
|
◇ 정부 연구개발자금으로 수행된 모든 연구결과의 질을 측정
|
||
○ 연구성과에 대한 질적 수준 뿐 아니라, 사회‧경제적 파급효과 및 환경, 문화에 걸친 다양한 영향력이 평가항목에 포함
※ 적용가능성이 검증된 체계이나, ’07년에 정권이 교체된 후 정치적 이유로 미실행
○ (시사점) 획일적 영향평가지표를 지양하고, 양적‧질적 평가정보를 통한 연구 사례를 분석하는 유일(唯一)한 방법론
영국 : RAND/ARC 영향평가 시스템(RAISS, RAND/ARC Impact Scoring System)
○ 랜드연구소와 관절염연구재단*(ARC, Arthritis Research Campaign)이 개발하여 2008년에 실행한 시스템으로 ARC가 지원한 연구의 영향 및 성과 정보를 평가
* 영국내 네번째로 큰 생명의학 자선재단으로 기초연구, 임상연구 및 의료계 전문인에 의한 연구를 지원
- 연구자 설문조사를 통해 ARC가 지원한 연구성과를 조사하고 분석한 평가체계
※ 연구자로부터 연구 영향에 관한 데이터를 수집하는 매우 구조화된 시스템
○ 연구 역량의 향상 및 보건 관련 정책 개발에 활용하는 등 넓은 영역에 대한 영향을 다루고 있으며, 평가 결과는 전략적 의사결정의 정보로 이용
○ (시사점) 생명의학 분야만을 개발하는 한계점이 있으므로, 다른 모든 분야로의 응용 확대가 차후의 과제임
미국 : 사업평가제도(PART, Program Assessment Rating Tool)
○ 관리예산처(OMB, Office of Management and Budget)는 연방사업의 경영 및 성과 측정을 돕기 위해 ’02년에 개발하여 ’04년부터 실행
※ 1993년에 정부성과법(GPRA, Government Performance Results Act)이 제정되었고, PART는 연방정부의 사업들을 평가하는 수단으로 설계
- 평가체계는 4개 범주, 25~30개의 질문으로 구성되어 있으며, 2008년 기준으로 1,000여개의 프로그램을 평가하는데 사용
|
|
< PART의 구성 > |
|
|
|
||
|
① 사업목표 및 설계 : 사업의 목표 및 설계의 명확성 |
||
○ PART는 증거기반(Evidence-based)의 평가도구로써, 관리예산처 외에도, 타 연방정부의 예산 및 정책에 유용하게 활용 가능
※ 행정부는 사업평가체계의 평가 세부 사항을 일반 대중 및 국회에게 제공
○ (시사점) 다양한 정부 사업에 적용가능한 평가체계로 확장성이 좋음
네덜란드 : 연구의미평가(ERiC, Evaluating Research in Context)
○ 2004년 개발된 표준평가규정(SEP, Standard Evaluation Protocol)의 영향평가 방법론의 부재라는 문제를 해결하기 위해 고등교육계 이해관계자들이 협업하여 ‘연구의미평가(ERiC)’ 시스템을 개발
- 연구의 의미에 있어 연구의 질(quality), 생산성(Productivity), 타당성(relevance), 지속성 및 실행가능성(vitality & feasibility)의 네 개의 범주로 나누어 연구결과를 비교‧평가하는 시스템
○ 대학에서 연구의 영향을 평가하는 평가체계로 자체평가, 지표기반, 이해관계자 분석 등 몇 가지 평가 접근법을 결합
○ ERiC은 2세대 표준평가규정(2009~2015)으로 통합됨
|
|
< 2세대 표준평가규정 (SEP) > |
|
|
|
|
|
|
◇ 표준평가규정은 평가위원단을 구성한 후 자체 평가결과에 대해 외부 평가위원회가 검토하는 형식 ◇ 평가방식은 정성적‧정량적 평가를 모두 활용
- 내부 자체평가는 계량서지학적 방법을 응용한 정량적 방법을, 외부 평가는 해당 전문가들로 구성된 평가위원회의 정성적 평가가 주로 활용 |
||
○ (시사점) 전반적인 영향력 평가를 포함한다는 장점이 있으나, 과도한 업무량이 요구되어 질 수 있음
|
연구평가 |
주요 내용 |
장‧단점 |
|
<호주> |
․대학차원에서 연구영향을 평가하는 방법 ․사례연구 방법론 : 연구그룹들이 영향력이 큰 연구사례와 관련 증거와 자료를 제출 ⇒ 적용가능성이 검증된 영향평가체계이나, 정권 교체 후, 실행된 바는 없음 |
․다양한 측면의 영향력을 평가 ․모든 학문분야에 적용 가능 |
|
<영국> |
지표기반 접근법을 위한 첫 단계 ․설문형식 : 연구자를 대상으로 150가지 이상의 잠재적인 연구 영향을 평가 ⇒ 관절염연구재단(ARC)의 연구보조금을 지원받은 연구의 영향 평가에 사용 |
․다양한 측면의 영향력을 평가하지 못함
․모든 학문분야에는 적용 불가능 |
|
<미국> |
․자체평가 접근법으로 연방정부 사업의 성과를 평가하는데 사용 ․설문형식 : 각 프로그램이 전략적 목표의 성과를 자체적으로 평가 ⇒ 1,000개 이상의 연방 사업의 영향 및 효율성 평가에 사용 |
․모든 학문분야에 적용 가능 |
|
<네덜란드> |
․대학의 연구영향을 평가하는 새로운 평가체계 ․여러 가지 평가 방법을 결합 : 자체평가, 지표기반 접근법, 이해관계자 분석 등 ⇒ 2009년에 현행 고등교육평가시스템인 표준평가규정(SEP)에 통합 |
․다양한 측면의 영향력을 평가 |
3. 국가별 연구평가체계 검토 결과
□ ‘연구우수성 평가체계(REF)’의 5가지 기준에 대한 각 국가의 연구평가체계의 부합성 평가 결과
○ 호주의 ‘연구의 질 및 접근성 평가체계(RQA)’가 REF 개발 기준에 대한 부합정도가 가장 높음
○ ‘평가업무의 실용성 및 과중 업무 유발’, ‘부정적인 선입견 및 동기 유발‘의 두 개 기준에는 4개의 평가체계 모두 좋은 평가를 받지 못함
- 이 두 가지 기준에 대한 부합성을 향상시키기 위해, 평가와 관련한 행정적 업무량 파악 및 기존 평가체계인 RAE의 업무량과 비교하는 추가적인 연구가 필요
|
구분 |
평가자와 대학에서 신뢰를 받고 받아들여질 수 있는가? |
다양한 측면에서 전반적인 영향을 포함하는가? |
모든 학분 분야에 총괄‧적용 가능한가? |
평가업무가 실용적이며, 과중한 업무를 유발하지는 않는가? |
바람직하지 못한 선입견과 동기는 유발하지는 않는가? |
|
RQF |
부합 |
부합 |
부합 |
부분적 부합 |
부분적 부합 |
|
ARC |
부분적 부합 |
부합하지 않음 |
부합하지 않음 |
부분적 부합 |
부분적 부합 |
|
PART |
부분적 부합 |
부분적 부합 |
부합 |
부분적 부합 |
부분적 부합 |
|
ERiC |
부분적 부합 |
부합 |
부분적 부합 |
부합하지 않음 |
부분적 부합 |
4. 정책적 시사점
□ 한국도 R&D투자 확대에 따른 투자 효율성 확보 등을 위해 1999년부터 R&D사업 성과평가제도를 도입‧운영 중
|
[참고] R&D사업 성과평가의 법적 근거 ◇ 국가연구개발사업 등의 성과평가 및 성과관리에 관한 법률(’05.12 제정) ◇ 과학기술기본법 제12조(국가연구개발사업에 대한 조사·분석·평가) * R&D 평가업무 위임(국과위→재정부), 국과위에 평가결과 보고 |
○ 정부 R&D의 성과중심 평가제도를 도입하고자 5년 단위의 ｢연구개발 성과평가 기본계획(’06~’10)｣ 수립(’06.8)
○ 매년 전년도에 추진된 R&D사업에 대해 자체‧상위평가, 특정평가 및 출연연구기관 평가를 실시하고, 평가결과를 차년도 예산편성 및 제도개선 등에 반영
- 성과평가법에 따라 매년 ｢국가연구개발 성과평가 실시계획｣ 마련
- 2010년부터는 양적 평가 외에 질적 평가항목*을 도입하고 평가결과와 재정운영과의 연계**를 강화하여 평가의 실효성을 제고
* 과학적 성과(논문, 출판물 등), 기술적 성과(특허, 신기술인증 등), 경제적 성과(사업화, 기술이전) 등 질적 수준을 평가
** ‘우수’ 사업은 지출한도 내에서 증액을 요구하는 경우 적극적으로 반영하고, ‘미흡’ 사업은 재평가를 통한 등급개선이 없을 경우 3년 연속 10% 삭감
□ R&D를 통한 직접적인 성과에 대한 평가뿐만 아니라 R&D 성과의 추후 활용과 R&D의 과학적‧경제사회적 영향까지도 평가하는 체계 구축이 필요
○ 성과평가법과 공동관리규정에서 추적평가에 대해 제시하고는 있으나, 추적평가 대상 및 범위 등이 모호하여 효율적‧효과적 실시를 위한 실행력이 부족한 상황
○ 외국의 평가체계 등을 참고하여 법‧규정과 제도를 정비하고 평가대상 및 범위를 명확화한 평가체계 구축 필요
○ 연구영향 평가체계 구축 시 본 보고서에서 활용한 5가지 평가 기준을 활용하는 것을 고려
* 도표 등과 관련된 상세 내용은 첨부파일을 참조하시길 바랍니다.
* 본 자료는 교육과학기술부 과학기술기반과와 KISTI 정보분석본부, KISTEP 정책기획실 등에서 분석한 내용을 바탕으로 한 것입니다.
