요 약 문

1. 저술 배경 및 필요성

▢ 수많은 연구개발 사업과 과제들이 진행 중이고, 여기에 거액의 국가 예산이 투입되고 있음

▢ 과학기술 혁신본부 설치(‘04년) 등 성과확산과 국가 연구개발 종합 기획･조정, 연구개발 성과 평가 등 현장 과학기술인의 연구개발활동을 지원하고 그 성과물의 효과를 극대화하기 위한 노력이 점증되고 있음

▢ 한국과학기술기획평가원(KISTEP)은 ‘05년 국가평가체제(National Evaluation System, NES) 구축의 원년으로 선언, 연구개발 평가를 더욱 선진화･합리화하는 것을 지향

2. 기대효과

▢ 평가위원들의 평가 이력 및 평가 점수 등 활동 전반을 기록하고 DB화하여, 결과를 항상 파악할 수 있도록 함

▢ 검증 과정의 기록 및 중립성에 대한 기록에 의해 선정▪검증과정이 간편화 됨

▢ 평가위원들의 누적 성적에 따른 랭킹과 등급에 의해 우수 평가위원과 불량 평가위원 구분 가능

▢ 평가 업무의 효율성과 전문성을 높이고, 또한 평가의 공정성과 투명성을 더욱 확보할 수 있게 되게 되므로 불복 시비를 없애고 평가 업무의 수준을 크게 향상 시킬 수 있음

3. 평가자에 대한 평가

▢ 한정된 자원을 특정 사업에 투입할 경우 투입 대비 산출이 극대화 되는 사업에 자원을 투입해야 하는 것은 주지의 사실임.

- 비록 평가를 위한 체계적인 가이드라인이 잡혀있다 할지라도 평가자의 주관적 판단에 사업의 흥망이 달려있다 할 수 있으므로 평가자의 역할은 매우 크다고 할 수 있음

▢ 평가자의 요건으로 공정성과 중립성, 기술적 능력, 평가 능력, 적극성 및 성실성, 그리고 윤리의식을 제시

▢ 평가의 성격과 대상에 따라 평가자에 요구되는 자질이 다를 수 있음

▢ 평가의 1차 고객인 평가의뢰기관과 피평가자를 중심으로 평가자에 대한 평가를 실시

- 계량적 평가요소, 정성적 평가요소 도입

4. 현행 평가위원 관리의 문제점

▢ 각종 사업과 과제를 평가하기 위한 평가위원들의 수도 현재 1만 명 정도에 이르나, 연구자 기본DB 이외에는 체계적인 관리가 거의 안 되고 있는 실정임

- 이는 평가 업무의 효율성과 전문성 등을 크게 저해할 뿐 아니라, 평가 결과의 정확성과 공정성 등에 대해 문제를 야기할 가능성이 큼 

5. 평가자 평가이력 관리 DB의 설계

▢ 평가자 선정에 있어서 Negative filtering과 Positive filtering이 모두 필요하나, 결국 filtering 자체가 필요 없는 평가자 풀을 구축

▢ 평가 상세 이력을 기록함으로써 평가 경력 정보를 관리하고, 마일리지 제도를 도입

▢ 미래의 행위에 대한 추측을 위해 과거 행위의 기록을 활용할 수 있음

- 평판(reputation)에 따라 보상(payoff)이 달라지는 경우 행위의 기록을 바람직한 방향으로 남기려는 동기를 부여함(평가자가 평가에 공정하고 성실하게 임하도록 동기부여)

- 평판을 통해 미래에 얻을 수 있는 이득이 평판을 고려하지 않고 현재의 행동에서 얻을 수 있는 이득보다 커야 함

▢ 평가이력 관리체계의 핵심인 평가자 DB를 기존의 전문가 DB와 별도로 구축함

- 평가이력 DB는 기본정보, 선임단계 정보, 평가활동단계 정보, 평가종료단계 정보, 기타정보로 구성

6. 평가자 마일리지와 등급 체계

▢ 평가자에 대한 평가점수 산정하고 기록하여 마일리지화

▢ 마일리지 점수는 평가자를 등급화하기 위한 하나의 평가 방법임

- 보다 쉽게 인식할 수 있는 기호화된 체계로 평가자에게 평가이력 관리에 대한 적극적 동기 부여

7. 활용방안

▢ 평가위원 선정 검증시 수작업, 담당자 및 전문위원의 기억과 주관적 판단에 의존하던 검증절차를 개선

- 공정성과 중립성이 검증된 상위 등급 평가자의 경우 검증 생략

▢ 평가위원회 구성에 활용

▢ 전문위원 위촉, 평가제도 개선, 종합평가, 연구개발 기획에 활용 가능

▢ 우수한 평가활동에 대한 적절한 보상

- 평가자의 등급에 따라 보상 차등화 및 우수 평가활동에 대한 포상 

- 목차 -

I. 서론

            가. 저술 배경                                                     

            나. 평가위원 평가이력 관리체계의 필요성                     

            다. 기대효과                                                      

            라. 본 에세이의 저술 방향                                  

II. 평가자에 대한 평가

    1. 평가자의 요건         

            가. 연구개발 평가에 있어서 평가자의 중요성                   

            나. 평가자의 요건                                         

            다. 바람직한 평가자 상                                    

            라. 평가의 성격에 따른 필요 자질                           

    2. 평가자에 대한 평가                             

            가. 평가고객의 범위와 구분                                 

            나. 평가자에 대한 평가요소                                 

            다. 평가자 신뢰도 확보                                 

III. 평가위원 관리 현황 및 문제점

    1. 평가위원 관리제도 현황

            가. [예시 1] 특정연구개발사업                              

            나. [예시 2] 차세대신기술개발사업                          

            다. [예시 3] 미국 국립표준기술원의 첨단기술사업(ATP) 

            라. [예시 4] 미국 중소기업혁신사업(SBIR/STTR)               

            마. [예시 5] 국가지정연구실사업                            

    2. 문제점 및 개선방향                                     

            가. 평가위원 선정 및 관리의 문제점                  

            나. 평가 신뢰성 제고를 위한 개선방향                        

IV. 평가위원 평가이력 관리체계(마일리지 제도)

    1. 평가이력 관리체계의 목표       

            가. 평가자 선정을 위한 전문가 DB의 보조 및 보완     

            나. 평가이력의 기록 및 종합 관리                           

            다. 평가자 자질 향상 및 우수 평가자 발굴 활용                

    2. 평가이력 관리체계의 설계       

            가. 평가이력 관리체계 설계의 키워드                 

            나. 평가이력 DB의 설계                                   

            다. 평가이력 DB의 운용                                   

    3. 평가자 마일리지와 등급 체계

            가. 평가자 마일리지                                               

            나. 평가자 등급 체계(Rating System)                 

    4. 평가자 평가이력 관리체계의 활용         

            가. 기획․평가기관                                         

            나. 차별화된 제도 적용                                    

            다. 평가자                                                       

            라. 추가적인 고려점                                               

V. 결론                                                                                  

참고문헌