창의적연구진흥사업

단계평가 추진계획

- □98년도 선정 18개 과제 -

2001. 6

과 학 기 술 부

Ⅰ. 평가추진체계

Ⅱ. 서면평가 추진방법

Ⅲ. 패널평가 추진방법

Ⅳ. 종합심의 및 평가결과의 활용

[붙임] 1. 평가표 서식

2. 평가대상연구단(□98선정)

Ⅰ. 평가추진체계

	평가목적
♠ 연구성과의 질적 우수성 평가를 통해 창의사업의 기본목표 달성 ♠ 사업의 기본철학에 바탕을 두고 기술환경 변화에 적절한 대응 유도

□ 평가방향

□ 국내외전문가 서면평가와 연구책임자 발표패널평가를 통해 연구결과의 공개 및 활용계기 마련

□ 평가항목 및 척도의 단순화 및 계량화를 통해 연구자의 행정부담을 경감시키고 핵심 성과의 질적평가를 지향

□ 평가체계

< 구 분 >		< 평가 주체 >		< 결과 활용 >

국내서면 평가		□관련분야 국내 전문가		□종합심의시 점수반영(25점) □패널 평가시 참고자료로 활용

□

해외서면 평가		□외국인 및 재외 한국인		□종합심의시 점수반영(25점) □패널 평가시 참고자료로 활용

□      □

패널평가		□기술분야별(4개) 전문평가소위원회		□종합심의시 점수 반영(50점)

□      □

종합심의		□추진기획위원회		□순위산정 및 평가등급 부여 □계속지원여부 종합심의

□ 세부 추진체계

	<국내서면평가>		단계평가 세부추진계획 수립·통보		<해외서면평가>
	국내전문가추천	□	(6.27)	□	해외전문가추천
	□ (6.30)				□ (6.30)
	국내평가단 구성		□		해외평가단 구성
	(7.10)				(7.10)
	□		연구성과요약문 및 2단계 연구계획서 접수		□
			□ (7.20)
	연구성과요약문송부 및 국내서면평가		패널평가위원 Pool 구성 및 선임		연구성과요약문 송부 및 해외서면평가
	(7.25~8.15) □		□ (7.30∼8.10)		(7.25~8.15)
			평가위원 Workshop		□
			□ (8.17)
	평가결과 종합	□	발표 및 패널평가	□	평가결과 종합
			□ (8.23∼24)		□ (8.20)
	□ (8.20)
	□	□	평가결과 종합심의	□	□
			□ (8.31)
	연구단장 통보	□	평가결과 확정
	□		□ (9.5)
	탈락과제 재심	□	최종확정 및 통보
	(9.19)		□ (9.21)
			협약체결 및 연구착수	(10.1)

Ⅱ. 서면평가 추진방법

1. 평가주체의 구성

○ 연구단별로 국내외 전문가 각각 3명 내외로 구성

- 평가대상 과제별로 학문적으로 검증된 세계적인 전문가를 선정

- 각 연구단장이 국내외 전문가를 각각 3명씩 추천하고, KISTEP 해당 전문위원 및 창의사업 추진기획위원회에서 적정인사 추가 추천

※ 필요시 해외과협 등을 통해 적정인사 추천의뢰

○ 추진기획위원회에서 상기 평가위원 후보의 우선 순위를 정한후 본인과의 협의에 따라 평가위원직을 수락하는 전문가를 평가위원으로 확정

- 연구단장 추천 전문가가 최소 1인이상 포함되도록 선임

- 피평가자와 이해관계가 있는 인사(지도교수 등)는 제외

2. 평가절차

준비단계		평가위원 Pool 구성 및 선임		·창의연구단장 추천 전문가와 전문위원·추진기획위원회에서 추천한 전문가중에서 최종선임
		↓
		평가자료 발송		·특송우편을 통한 자료발송 및 회수
↓		↓
평가단계		국내외 전문가 서면평가		·1단계 평가임을 감안, 아이디어의 실현가능성에 비중을 두고 - 연구목표 달성도, 원천기술 확보정도, 차세대 연구리더 성장가능성, 향후 연구계획의 적절성 등을 함께 평가
↓		↓
결과활용		패널평가시 평가의견배포 및 평가점수 종합		·패널평가시 서면평가의견을 참고자료로 활용 ·종합심의시 각각 25점 반영

3. 평가방법

♠ 별도의 평가양식에 의한 우편 서면평가를 실시하되 1단계 평가임을 감안, 아이디어의 실현가능성에 비중을 두고 평가

- 전문학술지 논문게재 평가방식 준용

□ 국내서면평가

○ □연구목표 달성도□, □원천기술 확보정도□, □차세대 연구리더로서의 성장가능성□, 및 □향후 연구계획의 적절성□ 항목에 대해 등급을 부여하고 항목별 의견 제시

- 평가항목별 5개 평가등급(아주우수, 우수, 보통, 미흡, 불량)으로 평가

○ 평가등급비율은 □특연사평가지침□을 따르되, 필요시 일부 조정 가능

□ 해외서면평가 :

○ □원천기술 확보정도□ 및 □차세대 연구리더로서의 성장가능성□ 항목에 대해 등급을 부여하고, 항목별 의견 제시

- 종합의견으로 당해 연구과제가 세계수준에서 얼마나 중요한 연구인지, 향후 어떠한 방향으로 추진하여야 할 지에 대한 검토의견 기재

○ 2개 평가항목에 대해 5등급(Exellent, Very good, Good, Fair, Poor)으로 평가

- Exellent : World Class Significant Research Results

Outstanding from the world class's view

High Scientific Impacts

Highly Competitive with Top Scientists

- Very good : World Class Research Results

Medium Scientific Impacts

Competitive with World Class Scientists

- Good : Good Research Results

Selectively Competitive with World Class Scientists

- Fair : Normal Research Results, but no significant

- Poor : Under Normal Research Results

○ 국내외 서면평가의견은 패널평가시 참고자료로 활용하고 추진기획위원회 종합심의시 평가점수에 반영(각 25점)

4. 평가대상자료

○ 평가지표에 대한 연구성과 요약문(영문)

①   연구목표 대비 달성도

②-1 평가대상기간중 발표저널의 Impact factor 1 이상인 논문요약 및 인용횟수

- 대표적 논문 3편(원본 또는 사본) 및 논문투고시 심사위원 Review 의견서 첨부

②-2 출원/등록 특허 및 내용(등록서 첨부)

③   국제학술활동 실적 등

○ 2단계 연구계획서 요약본(영문)

5. 세부추진일정

○ 6.27           국내외 서면평가계획 수립

○ 6.30~7.10    국내외 전문가 추천 의뢰 및 선임

○ 7.25~8.15    평가자료 송부 및 평가 의뢰

○ 8.20           평가결과 접수 및 종합

○ 8.23~24/31   패널평가에 평가의견 활용 및 종합심의시 점수 반영

Ⅲ. 패널평가 추진방법

1. 평가주체의 구성

○ 기술분야별 전문평가소위원회 구성·운영

분 야	화학·화공	생물·의료	물리·원천	재료·전자
과제수	4	5	5	4

※ 과제별 소위 배분은 연구단장 본인 의사 및 추진기획위원회의 검토결과에 따라 결정

○ 전문평가소위원회는 산·학·연 및 여성위원을 고려하여 해당분야의 모든 기술을 포괄할 수 있도록 10명 내외로 선임

- 특정연구개발 평가위원 Pool에서 Key-word 검색을 통해 평가대상과제별 평가위원 후보를 5인 이상 추천

→ 위원회별로 1기관 1인 선임을 원칙으로 구성하고, 피평가자와 이해관계가 있는 자는 제외

→ 추진기획위원, KISTEP 전문위원 및 과기부와 협의를 거쳐 우선순위를 정한 후 평가위원직을 수락하는 전문가를 평가위원으로 확정

○ 전문평가소위원회는 추진기획위원 1명과 KISTEP 해당 전문위원이 각각 위원장과 간사위원을 담당하여 운영

- 위원장과 간사위원이 사업목적과 철학에 따라 회의를 주재하되, 평가는 하지 않음

2. 평가절차

준비 단계		단계평가 실시안내	○ 평가대상 연구단 통보
		↓
		연구성과요약문 및 연구계획 접수	○ 평가자료 및 차기단계 계획서 접수
		↓
		평가위원 Pool구성 및 선임	○ 평가위원 선임위원회 구성운영
		↓
		국내외 서면평가 종합	○ 평가의견 취합·반영
□		↓
평가 단계		평가위원 사전교육	○ 평가자료 배포, 평가목적· 방법 교육 및 사전 Study
		↓
		기술분야별 발표 패널평가	○ 연구성과 및 향후 연구계획 발표평가
□		↓
심의 단계		추진기획위원회 심의	○ 국내외 서면평가 및 패널평가 종합 ○ 계속지원여부 심의
□		↓
통보 단계		평가결과 통보	○ 인터넷 홈페이지 공고 및 개별통지
□		↓
재평가 단계		재심신청 및 재평가	○ 계속지원 제외과제에 대한 재평가 실시

3. 평가방법

○ 연구책임자 발표를 통한 전문가 패널평가

- 평가항목별 5개 평가등급(아주우수, 우수, 보통, 미흡, 불량)으로 평가

- 평가등급비율은 □특연사평가지침□을 따르되, 일부 조정 가능

○ 패널평가시 국내외 서면평가의견을 배포하여 참고자료로 활용

4. 평가항목

○ 연구목표 달성도

- 연구계획서상 연구목표  및 평가착안점 대비 연구성과

○ 원천기술 확보정도

- 발표논문의 질적 우수성 : 발표저널의 Impact factor 1 이상인 논문내용 및 인용횟수

- 논문투고시 심사위원 Review 의견 : 대표적 연구논문 3건의 내용 및 Review의견서

- 출원·등록특허 우수성 : 특허 출원·등록실적

○ 차세대 연구리더로서의 성장가능성

- 국제학술활동 : 국제초청강연,세미나실적

- 국내외 학술적 인지도 : 과학기술 관련 수상 실적 등

○ 향후 연구 계획의 적절성 : 2단계 연구계획내용

5. 평가 대상자료

○ 평가지표에 대한 연구성과 요약문(영문)

①    연구목표 대비 달성도

②-1 평가대상기간중 발표저널의 Impact factor 1 이상인 논문요약 및 인용횟수

- 대표적 논문 3편(원본 또는 사본) 및 논문투고시 심사위원 Review 의견서 첨부

②-2  출원/등록 특허 및 내용(등록서 첨부)

③    국제학술활동 실적 등

○ 2단계 연구계획서(영문)

6. 세부 추진일정

○ 6.27         단계평가 계획(안)수립·통보

○ 7.20        연구성과요약문 및 2단계 연구계획(요약) 접수

○ 7.30~8.10 평가위원 Pool구성 및 전문평가소위원회위원 선임

○ 8.10         2단계 연구계획서(정식본) 접수

○ 8.17         평가위원 Workshop

○ 8.23~24    전문위원회 패널평가 실시

○ 8.31         추진기획위원회 종합심의

○ 9.19         재심신청 및 재평가

○ 10.1         협약체결 및 연구착수

Ⅳ. 종합심의 및 평가결과의 활용

□ 추진기획위원회 종합심의

□ 추진기획위원회에서 경제사회적 파급효과 및 창의사업의 목적·철학과의 부합성 정도를 심의

- 각 전문평가소위 위원장은 해당소위 평가대상과제의 특기사항 및 소위에서의 논의 결과를 제시

○ 국내외 서면평가(각 25점), 패널평가 점수(50점) 등을 바탕으로 종합조정 및 최종심의

- 순위 산정 및 평가등급 부여

□ 평가결과의 활용

○ 평가결과에 따라 최하위 15% 이상을 종료 또는 중단 조치

○ 계속지원과제는 평가결과에 따라 신청 연구비를 2단계동안 차등 적용함을 원칙으로 추진

- 아주우수 : 신청연구비를 최대한 반영하여 지원

- 보통이하 : 신청연구비를 하향 조정하여 지원

※ 단계평가 결과에 따라 3~4개 과제 종료시, 50~51개 과제 계속 수행(7개 과제 신규 추진)

붙임 1

[서식 제1호, 해외서면평가용]

EVALUATION FORM

1. Scientific Performance * Aspects to be considered :
Comments:
	Grade : Excellent( ), Very Good( ), Good( ), Fair( ), Poor( )
2. Potential for World-Class Research Scientist * Aspects to be considered :
Comments:
	Grade : Excellent( ), Very Good( ), Good( ), Fair( ), Poor( )
3. Comprehensive Comments * Aspects to be considered :

[서식 제2-2호, 패널평가용]

소위원회별 종합평가서

평 가 일	2001년 8월 일
평가소위명	( ) 소 위
위 원 장	(인)

□ 과제별 종합의견

순서	연구단명	종합의견	비고

<참고>            단계평가 항목

□□□□□□□□□□□□□□□□□□□□□□□□□

항 목	세부내용	첨부자료	형 태	비고
1. 연구목표 달성도	□본 연구계획서(□98년도)상의 최종목표 및 1단계 목표와 평가의 착안점 및 척도 기술 -연차평가시 수정, 보완된 경우 그 내용도 기재 □상기 목표 및 평가척도 대비 연구성과에 대해 정량적 측면에서 기술		영문	·패널 ·국내서면평가
2. 원천기술 확보정도 가. 발표논문의 질적우수성 나. . 논문투고시 심사위원의 Review 의견 다. 특허출원·등록	□발표저널의 Impact factor 1이상인 논문과 논문인용횟수 □대표논문 3편에 대한 심사위원의 Review의견서 □출원등록 특허실적 및 내용	대표논문·의견서 등록서	영문	·패널 ·국내서면평가 ·해외서면평가
3. 차세대 연구리더로서의 성장가능성 □국제학술활동 □국내외 학술적 인지도	□국제학술대회에서의 초청강연 및 해외 세미나 발표실적과 내용 □과학기술 관련 수상경력 및 국내외 언론·학술기관에서의 평가자료 등	증빙자료 증빙자료	영문	·패널 ·국내서면평가 ·해외서면평가
4. 향후 연구계획의 적절성	□2단계 연구계획 및 내용	원본 및 요약본	영 문	·패널 ·국내서면평가

붙임 2

단계평가대상연구단(□98선정)

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

(단위 : 백만원)

연구단명	유치기관	성명	98 연구비	99 연구비	2000 연구비	소계	비고
촉진수송 분리막 연구단	KIST	강용수	975	860	680	2,515	줄기
이온-표면 반응성산란 연구단	서울대	강헌	743	650	480	1,873	□
준결정 재료 연구단	연세대	김도향	836	730	560	2,126	□
단백질합성효소 네트워크 연구단	서울대	김성훈	1,038	890	590	2,518	□
세포스위치단백질 구조 연구단	생명(연)	류성언	983	790	500	2,273	□
세포분열조절단백질 연구단	성균관대	서연수	711	580	450	1,741	□
거시양자광레이저 연구단	KAIST	안경원	871	750	550	2,171	□
양자 정보처리 연구단	서울시립대	안도열	1,192	1,000	690	2,882	□
라이겐드제어형 전사조절 연구단	전남대	이재운	1,044	960	690	2,694	□
식물단백질이동 연구단	포항공대	황인환	673	550	400	1,623	□
광굴절분자집합체 연구단	한양대	김낙중	587	485	380	1,452	씨앗
광혼돈현상제어 연구단	배재대	김칠민	545	480	400	1,425	□
스핀정보물질 연구단	KAIST	신성철	640	570	480	1,690	□
제올라이트 초결정 연구단	서강대	윤경병	682	610	450	1,742	□
신경망 동력학 연구단	고려대	이경진	564	500	420	1,484	□
프로그램 분석시스템 연구단	KAIST	이광근	392	300	300	992	□
테라헤르츠 포토닉스 연구단	포항공대	한해욱	545	490	400	1,435	□
거대자기저항 재료 연구단	표준(연)	허남회	637	540	400	1,577	□
계(18개)			13,658	11,735	8,820	34,213	□