1. DARPA 개요

□ 2018년 설립 60주년을 맞은 DARPA는 경이적인 성과와 ‘DARPA Model’로 불리는 독특한 운영방식으로 R&D 혁신을 추진하는 국가들의 이목을 집중

  ※ DARPA(Defence Advanced Research Projects Agency) : 미 국방부 산하 R&D 기획․평가․관리 전담기관

○ 에너지부, 국토안보부, 교육부, 국가정보국장실(ODNI) 등 미국의 다수 부처에서 DARPA를 벤치마킹 한 R&D 기획평가관리기관을 설립하였고, 프랑스의 마크롱 대통령도 DARPA같은 기관을 EU에 설치할 것을 주장

□ 주요 현황

○ 설립 배경 : 1957년 구 소련의 스푸트니크 발사(스푸트니크 쇼크)를 계기로 1958년 2월 ARPA, 7월 NASA 설립(당시 대통령 : 아이젠아워)

  ※ 명칭 변화 : ARPA(Advanced Research Projects Agency, 1958) → DARPA(1972) → ARPA(1993) → DARPA(1996)

○ 미션 : 파괴적 혁신기술에 전략적 선제 투자로 적국으로부터의 기술적 충격은 방지하고 적국에 대한 기술적 충격은 창출

  ※ to prevent strategic surprise from negatively affecting U.S. national security and create strategic surprise for U.S. adversaries

○ 역할 : “국가안보를 위한 혁신기술 투자에 중심역할”을 하는 국방 R&D 기획, 평가 및 관리 전문기관

  ※ to make pivotal investments in breakthrough technologies for national security

  ※ a funding agency : it has no laboratories or research staff of its own

○ 조직, 인력 및 예산

 - 인력 : 약 220명 (PM : 96명(2018.11.22. 현재))

 - 예산 : 34.4억 달러(2019 요구예산)

  ※ (백만$) 기초연구 470.0, 응용연구 1,431.5, 첨단기술개발 1,458.1, 관리지원 79.3

 - 프로그램 수 : 약 250개

  ※ 조직, 성과, DARPA 모델, PM제도 등에 대해서는 ‘혁신 아이콘 60년, DARPA의 평가 및 PM제도 분석’(ICT SPOT ISSUE, 2018-07) 참조

2. 사업추진 체계 및 프로세스

□ 사업추진 방식

○ DARPA의 사업공고는 BAA, RA, RFP, SBIR, STTR 등으로 구분

 - 중소기업 지원 등 특수목적 외의 R&D 지원에는 주로 BAA와 RA 방식 활용

-  BAA와 RA는 제안서들 간에 상이한 과학적․기술적 접근이 예상될 때 활용(FAR 35.016)하며, 선정평가는 상대평가가 아닌 절대평가 실시

  ※ 구체적인 시스템이나 하드웨어 솔루션 개발이 주 목적인 RFP(Request For Proposal) 방식(FAR 15.0203)은 제안서 간 상대평가 실시

< BAA의 종류 >

○ 자금지원 유형(Award Instrument Type)

 - 그랜트(Grant), 협력계약(Cooperative Agreement), 구매계약(Procurement Contract), 기타 이전거래계약(Other Transaction Agreement, OT)으로 구분

  ※ 협력계약은 사업수행 과정에서 그랜트보다 관리기관(DARPA)의 관여가 더욱 적극적인 유형(substantial involvement)

  ※ OT에는 기술투자협약(TIA), 프로토타입OT, 연구OT(OT for Research)가 있으며, DARPA는 주로 기술투자협약과 프로토타입OT를 활용

  ※ BAA는 모든 자금지원 유형을 활용할 수 있지만 RA는 구매계약 활용 불가 

□ 기획

○ DARPA의 경영철학은 민첩하고 유연하며 비정형적인 ‘발상 → 제안 → 토론 → 결정 → 수정’의 싸이클을 추구하며, 이는 기획과정에도 그대로 적용

 - DARPA-hard niche라는 분명한 초점을 지향하고 있고, 군사기술 전문성이 집중된 작고 플랫한 조직이라는 특성으로 인해 이러한 시스템이 매우 효과적으로 작동하고 있는 것으로 알려짐

  ※ 기획단계 세부 내용은 ‘혁신 아이콘 60년, DARPA의 평가 및 PM제도 분석’ (ICT SPOT ISSUE, 2018-07) 참조

< BAA 단계별 주요 내용 >

□ 사업 공고~제안서 접수

○ BAA 초안 작성(작성자 : PM)

 - 작성 방법 : BAA 견본(Model BAA)을 준수하여 작성하되, 필요시 CMO(계약관리실), GC(법무실), MSD/SID(보안․정보담당관) 등 협의

 - 주요 고려사항 : 예상 지원과제(awards) 수, 예상 지재권 이슈, 수출통제 이슈, 인체 또는 동물 실험 관련성, 프로그램 구성(여러 단계로 구성 시 계속 수행 결정 방법 등), 기술영역들 간 이해상충(Conflict of Interest) 여부, 예비제안서(preproposal) 접수 여부, 참여자격 등

  ※ 예비제안서에는 Executive Summary, White Paper, Abstract가 있음

  ※ 참여 제한 : DARPA의 SETA/A&AS 계약업체는 참여 불가. FFRDC(Federally Funded Research and Development Centers) 및 정부기관(정부/국가 연구소, 군 교육기관 등)은 민간의 연구수행 불가 입증 및 관련 법적 주체로부터 허가를 득한 경우 참여 가능

○ BAA 승인

 - PM 소속 Technical Office & 관련 부서 검토 → CMO 실장 승인

 - 검토 및 승인 시 포함되어야 하는 관련자 : 담당 PM, ADPM(기술실 프로그램관리차장), OD(기술실장), MSO/SID, GC, SBPO(중소기업프로그램실) 실장, CO(계약담당관) 및 CMO 실장

○ BAA 공고(담당 : CO)

 - 공고장소 : www.fbo.gov, www.grants.gov 등 규정된 사이트

 - 공고사실 통보 : CO→홍보실장(Director, Strategic Communications), 의회연락사무소, 기타 CO와 해당 기술실이 필요하다고 판단한 대상

 - 공고 기간 : Program-specific BAA은 45일~180일, Office-wide BAA는 45일 이상~무기한 공고 가능하나 필요 시 업데이트하고, 매년 재공고

○ Proposers Day 개최

 - 해당 기술영역에서의 도전과제와 우려 및 기대에 대해 잠재적 제안자들에게 설명하고, 기술적 접근방법 토론. 참가자들 간 파트너십 형성 기회로도 활용

 - 개최 시기는 BAA 공고 이전 또는 직후 가능

 - PM과 CO 발표가 있으며, 통상 GC, MSO/SID, SBPO 등도 참석

○ 접수 전 공개소통(Open Discourse)

 - PM은 제안서 접수 전 공고내용에 대해 잠재적 제안자들과 공개적인 소통채널 유지 필요. 단, 부국장 서면 승인 시 생략 가능

 - PM이 주요 정보를 특정인에게 제공한 경우 다른 잠재적 제안자들에게도 FAQ (Frequently Asked Question) 등을 통해 제공하고, 반대로 특정인이 PM으로부터 정보를 제공받은 경우 이를 FAQ 등을 통해 공유해야 함. 이로 인해 BAA가 수정되기도 함

 - PM은 질의에 응답 시 CO와 사전 조율을 거쳐야 함. 제안자가 응답을 통해 BAA 또는 기타 공개자료와 상이한 정보 획득 시, BAA가 수정될 수도 있음

 - 사업에 관심있는 FFRDC 및 UARC 소속 전문가들과의 소통 시 타 잠재적 제안자들에 비해 특별대우 불가

○ 접수 후 제한적 소통(Restricted Interaction)

 - 제안서 접수 후 제안자들과의 모든 접촉은 방식 여하(e-mail, 직접 만남, 전화 등)를 막론하고 CO를 통하여야 함

 - 접촉 목적은 통상 제안자의 진행상황 문의 또는 PM이나 Reviewer가 제안서 내용 확인

   ․ 제안서 내용 확인이 제안서 제출 시 담겼어야 할 내용을 추가하게 되는 결과가 되어서는 안 됨

   ․ PM이나 CO는 제안자에게 제안서 수정방법을 자문 또는 지시 불가

   ․ 모든 접촉은 technical transfusion 즉 특정 제안자의 기술적 솔루션이 타 제안자와 섞이게(공유하게) 되는 상황이 되어서는 안 됨

   ․ 특정 제안자와의 접촉이 타 제안자에게 부당하게 경쟁우위를 제공하게 되는 정보노출로 이어져서는 안 됨

○ 접수

 - 제안자는 동일 BAA에 대해 복수의 제안서 제출이 가능하나, 상호 관련없는 아이디어들이 동일 제안서에 포함되어서는 안됨

 - 제안자의 희망 지원유형(award instrument)에 따라 접수사이트 등 방법 상이

□ 선정 평가(Scientific Review)

○ 기본 방향

 - 적합한 모든 제안서(conforming submissions)를 평가하고, 평가보고서 작성

 - 제안서 간 상대평가하지 않음(not evaluated against one another)

   ․ RFP 방식과 달리 공통 과업기술서(common work statement)가 아닌 공통 문제․이슈 해결을 위한 공고이므로 제안서들 간 상대순위 부여는 부적절

 - 평가는 통상 평가개시 후 2주 이내에 완료

○ 평가 지표

 - 연방조달규정(FAR)은 BAA 수행자 선정기준으로 기술적 우수성, 기관 프로그램에 기여도, 예산 가용성, 비용의 현실성과 적절성을 명시(FAR 35.016(e))

 - DARPA는 이를 기초로 평가지표를 설정하되, 프로그램의 특성에 따라 일부 지표를 조정하여 활용. 통상 BAA에서 제시하는 순서대로 가중치를 가짐

< BAA 평가 지표 >

□ 평가 준비

○ 평가팀(Scientific Review(SR) Team) 구성

 - 구성원 : PM, 리뷰어, SME(Subject Matter Experts), SRO(Scientific Review Official)

  ※ 어떤 경우에도 SRO는 PM, 리뷰어 또는 SME의 역할을 중복 수행 불가

 - Reviewer 자격 및 수

   ․ 공무원(government personnel) 이어야 함(SME는 민간인 가능)

   ․ PM도 Reviewer가 될 수 있음

   ․ 예상지원액 규모에 따라 리뷰어 수 상이

○ 프로그램 BAA

  - 선정(안) 중 하나라도 1백만불 이상 예상 : 3명 이상의 정부측 리뷰어 (Government Reviewer). 이 경우 1백만불 이하로 예상되는 제안서들도 리뷰어가 3명 이상이여야 함

 - 모든 선정(안)이 1백만불 이하로 예상 : SRO 승인 하에, DARPA 리뷰어 (DARPA Reviewer) 1명으로 가능. 리뷰어가 1명인 경우 PM도 리뷰어 가능

○ Office-wide BAA

  - 지원 예상액이 1백만불 이하 예상 시, SRO 승인 하에 DARPA 리뷰어 1인 가능 

○ 단일 리뷰어로 추진 시, 프로그램 BAA와 Office-wide BAA 모두 PM은 SRO 승인을 득하여야 하며, 승인서를 SRM(Scientific Review Memorandum)에 첨부   

 - Reviewer와 SME 선정

   ․ Program-specific BAA : PM이 선정

   ․ Office-wide BAA : BAA별로 선정하지 않고 사전에 구성한 pool에서 활용 가능

 - 이해상충(Conflict of Interests, COIs)이 있는 Review팀원은 배제

  ※ DARPA는 COI의 종류, COI 있는 평가팀원의 신고 및 배제 절차, 대리자 선정, COI가 있음에도 평가 참여 가능한 경우, 대리 PM의 역할 등에 대해 매우 상세한 규정 운영(세부 내용은 ‘ICT SPOT ISSUE(2018-07)’ 참조) 

○ 평가팀 킥오프회의(Kick-off Meeting)

 - 평가팀에 대한 Ethics 설명 및 자기인증(self-certification)

 - SR Training : CO가 SR 관련 문서작성 방법 설명

○ 사전적합성 검토(Conforming Submission)

 - CO는 접수된 모든 제안서(preproposal 포함)의 적합성 검토(필요시 PM 및 GC 협조, PM은 리뷰어의 의견 요청 가능)

 - 부적합 경우, CO는 제안자에게 사유서 발송. 이후 어떠한 변경 가능성도 없음

□ 평가

○ 예비제안서 평가(Review of Preproposal)

 - 규정된 평가방법은 없으며, 적합한 모든 예비제안서가 평가되어야 함

 - PM은 예비제안서 접수 30일 이내에 제안자에게 결과 통보

   ․ ‘관심없음(No-Interest)’으로 판단 시, 판단 이유 제시. 사전제안서가 부정적 평가를 받더라도 제안서 접수가 가능함을 제안자에게 인지시켜야 함

○ 제안서 평가(Review of Proposals)

 - 공표된 평가기준에 의거, 절대평가 실시

 - 리뷰어는 본인에게 할당된 제안서 전반을 평가하되, 항목별 강점과 약점을 평가하고, 선택 가능성 여부를 판단함. 평가결과는 평가보고서에 기록

 - 평가보고서에는 평가지표별 식별된 강점과 약점에 대한 설명 및 선정 여부 판단을 뒷받침하는 상세하고 내실있는 서술 필요

   ․ 각 강점과 약점 설명 시 판단근거가 되는 해당 페이지 제시

   ․ 공표된 평가지표만 고려하여 평가하고, 제안서에 포함된 내용만으로 평가

  ※ 리뷰어가 제안자의 이전 활동에 대한 정보가 있더라도 제안서에 기록되지 않은 경우 평가보고서에 코멘트할 수 없음 

 - 모든 평가팀원은 각 제안에 대해 별도의 평가 보고서를 작성. SME는 PM이 지정한 부분만 평가하고 SME 워크시트 작성

 - 각 평가팀원은 평가보고서 작성 완료 시 완료 일자 기입 후 PM에게 제출

□ PM 검토 및 선정(안) 추천

○ PM 검토(PM Review)

 - 리뷰어가 충분하고 실질적인 검토 근거를 제공했는지 여부 확인. PM은 평가설명서의 충분성에 의문이 있는 경우 추천 결정 이전에 CO와 협의

 - PM이 평가보고서의 논리적 근거 또는 선정가능성 판단에 동의하지 않는 경우, 평가자와 협의 가능

   ․ 리뷰어가 PM 의견에 동의하면 평가보고서 수정 및 수정사항 명시

   ․ 리뷰어가 동의하지 않을 경우에도 PM은 본인 의견대로 선정(안) 추천 가능. 다만 PM Summary Sheet에 결정의 논거를 구체적으로 기술

○ 지원대상 추천(Recommendation for Award)

 - PM은 모든 평가 보고서가 완전하고 충실하다고 판단되면, 자신의 프로그램 목표를 가장 잘 충족시키는 제안서 선택을 위한 평가보고서 검토 착수

 - PM은 PM Summary Sheet에 지원대상 추천(안)을 지정

   ․ 추천된 모든 제안서에 대해 자금 지원 논리 명기

   ․ PM이 제안서에 부분 지원(partial funding)을 추천할 경우, 부분 지원 이유를 뒷받침 할 충분한 근거를 포함

   ․ 선택가능한 것으로 평가되었지만 자금지원 대상으로 선정되지 못한 제안서의 경우, 판단 근거 기술 필요

□ SRO 검토 및 승인(SRO Review and Concurrence)

○ SRO 및 CO에 대한 브리핑

 - PM은 Scientific Review 전반 및 지원 대상 추천(안)에 관하여 SRO 및 CO에게 브리핑 실시

   ․ SRO 및 CO 협의로 브리핑 생략하고 Scientific Review 문서 검토 가능. 이 때 SRO는 SRO Independent Review Memorandum에 이를 명시 필요

   ․ Office-wide BAA의 경우, SRO는 모든 제안서에 대한 브리핑을 받거나 전혀 받지 않거나 해야 함. 일부 제안서만 브리핑은 불가

 - SRO는 SRP(SR Package)가 관련 규정을 준수하여 이루어졌는지(DI 20 및 DARPA Guideline), 지원 대상 추천 근거가 적절히 제시되고 문서화되었는지 검토

 - 검토 후 조치의 종류

   ․ SRO가 PM 추천안 승인 / SRO 의견을 반영하여 PM이 추천패키지 수정 및 승인 재요청 / SRO가 PM에게 해당 BAA를 취소하고 프로그램 목적을 명확히하여 BAA 재공고 지시 / SRO가 PM에게 제안서 재평가 지시 / SRO가 해당 프로그램에 대한 자금지원 승인 철회 / (드문 경우지만) SRO가 PM 추천(안)을 본인 추천(안)으로 대체

 - SRO는 검토결과를 SRO Independent Review Memorandum에 기록. SRO 의견이 PM 추천안과 상이할 경우 충분한 근거 제시 필요. SRO 메모랜덤은 평가문서에 첨부되어, 협상 및 자금지원을 위해 CO로 제출

□ 선정 후 업무(Post-Selection Activities)

○ 계약담당관에게 관련자료 송부(Documentation for CO)

 - CO는 협상 개시 전 선정과제의 PR/MIPR 및 선정 근거가 되는 평가 관련 서류(제안서, 판단 보충자료, PM summary sheet, SRO Independent Review Memorandum) 접수 필요(전자파일 또는 파일저장소 정보)

  ※ PR : Purchase Request(구매요청서), MIPR : Military Interdepartmental Purchase Request(군 범부처구매요청서)

 - 요구자료들 중 PM Summary Sheet와 SRO Independent Review Memorandum은 PR/MIPR 패키지에 포함되어야 함

○ 결과 통지 및 협상

 - 서면통지 하되, 선정 또는 탈락은 PM이, 부분지원(partial funding)은 CO가 통지

 - 부분지원(partial selection)의 경우, CO는 제안자에게 수정 제안서 요청

 - 지원방식 및 조건 협상

   ․ CO는 지원협상 대상으로 선정된 제안서에 대해 연구의 특성, 주체들 간 상호협력 필요 정도, 기타 요소 등을 고려하여 지원방식(award instrument type) 결정

○ Informal Feedback Sessions

 - 탈락 제안서의 주 제안자 대상으로 Informal Feedback Sessions 개최 가능
 

   ․ 하도급자(제안서 상 참여기관)는 주 제안자 초청시에만 참석 가능. 주 제안자가 법률전문가를 대동할 경우, DARPA도 GC 및 CO 참석 필요

 - PM과 기타 정부측 참가자는 제안서의 강점과 약점에 대해서만 토론 가능

   ․ 평가서를 공개해서는 안 되며, 타 제안서 관련 내용 또는 평가보고서 내용 노출 불가(예 : 제안 건수, 선정 건수, 평가팀 구성원 등)

○ Quarterly Review(분기별 평가과정 점검)

 - 부국장은 CMO가 무작위 선택한 SR 패키지를 대상으로 분기별로 평가과정의 적절성을 검토

□ 진도 관리 및 결과 평가

○ 매월 프로젝트별 기술 평가, 연 2회 프로그램 차원 통합 평가, 각 단계(Phase) 별로 Go/No-Go 평가 실시

 - 평가는 PM이 주관하되, 실장은 매월, 국장․부국장은 연 1회 참여(CRDS, 2014)

 - 연구팀은 매월 재무 및 기술 리포트를 PM에게 제출

 - 월별 리뷰는 통상 텔레컨퍼런스 또는 연구현장에서 개최

○ Go/No-Go Review

 - Go/No-Go Review를 통과하지 않으면 추가 지원은 중단되며, 평가의 주요 기준은 마일스톤과 하일 마이어의 질문
 

   ․ 매년 프로그램의 약 20%가 단계적으로 종료하고 새로운 프로그램에 착수 (CRDS, 2014)

 - 통상 각 단계를 거치면서 프로그램 내 검증된 소수의 과제들이 계속 지원되는 구조(Down-Selects)

 - 모든 프로그램은 시작점에서 평가 척도가 되는 일련의 ‘Go/No-Go’ 마일스톤 설정에 상당한 시간 투자

   ․ 마일스톤은 프로그램의 진정한 진도 평가, 가치있는 결과물 파악, 지속 펀딩의 정당성 확보를 위해 매우 중요한 수단이므로 마일스톤이 프로그램 목표의 본질을 반영할 수 있도록 집중적인 노력 경주

 - Go/No-Go Review 결과는 다음과 같은 여러 가지 유형이 있음

   ․ 통과 : 다음 단계로 프로그램(또는 그 부분인 프로젝트) 계속 지원

   ․ 실패 : 추가 펀딩 중단

   ․ 다음 단계 지원은 보류하되, 더 완전한 Go/No-Go 목표 달성을 위해 추가 펀딩

   ․ 현재까지 배운 것을 반영하여 목표 전반을 수정

3. PM의 권한과 견제 장치

□ PM의 역할

○ 프로그램 기획 주관

○ BAA/RA 준비 및 선정평가 총괄

○ 진도 점검 및 Go/No-Go Review 총괄

□ 효과적 역할수행을 뒷받침하는 권한 부여

○ 아이디어 발굴 및 프로그램 기획 주도

○ 평가팀(Review Team) 구성(리뷰어 선정, SME에 역할 부여)

○ Reviewer의 평가 결과에 PM 미동의 시, 수정 요구를 위한 협의 가능

○ Reviewer 수정 거부에도 불구하고 선정(안) 추천 가능

○ Go/No-Go Review 총괄 및 다음 단계 지원여부 판단(최종 승인은 국장)

□ 견제장치를 통한 균형 추구

○ BAA(안) 승인 : CMO 실장

○ 제공정보의 공정성 담보를 위한 철저한 통제장치 운영

 - Open Discourse : 제안서 접수 전 PM이 잠재적 제안자와 소통과정에서 BAA 게시 이외 내용 제공 시 Q&A 방식 등으로 해당 내용 공개 및 필요 시 BAA 수정

 - Restricted Interaction : 제안서 접수 후 PM과 제안자 간 소통은 반드시 CO를 통하여야 함

○ COI 문제 발생 시 대리PM 선정 등 엄격하고 구체적인 규정과 절차 운영 

○ SRO : PM 선정추천(안) 검토 및 승인 여부 판단

○ 선정(안)에 대한 지원 수단 결정 및 지원조건 협상권은 CO 보유 

○ 분기별로 선정평가 과정 무작위 검토(부국장)

4. 종합 및 시사점

□ 단계별 주요 특징

□ 주요 요소별 DARPA와 IITP 비교

□ 시사점

○ 보다 능동적이고 다원화된 연구기획시스템 필요

 - 변화하는 기술․시장․경쟁 환경 하에서 차별화된 기술의 발굴과 접근전략 마련은 더욱 어려워지는 상황. DARPA도 이를 직면한 도전과제로 인식. 우리는 연구자 중심 R&D 전략을 추진하며

   연구자의 아이디어 존중을 강조. 그러나 전담기관이 상위 정책방향과 우리의 현실, 사업현황 등을 체계적으로 이해하면서 투자대상과 추진전략을 탐색해 나가는 역할은 여전히 중요

   ․ 이를 위해 기술수요조사, 기획위원회 운영, 인터넷 사전공시 등 각 단계별 업무를 원점에서 재검토, 형식적으로 추진되고 있는 것은 없는지, 기술 및 R&D 패러다임 변화를 고려 시 개선, 제거 또는 도입되어야 할 요소들은 무엇인지 규명 필요

   ․ DARPA에서 추진 중인 RFI, Seedling 등을 도입하는 방안 검토 필요

  ※ RFI는 새롭게 부상하는 신기술의 의미와 활용가능성을 조기에 파악하고 선도적 대응방안을 마련하는데 유용할 것으로 기대 

 - 기획작업은 공식적인 기획프로세스가 시작된 이후의 작업이 아니라 평소 다양한 네트워크와 각종 간담회, 연구현장 방문 등을 통해 끊임없이 아이디어를 발굴하고 가능성을 확인하고 추진전략을 고민해나간다는 발상의 전환 필요

○ 인적 공정성과 더불어 정보공정성에 대한 인식 강화 필요

 - 우리는 상피제도를 통해 인적 공정성을 담보하려는 인식은 비교적 강함. 그러나 정보의 공정성에 대해서는 포괄적인 윤리규정에 그치는 정도

 - DARPA가 특정인에게 차별적인 정보 제공 시 반드시 FAQ 등을 통해 해당 정보 공유, 제안서 제출자와 PM 간 직접 소통 금지, FFRDC 등에 대한 차별적 정보 혜택 금지 등 정보 공정성에 대해 엄격한 규정 운영

 - 공정성 요구 수준이 날로 높아지는 상황에서 DARPA의 예를 참고하여 보다 치밀한 정보공정성 장치가 마련되도록 노력 필요       

○ 평가교육 강화 및 평가엄밀성 제고

 - DARPA는 평가팀원(SR Team Members) 대상 킥오프회의를 의무 개최. 이를 통해 상세한 평가요령 설명 및 상피제도 관련 자기인증을 실시

   ․ 평가요령으로 평가위원들이 판단근거로 활용한 제안서 페이지 번호 표기, 제안서 내 정보만 활용 등 매우 세부적인 사항까지 적시

 - 평가환경 개선을 위해 노력하는 한편으로 전담기관 차원에서 추진가능한 사항들을 파악하여 우선 실행에 옮기는 노력 필요

   ․ 매우 구체적이고 체계적인 평가요령을 준비하고 이를 충분히 숙지시키며 근거에 기반한 평가를 할 수 밖에 없도록 환경을 마련할 경우, 평가의 질적 개선은 물론 부실 평가위원의 무분별한 참여 방지효과도 기대

○ 연구유형에 따른 기획․평가 시스템 차별화 필요

 - 자유공모를 제외한 대다수 사업이 RFP 방식을 활용하고 있는데, 사업의 다양성을 고려 시 RFP라는 동일 명칭 사용이 적절한지 검토 필요

 - RFP가 보통명사가 아닌 여러 유형의 Request 중 하나임을 인식하고 사업별로 적절한 Request 유형을 정의하고 그에 부합하는 추진프로세스를 개발 필요

○ 가치있는 실패를 장려하는 평가시스템 필요

 - 대다수 과제가 성공으로 평가되는 현실에도 불구하고 연구자입장에서 결과평가는 부족한 점을 찾아내는데 중점을 두고 있다는 인식이 강함. 평가는 엄정해야 하겠지만,

   달성하지 못한 것에 초점을 맞추기보다는 어떤 획기적인 성취가 있었다면 그 가치를 충분히 인정하는 평가체계를 갖춤으로써, 연구자들이 실패를 성공으로 포장하려는 유혹을 줄이고,

   세상을 바꿀만한 차별적인 연구에 도전할 수 있는 환경 제공 필요

○ 위원회 중심 의사결정방식 개선 및 전담기관 전문성 강화 필요

 - 우리는 R&D 관련 주요 의사결정에 대해 내부보다는 외부 전문가, 개인적 판단보다는 위원회 방식에 지나치게 의존적이라는 지적 존재   

 - DARPA는 위원회 운영을 보완적으로 활용하고 있지만, 특히 혁신적 아이디어 선택에 대한 위원회 합의과정에 매우 부정적인 인식을 가지고 있으며, 결과적으로 차별화된 성과를 창출하여 왔음.

   핀란드도 위원회 평가방식의 한계를 절감하면서 새로운 평가모델을 고심 중

 - R&D 전담기관이 책임감과 전문성을 가지고 판단함이 더 적절하여 위원회를 대체할 수 있는 대상은 없는지, 위원회 방식을 유지하더라도 효과성과 효율성을 제고할 방안은 무엇인지 검토 필요

 - 이는 전담기관의 전문성 및 신뢰성 확보와도 밀접한 관련을 가짐. 전담기관이 어느 수준의 내부 전문성을 갖추어야 하는가에 대해서는 관점과 제도적 환경 등에 따라 의견이 다르겠지만,

   전담기관이 기획과 평가 단계에서 각종 위원회 등을 통해 외부 전문성을 지원 또는 보조하는데 그치는 상황은 적절치 않음

 - R&D 전담기관 개편이 물리적 통폐합에 그치지 않고 전문성과 업무환경의 개선, 이를 통해 더 수준높은 연구지원서비스로 귀결되어야 할 것임