국내외 과학기술 정책에 대한 간략한 정보
단신동향
해외단신
과학자금조달에서 기대효용 예측 시범 연구 결과 원문보기 1
- 국가 미국
- 생성기관 미국과학자연맹
- 주제분류 과학기술전략
- 원문발표일 2024-03-18
- 등록일 2024-03-29
- 권호 260
○ 미국과학자연맹(FAS)는 Metaculau와 협력하여 기대효용이 연구 제안서의 측정기준이 될 수 있는지에 대한 시범연구를 진행하였으며, 해당 시범연구의 결과와 시사점을 공유
- 연방과학기관들이 보조금 제안서를 검토하기 위해 사용하는 현재 프로세스는 위험도가 높은 제안서에 편향되는 경향이 있음
- 메타과학 공동체는 과학 자금 결과를 개선하기 위해 자금지원 제안서를 평가하는 다양한 대안적 접근법을 제시해왔음
- 그런 접근법 중 하나가 예상되는 성과와 영향력에 대한 공식적인 정량적 측정인 기대효용(expected utility)이 과학 제안서의 위험과 보상을 평가하기 위해 더 나은 측정기준이 될 수 있는가에 대한 Chiara Franzoni와 Paula Stephan의 논문에서 제시되었으며, 이 논문에서 영감을 받아 본 연구를 수행
○ 기대효용 예측을 활용하여 동료검토를 수행했을 때 3가지 강점은 다음과 같음
- 심사자들에게 엄격성을 장려하고 과학적 자금지원에 대한 위험방지 편향을 줄일 수 있는 비교적 가벼운 접근방식이었음
- 검토기준은 프로그램 관리자들이 보조금 포트폴리오의 위험-보상을 더 잘 이해하게 하고 프로그램 목표에 따라 더 의도적으로 구성할 수 있게 하였음
- 정량적 예측은 해결할 수 있는데, 이는 프로그램 책임자가 검토자의 예측과 지원받은 제안서의 실제 결과를 비교가능할 수 있음을 의미함. 이는 검토자에게 시간이 지남에 따라 그들의 평가의 정확성을 향상시키도록 장려하는 동료검토 과정에서의 피드백과 학습 루프를 만들 수 있음
○ 이번 연구에서 검토자들은 효용예측 과정을 처음으로 접했고 긍정적인 반응을 보임. 그들은 질문의 구성이 그들에게 다른 방식으로 제안서를 생각하도록 하고 정략적 예측을 통해 평가근거를 마련하도록 했다고 말함
- 이 시범연구를 설계하고 결과를 분석하면서, 필자들은 검토과정을 계획하면서 몇 가지 중요한 고려사항을 발견함
- 2개의 중요한 예는 제안서 이정표를 정의하는 것과 영향점수체계(impact scoring systems)를 만드는 것임
- 두 사례 모두 달성해야 할 목표에서 모호성을 줄이고 하나의 결과가 다른 결과에 의존하는 방식에 대한 이해도를 높이며, 해석 가능하고 해결가능한 평가기준을 만드는 것이 검토자로부터 요청받는 정보를 확보하는 것을 도울 수 있음
- 연방과학기관들이 보조금 제안서를 검토하기 위해 사용하는 현재 프로세스는 위험도가 높은 제안서에 편향되는 경향이 있음
- 메타과학 공동체는 과학 자금 결과를 개선하기 위해 자금지원 제안서를 평가하는 다양한 대안적 접근법을 제시해왔음
- 그런 접근법 중 하나가 예상되는 성과와 영향력에 대한 공식적인 정량적 측정인 기대효용(expected utility)이 과학 제안서의 위험과 보상을 평가하기 위해 더 나은 측정기준이 될 수 있는가에 대한 Chiara Franzoni와 Paula Stephan의 논문에서 제시되었으며, 이 논문에서 영감을 받아 본 연구를 수행
○ 기대효용 예측을 활용하여 동료검토를 수행했을 때 3가지 강점은 다음과 같음
- 심사자들에게 엄격성을 장려하고 과학적 자금지원에 대한 위험방지 편향을 줄일 수 있는 비교적 가벼운 접근방식이었음
- 검토기준은 프로그램 관리자들이 보조금 포트폴리오의 위험-보상을 더 잘 이해하게 하고 프로그램 목표에 따라 더 의도적으로 구성할 수 있게 하였음
- 정량적 예측은 해결할 수 있는데, 이는 프로그램 책임자가 검토자의 예측과 지원받은 제안서의 실제 결과를 비교가능할 수 있음을 의미함. 이는 검토자에게 시간이 지남에 따라 그들의 평가의 정확성을 향상시키도록 장려하는 동료검토 과정에서의 피드백과 학습 루프를 만들 수 있음
○ 이번 연구에서 검토자들은 효용예측 과정을 처음으로 접했고 긍정적인 반응을 보임. 그들은 질문의 구성이 그들에게 다른 방식으로 제안서를 생각하도록 하고 정략적 예측을 통해 평가근거를 마련하도록 했다고 말함
- 이 시범연구를 설계하고 결과를 분석하면서, 필자들은 검토과정을 계획하면서 몇 가지 중요한 고려사항을 발견함
- 2개의 중요한 예는 제안서 이정표를 정의하는 것과 영향점수체계(impact scoring systems)를 만드는 것임
- 두 사례 모두 달성해야 할 목표에서 모호성을 줄이고 하나의 결과가 다른 결과에 의존하는 방식에 대한 이해도를 높이며, 해석 가능하고 해결가능한 평가기준을 만드는 것이 검토자로부터 요청받는 정보를 확보하는 것을 도울 수 있음
