I. 서론
1. 연구배경 및 목적
사전평가란 일반적으로 사업 착수 이전에 사업의 적절성, 타당성, 잠재적 지속가능성을 종합적으로 분석하는 활동을 일컫는다(OECD 2002). 요컨대, 사전평가는 공통적으로 사업 기획안에 대한 품질관리를 그 핵심 목표로 한다. 수립된 사업 계획에 대한 객관적인 분석과 점검을 실시해, 계획을 강화함으로써 사업 내용의 적절성과 성과 달성 가능성을 제고할 수 있다. 한국국제협력단 역시 국제적인 논의 동향에 발맞추어 체계적인 사업의 성과관리를 통한 사업 효과성 제고를 위해 다양한 제도적 변화를 도모해오고 있다. 그러나 사업 대상 지역 현황과 개발수요와의 부합성 부족, 위험관리 및 성과관리의 취약성 등이 사업 효과성의 저해 요인으로 계속해서 제기되고 있다.
이에 본 연구는 KOICA 사업에 대한 사전평가 강화방안을 모색하고자 한다. 현행 예비조사의 사전평가 기능 강화를 위해 활용할 수 있는 방안과 도구를 마련하는데 초점을 두고자 한다. 현재 KOICA 사업에 대한 사전평가 기능을 담당하고 있는 예비조사와 더불어 그 결과에 대한 품질관리 기능을 개선할 수 있도록 신규 사업심사 제도와 함께 개선방안을 도출한다. 사업기획과 선정 단계의 통일성과 객관성을 한층 향상시킬 수 있는 제도적 개선방안과 기준을 제안한다.
2. 연구범위
본 연구는 크게 네 단계로 구성된다. 첫째, 국제사회의 사전평가 관련 논의와 권고사항을 파악함으로써, KOICA 사업에 대한 사전평가 제도의 방향성과 시행기준에 대한 정책적 시사점을 도출한다. 둘째, OECD DAC 주요 공여국의 사전평가 제도와 방향, 활용방안을 살펴보고, 그 중 KOICA의 상황에 가장 적절한 정책적 시사점을 제시할 수 있는 사례를 선정해 심층조사를 진행한다. 셋째, KOICA 사업 발굴, 기획 및 심사제도의 현황을 분석한다. 2014년에 새로 도입한 차년도 사업 발굴·기획을 위한 예비조사 심화제도 및 신규 사업 심사제도, TAG 운영 제도 현황 및 문제점을 파악한다. 마지막으로 국제적 논의동향에 발맞추는 동시에, KOICA의 사업관리 체계와 수요에 부합하는 사전평가 강화방안을 제안한다.
3. 연구 단계별 수행방안
본 연구는 다음과 같이 연구과정을 4단계로 나누고, 각 단계별 목표와 수행방법 및 산출물을 설정해 진행한다. 첫째, 국제사회의 논의동향 및 가이드라인 조사는 문헌조사를 바탕으로 진행한다. 관련 국내외 선행연구와 UN 및 OECD DAC의 관련 연구 보고서, 가이드라인 등을 검토해 사전평가의 추진방향을 확인하고 KOICA 사업에 적용할 수 있는 시사점을 도출한다.
둘째, OECD DAC 주요 공여기관의 사전평가 제도 및 활용 방안에 대한 사례연구는 문헌조사와 심층 인터뷰를 실시해 진행한다. 먼저 주요 공여기관의 사전평가 관련 정책서, 가이드라인 및 결과보고서 등으로 문헌조사를 실시하고, 그 결과를 토대로 KOICA의 사례에 가장 적절한 시사점을 제시할 수 있는 기관으로 JICA를 선정해 심층조사를 실시했다.
셋째, KOICA의 현재 사전평가 단계인 사업기획 및 심사 제도와 전략, 운용 현황 분석을 위해서는 관련 정책 및 전략서, 예비조사 결과보고서 등에 대한 문헌조사와 함께 KOICA 내부인력을 대상으로 심층 인터뷰를 실시한다.
마지막으로는 연구조사 결과를 종합하여, 국제적 논의동향에 부합하면서 동시에 KOICA의 사업관리 현행 체계와 제도에 적용 가능한 사전평가 강화 방안을 도출한다
Ⅱ. 국내외 논의동향 및 권고사항
1. OECD DAC의 사전평가 원칙
OECD DAC은 1992년 ʻ효과적인 원조를 위한 가이드라인(DAC Principle for Effective Aid)ʼ을 발간했으며, 원조 조화, 프로그램 원조 등을 비롯한 9개 개발 이슈에 대한 원칙을 제안하는 가운데 프로젝트 사전평가(project appraisal) 원칙을 다루고 있다. 사전평가(appraisal)의 목적은 사업선정에 있어서의 합리적인 의사결정과 우수한 사업기획을 뒷받침하는 것이다. 이렇듯 사업기획의 품질개선을 목표로 하는 만큼, 사전평가는 사업기획 단계와 분리해 생각할 수 없다. 논리모형(logical framework)은 사업을 기획하고 집행하는 기반이자 동시에 사업의 주요 요소를 점검하는 유용한 도구로 활용할 수 있다.
논리모형에서 각 단계별 사업목표가 기반하고 있는 가정에 대한 분석은 해당 사업의 위험요인에 대한 파악과 관리방안으로 이어지므로, 주요 가정에 대한 이해와 분석이 중요하다. 사업 발굴 초기 단계에서부터 논리모형을 활용하고, 준비 및 사전평가 단계에서 사업의 세부목표 변경 시 이에 따라 수정보완 해야 한다.
사전평가는 기술, 재정, 경제성, 제도, 사회/분배, 환경분석으로 그 유형을 분류할 수 있는데, 대상 프로젝트의 성격에 따라 분야의 각 유형별 상대적 중요성은 달라질 수 있다. 그러나 유형을 막론하고 사전평가에서 가장 중심적으로 고려되어야 하는 기준은 사업의 지속가능성이다.
2. 빈곤영향 평가
사전평가 방향과 방안을 고려할 때 참고해야 할 유사한 개념으로는 사전 빈곤영향평가(Ex ante Poverty Impact Assessment)가 있다. 사전 빈곤영향평가 (Ex ante Poverty Impact Assessment, Ex Ante PIA)는 다면적인 빈곤의 개념, 접근법을 활용해 다양한 사회적 그룹, 특히 빈곤 및 취약인구의 삶의 질 변화를 중심으로 사업이 의도한, 의도치않은 영향을 평가한다.
Ⅲ. 주요 공여기관의 사전평가 제도
1. EC
EC는 2001년 발간한 사전평가를 위한 가이드라인을 통해 사전평가(Ex-Ante Evaluation)를 신규 또는 갱신 사업 제안에 대한 준비과정을 지원하는 단계로 정의하고 있다 (EC 2001). EU 예산 집행을 수반하는 모든 사업 제안에 대해 사전평가 시행을 의무화하고 있다.
정보의 수집 및 분석을 통해 사업의 목표 수립의 적절성과 달성 가능성, 사업 방법/수단의 비용효과성, 향후 평가 가능성을 점검하는 것을 사전평가의 목적으로 한다. 2002년 발표한 EC Communication on Evaluation에서도 역시 사전평가의 중요성을 강조한바 있는데, 제안된 예산과 재원이 의도로 하는 목표와 영향에 적절한지 점검하는 계기가 된다는 점을 밝혔다.
한편 EC는 정보 보안의 문제와 더불어 사업 준비 단계에 있어서의 직접적인 피드백 제시가 중요하므로 내부평가를 통한 사전평가의 시행을 권고한다. 이때 사업 담당부서, 평가부서, 조정/조율부서의 일원으로 사전평가팀을 구성해 수행하도록 한다. 그러나 잠재적 수혜자 조사 또는 워크샵 개최 등의 일부 활동은 외부 전문가를 통해 수행할 수 있다.
2. FAO
FAO는 사업기획에 대한 기술적 검토 및 품질보증, 최종 착수 승인여부 결정을 위해 사업 사전평가(appraisal) 및 사업승인(approval)을 실시한다. 재원 출처와 상관없이 모든 사업을 대상으로 시행하며, 일관성(consistency)과 기술적 건전성, 품질기준 부합성 등을 점검한다.
사전평가 결과로 해당 사업에 승인이 이루어지면, 사업 착수 승인을 위한 관련 사업자료 제출이 가능하다. 사업기획에 대한 수정보완을 요구되는 검토의견이 제시되면, 해당 사항에 대한 수정 이후 사업자료 제출이 필요하다. 반면, 사전평가 결과 사업 자료에 대한 승인을 득하지 못한 경우 해당 사업은 전면적으로 재검토가 필요하다.
3. Danida
Danida는 3,500만 DKK(약 500만 불) 이상과 이하의 사업으로 분류해, 2014년 별도의 사업관리 가이드라인을 발간했다. 500만 불 이상의 대규모, 이하의 소규모 사업 관리절차를 별도로 수행하고, 필요 자료를 각기 지정하고 있다. 사업형성 및 기획 단계는 발굴 단계에서 작성된 사업구상서를 기초로 해서 사업 기획문서 작성 및 기획 초안에 대한 사전평가로 이루어진다. 프로그램 기획문서는 사업 구상서를 기반으로 구체화되며, 사업시행의 필요성과 정당성, 협력국/기관, 시행 체계, 성과 프레임웍, 위험관리 방안, 예산 등을 포함한다.
사업형성(formulation)과 사전평가(appraisal)는 사업기획을 마무리하는 단계로서, 사업기획에 대한 품질관리를 위한 사전평가로 종료된다. 사전평가의 범위와 시기는 해당 프로그램 또는 프로젝트의 규모와 복잡성에 따라 결정된다. 사전평가팀은 사전평가 결과 제안 요약본을 작성해야 하고, 시행부서는 사전평가 결과의 후속조치에 모든 책임을 안는다. 사전평가 결과 제언사항이 이행되지 않는 경우, 시행부서는 사전평가 결과 제안 요약본에 구체적인 사유와 근거를 명시해야 한다. Danida는 사전평가 가이드라인 역시 사업 규모에 따라 나누어 별도로 제시하고 있다. 공통적으로 사전평가를 통해 제안 사업의 필요성과 정당성을 평가할 때에는, 기획문서 작성 시와 일관되게 OECD DAC의 5개 기준을 적용한다(Danida 2014c; 2014d).
4. World Bank (WB)
WB는 기존의 사업초기 주요 문서로 활용되던 Project Concept Document(PCD)가너무 길고 복잡하여 프로젝트 전략, 타당성, 위험요소 등 주요 사항을 파악하기 쉽지 않다는 비판이 지속적으로 제기됨에 따라 사전심사 문서인 Project Appraisal Document(PAD)를 새롭게 개편한 바 있다(World Bank 2002, 2009). 변경된 PAD는 기존의 Project Status Report를 단순화시킨 문서로써 WB는 PAD 개편을 통해 문서의 질을 높이는 동시에 국가 및 분야 담당자의 책무성 강화에 기여하고, 프로젝트의 법적 근거자료로 활용하고 있다. WB는 PAD를 작성하며 진행 중 또는 완료 후 공식적 검토과정을 두고 있다. 사업기획이 구체화되면 관계자간 Quality Enhancement Review을 통해 공식
비공식 검토를 거치며 이후 PAD 최종본이 작성되면 심사 전 의사결정을 위한 최종 검토를 한 번 더 실시한다.
5. JICA
JICA의 무상원조 프로젝트 체계는 프로젝트 발굴 및 형성- 조사 및 심사- 정부 간문서 교환 및 약정 체결- 프로젝트 수행- 사후관리로 이루어진다(JICA 2014a). JICA는 프로젝트의 적절성 평가 및 성과 목표 설정, 계획의 질적 제고를 위해 2001년부터 사전평가 제도를 도입하여 활용하고 있다. 사전평가는 프로젝트 착수 전 ʻ프로젝트 조사 및 심사ʼ 단계에서 수행되며 프로젝트의 계획에 대한 평가 및 프로젝트 착수 후 모니터링 및 평가 시 근거로 활용될 주요 정보를 제공하는 기능을 한다. 평가결과는 프로젝트 기획을 포함한 이후 의사결정에 반영된다. JICA는 일정규모 이상의 유무상 원조사업에 한하여 사전평가를 수행하고 있으며 유상원조는 모두 사전평가의 대상이 된다(JICA 2010). 사전평가 결과는 약정 직후 JICA 홈페이지를 통해 공개된다.
JICA의 사전평가는 OECD DAC 5대 원칙을 평가기준으로 하며 특히 적절성에 중점을 두고 있다. JICA와 사업실행기관은 기초선 자료를 중심으로 설정된 지표 및 목표의 적절성, 지표측정 가능성 및 효율성 등을 검토한다. 이와 더불어 프로젝트 계획의 구조가 적절하게 구성되었는지 목표는 달성가능한지에 대한 검토 또한 사전평가의 주요 내용이다.
사전평가과정을 통해 JICA와 실행기관(implementing agencies)은 프로젝트 계획은 적절한지, 수원국의 어떤 개발이슈를 타깃으로 하는지, 수혜자는 누구인지 등 프로젝트를 통한 개발성과 및 타깃 사회에 대한 변화 등을 전망하고 프로젝트의 필요성 검토 및 주요사항을 공유한다. 사전평가는 사업 착수 전에 실행됨에 따라 현황보다는 실현 가능성, 예상 및 전망 등이 평가내용의 중심이 된다(JICA 2014b).
Ⅳ. KOICA 사업기획 및 심사제도 현황분석
1. 예비조사
예비조사 단계는 본격적인 사업계획을 도출하는 과정으로, 사업집행계획서를 작성할 수 있는 수준의 사전 데이터 수집이 필요하다. 예비조사 결과를 바탕으로 사업심사, 기재부 예산심의 등이 진행되므로 사업 추진 타당성과 기본적 사업내용, 예산내역을 포함한다.
예비조사는 크게 ① 현장조사 및 사업여건 분석, ② 사업타당성 분석, ③ 영문사업기본계획 수립 단계로 진행된다. 먼저, 현장조사에서는 수원총괄기관, 수원기관, 사업대상지 주민 등 이해관계자를 대상으로 조사를 진행하게 된다. 이때, 사업대상지역 조사, 사업 여건 분석, 주재국 국가개발계획 및 해당분야 발전계획, 대상지역 개발계획, 수혜대상 분석 및 파급효과를 예상하여 제시하여야 한다. 수원국, 특히 수원총괄기관의 사업수행 의지와 추진여건을 조사할 때 기존에 기타 공여기관이나 국제기구가 수행했던 유사사업 추진현황을 조사하여 중복 지원을 피하고, 협업 가능성을 설계할 수도 있다.
2. 신규 사업 심사
사업 심사는 차년도 신규 사업을 선정하기 위한 절차로 예비조사 결과를 바탕으로 지역총괄팀 주관으로 n-1년 3월에 실시하고 있다. 사업심사의 주요 항목은 KOICA 전략과의 연계성, 국제규범의 반영도, 사업타당성, 파급효과 등이며, 심사위원 산술평균 80점 이상 획득한 사업을 예비사업으로 선정한다. 그러나 사업심사를 단기간에 실시하고 있기 때문에 심도깊은 사업 심사가 어려운 실정이다. 또한 심사위원에 따라 점수 편차가 큰 편으로 객관적인 기준표 수립이 필요하다.
Ⅴ. KOICA 사업의 사전평가방안 제안
본 연구는 예비조사 보고서를 사전평가 보고서로서 그 기능과 역할을 강화할 것을 제안한다. 예비조사 보고서는 신규 사업선정의 근거가 되는 기획문서로서 보고서의 목적과 내용이 단순히 조사에 있는 것이 아니라 제안 사업의 타당성에 대한 분석에 있다. 따라서 사업 기획안에 대한 사전평가로서 그 전문성과 책임성을 강화하는 것이 중요하다. 아울러 심사단계의 제도 강화를 통해, 사전평가 결과에 대해 보다 객관적이고 구체적으로 점검하고 그 심사의견을 반영해 이후 사업계획 개선에 반영하도록 한다.
1. 사전평가(예비조사) 시행 강화
본 연구는 사전평가 및 신규 사업심사를 비롯한 각 단계의 기획 문서에 대한 필요성과 정당성에 대한 검토 시 모두 동일한 OECD DAC 5개 원칙을 기준을 근거로 하도록 제안한다. 그 중에서도 사업의 기획 초기단계에서부터 적절성과 지속가능성을 가장 중점적으로 다루도록 제안한다. 해당 사업을 통해 해결하고자 하는 문제의 원인과 전략, 대상 국가와 지역의 수요, KOICA의 참여를 통해 창출할 수 있는 부가가치에 대한 분석이 중요하다. 공여기관의 단기적인 개입이 중장기적으로 파트너 국가의 주인의식 강화에 기여하는 방향으로 기획 및 시행되어야 한다는 점에서 지속가능성은 그 가치가 높다.
사전평가 기획 및 시행단계에서 내부 및 외부 전문가의 자문을 적극 활용하도록 관련부서간의 협업이 필요하다. 관련 전문 인력도 필요시 현장조사에 동행할 수 있도록 사전평가 준비단계에서 검토한다. 특히, 1,000만 불 이상의 대규모 프로젝트, 혁신적 사업 KOICA의 비교우위를 바탕으로 한 전략적 중점사업의 경우, 관련 부서 인력과 해당 기간동안 사전평가팀을 구성해 전 과정에 걸쳐 협업하도록 한다. 이를 위해서는 경제사회개발부, 지역부, 원조조달부, 평가심사실, 예산법무부 등 유관 부서간의 사업 방향 및 내용, 위험관리 논의 제도화를 위해 2014년 도입한 TAG 제도를 활용할 수 있다. 사업 단계 중가장 먼저 실시하는 TAG 1에서는 현재 신규 사업심사를 통과한 후 수원기관과의 실시협의에 앞서 문제점 분석 결과의 적절성, 사업 기본방향 및 구성의 타당성 등을 검토하도록한다. 이에 앞서 사전평가 기획과 집행단계에서 TAG 0 단계를 신설할 것을 제안한다.
본 연구는 이후 심사 단계와 함께 사전평가로서의 기능을 다하도록 예비조사의 목차 수정안을 제안한다. 2014년 개정해 시행된 예비조사 양식과 2015년 지역총괄팀에서 준비중인 국별협력사업 심층기획서 표준 목차(안)를 기반으로 하되, 신규 사업심사 기준과 세부항목을 고려해 추가적인 수정사항과 필수적으로 제출해야 하는 첨부문서 리스트를 제안한다.
사전평가(예비조사)에서 보다 강화되어야 하는 사항은 제안 사업의 타당성에 대한 분석이다. 즉, 제안 사업의 정책 및 전략적 타당성, 경제적 타당성, 기술적 타당성, 사회문화적 타당성 등을 구체적인 근거자료와 함께 제시해야 한다. 동시에 신규 사업심사와 향후 사업집행계획 수립의 기준이 되는 만큼 사업의 시행 및 관리계획 역시 중요하게 다루어져야 한다.
이어서 대상 지역에서 시행된 또는 시행 중인 개발기구, NGO를 비롯한 기타 개발기관의 유사 사업 사례와 모니터링 및 평가 결과 분석을 실시함으로써, 제안 사업의 원조조화 기여의 타당성을 제시한다. 해당 국가에서 시행 중인 국가 또는 지역차원의 프로그램과 조화를 이루는 동시에 상호보완성을 개선하기 위해 제안 사업은 어떤 지역 또는 대상 인구에 집중하는지, 어떤 전략과 방안을 도모하는지 그 타당성을 분석한다.
사전평가에서 역시 가장 중요한 점은 제안 사업의 정책, 경제적, 기술적, 사회문화적 타당성이다. 정책 및 전략적 적절성, 타당성은 제안 사업의 SDGs 등 국제 개발목표 달성에 대한 기여 가능성, 수원국 정부의 해당 분야 개발정책과의 일관성, 우선순위와의 부합성을 평가한다.
마지막으로 제안 사업의 잠재적 지속가능성을 진단한다. 사업의 진행과정과 종료 후 상황을 모두 아울러 발생할 수 있는 여러 위험요인을 충분히 파악하고 있는지, 각 위험요인에 대한 감지 방안과 주기, 대응방안과 주체별 역할분담 등에 대한 계획을 제시한다. 그리고 성 평등 및 환경 지속가능성 등 범분야 이슈에 대한 분석이 필요하다. 그리고 이를 가능케 하기 위해서 첫 사업기획 단계에서부터 기초적이고 필수적인 사항에 대한 점검을 제도적으로 강화하도록 한다.
2. 신규 사업심사 제도 개선
현 KOICA의 사업에 대한 사전평가의 기능을 강화하기 위해서는 심사제도 역시 제도적 개선이 필요하다. 심사의 객관성과 전반적인 품질을 제고하기 위해 심사항목과 기준을 보다 구체적으로 제시해야 한다. 또한 사전평가와 동일한 기준인 OECD DAC 5대 기준에 근거한 항목에 따라 사전평가 결과를 검토하도록 한다. 기존에는 각 심사항목에 점수를 표기하고 종합 심사의견만 기재하던 양식에서, 각 심사항목마다 별도로 심사의견과 추후 수정이 필요한 사항을 기재하도록 한다.
아울러 본 연구는 심사결과를 승인/조건부 승인/미승인 3등급제로 변경하는 것을 제안한다. 해당 예비조사 결과보고서를 작성한 부서는 심사의견에 대한 조치사항, 의견을 반영하지 않은 경우 구체적인 사유를 별도로 마련하고, 수정 보완한 보고서를 다시 제출하도록 한다. 마지막으로 승인을 받지 못한 사업 제안의 경우, 전면적인 재검토가 필요하다. 신규 사업심사 제도를 총괄하는 지역총괄팀에서 해당 예비조사 결과 수정보완 및 재승인 단계를 관리하도록 한다.
사전평가의 기능을 보완 및 강화하기 위해, 신규 사업의 심사에서 새로이 초점을 두어야 하는 사항은 KOICA 참여의 전략적 타당성, 제안 사업의 성과관리 방안의 적절성을 점검하는 것이다. 또한 KOICA의 유사사업, 해당 지역에서의 기타 국제기구 및 기관의 유사사업 모니터링과 평가 결과를 반영한 사업 계획의 타당성, 위험요인 대응방안의 적절성에 대한 점검이 필요하다.
Ⅵ. 결론
개발사업의 효과성과 지속가능성 제고를 위해 사전평가를 통한 사업기획의 중요성이 점차 강조되고 있다. 사전평가를 통해 제안 사업의 필요성, 수원국과 공여국의 관련 정책 및 전략과의 부합성, 사업목표의 적절성과 성과관리, 위험관리 방안의 충분성 등을 점검하고, 이를 바탕으로 사업계획과 전략을 개선해야 한다.
본 연구는 사전평가에 대한 OECD DAC의 가이드라인과 World Bank, FAO, EC, JICA 등 주요 개발기관의 사전평가 제도와 현황을 살펴보고, 이를 바탕으로 KOICA 사업의 사전평가와 신규 사업심사 제도 개선 방안을 제안한다. 일관된 기준에 따라 사업 형성 및 기획, 선정, 집행, 모니터링과 평가 등 모든 사업의 단계를 운영함으로써 사업 모든 주기 간의 연계성을 제고한다. 또한 기존 예비조사를 사전평가로서의 기능과 역할을 강화하기 위해 제안 사업의 기술적, 경제적, 제도적, 사회문화적 타당성에 대한 진단과 평가의 전문성과 책임성을 높여야 한다. 특히 교통, 통신, 농업 등 시판재 생산 및 인프라 사업의 경우 경제적 타당성 분석을 필수적으로 시행하고, 필요시 외부 전문인력을 활용해 해당 평가의 전문성을 보완하도록 한다.
아울러 사전평가에서 중요한 점이 바로 제안 사업의 성과관리, 모니터링과 평가계획의점검, 기존 유사사업의 모니터링과 평가 결과의 반영 여부를 검토하는 것이다. 이를 위해서는 평가심사실의 적극적인 참여가 필요하다. 이렇듯 각 제안사업에 대한 체계적이고 종합적인 사전평가의 기획과 실시를 위해 최소 3개월 이상의 시간을 투입하고, 섹터팀의 주도로 관련 부서의 협조체계로 진행한다. 예산 규모가 크거나 전략적으로 중요성이 높은 사업의 경우, 해당 섹터팀, 지역팀, 평가심사실, 기술총괄팀, 행정법무팀 등 관련 부서 인력으로 팀을 구성해 사전평가를 기획 및 시행을 추진한다.
사전평가의 내용과 기능 강화에 발맞춰 심사항목과 기준을 추가함으로써 심사에 소요되는 시간과 노력이 대폭 증가된다. 각 제안 사업에 대한 사전평가 결과에 대한 심사에 소요되는 시간을 충분히 확보하고, 내부인력 역시 시간과 노력을 투입해 심사에 참여할 수 있도록 제도적 유인이 뒷받침 되는 것이 중요하다.
1. 연구배경 및 목적
사전평가란 일반적으로 사업 착수 이전에 사업의 적절성, 타당성, 잠재적 지속가능성을 종합적으로 분석하는 활동을 일컫는다(OECD 2002). 요컨대, 사전평가는 공통적으로 사업 기획안에 대한 품질관리를 그 핵심 목표로 한다. 수립된 사업 계획에 대한 객관적인 분석과 점검을 실시해, 계획을 강화함으로써 사업 내용의 적절성과 성과 달성 가능성을 제고할 수 있다. 한국국제협력단 역시 국제적인 논의 동향에 발맞추어 체계적인 사업의 성과관리를 통한 사업 효과성 제고를 위해 다양한 제도적 변화를 도모해오고 있다. 그러나 사업 대상 지역 현황과 개발수요와의 부합성 부족, 위험관리 및 성과관리의 취약성 등이 사업 효과성의 저해 요인으로 계속해서 제기되고 있다.
이에 본 연구는 KOICA 사업에 대한 사전평가 강화방안을 모색하고자 한다. 현행 예비조사의 사전평가 기능 강화를 위해 활용할 수 있는 방안과 도구를 마련하는데 초점을 두고자 한다. 현재 KOICA 사업에 대한 사전평가 기능을 담당하고 있는 예비조사와 더불어 그 결과에 대한 품질관리 기능을 개선할 수 있도록 신규 사업심사 제도와 함께 개선방안을 도출한다. 사업기획과 선정 단계의 통일성과 객관성을 한층 향상시킬 수 있는 제도적 개선방안과 기준을 제안한다.
2. 연구범위
본 연구는 크게 네 단계로 구성된다. 첫째, 국제사회의 사전평가 관련 논의와 권고사항을 파악함으로써, KOICA 사업에 대한 사전평가 제도의 방향성과 시행기준에 대한 정책적 시사점을 도출한다. 둘째, OECD DAC 주요 공여국의 사전평가 제도와 방향, 활용방안을 살펴보고, 그 중 KOICA의 상황에 가장 적절한 정책적 시사점을 제시할 수 있는 사례를 선정해 심층조사를 진행한다. 셋째, KOICA 사업 발굴, 기획 및 심사제도의 현황을 분석한다. 2014년에 새로 도입한 차년도 사업 발굴·기획을 위한 예비조사 심화제도 및 신규 사업 심사제도, TAG 운영 제도 현황 및 문제점을 파악한다. 마지막으로 국제적 논의동향에 발맞추는 동시에, KOICA의 사업관리 체계와 수요에 부합하는 사전평가 강화방안을 제안한다.
3. 연구 단계별 수행방안
본 연구는 다음과 같이 연구과정을 4단계로 나누고, 각 단계별 목표와 수행방법 및 산출물을 설정해 진행한다. 첫째, 국제사회의 논의동향 및 가이드라인 조사는 문헌조사를 바탕으로 진행한다. 관련 국내외 선행연구와 UN 및 OECD DAC의 관련 연구 보고서, 가이드라인 등을 검토해 사전평가의 추진방향을 확인하고 KOICA 사업에 적용할 수 있는 시사점을 도출한다.
둘째, OECD DAC 주요 공여기관의 사전평가 제도 및 활용 방안에 대한 사례연구는 문헌조사와 심층 인터뷰를 실시해 진행한다. 먼저 주요 공여기관의 사전평가 관련 정책서, 가이드라인 및 결과보고서 등으로 문헌조사를 실시하고, 그 결과를 토대로 KOICA의 사례에 가장 적절한 시사점을 제시할 수 있는 기관으로 JICA를 선정해 심층조사를 실시했다.
셋째, KOICA의 현재 사전평가 단계인 사업기획 및 심사 제도와 전략, 운용 현황 분석을 위해서는 관련 정책 및 전략서, 예비조사 결과보고서 등에 대한 문헌조사와 함께 KOICA 내부인력을 대상으로 심층 인터뷰를 실시한다.
마지막으로는 연구조사 결과를 종합하여, 국제적 논의동향에 부합하면서 동시에 KOICA의 사업관리 현행 체계와 제도에 적용 가능한 사전평가 강화 방안을 도출한다
Ⅱ. 국내외 논의동향 및 권고사항
1. OECD DAC의 사전평가 원칙
OECD DAC은 1992년 ʻ효과적인 원조를 위한 가이드라인(DAC Principle for Effective Aid)ʼ을 발간했으며, 원조 조화, 프로그램 원조 등을 비롯한 9개 개발 이슈에 대한 원칙을 제안하는 가운데 프로젝트 사전평가(project appraisal) 원칙을 다루고 있다. 사전평가(appraisal)의 목적은 사업선정에 있어서의 합리적인 의사결정과 우수한 사업기획을 뒷받침하는 것이다. 이렇듯 사업기획의 품질개선을 목표로 하는 만큼, 사전평가는 사업기획 단계와 분리해 생각할 수 없다. 논리모형(logical framework)은 사업을 기획하고 집행하는 기반이자 동시에 사업의 주요 요소를 점검하는 유용한 도구로 활용할 수 있다.
논리모형에서 각 단계별 사업목표가 기반하고 있는 가정에 대한 분석은 해당 사업의 위험요인에 대한 파악과 관리방안으로 이어지므로, 주요 가정에 대한 이해와 분석이 중요하다. 사업 발굴 초기 단계에서부터 논리모형을 활용하고, 준비 및 사전평가 단계에서 사업의 세부목표 변경 시 이에 따라 수정보완 해야 한다.
사전평가는 기술, 재정, 경제성, 제도, 사회/분배, 환경분석으로 그 유형을 분류할 수 있는데, 대상 프로젝트의 성격에 따라 분야의 각 유형별 상대적 중요성은 달라질 수 있다. 그러나 유형을 막론하고 사전평가에서 가장 중심적으로 고려되어야 하는 기준은 사업의 지속가능성이다.
2. 빈곤영향 평가
사전평가 방향과 방안을 고려할 때 참고해야 할 유사한 개념으로는 사전 빈곤영향평가(Ex ante Poverty Impact Assessment)가 있다. 사전 빈곤영향평가 (Ex ante Poverty Impact Assessment, Ex Ante PIA)는 다면적인 빈곤의 개념, 접근법을 활용해 다양한 사회적 그룹, 특히 빈곤 및 취약인구의 삶의 질 변화를 중심으로 사업이 의도한, 의도치않은 영향을 평가한다.
Ⅲ. 주요 공여기관의 사전평가 제도
1. EC
EC는 2001년 발간한 사전평가를 위한 가이드라인을 통해 사전평가(Ex-Ante Evaluation)를 신규 또는 갱신 사업 제안에 대한 준비과정을 지원하는 단계로 정의하고 있다 (EC 2001). EU 예산 집행을 수반하는 모든 사업 제안에 대해 사전평가 시행을 의무화하고 있다.
정보의 수집 및 분석을 통해 사업의 목표 수립의 적절성과 달성 가능성, 사업 방법/수단의 비용효과성, 향후 평가 가능성을 점검하는 것을 사전평가의 목적으로 한다. 2002년 발표한 EC Communication on Evaluation에서도 역시 사전평가의 중요성을 강조한바 있는데, 제안된 예산과 재원이 의도로 하는 목표와 영향에 적절한지 점검하는 계기가 된다는 점을 밝혔다.
한편 EC는 정보 보안의 문제와 더불어 사업 준비 단계에 있어서의 직접적인 피드백 제시가 중요하므로 내부평가를 통한 사전평가의 시행을 권고한다. 이때 사업 담당부서, 평가부서, 조정/조율부서의 일원으로 사전평가팀을 구성해 수행하도록 한다. 그러나 잠재적 수혜자 조사 또는 워크샵 개최 등의 일부 활동은 외부 전문가를 통해 수행할 수 있다.
2. FAO
FAO는 사업기획에 대한 기술적 검토 및 품질보증, 최종 착수 승인여부 결정을 위해 사업 사전평가(appraisal) 및 사업승인(approval)을 실시한다. 재원 출처와 상관없이 모든 사업을 대상으로 시행하며, 일관성(consistency)과 기술적 건전성, 품질기준 부합성 등을 점검한다.
사전평가 결과로 해당 사업에 승인이 이루어지면, 사업 착수 승인을 위한 관련 사업자료 제출이 가능하다. 사업기획에 대한 수정보완을 요구되는 검토의견이 제시되면, 해당 사항에 대한 수정 이후 사업자료 제출이 필요하다. 반면, 사전평가 결과 사업 자료에 대한 승인을 득하지 못한 경우 해당 사업은 전면적으로 재검토가 필요하다.
3. Danida
Danida는 3,500만 DKK(약 500만 불) 이상과 이하의 사업으로 분류해, 2014년 별도의 사업관리 가이드라인을 발간했다. 500만 불 이상의 대규모, 이하의 소규모 사업 관리절차를 별도로 수행하고, 필요 자료를 각기 지정하고 있다. 사업형성 및 기획 단계는 발굴 단계에서 작성된 사업구상서를 기초로 해서 사업 기획문서 작성 및 기획 초안에 대한 사전평가로 이루어진다. 프로그램 기획문서는 사업 구상서를 기반으로 구체화되며, 사업시행의 필요성과 정당성, 협력국/기관, 시행 체계, 성과 프레임웍, 위험관리 방안, 예산 등을 포함한다.
사업형성(formulation)과 사전평가(appraisal)는 사업기획을 마무리하는 단계로서, 사업기획에 대한 품질관리를 위한 사전평가로 종료된다. 사전평가의 범위와 시기는 해당 프로그램 또는 프로젝트의 규모와 복잡성에 따라 결정된다. 사전평가팀은 사전평가 결과 제안 요약본을 작성해야 하고, 시행부서는 사전평가 결과의 후속조치에 모든 책임을 안는다. 사전평가 결과 제언사항이 이행되지 않는 경우, 시행부서는 사전평가 결과 제안 요약본에 구체적인 사유와 근거를 명시해야 한다. Danida는 사전평가 가이드라인 역시 사업 규모에 따라 나누어 별도로 제시하고 있다. 공통적으로 사전평가를 통해 제안 사업의 필요성과 정당성을 평가할 때에는, 기획문서 작성 시와 일관되게 OECD DAC의 5개 기준을 적용한다(Danida 2014c; 2014d).
4. World Bank (WB)
WB는 기존의 사업초기 주요 문서로 활용되던 Project Concept Document(PCD)가너무 길고 복잡하여 프로젝트 전략, 타당성, 위험요소 등 주요 사항을 파악하기 쉽지 않다는 비판이 지속적으로 제기됨에 따라 사전심사 문서인 Project Appraisal Document(PAD)를 새롭게 개편한 바 있다(World Bank 2002, 2009). 변경된 PAD는 기존의 Project Status Report를 단순화시킨 문서로써 WB는 PAD 개편을 통해 문서의 질을 높이는 동시에 국가 및 분야 담당자의 책무성 강화에 기여하고, 프로젝트의 법적 근거자료로 활용하고 있다. WB는 PAD를 작성하며 진행 중 또는 완료 후 공식적 검토과정을 두고 있다. 사업기획이 구체화되면 관계자간 Quality Enhancement Review을 통해 공식
비공식 검토를 거치며 이후 PAD 최종본이 작성되면 심사 전 의사결정을 위한 최종 검토를 한 번 더 실시한다.
5. JICA
JICA의 무상원조 프로젝트 체계는 프로젝트 발굴 및 형성- 조사 및 심사- 정부 간문서 교환 및 약정 체결- 프로젝트 수행- 사후관리로 이루어진다(JICA 2014a). JICA는 프로젝트의 적절성 평가 및 성과 목표 설정, 계획의 질적 제고를 위해 2001년부터 사전평가 제도를 도입하여 활용하고 있다. 사전평가는 프로젝트 착수 전 ʻ프로젝트 조사 및 심사ʼ 단계에서 수행되며 프로젝트의 계획에 대한 평가 및 프로젝트 착수 후 모니터링 및 평가 시 근거로 활용될 주요 정보를 제공하는 기능을 한다. 평가결과는 프로젝트 기획을 포함한 이후 의사결정에 반영된다. JICA는 일정규모 이상의 유무상 원조사업에 한하여 사전평가를 수행하고 있으며 유상원조는 모두 사전평가의 대상이 된다(JICA 2010). 사전평가 결과는 약정 직후 JICA 홈페이지를 통해 공개된다.
JICA의 사전평가는 OECD DAC 5대 원칙을 평가기준으로 하며 특히 적절성에 중점을 두고 있다. JICA와 사업실행기관은 기초선 자료를 중심으로 설정된 지표 및 목표의 적절성, 지표측정 가능성 및 효율성 등을 검토한다. 이와 더불어 프로젝트 계획의 구조가 적절하게 구성되었는지 목표는 달성가능한지에 대한 검토 또한 사전평가의 주요 내용이다.
사전평가과정을 통해 JICA와 실행기관(implementing agencies)은 프로젝트 계획은 적절한지, 수원국의 어떤 개발이슈를 타깃으로 하는지, 수혜자는 누구인지 등 프로젝트를 통한 개발성과 및 타깃 사회에 대한 변화 등을 전망하고 프로젝트의 필요성 검토 및 주요사항을 공유한다. 사전평가는 사업 착수 전에 실행됨에 따라 현황보다는 실현 가능성, 예상 및 전망 등이 평가내용의 중심이 된다(JICA 2014b).
Ⅳ. KOICA 사업기획 및 심사제도 현황분석
1. 예비조사
예비조사 단계는 본격적인 사업계획을 도출하는 과정으로, 사업집행계획서를 작성할 수 있는 수준의 사전 데이터 수집이 필요하다. 예비조사 결과를 바탕으로 사업심사, 기재부 예산심의 등이 진행되므로 사업 추진 타당성과 기본적 사업내용, 예산내역을 포함한다.
예비조사는 크게 ① 현장조사 및 사업여건 분석, ② 사업타당성 분석, ③ 영문사업기본계획 수립 단계로 진행된다. 먼저, 현장조사에서는 수원총괄기관, 수원기관, 사업대상지 주민 등 이해관계자를 대상으로 조사를 진행하게 된다. 이때, 사업대상지역 조사, 사업 여건 분석, 주재국 국가개발계획 및 해당분야 발전계획, 대상지역 개발계획, 수혜대상 분석 및 파급효과를 예상하여 제시하여야 한다. 수원국, 특히 수원총괄기관의 사업수행 의지와 추진여건을 조사할 때 기존에 기타 공여기관이나 국제기구가 수행했던 유사사업 추진현황을 조사하여 중복 지원을 피하고, 협업 가능성을 설계할 수도 있다.
2. 신규 사업 심사
사업 심사는 차년도 신규 사업을 선정하기 위한 절차로 예비조사 결과를 바탕으로 지역총괄팀 주관으로 n-1년 3월에 실시하고 있다. 사업심사의 주요 항목은 KOICA 전략과의 연계성, 국제규범의 반영도, 사업타당성, 파급효과 등이며, 심사위원 산술평균 80점 이상 획득한 사업을 예비사업으로 선정한다. 그러나 사업심사를 단기간에 실시하고 있기 때문에 심도깊은 사업 심사가 어려운 실정이다. 또한 심사위원에 따라 점수 편차가 큰 편으로 객관적인 기준표 수립이 필요하다.
Ⅴ. KOICA 사업의 사전평가방안 제안
본 연구는 예비조사 보고서를 사전평가 보고서로서 그 기능과 역할을 강화할 것을 제안한다. 예비조사 보고서는 신규 사업선정의 근거가 되는 기획문서로서 보고서의 목적과 내용이 단순히 조사에 있는 것이 아니라 제안 사업의 타당성에 대한 분석에 있다. 따라서 사업 기획안에 대한 사전평가로서 그 전문성과 책임성을 강화하는 것이 중요하다. 아울러 심사단계의 제도 강화를 통해, 사전평가 결과에 대해 보다 객관적이고 구체적으로 점검하고 그 심사의견을 반영해 이후 사업계획 개선에 반영하도록 한다.
1. 사전평가(예비조사) 시행 강화
본 연구는 사전평가 및 신규 사업심사를 비롯한 각 단계의 기획 문서에 대한 필요성과 정당성에 대한 검토 시 모두 동일한 OECD DAC 5개 원칙을 기준을 근거로 하도록 제안한다. 그 중에서도 사업의 기획 초기단계에서부터 적절성과 지속가능성을 가장 중점적으로 다루도록 제안한다. 해당 사업을 통해 해결하고자 하는 문제의 원인과 전략, 대상 국가와 지역의 수요, KOICA의 참여를 통해 창출할 수 있는 부가가치에 대한 분석이 중요하다. 공여기관의 단기적인 개입이 중장기적으로 파트너 국가의 주인의식 강화에 기여하는 방향으로 기획 및 시행되어야 한다는 점에서 지속가능성은 그 가치가 높다.
사전평가 기획 및 시행단계에서 내부 및 외부 전문가의 자문을 적극 활용하도록 관련부서간의 협업이 필요하다. 관련 전문 인력도 필요시 현장조사에 동행할 수 있도록 사전평가 준비단계에서 검토한다. 특히, 1,000만 불 이상의 대규모 프로젝트, 혁신적 사업 KOICA의 비교우위를 바탕으로 한 전략적 중점사업의 경우, 관련 부서 인력과 해당 기간동안 사전평가팀을 구성해 전 과정에 걸쳐 협업하도록 한다. 이를 위해서는 경제사회개발부, 지역부, 원조조달부, 평가심사실, 예산법무부 등 유관 부서간의 사업 방향 및 내용, 위험관리 논의 제도화를 위해 2014년 도입한 TAG 제도를 활용할 수 있다. 사업 단계 중가장 먼저 실시하는 TAG 1에서는 현재 신규 사업심사를 통과한 후 수원기관과의 실시협의에 앞서 문제점 분석 결과의 적절성, 사업 기본방향 및 구성의 타당성 등을 검토하도록한다. 이에 앞서 사전평가 기획과 집행단계에서 TAG 0 단계를 신설할 것을 제안한다.
본 연구는 이후 심사 단계와 함께 사전평가로서의 기능을 다하도록 예비조사의 목차 수정안을 제안한다. 2014년 개정해 시행된 예비조사 양식과 2015년 지역총괄팀에서 준비중인 국별협력사업 심층기획서 표준 목차(안)를 기반으로 하되, 신규 사업심사 기준과 세부항목을 고려해 추가적인 수정사항과 필수적으로 제출해야 하는 첨부문서 리스트를 제안한다.
사전평가(예비조사)에서 보다 강화되어야 하는 사항은 제안 사업의 타당성에 대한 분석이다. 즉, 제안 사업의 정책 및 전략적 타당성, 경제적 타당성, 기술적 타당성, 사회문화적 타당성 등을 구체적인 근거자료와 함께 제시해야 한다. 동시에 신규 사업심사와 향후 사업집행계획 수립의 기준이 되는 만큼 사업의 시행 및 관리계획 역시 중요하게 다루어져야 한다.
이어서 대상 지역에서 시행된 또는 시행 중인 개발기구, NGO를 비롯한 기타 개발기관의 유사 사업 사례와 모니터링 및 평가 결과 분석을 실시함으로써, 제안 사업의 원조조화 기여의 타당성을 제시한다. 해당 국가에서 시행 중인 국가 또는 지역차원의 프로그램과 조화를 이루는 동시에 상호보완성을 개선하기 위해 제안 사업은 어떤 지역 또는 대상 인구에 집중하는지, 어떤 전략과 방안을 도모하는지 그 타당성을 분석한다.
사전평가에서 역시 가장 중요한 점은 제안 사업의 정책, 경제적, 기술적, 사회문화적 타당성이다. 정책 및 전략적 적절성, 타당성은 제안 사업의 SDGs 등 국제 개발목표 달성에 대한 기여 가능성, 수원국 정부의 해당 분야 개발정책과의 일관성, 우선순위와의 부합성을 평가한다.
마지막으로 제안 사업의 잠재적 지속가능성을 진단한다. 사업의 진행과정과 종료 후 상황을 모두 아울러 발생할 수 있는 여러 위험요인을 충분히 파악하고 있는지, 각 위험요인에 대한 감지 방안과 주기, 대응방안과 주체별 역할분담 등에 대한 계획을 제시한다. 그리고 성 평등 및 환경 지속가능성 등 범분야 이슈에 대한 분석이 필요하다. 그리고 이를 가능케 하기 위해서 첫 사업기획 단계에서부터 기초적이고 필수적인 사항에 대한 점검을 제도적으로 강화하도록 한다.
2. 신규 사업심사 제도 개선
현 KOICA의 사업에 대한 사전평가의 기능을 강화하기 위해서는 심사제도 역시 제도적 개선이 필요하다. 심사의 객관성과 전반적인 품질을 제고하기 위해 심사항목과 기준을 보다 구체적으로 제시해야 한다. 또한 사전평가와 동일한 기준인 OECD DAC 5대 기준에 근거한 항목에 따라 사전평가 결과를 검토하도록 한다. 기존에는 각 심사항목에 점수를 표기하고 종합 심사의견만 기재하던 양식에서, 각 심사항목마다 별도로 심사의견과 추후 수정이 필요한 사항을 기재하도록 한다.
아울러 본 연구는 심사결과를 승인/조건부 승인/미승인 3등급제로 변경하는 것을 제안한다. 해당 예비조사 결과보고서를 작성한 부서는 심사의견에 대한 조치사항, 의견을 반영하지 않은 경우 구체적인 사유를 별도로 마련하고, 수정 보완한 보고서를 다시 제출하도록 한다. 마지막으로 승인을 받지 못한 사업 제안의 경우, 전면적인 재검토가 필요하다. 신규 사업심사 제도를 총괄하는 지역총괄팀에서 해당 예비조사 결과 수정보완 및 재승인 단계를 관리하도록 한다.
사전평가의 기능을 보완 및 강화하기 위해, 신규 사업의 심사에서 새로이 초점을 두어야 하는 사항은 KOICA 참여의 전략적 타당성, 제안 사업의 성과관리 방안의 적절성을 점검하는 것이다. 또한 KOICA의 유사사업, 해당 지역에서의 기타 국제기구 및 기관의 유사사업 모니터링과 평가 결과를 반영한 사업 계획의 타당성, 위험요인 대응방안의 적절성에 대한 점검이 필요하다.
Ⅵ. 결론
개발사업의 효과성과 지속가능성 제고를 위해 사전평가를 통한 사업기획의 중요성이 점차 강조되고 있다. 사전평가를 통해 제안 사업의 필요성, 수원국과 공여국의 관련 정책 및 전략과의 부합성, 사업목표의 적절성과 성과관리, 위험관리 방안의 충분성 등을 점검하고, 이를 바탕으로 사업계획과 전략을 개선해야 한다.
본 연구는 사전평가에 대한 OECD DAC의 가이드라인과 World Bank, FAO, EC, JICA 등 주요 개발기관의 사전평가 제도와 현황을 살펴보고, 이를 바탕으로 KOICA 사업의 사전평가와 신규 사업심사 제도 개선 방안을 제안한다. 일관된 기준에 따라 사업 형성 및 기획, 선정, 집행, 모니터링과 평가 등 모든 사업의 단계를 운영함으로써 사업 모든 주기 간의 연계성을 제고한다. 또한 기존 예비조사를 사전평가로서의 기능과 역할을 강화하기 위해 제안 사업의 기술적, 경제적, 제도적, 사회문화적 타당성에 대한 진단과 평가의 전문성과 책임성을 높여야 한다. 특히 교통, 통신, 농업 등 시판재 생산 및 인프라 사업의 경우 경제적 타당성 분석을 필수적으로 시행하고, 필요시 외부 전문인력을 활용해 해당 평가의 전문성을 보완하도록 한다.
아울러 사전평가에서 중요한 점이 바로 제안 사업의 성과관리, 모니터링과 평가계획의점검, 기존 유사사업의 모니터링과 평가 결과의 반영 여부를 검토하는 것이다. 이를 위해서는 평가심사실의 적극적인 참여가 필요하다. 이렇듯 각 제안사업에 대한 체계적이고 종합적인 사전평가의 기획과 실시를 위해 최소 3개월 이상의 시간을 투입하고, 섹터팀의 주도로 관련 부서의 협조체계로 진행한다. 예산 규모가 크거나 전략적으로 중요성이 높은 사업의 경우, 해당 섹터팀, 지역팀, 평가심사실, 기술총괄팀, 행정법무팀 등 관련 부서 인력으로 팀을 구성해 사전평가를 기획 및 시행을 추진한다.
사전평가의 내용과 기능 강화에 발맞춰 심사항목과 기준을 추가함으로써 심사에 소요되는 시간과 노력이 대폭 증가된다. 각 제안 사업에 대한 사전평가 결과에 대한 심사에 소요되는 시간을 충분히 확보하고, 내부인력 역시 시간과 노력을 투입해 심사에 참여할 수 있도록 제도적 유인이 뒷받침 되는 것이 중요하다.