1. 연구목적
◦ 본 연구는 KOICA ODA 사업의 질적 성과지표의 대표성 개선 방안 마련을 위한 시사점 도출을 목적으로 한다. 우리나라 ODA 사업 규모 증대에 따라 원조 효과성 제고를 위한 체계적인 사업 성과관리의 중요성이 대두되고 있지만 대부분의 ODA 사업은 양적 성과지표를 통해 관리되어 포괄적인 성과관리의 한계가 존재한다. KOICA ODA사업의 성과관리 체계를 고도화하기 위해 국제개발협력 관점에서 국내외 ODA 사업 질적 성과지표에 대한 전반적인 현황 및 운영실태를 분석하고 해외 공여기관의 질적 성과지표를 비교 및 성과지표의 수준을 분석하여 KOICA 사업의 질적 성과지표 개발 방안을 도출하고자 한다.
2. 연구방법
◦ 본 연구는 국내외 ODA 분야의 질적성과지표 현황에 대해 조사 분석하였으며, 주요 방법론으로는 문헌조사와 전문가 자문을 활용하였다. 1단계에서는 KOICA의 질적 성과지표 현황을 조사하였으며, KOICA 사업에 질적 지표를 적용해야 하는 필요성을 확인하였다. 2단계로는 ODA 사업을 수행하고 있는 주요 해외 유관기관을 선정하여 이들의 정책문서·전략자료, 프레임워크 현황 및 적용 사례, 성과목표, 성과지표 등의 자료를 검토하였다. 3단계에서는 분야별 주요 공여기관의 질적 성과관리의 특징을 정리하여 KOICA 성과관리체계와 비교·분석 하였다. 구체적으로는 질적 성과지표 비교 기준인 △연관성, △구체성, △측정 가능성에 따라 KOICA와 해외공여기관의 성과관리 체계 및 지표를 비교·분석하였다. 마지막 4단계에서는, 문헌조사 후 정리한 내용을 바탕으로 ODA 사업 기획 혹은 수행 시 성과목표 달성을 위한 질적지표의 역할, 기존 KOICA 사업 수행 시 성과관리체계 및 성과지표에 대한 개선 및 보완 사항, 향후 KOICA 사업에서의 질적 지표 적용에 대한 내용을 중점으로 심층 면담을 실시하여 문헌조사의 내용을 교차 검증 및 보완하였다.
3. 타 공여기관 시사점
◦ 해외 기관들은 성과중심 관리(Result-based Management)를 추구하고 있으며, 이를 실현하기 위해 기관 차원의 전략목표와 개발협력사업의 분야 단위, 프로그램 단위의 목표를 수직적인 구조로 연결하여 하위 준위의 성과와 상위 준위의 성과 간 연결 관계를 체계화하고 있다. 아울러, 상위 준위의 성과지표들과 하위 프로그램, 프로젝트 단위의 성과지표와의 위계를 정의하며 성과지표의 측정 결과가 단계별 성과에 반영되는 구조에 대해서도 구체적인 지침으로 제공하고 있다. OECD, GCF, WHO, UNICEF 등은 기관 차원의 전략 목표와 개발협력 사업의 질적 성과를 연결하고 이와 연관된 지표들을 마련하고 있다. ADB, 캐나다 등은 질적지표를 정량화하거나 양적·질적 지표를 동등하게 사용해야한다고 강조하는 기관도 있었다. 동 연구에서 조사한 해외 유관 기관들은 전략 목표 달성을 위해 장기 목표와 연관된 질적 지표의 중요성을 강조하고 있었다.
◦ 질적 성과를 수립하고, 성과의 달성 여부를 측정하기 위해서 해외 공여기관들은 구체적인 지표의 수립을 강조하였다. 조사한 대부분의 기관은 질적성과 측정을 위해 보조지표 또는 세부지표를 수립해 측정하기 어렵고 모호하다는 질적 성과의 한계를 다양한 관점에서의 구체적이고 측정가능한 실질적인 지표 개발로 극복하고자 하였다.
4. 제언
◦ KOICA는 기존의 경험을 바탕으로 개발 효과성 제고를 위해 투입-산출-결과 단위의 성과중심 관리를 적용하기 위한 기반을 마련한바 있다. 더불어 분야별 성과관리 체계 수립, 분야별 표준 지표 개발 등 새로운 성과관리 체계를 통해 사업 단위 성과 측정을 위한 시도를 지속적으로 수행하며 고도화된 성과중심 관리체계를 수립해 나가고 있다. 단, 위와 같은 시도에도 불구하고 KOICA의 질적 성과지표 개선을 위해 △기관 전략 목표와의 연계, △질적 성과 및 측정 방법에 대한 정의 수립, △질적 성과를 집계할 수 있는 데이터 축적, △분야별 표준 성과지표의 보완이 필요할 것으로 보인다.
◦ OECD, ADB와 같은 해외 유관기관은 다년간 성과중심 관리체계를 견고히 하면서 기관 차원의 조직 성과와 개발협력사업의 성과 목표를 연결하여 장기적인 성과를 측정하기 위한 노력을 해오고 있다. 현재의 KOICA의 전략체계는 각 전략목표별로 각기 다른 성과목표들이 산재해 있고, 각 전략목표의 지표와 성과목표의 연계관계가 명확히 드러나지 않는다. 중장기 경영목표 내 일부 실행과제 및 실행지표가 분야별 중기전략의 목표와 부합하고 있지 않다. KOICA는 이미 내부적으로 많은 전략과 성과목표를 구축하고 있다. 현재의 중장기 경영목표와 분야별 중기전략을 동일한 언어로 정리하여 KOICA의 개발협력사업의 장기적인 성과라는 최상위 목표하에 투입-성과-영향의 구조로 구조화한다면 명확한 질적 성과에 대한 기준 마련에 도움이 될 것이다.
◦ 해외 유관기관의 사례를 보면 공통적으로 ‘지표’를 정의하기에 앞서 성과관리 체계 내에서의 ‘질적 성과’에 대한 정의와 단계별 성과의 구분을 중요하게 다루고 있다. KOICA 역시 분야별 표준 성과지표를 개발하면서 분야별 전략목표-프로그램 목표-성과-산출의 구조를 보여주고 있지만 현재 KOICA가 제시하는 성과는 한 종류의 성과(Outcome)로 서술되어 보는 사람으로 하여금 단일 성과로 인식하게 한다. KOICA도 내부적으로 합의된 성과에 대한 의미와 통상적으로 자주 사용하고 있는 지표의 기준, 측정방법을 명확히 하여 질적 성과지표에 대한 정의를 규명하는 것이
필요하다.
◦ 성과중심 관리 체계에서 데이터를 축적하고 확보하는 것이 중요하며, 특히 장기적인 관점의 질적 성과는 여러 양적·질적 지표의 조합을 통해 측정가능하다. ADB 및 JICA와 같은 공여기관은 사업에서 수집한 데이터를 축적하여 이를 기반으로 성과지표를 수립하는 것을 중요하게 생각한다. KOICA 역시 분야별 중기목표 달성여부를 측정하기 위한 양적·질적 지표를 수립하기 위해서는 기존 사업에서 수집한 데이터를 정리하여 지표화시키는 과업이 필요하다. 국별, 분야별로 기존에 사용된
지표들의 데이터베이스를 구축해 이를 토대로 사업을 통한 질적 성과를 측정하는 데 적절하다고 판단되는 지표를 선별, 구성하여 추후 사업에 활용할 수 있는 방안 마련이 필요할 것으로 보인다.
◦ KOICA는 2기 분야별 중기전략(2021-2025) 개정과 함께 분야별 표준 성과지표도 개정하며 과거에 비해 체계화된 성과중심의 성과관리를 실시할 수 있는 지침을 제공하고 있다. 분야별 표준성과지표에서 일부 분야는 프로젝트 단위의 성과(Outcome) 지표나 성과목표가 SDGs 목표지표 위주로 구성되어 있어 산출 단계와 성과 단계의 지표 간 연계를 확인하기 어려운 경우가 있다. SDGs 지표들은 일반적으로 국가 차원에서 달성해야하는 상위 레벨인 영향(Impact) 지표로 구성되어 있는 반면, KOICA ODA 사업은 지방정부, 혹은 지역 구(區) 단위로 수혜기관을 특정하기 때문에 KOICA의 사업 특성상 SDGs 지표를 사업의 성과목표로 설정하기에는 다소 광범위할 수 있다. 이를 보완하기 위해서는 KOICA의 특성에 부합하는 하위 레벨의 지표 추가 보완, 단기, 중장기 성과의 단계별 설정을 통해 KOICA 사업의 장기적인 성과에 대한 질적인 변화를 측정할 수 있어야 한다.
◦ 본 연구는 KOICA ODA 사업의 질적 성과지표의 대표성 개선 방안 마련을 위한 시사점 도출을 목적으로 한다. 우리나라 ODA 사업 규모 증대에 따라 원조 효과성 제고를 위한 체계적인 사업 성과관리의 중요성이 대두되고 있지만 대부분의 ODA 사업은 양적 성과지표를 통해 관리되어 포괄적인 성과관리의 한계가 존재한다. KOICA ODA사업의 성과관리 체계를 고도화하기 위해 국제개발협력 관점에서 국내외 ODA 사업 질적 성과지표에 대한 전반적인 현황 및 운영실태를 분석하고 해외 공여기관의 질적 성과지표를 비교 및 성과지표의 수준을 분석하여 KOICA 사업의 질적 성과지표 개발 방안을 도출하고자 한다.
2. 연구방법
◦ 본 연구는 국내외 ODA 분야의 질적성과지표 현황에 대해 조사 분석하였으며, 주요 방법론으로는 문헌조사와 전문가 자문을 활용하였다. 1단계에서는 KOICA의 질적 성과지표 현황을 조사하였으며, KOICA 사업에 질적 지표를 적용해야 하는 필요성을 확인하였다. 2단계로는 ODA 사업을 수행하고 있는 주요 해외 유관기관을 선정하여 이들의 정책문서·전략자료, 프레임워크 현황 및 적용 사례, 성과목표, 성과지표 등의 자료를 검토하였다. 3단계에서는 분야별 주요 공여기관의 질적 성과관리의 특징을 정리하여 KOICA 성과관리체계와 비교·분석 하였다. 구체적으로는 질적 성과지표 비교 기준인 △연관성, △구체성, △측정 가능성에 따라 KOICA와 해외공여기관의 성과관리 체계 및 지표를 비교·분석하였다. 마지막 4단계에서는, 문헌조사 후 정리한 내용을 바탕으로 ODA 사업 기획 혹은 수행 시 성과목표 달성을 위한 질적지표의 역할, 기존 KOICA 사업 수행 시 성과관리체계 및 성과지표에 대한 개선 및 보완 사항, 향후 KOICA 사업에서의 질적 지표 적용에 대한 내용을 중점으로 심층 면담을 실시하여 문헌조사의 내용을 교차 검증 및 보완하였다.
3. 타 공여기관 시사점
◦ 해외 기관들은 성과중심 관리(Result-based Management)를 추구하고 있으며, 이를 실현하기 위해 기관 차원의 전략목표와 개발협력사업의 분야 단위, 프로그램 단위의 목표를 수직적인 구조로 연결하여 하위 준위의 성과와 상위 준위의 성과 간 연결 관계를 체계화하고 있다. 아울러, 상위 준위의 성과지표들과 하위 프로그램, 프로젝트 단위의 성과지표와의 위계를 정의하며 성과지표의 측정 결과가 단계별 성과에 반영되는 구조에 대해서도 구체적인 지침으로 제공하고 있다. OECD, GCF, WHO, UNICEF 등은 기관 차원의 전략 목표와 개발협력 사업의 질적 성과를 연결하고 이와 연관된 지표들을 마련하고 있다. ADB, 캐나다 등은 질적지표를 정량화하거나 양적·질적 지표를 동등하게 사용해야한다고 강조하는 기관도 있었다. 동 연구에서 조사한 해외 유관 기관들은 전략 목표 달성을 위해 장기 목표와 연관된 질적 지표의 중요성을 강조하고 있었다.
◦ 질적 성과를 수립하고, 성과의 달성 여부를 측정하기 위해서 해외 공여기관들은 구체적인 지표의 수립을 강조하였다. 조사한 대부분의 기관은 질적성과 측정을 위해 보조지표 또는 세부지표를 수립해 측정하기 어렵고 모호하다는 질적 성과의 한계를 다양한 관점에서의 구체적이고 측정가능한 실질적인 지표 개발로 극복하고자 하였다.
4. 제언
◦ KOICA는 기존의 경험을 바탕으로 개발 효과성 제고를 위해 투입-산출-결과 단위의 성과중심 관리를 적용하기 위한 기반을 마련한바 있다. 더불어 분야별 성과관리 체계 수립, 분야별 표준 지표 개발 등 새로운 성과관리 체계를 통해 사업 단위 성과 측정을 위한 시도를 지속적으로 수행하며 고도화된 성과중심 관리체계를 수립해 나가고 있다. 단, 위와 같은 시도에도 불구하고 KOICA의 질적 성과지표 개선을 위해 △기관 전략 목표와의 연계, △질적 성과 및 측정 방법에 대한 정의 수립, △질적 성과를 집계할 수 있는 데이터 축적, △분야별 표준 성과지표의 보완이 필요할 것으로 보인다.
◦ OECD, ADB와 같은 해외 유관기관은 다년간 성과중심 관리체계를 견고히 하면서 기관 차원의 조직 성과와 개발협력사업의 성과 목표를 연결하여 장기적인 성과를 측정하기 위한 노력을 해오고 있다. 현재의 KOICA의 전략체계는 각 전략목표별로 각기 다른 성과목표들이 산재해 있고, 각 전략목표의 지표와 성과목표의 연계관계가 명확히 드러나지 않는다. 중장기 경영목표 내 일부 실행과제 및 실행지표가 분야별 중기전략의 목표와 부합하고 있지 않다. KOICA는 이미 내부적으로 많은 전략과 성과목표를 구축하고 있다. 현재의 중장기 경영목표와 분야별 중기전략을 동일한 언어로 정리하여 KOICA의 개발협력사업의 장기적인 성과라는 최상위 목표하에 투입-성과-영향의 구조로 구조화한다면 명확한 질적 성과에 대한 기준 마련에 도움이 될 것이다.
◦ 해외 유관기관의 사례를 보면 공통적으로 ‘지표’를 정의하기에 앞서 성과관리 체계 내에서의 ‘질적 성과’에 대한 정의와 단계별 성과의 구분을 중요하게 다루고 있다. KOICA 역시 분야별 표준 성과지표를 개발하면서 분야별 전략목표-프로그램 목표-성과-산출의 구조를 보여주고 있지만 현재 KOICA가 제시하는 성과는 한 종류의 성과(Outcome)로 서술되어 보는 사람으로 하여금 단일 성과로 인식하게 한다. KOICA도 내부적으로 합의된 성과에 대한 의미와 통상적으로 자주 사용하고 있는 지표의 기준, 측정방법을 명확히 하여 질적 성과지표에 대한 정의를 규명하는 것이
필요하다.
◦ 성과중심 관리 체계에서 데이터를 축적하고 확보하는 것이 중요하며, 특히 장기적인 관점의 질적 성과는 여러 양적·질적 지표의 조합을 통해 측정가능하다. ADB 및 JICA와 같은 공여기관은 사업에서 수집한 데이터를 축적하여 이를 기반으로 성과지표를 수립하는 것을 중요하게 생각한다. KOICA 역시 분야별 중기목표 달성여부를 측정하기 위한 양적·질적 지표를 수립하기 위해서는 기존 사업에서 수집한 데이터를 정리하여 지표화시키는 과업이 필요하다. 국별, 분야별로 기존에 사용된
지표들의 데이터베이스를 구축해 이를 토대로 사업을 통한 질적 성과를 측정하는 데 적절하다고 판단되는 지표를 선별, 구성하여 추후 사업에 활용할 수 있는 방안 마련이 필요할 것으로 보인다.
◦ KOICA는 2기 분야별 중기전략(2021-2025) 개정과 함께 분야별 표준 성과지표도 개정하며 과거에 비해 체계화된 성과중심의 성과관리를 실시할 수 있는 지침을 제공하고 있다. 분야별 표준성과지표에서 일부 분야는 프로젝트 단위의 성과(Outcome) 지표나 성과목표가 SDGs 목표지표 위주로 구성되어 있어 산출 단계와 성과 단계의 지표 간 연계를 확인하기 어려운 경우가 있다. SDGs 지표들은 일반적으로 국가 차원에서 달성해야하는 상위 레벨인 영향(Impact) 지표로 구성되어 있는 반면, KOICA ODA 사업은 지방정부, 혹은 지역 구(區) 단위로 수혜기관을 특정하기 때문에 KOICA의 사업 특성상 SDGs 지표를 사업의 성과목표로 설정하기에는 다소 광범위할 수 있다. 이를 보완하기 위해서는 KOICA의 특성에 부합하는 하위 레벨의 지표 추가 보완, 단기, 중장기 성과의 단계별 설정을 통해 KOICA 사업의 장기적인 성과에 대한 질적인 변화를 측정할 수 있어야 한다.