제 1장. 연구개요
국제개발협력에서 가장 대표적인 기술협력(Technical Cooperation) 사업 방식의 하나인 연수는 지난 수십 년 동안 그 유형과 전달 방식이 꾸준히 발전해 왔으며 “수원국 인구의 기능 지식 기술적 지식 그리고 생산성의 향상을 통한 인적자원 개발을 위한 원조 활동”(ECDPM, 2006: Scott, 2009 재인용)으로 정의되어 개발사업의 효과성을 높이고 목표를 달성하는 데 기여할 수 있는 중요한 수단으로 인식되었다 그럼에도 불구하고 1990년대부터 2000년대 초반에 들어서는 연수가 종합적인 개발 프로그램의 한 요소로서 녹아들지 못하고, 개별적으로(Stand-alone) 존재한다는 비판이 있었다. 이는 단순히 연수에 국한되는 문제라기보다 국제개발협력에서의 기술협력 전반의 효과성에 대한 의문이 확대되었던 1990년대의 현실을 반영한 것이었다. 이러한 담론의 흐름 속에서 기술협력활동의 궁극적인 목표도 협력국가의 제도적, 정책적, 기술적 역량개발에 기여해야 한다는 ‘개발을 위한 역량 (Capacity for Development)’에 대한 논의로 확대․발전하였다. 뿐만 아니라, 대부분의 다자, 양자 원조기관들이 기술협력 사업과 활동의 대부분을 외부 기관에 위임하는 과정을 거치며 수원국과 공여기관의 역할을 재정립하기 시작했다. 기술협력의 제 2세대로 불리는 이 시기에 전통적인 개발협력 프로그램이나 프로젝트 뿐 아니라 연수, 전문가 파견, 정책컨설팅과 같은 기술협력 프로그램에까지 감독(control), 규명(clarity), 효율성, 결과 및 성과를 강조하며 원조기관의 책무성과 사업의 기획관리가 강화되는 흐름을 보였다.
한국의 대표적인 원조기관인 한국국제협력단(Korea International Cooperation Agency, 이하 KOICA)도 OECD DAC 가입과 부산세계개발원조총회 개최 이후 개발사업 연수 전문가 파견 정책컨설팅까지 내부적으로 기획하고 주도적으로 집행하던 기존의 방식에서 변화하여 국가별 분야별 사업유형별 프로그램 기획 성과관리 방향성 설정 사업 프로세스 관리 및 계약 그리고 콘텐츠 차원의 모니터링의 역할을 강조하며 새로운 역할을 모색하기 시작했다 이러한 배경 속에서 그동안 지속해온 다양한 형태의 연수사업이 수많은 연수와 연수자를 배출했음에도 불구하고 중장기적인 연수사업의 궁극적인 목표와 연계되지 못하고 소규모 단기 과정 중심의 단발성 교류협력으로 그치고 있으며 연수사업의 성과에 대한 체계적인 점검 및 대내외 공유가 부족하다는 점을 파악하였다. 이로 인해 KOICA 연수사업의 성과를 조금 더 명확히 하고 연수사업의 성과를 개발 성과(Development Outcome)와 연계하여 전략적인 프로그램 개발과 효과적인 연수사업의 기획 기여 여부 이행 평가에 보다 더 영향을 미쳐야한다는 대내외적인 요구가 확대되고 있다.
따라서 본 연구에서는 기존에 KOICA가 전반적인 연수사업의 효과성 검증을 목적으로 진행한 과정 지향적 선행 평가와 리뷰의 한계를 극복하기 위해 “KOICA 연수사업의 궁극적인 개발성과는 무엇인가” 라는 연구 질문을 중심으로 결과 지향적 평가모형을 도입하여 연수사업의 성과와 상위성과(Outcome) 수준의 효과에 집중할 수 있도록 하는 방법을 제시하고자 하였다 이를 위해 2013-2014년 KOICA 연수사업의 성과 점검을 통해 KOICA의 성과관리 체계 도입을 위한 환경을 조사하고 결과 지향적 평가방법을 도입하여 KOICA 연수사업의 결과모형을 체계화하고 상위성과(Outcome) 수준의 연수사업 목표를 근간한 성과 지표를 개발하였다.
본 연구의 범위는 연수사업의 이론적 배경 및 현황 파악, 2013-2014년도KOICA 연수사업 성과점 종합분석 및 연수사업 성과관리 체계 구축으로 정리할 수 있다.
연구 수행과정 및 조사방법은 크게 3단계로 진행되었다. 첫 번째 단계로 KOICA 연수사업의 전반적인 현황과 성과관리(평가)체계에 대한 파악을 위해 문헌조사와 국내 이해관계자 면담을 실시하였으며, 이를 바탕으로 두 번째 단계에서는 KOICA 연수사업 성과점검을 위한 연수사업 성과논리모형(안)을 구축하여 각 층위별 성과 지표 측정을 위한 설문조사 문항을 개발하였다. 도출된 설문지는 파일럿 서베이 시행 이후 수정 보완되어 웹기반 설문조사를 실시하였으며 정량평가로는 검증되기 어려운 데이터 확보를 위해 캄보디아 현지조사를 수행하였다. 최종 종합분석 및 성과관리체계구축 단계에서는 수집된 양적 및 질적 조사 분석을 통해 성과관리 논리모형, 지표, 도구를 개발하여 추후 성과관리의 방향성을 제시하였다.
제 2장. 연수사업 성과관리 이론적 배경
KOICA는 기술협력의 시대적 흐름에 따라 기술전수에 초점을 둔 1세대와 2세대 기술협력에서 3세대 기술협력인 포괄적 역량개발로 나아가기 위해 다양한 노력을 하고 있다.
하지만, 초청연수사업은 여전히 KOICA 기술협력의 핵심 사업 형태이며, 향후 역량개발로의 급격한 전환보다는 지속적인 변화를 모색해 나갈 것으로 보인다.
따라서 현재 그리고 가까운 미래의 연수사업 중심의 기술협력에 대한 성과관리를 위해서는 포괄적인 접근을 시도하는 역량개발 성과관리 모형 보다는 교육훈련 성과에 초점을 맞추고 있는 교육훈련 평가 모형이 적합할 것으로 보인다.
이러한 판단 아래 현재 KOICA 연수사업에 운영 중심의 관리를 넘어 성과 중심 관리가 요구되고 있음을 고려하여, 결과 지향적 교육훈련 평가 모형 중 가장 일반적으로 활용되는 커크패트릭(Kirkpatrick) 4단계 모형, 즉 반응-학습-행동-결과로 이어지는 성과모형이 KOICA 연수사업 이론적 틀로서 적합할 것으로 보았다.
커크패트릭(Kirkpatrick) 4단계 모형
특히 본 연구의 목적 중 하나인 , KOICA 연수사업 체계 내에서 활용 가능한 상위성과(Outcome) 및 이를 측정할 수 있는 지표 도출에 기여하기 위해 커크패트릭(Kirkpatrick) 4단계 모형에서 3단계 성과인 행동, 즉 교육내용의 현업적용을 상위성과로 판단하여 이에 초점을 맞춘 연구를 진행하였다.
제 3장. KOICA 연수사업 현황과 평가체계
KOICA의 연수사업은 연수유형에 따라 일부 차이는 있으나 포괄적으로는 개도국의 경제 사회 발전에 기여, 개발과제 해결을 위한 역량 배양 지원, 인적 네트워크 형성 및 우호협력관계 증진을 목적으로 하고 있다. KOICA가 실제로 운영하고 있는 연수과정 형태는 국별연수, 지역별연수, 글로벌연수, 장기연수(석사과정), 협력연수, 공동연수이며, 이에 따라 동 연구 역시 해당 형태에 준한 연수사업 성과를 점검하고 KOICA 연수사업의 종합 성과관리체계를 구축하였다. 연수사업의 추진체계는 연수기획, 연수생 선발 및 사전교육, 연수실시, 사후관리 총 4단계로 구분된다. 각 단계별 세부 업무를 살펴보면 연수기획의 경우 수요조사, 계획수립, 참가국에 과정안내서 송부 및 연수생 선발 요청, 실시계획서를 작성하며, 2단계를 통해 후보자 접수, 추천, 연수생 통보 및 항공권 송부, 사전교육을 시행한다. 연수실시 과정에서는 오리엔테이션, 교육 및 연수생을 관리하고 최종 단계인 사후관리를 위해 연수결과를 평가하며 귀국 연수생들을 위한 사후 지원활동을 지속한다.
우리나라 연수사업은 KOICA 설립 이후 양적으로 꾸준히 성장하여 현재는 KOICA 전체 사업 형태 중 세 번째로 큰 비중을 차지하고 있다. 본 연구가 분석한 2007년부터 2013년까지 연수사업 총괄 현황 및 연수형태별 현황을 살펴보면 2009년을 제외하고 꾸준히 증가하는 추세를 보이고 있다. 특히 2010년을 기점으로 연수과정과 연수생 수가 두드러지게 증가하여 2010년부터 2013년까지 4년간 평균 4천 559명의 연수생이 초청되었으며, 최근 2013년에는 306개 과정에 113개국의 4천 932명의 연수생이 참여하였다.
그러나 실질적인 증가율 측면에서는 2010년을 기점으로 감소추이를 보여 왔으므로 향후 연수과정 수와 연수생 수는 현재 수준에서 약한 증가 추세를 보이거나 유지될 것으로 판단된다. 조사기간 내의 평균 연수기간, 연수사업비, 1인당 연수비 역시 증가하는 추세를 보이다 2010년을 기점으로 감소하거나 유지되는 경향을 보이고 있다.
KOICA 연수사업 평가체계는 연수 직후 실시되는 과정평가와 연간 연수사업 과정 종료 후 실시되는 연차평가를 통해 개별 연수과정 및 전체 연수사업 성과를 확인하고 있다. 과정평가의 경우, 대부분의 연수과정이 학습성취도, 연수만족도, Action Plan 수립률 지표로 구성되어 있다. 학습성취도는 대부분의 연수기관이 자체적으로 설문지를 만들어 자체평가(Self-Assessment) 형태로 평가가 실시되고 있으며, 일부 연수기관의 경우 이론 및 현장실습의 성취도를 평가하는 방식으로 학습성취도 평가를 실시하고 있었다. 하지만 구체적인 평가 방법과 평가 양식은 결과보고서를 통해 확인할 수 없었다.
연수만족도 평가의 경우, 수행과정, 교육환경, 내용, 성과, 지속가능성을 평가항목으로하는 KOICA 설문조사 양식에 따라 모든 연수과정에서 해당 연수기관에 의해 일괄적으로 실시되고 있을 뿐만 아니라 연수과정 내 개별 강의에 대한 만족도 평가역시 함께 이루어지고 있다.
연차평가는 연수기관이 일괄적으로 실시하는 과정평가의 변별력 부족과 같은 단점을 보완하기 위해 연간 연수과정 종료 후 시행된다. 연차평가는 각 연수과정을 통해 달성한 성과를 확인하고, 익년도 연수사업 개선에 평가결과를 활용함으로써 연수사업의 질적수준 및 성과를 제고하며, 상시 평가체계 구축을 통한 평가결과 환류의 효과성 제고 및 효율적인 연수기관 정보 관리를 목적으로 한다.
그러나 현재 KOICA 연수사업의 평가는 평가체계가 운영 평가 중심이기 때문에 연수사업의 상위성과를 명확히 조명하기 어렵고, 연수사업 성과에 대한 인식 차이와 성과관리에 필요한 재원 및 인력의 부족으로 인해 중장기 성과모형이 부재한다. 또한, 이로 인해 데이터 축적과 분석이 이루어지지 않아 다음 연수 기획 시 활용할 수 있는 체계적인 환류가 이루어지지 않는다는 점에서 한계가 있다.
제 4장. KOICA 연수사업 성과평가
본 장에서는 KOICA 연수사업의 성과모형 및 성과지표를 수립하고 이에 대한 타당성을 검증하는 한편, 수립된 성과모형과 지표를 활용하여 2013년 6월부터 2014년 6월까지 실시된 연수과정에 대해 시범적 성과평가를 실시하였다. KOICA 연수사업의 성과점검은 변화이론을 활용한 성과모형 구축, 이해관계자 면담 및 초점집단면담, 귀국 연수생 대상 성과점검 설문조사, 최종 종합분석 및 시사점 도출로 총 4단계에 걸쳐 진행되었다.
KOICA 연수사업의 성과모형은 앞서 제 2장의 이론적 배경에서 살펴본 커크패트릭(Kirkpatrick) 4단계 교육훈련 평가 모형을 기반으로 제 3장에서 검토된 KOICA 연수사업의 특수성인 한국 개발경험 및 파트너십 관련 지표를 각 단계별 성과지표에 포함시켰으며 연수과정모듈을 임의로 추출하고 분석하여 총 8개의 활동을 도출하였다. 이를 바탕으로 연수만족도, 학습성취도, 현업적용도, 현업적용요인, 결과, 연수생 기본정보를 골자로하는 시범적 성과평가 설문지를 구성하였다.
이상의 수립된 성과모형 및 지표, 그리고 그 측정을 위한 설문지를 바탕으로 실시된 온라인 설문조사의 구조방정식 분석 결과를 통해 기 수립된 KOICA 연수사업의 성과모형 및 지표는 통계적으로 타당한 것으로 검증되었다. 단계별 성과 간, 그리고 각 성과를 구성하고 있는 세부지표 간의 영향력 관계를 확인하여, 영향력에 따라 성과 및 세부지표의 가중치를 산정하였다. 산정된 가중치는 KOICA 연수사업 성과관리체계의 지표체계 구축시 활용되었다.
단계별 성과 분석을 살펴보면 연수만족도(4.27점)와 학습성취도(4.25점) 세부지표의 평균은 유사하게 나타났으며 현업적용도 지표의 경우 연수내용을 조직 내 공유하는 정보공유도(4.25점)가 가장 높았으며, 평판향상도(3.80점)가 가장 낮게 나타났다.
파트너십의 경우, 연수만족도 및 학업성취도와는 달리 실제 현업에서 인적 네트워크를 활용하였다는 응답(4.13점)이 한국 개발경험을 활용하였다는 응답(3.98점)보다 높게 나타나 실제 인적 네트워크가 한국 개발경험보다는 활용도가 높았음을 알 수 있었다.
결과 단계인 수원국 기여도의 경우, 조직역량강화 기여(56%), 제도개선 기여(47.5%), 한국과의 파트너십 강화 사례(42.6%) 순으로 빈도가 높게 나타났다.
조직역량강화의 주요 사례는 동료 간 또는 팀 내 공유를 통한 역량강화 기여 사례(22%)가 가장 많았고, 팀워크 및 업무 개선에 기여(17%), 기관 내 교육훈련 실시를 통한 역량강화 기여 사례(6%)가 그 뒤를 이었다. 제도개선의 주요 사례로는 관련 분야 정책수립 또는 개선 기여 사례(20%)와 가이드라인 및 매뉴얼 수립 기여 사례(13%)가 많았다.
마지막으로 파트너십 증진의 경우, 한국 정부기관과의 협력강화(16%), 한국인과의 지속적인 관계유지 사례(11%)가 많았다.
유형별 현업적용도를 분석한 결과, 국별연수에서는 다년간 국별연수(4.39점), 다국가연수의 경우 공동-협력연수(4.39점)의 현업적용도가 가장 높게 나타났다.
현업적용요인 9가지의 기술통계 분석 결과, 개인요인인 과정 이해도(4.33), 과정 참여도(4.43), 적용 자신감(4.29)이 높게 나타났고, 조직요인인 동료 지원(3.89), 상사 지원(3.90), 적용 기회(3.86) 등이 낮게 나타났다. 이는 전체적으로 보면 개인적 차원에서 현업적용을 위해 노력하였으나, 조직 환경이 현업적용에 장애 요인으로 작용하고 있다고 해석할 수 있다.
반면, 현업적용도가 높은 사람(4점 이상), 현업적용도가 낮은 사람(4점 미만)의 양자간 협업적용요인을 분석한 결과, 두 대상 간의 교육요인의 차이(1.18점)가 가장 컸고, 조직요인(1.02점)과 개인요인(0.97점)이 뒤를 이었다. 이는 현업적용이 높은 연수생과 낮은 연수생이 개인적으로 현업적용을 위한 노력의 차이는 비슷하나, 연수과정의 교육요인의 차이로 인해 현업적용도가 영향을 받는다고 해석할 수 있다.
이상의 기술통계 분석을 심화하여 로지스틱 회귀분석을 실시한 결과, 연수생의 현업적 용도를 높이는 데에 가장 큰 영향을 미치는 것은 적용 자신감과 강사 적절성임을 확인할 수 있었다.
제 5장. KOICA 연수사업 성과관리체계 수립
제 5장에서는 KOICA 연수사업 성과관리(평가)체계의 현황 분석을 통해 도출한 개선점과 시범적 성과평가를 통해 얻은 시사점을 바탕으로 KOICA 연수사업의 3가지 방향성을 제시하였다. 이를 기반으로 커크패트릭(Kirkpatrick) 4단계 모형인 반응-학습-행동변화-결과의 논리적 틀을 따르되 각 단계별로 KOICA 연수사업의 특수한 성격인 파트너십강화(우호관계 증진) 지표를 추가하여, KOICA 맞춤형 성과모형을 다음과 같이 구축하였다.
KOICA 연수사업의 성과모형(ToC)
첫 번째 산출물인 반응, 즉 연수만족도의 세부지표는 일반적으로 활용되는 주요 평가영역(지표)인 교육내용, 교수 및 학습, 강사 및 촉진자, 교육훈련 환경, 교육매체이며, KOICA가 실시하는 파트너십 관련 활동의 KOICA 결과로서 인적 네트워크 및 파트너십 프로그램에 대한 만족도를 포함시켰다.
두 번째 산출물인 학습, 즉 학업성취도의 세부지표는 일반적인 학습평가 지표인 인지적영역, 심동적 영역, 정의적 영역이며, KOICA 연수과정을 통해 학습한 한국 관련 내용의 이해도 확인을 위한 한국이해도와 연수과정을 통해 구축한 네트워크 형성 정도 확인을 위한 네트워크 형성도를 추가하였다.
세 번째인 상위성과, 즉 현업적용도의 세부지표는 일반적인 현업적용도 측정 시 주로 활용되는 업무활용도, 성과향상도, 능력향상도, 평판향상도 4개의 보편 지표를 활용하였다. 이와 함께 KOICA 연수사업의 특성을 반영한 정보공유도, 파트너십 활용도 1(한국개발경험 현업 적용 정도), 파트너십 활용도 2(연수과정을 통해 구축한 인적 네트워크 활용 정도) 3개 특수 지표를 포함하여 총 7개의 현업적용도 지표를 수립하였다.
네 번째인 결과(수원국 역량강화 기여도)의 세부지표는 조직역량강화 기여, 제도개선에 기여, 한국과의 파트너십 강화 등 3개로 구성하였다.
지표 구성을 바탕으로 각 단계별 지표를 측정하기 위한 다양한 측정도구 역시 제시하였다. 1단계 반응 평가(연수만족도 조사)와 2단계 학습성취도 평가의 경우, 기존 KOICA 연수사업 평가체계에서도 실시되고 있는 바, 교육프로그램 평가 관련 기존 선행연구의 평가도구를 적극 활용하되, 이를 비교․분석하여 개선방향을 제시하는 형태로 측정도구를 개발하였다. 3단계 현업적용도 평가의 경우, 기존 KOICA 평가체계에서 Action Plan 수립률(단기, 중기과정) 또는 논문 작성률(장기학위과정)등을 통해 측정하고 있으나, 일반적인 현업적용도 평가방법으로는 한계가 있어 기존 선행연구와 동 연구의 시범적 성과평가를 바탕으로 현업적용도 평가도구를 새롭게 제시하였다. 마지막으로 4단계 결과(수원국 역량강화 기여도)의 경우, 설문조사로 이를 측정하기에 한계가 있을 뿐 아니라 장기적인 성과로 접근해야 하므로 양적조사보다는 질적조사가 적합하다는 판단 아래 성공사례 방법론의활용방안 등을 제시하여 성과자료를 수집할 수 있도록 하였다.
제 6장 결론
본 장에서는 연구의 전 과정을 통해 도출한 시사점을 (i) 성과관리체계 구축을 위한 제언과 (ii) 결과중심 연수사업 관리를 위한 종합제언으로 구분하여 제안하고자 한다.
1. 성과관리체계 구축을 위한 제언
첫째, 연수사업의 현업적용도(즉, 업무활용도, 능력향상도, 성과향상도, 평판향상도, 정보공유도, 파트너십 활용도)를 KOICA 연수사업의 상위성과(Outcome)로 설정하는 것이 적합함을 확인하였다.
둘째, KOICA 연수사업의 궁극적인 목적(Goal)인 ‘수원국 제도개선 기여 여부’ ‘조직역량강화 기여 여부’, ‘한-수원국 간 파트너십 강화 여부’ 는 KOICA 연수사업의 수원국 개발성과 기여 여부에 대한 정량적 조사가 아닌 질적 조사를 통해 수집하는 것이 현실적인 방안임을 확인하였다.
셋째, 본 연구를 통해 제시한 현업적용도 측정도구를 활용하여 주기적으로 데이터를 수집․분석하여 정보를 관리하되, 향후 단계적으로 KOICA 연수사업 성과의 빅데이터를 구축하여 연계하는 것이 필요하다.
넷째, 자가 평가 중심의 설문조사를 대체하기 위하여 단계적으로 정량화된 객관적 지표 및 측정도구 개발이 필요하며 첫 단계로, 현업적용도 중 정보공유도 지표를 정량적 데이터 수집 지표로 활용할 것을 제안한다.
다섯째, 상위성과 도출을 위한 사업 기획과 사후관리 방안을 단계적으로 실현해 나가는 과정에서 정보공유도 외에 연수과정별 콘텐츠에 적합한 맞춤형 지표를 추가적으로 개발할 수 있을 것이다.
2. 결과 중심 연수사업 관리를 위한 제언
첫째, 현재 KOICA 연수사업이 가지고 있는 체계의 가능성과 한계를 고려할 때, 단기적으로는 교육기반 평가모형을 성과모형으로 도입하되, 중장기적으로는 포괄적인 ‘개발을 위한 역량(Capacity for Development)’ 모델에 근거하여 연수사업 성과관리 모델을 구축하고 도입할 수 있는 환경을 준비하는 전략이 필요하다.
둘째, 표제 연구를 통해 개념적이고 실증적으로 확인된 바와 같이, 국제사회 흐름에도 부합하고 연수생의 연수 활용 측면에서도 성과가 확인된 다년간 국별 연수를 더욱 강화하여야 한다.
셋째, 단기연수보다는 객관적으로 성과가 검증된 중기연수(1개월-3개월)에서, 다양한 분야보다는 KOICA 중점 분야와 연계성을 강화하는 쪽으로 나아가야 한다.
넷째, 업무 활용, 성과 향상, 정보 공유, 파트너십 활용 등 연수의 활용 중심의 성과를 제고하기 위해서는 연수 기획 및 수행 과정에서부터 의도적으로 연수생 소속기관 내 정보 공유를 적극적으로 유도해야 한다.
다섯째, 연수생의 현업적용도 향상을 위해서는 연수생 선발 및 강사 선정에 대해 개별 연수과정에 적합한 기준 및 절차를 강화하여야 한다.
여섯째, 개별 연수과정 및 해당 연수기관과 별개로 진행되고 있는 사후관리를 연수과정에 전략적으로 포함시켜 관리하며, 연수사업 성과 공유 세미나 개최 등을 통한 현지사무소의 후속조치(follow-up) 활동을 강화하여야 한다.
일곱째, 상위성과 달성과 원활한 성과 취합 및 측정을 위한 작업을 위해 성과관리에 대한 집중적인 재원, 인력, 역량의 투자가 요구된다.
국제개발협력에서 가장 대표적인 기술협력(Technical Cooperation) 사업 방식의 하나인 연수는 지난 수십 년 동안 그 유형과 전달 방식이 꾸준히 발전해 왔으며 “수원국 인구의 기능 지식 기술적 지식 그리고 생산성의 향상을 통한 인적자원 개발을 위한 원조 활동”(ECDPM, 2006: Scott, 2009 재인용)으로 정의되어 개발사업의 효과성을 높이고 목표를 달성하는 데 기여할 수 있는 중요한 수단으로 인식되었다 그럼에도 불구하고 1990년대부터 2000년대 초반에 들어서는 연수가 종합적인 개발 프로그램의 한 요소로서 녹아들지 못하고, 개별적으로(Stand-alone) 존재한다는 비판이 있었다. 이는 단순히 연수에 국한되는 문제라기보다 국제개발협력에서의 기술협력 전반의 효과성에 대한 의문이 확대되었던 1990년대의 현실을 반영한 것이었다. 이러한 담론의 흐름 속에서 기술협력활동의 궁극적인 목표도 협력국가의 제도적, 정책적, 기술적 역량개발에 기여해야 한다는 ‘개발을 위한 역량 (Capacity for Development)’에 대한 논의로 확대․발전하였다. 뿐만 아니라, 대부분의 다자, 양자 원조기관들이 기술협력 사업과 활동의 대부분을 외부 기관에 위임하는 과정을 거치며 수원국과 공여기관의 역할을 재정립하기 시작했다. 기술협력의 제 2세대로 불리는 이 시기에 전통적인 개발협력 프로그램이나 프로젝트 뿐 아니라 연수, 전문가 파견, 정책컨설팅과 같은 기술협력 프로그램에까지 감독(control), 규명(clarity), 효율성, 결과 및 성과를 강조하며 원조기관의 책무성과 사업의 기획관리가 강화되는 흐름을 보였다.
한국의 대표적인 원조기관인 한국국제협력단(Korea International Cooperation Agency, 이하 KOICA)도 OECD DAC 가입과 부산세계개발원조총회 개최 이후 개발사업 연수 전문가 파견 정책컨설팅까지 내부적으로 기획하고 주도적으로 집행하던 기존의 방식에서 변화하여 국가별 분야별 사업유형별 프로그램 기획 성과관리 방향성 설정 사업 프로세스 관리 및 계약 그리고 콘텐츠 차원의 모니터링의 역할을 강조하며 새로운 역할을 모색하기 시작했다 이러한 배경 속에서 그동안 지속해온 다양한 형태의 연수사업이 수많은 연수와 연수자를 배출했음에도 불구하고 중장기적인 연수사업의 궁극적인 목표와 연계되지 못하고 소규모 단기 과정 중심의 단발성 교류협력으로 그치고 있으며 연수사업의 성과에 대한 체계적인 점검 및 대내외 공유가 부족하다는 점을 파악하였다. 이로 인해 KOICA 연수사업의 성과를 조금 더 명확히 하고 연수사업의 성과를 개발 성과(Development Outcome)와 연계하여 전략적인 프로그램 개발과 효과적인 연수사업의 기획 기여 여부 이행 평가에 보다 더 영향을 미쳐야한다는 대내외적인 요구가 확대되고 있다.
따라서 본 연구에서는 기존에 KOICA가 전반적인 연수사업의 효과성 검증을 목적으로 진행한 과정 지향적 선행 평가와 리뷰의 한계를 극복하기 위해 “KOICA 연수사업의 궁극적인 개발성과는 무엇인가” 라는 연구 질문을 중심으로 결과 지향적 평가모형을 도입하여 연수사업의 성과와 상위성과(Outcome) 수준의 효과에 집중할 수 있도록 하는 방법을 제시하고자 하였다 이를 위해 2013-2014년 KOICA 연수사업의 성과 점검을 통해 KOICA의 성과관리 체계 도입을 위한 환경을 조사하고 결과 지향적 평가방법을 도입하여 KOICA 연수사업의 결과모형을 체계화하고 상위성과(Outcome) 수준의 연수사업 목표를 근간한 성과 지표를 개발하였다.
본 연구의 범위는 연수사업의 이론적 배경 및 현황 파악, 2013-2014년도KOICA 연수사업 성과점 종합분석 및 연수사업 성과관리 체계 구축으로 정리할 수 있다.
연구 수행과정 및 조사방법은 크게 3단계로 진행되었다. 첫 번째 단계로 KOICA 연수사업의 전반적인 현황과 성과관리(평가)체계에 대한 파악을 위해 문헌조사와 국내 이해관계자 면담을 실시하였으며, 이를 바탕으로 두 번째 단계에서는 KOICA 연수사업 성과점검을 위한 연수사업 성과논리모형(안)을 구축하여 각 층위별 성과 지표 측정을 위한 설문조사 문항을 개발하였다. 도출된 설문지는 파일럿 서베이 시행 이후 수정 보완되어 웹기반 설문조사를 실시하였으며 정량평가로는 검증되기 어려운 데이터 확보를 위해 캄보디아 현지조사를 수행하였다. 최종 종합분석 및 성과관리체계구축 단계에서는 수집된 양적 및 질적 조사 분석을 통해 성과관리 논리모형, 지표, 도구를 개발하여 추후 성과관리의 방향성을 제시하였다.
제 2장. 연수사업 성과관리 이론적 배경
KOICA는 기술협력의 시대적 흐름에 따라 기술전수에 초점을 둔 1세대와 2세대 기술협력에서 3세대 기술협력인 포괄적 역량개발로 나아가기 위해 다양한 노력을 하고 있다.
하지만, 초청연수사업은 여전히 KOICA 기술협력의 핵심 사업 형태이며, 향후 역량개발로의 급격한 전환보다는 지속적인 변화를 모색해 나갈 것으로 보인다.
따라서 현재 그리고 가까운 미래의 연수사업 중심의 기술협력에 대한 성과관리를 위해서는 포괄적인 접근을 시도하는 역량개발 성과관리 모형 보다는 교육훈련 성과에 초점을 맞추고 있는 교육훈련 평가 모형이 적합할 것으로 보인다.
이러한 판단 아래 현재 KOICA 연수사업에 운영 중심의 관리를 넘어 성과 중심 관리가 요구되고 있음을 고려하여, 결과 지향적 교육훈련 평가 모형 중 가장 일반적으로 활용되는 커크패트릭(Kirkpatrick) 4단계 모형, 즉 반응-학습-행동-결과로 이어지는 성과모형이 KOICA 연수사업 이론적 틀로서 적합할 것으로 보았다.
커크패트릭(Kirkpatrick) 4단계 모형
특히 본 연구의 목적 중 하나인 , KOICA 연수사업 체계 내에서 활용 가능한 상위성과(Outcome) 및 이를 측정할 수 있는 지표 도출에 기여하기 위해 커크패트릭(Kirkpatrick) 4단계 모형에서 3단계 성과인 행동, 즉 교육내용의 현업적용을 상위성과로 판단하여 이에 초점을 맞춘 연구를 진행하였다.
제 3장. KOICA 연수사업 현황과 평가체계
KOICA의 연수사업은 연수유형에 따라 일부 차이는 있으나 포괄적으로는 개도국의 경제 사회 발전에 기여, 개발과제 해결을 위한 역량 배양 지원, 인적 네트워크 형성 및 우호협력관계 증진을 목적으로 하고 있다. KOICA가 실제로 운영하고 있는 연수과정 형태는 국별연수, 지역별연수, 글로벌연수, 장기연수(석사과정), 협력연수, 공동연수이며, 이에 따라 동 연구 역시 해당 형태에 준한 연수사업 성과를 점검하고 KOICA 연수사업의 종합 성과관리체계를 구축하였다. 연수사업의 추진체계는 연수기획, 연수생 선발 및 사전교육, 연수실시, 사후관리 총 4단계로 구분된다. 각 단계별 세부 업무를 살펴보면 연수기획의 경우 수요조사, 계획수립, 참가국에 과정안내서 송부 및 연수생 선발 요청, 실시계획서를 작성하며, 2단계를 통해 후보자 접수, 추천, 연수생 통보 및 항공권 송부, 사전교육을 시행한다. 연수실시 과정에서는 오리엔테이션, 교육 및 연수생을 관리하고 최종 단계인 사후관리를 위해 연수결과를 평가하며 귀국 연수생들을 위한 사후 지원활동을 지속한다.
우리나라 연수사업은 KOICA 설립 이후 양적으로 꾸준히 성장하여 현재는 KOICA 전체 사업 형태 중 세 번째로 큰 비중을 차지하고 있다. 본 연구가 분석한 2007년부터 2013년까지 연수사업 총괄 현황 및 연수형태별 현황을 살펴보면 2009년을 제외하고 꾸준히 증가하는 추세를 보이고 있다. 특히 2010년을 기점으로 연수과정과 연수생 수가 두드러지게 증가하여 2010년부터 2013년까지 4년간 평균 4천 559명의 연수생이 초청되었으며, 최근 2013년에는 306개 과정에 113개국의 4천 932명의 연수생이 참여하였다.
그러나 실질적인 증가율 측면에서는 2010년을 기점으로 감소추이를 보여 왔으므로 향후 연수과정 수와 연수생 수는 현재 수준에서 약한 증가 추세를 보이거나 유지될 것으로 판단된다. 조사기간 내의 평균 연수기간, 연수사업비, 1인당 연수비 역시 증가하는 추세를 보이다 2010년을 기점으로 감소하거나 유지되는 경향을 보이고 있다.
KOICA 연수사업 평가체계는 연수 직후 실시되는 과정평가와 연간 연수사업 과정 종료 후 실시되는 연차평가를 통해 개별 연수과정 및 전체 연수사업 성과를 확인하고 있다. 과정평가의 경우, 대부분의 연수과정이 학습성취도, 연수만족도, Action Plan 수립률 지표로 구성되어 있다. 학습성취도는 대부분의 연수기관이 자체적으로 설문지를 만들어 자체평가(Self-Assessment) 형태로 평가가 실시되고 있으며, 일부 연수기관의 경우 이론 및 현장실습의 성취도를 평가하는 방식으로 학습성취도 평가를 실시하고 있었다. 하지만 구체적인 평가 방법과 평가 양식은 결과보고서를 통해 확인할 수 없었다.
연수만족도 평가의 경우, 수행과정, 교육환경, 내용, 성과, 지속가능성을 평가항목으로하는 KOICA 설문조사 양식에 따라 모든 연수과정에서 해당 연수기관에 의해 일괄적으로 실시되고 있을 뿐만 아니라 연수과정 내 개별 강의에 대한 만족도 평가역시 함께 이루어지고 있다.
연차평가는 연수기관이 일괄적으로 실시하는 과정평가의 변별력 부족과 같은 단점을 보완하기 위해 연간 연수과정 종료 후 시행된다. 연차평가는 각 연수과정을 통해 달성한 성과를 확인하고, 익년도 연수사업 개선에 평가결과를 활용함으로써 연수사업의 질적수준 및 성과를 제고하며, 상시 평가체계 구축을 통한 평가결과 환류의 효과성 제고 및 효율적인 연수기관 정보 관리를 목적으로 한다.
그러나 현재 KOICA 연수사업의 평가는 평가체계가 운영 평가 중심이기 때문에 연수사업의 상위성과를 명확히 조명하기 어렵고, 연수사업 성과에 대한 인식 차이와 성과관리에 필요한 재원 및 인력의 부족으로 인해 중장기 성과모형이 부재한다. 또한, 이로 인해 데이터 축적과 분석이 이루어지지 않아 다음 연수 기획 시 활용할 수 있는 체계적인 환류가 이루어지지 않는다는 점에서 한계가 있다.
제 4장. KOICA 연수사업 성과평가
본 장에서는 KOICA 연수사업의 성과모형 및 성과지표를 수립하고 이에 대한 타당성을 검증하는 한편, 수립된 성과모형과 지표를 활용하여 2013년 6월부터 2014년 6월까지 실시된 연수과정에 대해 시범적 성과평가를 실시하였다. KOICA 연수사업의 성과점검은 변화이론을 활용한 성과모형 구축, 이해관계자 면담 및 초점집단면담, 귀국 연수생 대상 성과점검 설문조사, 최종 종합분석 및 시사점 도출로 총 4단계에 걸쳐 진행되었다.
KOICA 연수사업의 성과모형은 앞서 제 2장의 이론적 배경에서 살펴본 커크패트릭(Kirkpatrick) 4단계 교육훈련 평가 모형을 기반으로 제 3장에서 검토된 KOICA 연수사업의 특수성인 한국 개발경험 및 파트너십 관련 지표를 각 단계별 성과지표에 포함시켰으며 연수과정모듈을 임의로 추출하고 분석하여 총 8개의 활동을 도출하였다. 이를 바탕으로 연수만족도, 학습성취도, 현업적용도, 현업적용요인, 결과, 연수생 기본정보를 골자로하는 시범적 성과평가 설문지를 구성하였다.
이상의 수립된 성과모형 및 지표, 그리고 그 측정을 위한 설문지를 바탕으로 실시된 온라인 설문조사의 구조방정식 분석 결과를 통해 기 수립된 KOICA 연수사업의 성과모형 및 지표는 통계적으로 타당한 것으로 검증되었다. 단계별 성과 간, 그리고 각 성과를 구성하고 있는 세부지표 간의 영향력 관계를 확인하여, 영향력에 따라 성과 및 세부지표의 가중치를 산정하였다. 산정된 가중치는 KOICA 연수사업 성과관리체계의 지표체계 구축시 활용되었다.
단계별 성과 분석을 살펴보면 연수만족도(4.27점)와 학습성취도(4.25점) 세부지표의 평균은 유사하게 나타났으며 현업적용도 지표의 경우 연수내용을 조직 내 공유하는 정보공유도(4.25점)가 가장 높았으며, 평판향상도(3.80점)가 가장 낮게 나타났다.
파트너십의 경우, 연수만족도 및 학업성취도와는 달리 실제 현업에서 인적 네트워크를 활용하였다는 응답(4.13점)이 한국 개발경험을 활용하였다는 응답(3.98점)보다 높게 나타나 실제 인적 네트워크가 한국 개발경험보다는 활용도가 높았음을 알 수 있었다.
결과 단계인 수원국 기여도의 경우, 조직역량강화 기여(56%), 제도개선 기여(47.5%), 한국과의 파트너십 강화 사례(42.6%) 순으로 빈도가 높게 나타났다.
조직역량강화의 주요 사례는 동료 간 또는 팀 내 공유를 통한 역량강화 기여 사례(22%)가 가장 많았고, 팀워크 및 업무 개선에 기여(17%), 기관 내 교육훈련 실시를 통한 역량강화 기여 사례(6%)가 그 뒤를 이었다. 제도개선의 주요 사례로는 관련 분야 정책수립 또는 개선 기여 사례(20%)와 가이드라인 및 매뉴얼 수립 기여 사례(13%)가 많았다.
마지막으로 파트너십 증진의 경우, 한국 정부기관과의 협력강화(16%), 한국인과의 지속적인 관계유지 사례(11%)가 많았다.
유형별 현업적용도를 분석한 결과, 국별연수에서는 다년간 국별연수(4.39점), 다국가연수의 경우 공동-협력연수(4.39점)의 현업적용도가 가장 높게 나타났다.
현업적용요인 9가지의 기술통계 분석 결과, 개인요인인 과정 이해도(4.33), 과정 참여도(4.43), 적용 자신감(4.29)이 높게 나타났고, 조직요인인 동료 지원(3.89), 상사 지원(3.90), 적용 기회(3.86) 등이 낮게 나타났다. 이는 전체적으로 보면 개인적 차원에서 현업적용을 위해 노력하였으나, 조직 환경이 현업적용에 장애 요인으로 작용하고 있다고 해석할 수 있다.
반면, 현업적용도가 높은 사람(4점 이상), 현업적용도가 낮은 사람(4점 미만)의 양자간 협업적용요인을 분석한 결과, 두 대상 간의 교육요인의 차이(1.18점)가 가장 컸고, 조직요인(1.02점)과 개인요인(0.97점)이 뒤를 이었다. 이는 현업적용이 높은 연수생과 낮은 연수생이 개인적으로 현업적용을 위한 노력의 차이는 비슷하나, 연수과정의 교육요인의 차이로 인해 현업적용도가 영향을 받는다고 해석할 수 있다.
이상의 기술통계 분석을 심화하여 로지스틱 회귀분석을 실시한 결과, 연수생의 현업적 용도를 높이는 데에 가장 큰 영향을 미치는 것은 적용 자신감과 강사 적절성임을 확인할 수 있었다.
제 5장. KOICA 연수사업 성과관리체계 수립
제 5장에서는 KOICA 연수사업 성과관리(평가)체계의 현황 분석을 통해 도출한 개선점과 시범적 성과평가를 통해 얻은 시사점을 바탕으로 KOICA 연수사업의 3가지 방향성을 제시하였다. 이를 기반으로 커크패트릭(Kirkpatrick) 4단계 모형인 반응-학습-행동변화-결과의 논리적 틀을 따르되 각 단계별로 KOICA 연수사업의 특수한 성격인 파트너십강화(우호관계 증진) 지표를 추가하여, KOICA 맞춤형 성과모형을 다음과 같이 구축하였다.
KOICA 연수사업의 성과모형(ToC)
첫 번째 산출물인 반응, 즉 연수만족도의 세부지표는 일반적으로 활용되는 주요 평가영역(지표)인 교육내용, 교수 및 학습, 강사 및 촉진자, 교육훈련 환경, 교육매체이며, KOICA가 실시하는 파트너십 관련 활동의 KOICA 결과로서 인적 네트워크 및 파트너십 프로그램에 대한 만족도를 포함시켰다.
두 번째 산출물인 학습, 즉 학업성취도의 세부지표는 일반적인 학습평가 지표인 인지적영역, 심동적 영역, 정의적 영역이며, KOICA 연수과정을 통해 학습한 한국 관련 내용의 이해도 확인을 위한 한국이해도와 연수과정을 통해 구축한 네트워크 형성 정도 확인을 위한 네트워크 형성도를 추가하였다.
세 번째인 상위성과, 즉 현업적용도의 세부지표는 일반적인 현업적용도 측정 시 주로 활용되는 업무활용도, 성과향상도, 능력향상도, 평판향상도 4개의 보편 지표를 활용하였다. 이와 함께 KOICA 연수사업의 특성을 반영한 정보공유도, 파트너십 활용도 1(한국개발경험 현업 적용 정도), 파트너십 활용도 2(연수과정을 통해 구축한 인적 네트워크 활용 정도) 3개 특수 지표를 포함하여 총 7개의 현업적용도 지표를 수립하였다.
네 번째인 결과(수원국 역량강화 기여도)의 세부지표는 조직역량강화 기여, 제도개선에 기여, 한국과의 파트너십 강화 등 3개로 구성하였다.
지표 구성을 바탕으로 각 단계별 지표를 측정하기 위한 다양한 측정도구 역시 제시하였다. 1단계 반응 평가(연수만족도 조사)와 2단계 학습성취도 평가의 경우, 기존 KOICA 연수사업 평가체계에서도 실시되고 있는 바, 교육프로그램 평가 관련 기존 선행연구의 평가도구를 적극 활용하되, 이를 비교․분석하여 개선방향을 제시하는 형태로 측정도구를 개발하였다. 3단계 현업적용도 평가의 경우, 기존 KOICA 평가체계에서 Action Plan 수립률(단기, 중기과정) 또는 논문 작성률(장기학위과정)등을 통해 측정하고 있으나, 일반적인 현업적용도 평가방법으로는 한계가 있어 기존 선행연구와 동 연구의 시범적 성과평가를 바탕으로 현업적용도 평가도구를 새롭게 제시하였다. 마지막으로 4단계 결과(수원국 역량강화 기여도)의 경우, 설문조사로 이를 측정하기에 한계가 있을 뿐 아니라 장기적인 성과로 접근해야 하므로 양적조사보다는 질적조사가 적합하다는 판단 아래 성공사례 방법론의활용방안 등을 제시하여 성과자료를 수집할 수 있도록 하였다.
제 6장 결론
본 장에서는 연구의 전 과정을 통해 도출한 시사점을 (i) 성과관리체계 구축을 위한 제언과 (ii) 결과중심 연수사업 관리를 위한 종합제언으로 구분하여 제안하고자 한다.
1. 성과관리체계 구축을 위한 제언
첫째, 연수사업의 현업적용도(즉, 업무활용도, 능력향상도, 성과향상도, 평판향상도, 정보공유도, 파트너십 활용도)를 KOICA 연수사업의 상위성과(Outcome)로 설정하는 것이 적합함을 확인하였다.
둘째, KOICA 연수사업의 궁극적인 목적(Goal)인 ‘수원국 제도개선 기여 여부’ ‘조직역량강화 기여 여부’, ‘한-수원국 간 파트너십 강화 여부’ 는 KOICA 연수사업의 수원국 개발성과 기여 여부에 대한 정량적 조사가 아닌 질적 조사를 통해 수집하는 것이 현실적인 방안임을 확인하였다.
셋째, 본 연구를 통해 제시한 현업적용도 측정도구를 활용하여 주기적으로 데이터를 수집․분석하여 정보를 관리하되, 향후 단계적으로 KOICA 연수사업 성과의 빅데이터를 구축하여 연계하는 것이 필요하다.
넷째, 자가 평가 중심의 설문조사를 대체하기 위하여 단계적으로 정량화된 객관적 지표 및 측정도구 개발이 필요하며 첫 단계로, 현업적용도 중 정보공유도 지표를 정량적 데이터 수집 지표로 활용할 것을 제안한다.
다섯째, 상위성과 도출을 위한 사업 기획과 사후관리 방안을 단계적으로 실현해 나가는 과정에서 정보공유도 외에 연수과정별 콘텐츠에 적합한 맞춤형 지표를 추가적으로 개발할 수 있을 것이다.
2. 결과 중심 연수사업 관리를 위한 제언
첫째, 현재 KOICA 연수사업이 가지고 있는 체계의 가능성과 한계를 고려할 때, 단기적으로는 교육기반 평가모형을 성과모형으로 도입하되, 중장기적으로는 포괄적인 ‘개발을 위한 역량(Capacity for Development)’ 모델에 근거하여 연수사업 성과관리 모델을 구축하고 도입할 수 있는 환경을 준비하는 전략이 필요하다.
둘째, 표제 연구를 통해 개념적이고 실증적으로 확인된 바와 같이, 국제사회 흐름에도 부합하고 연수생의 연수 활용 측면에서도 성과가 확인된 다년간 국별 연수를 더욱 강화하여야 한다.
셋째, 단기연수보다는 객관적으로 성과가 검증된 중기연수(1개월-3개월)에서, 다양한 분야보다는 KOICA 중점 분야와 연계성을 강화하는 쪽으로 나아가야 한다.
넷째, 업무 활용, 성과 향상, 정보 공유, 파트너십 활용 등 연수의 활용 중심의 성과를 제고하기 위해서는 연수 기획 및 수행 과정에서부터 의도적으로 연수생 소속기관 내 정보 공유를 적극적으로 유도해야 한다.
다섯째, 연수생의 현업적용도 향상을 위해서는 연수생 선발 및 강사 선정에 대해 개별 연수과정에 적합한 기준 및 절차를 강화하여야 한다.
여섯째, 개별 연수과정 및 해당 연수기관과 별개로 진행되고 있는 사후관리를 연수과정에 전략적으로 포함시켜 관리하며, 연수사업 성과 공유 세미나 개최 등을 통한 현지사무소의 후속조치(follow-up) 활동을 강화하여야 한다.
일곱째, 상위성과 달성과 원활한 성과 취합 및 측정을 위한 작업을 위해 성과관리에 대한 집중적인 재원, 인력, 역량의 투자가 요구된다.