역량바탕의학교육을 촉진하기 위한 교육평가: 통합평가모형 적용
Adapting an Integrated Program Evaluation for Promoting Competency‐Based Medical Education
Article information
Abstract
Educational program evaluation can improve the quality of the curriculum, instructional methods, and resources and provide useful data for making educational decisions and policies. Developing and implementing a program evaluation system is essential in competency-based medical education. The purpose of this study was to explore and establish an educational program evaluation system adapting an integrated program evaluation model to promote competency-based medical education. First, an Educational Evaluation Committee was organized, consisting of faculty, staff members, and students. The committee established an integrated program evaluation model, combining Stufflebeam’s Context, Input, Process, and Product (CIPP) model of a process-oriented approach and Kirkpatrick’s four-level model of an outcome-oriented approach. Kirkpatrick’s model was applied to the product evaluation of the CIPP model. The committee then developed evaluation criteria, indicators, and data collection methods according to the components of the CIPP model and the four levels (reaction, learning, behavior, and results) of Kirkpatrick’s model, and collected and analyzed data. Finally, the committee reported the results of evaluation to a Medical Education Quality Improvement Committee, and the results were used to improve the curriculum and student selection. To enhance the quality of education, identifying educational deficiencies and developing various elements of education in a balanced way through educational evaluation will be needed. Furthermore, it will be necessary to listen to opinions of various stakeholders, work with all members involved in education, and communicate with decision-makers in the process of educational evaluation.
서 론
역량바탕의학교육의 핵심은 사전에 역량을 규정하고 규정한 역량을 바탕으로 교육과정을 설계하여 운영하는 것이다[1]. 그러나 교육과정의 설계와 운영에 그치지 않고 규정한 역량의 달성 여부, 즉 성과평가를 수행하여 평가결과를 확인하고 달성과 미달성의 요인을 분석하여야 한다. 분석결과를 바탕으로 학습자가 규정한 역량에 도달할 수 있도록 교육을 개선, 운영하는 반복적인 과정이 필요하다. 의학교육의 질을 향상하고 교육을 개선하기 위해 의과대학에서 학습자 성과평가의 평가체계를 갖추고 주기적인 교육평가를 수행하는 것은 진정한 역량바탕의학교육을 구현하기 위한 주요한 과정이다.
교육평가는 교육과 관련된 다양한 요소에 대한 의사결정을 위하여 정보를 사용하거나 수집하는 과정을 동반하고, 수집한 정보에 의하여 교육적 의사결정을 하거나 이를 도와주는 기능이 있다[2,3]. 그리고 교육평가는 학습을 극대화하고 교육의 질을 향상하며 교육과정, 교수․학습방법, 교육자료 등을 개선하고 정책을 수립하거나 의사결정을 위한 기초자료를 제공하는 것을 목적으로 한다[3]. 의과대학의 교육평가에서는 재학생의 수행평가와 함께 졸업생의 중장기 수행평가가 이루어져야 할 뿐만 아니라 교육을 구성하는 여러 요소에 대한 맥락, 자원 투입, 환경, 과정 및 결과를 전체적인 관점에서 함께 평가하여 의과대학 교육을 개선하는 데 실질적인 도움이 되어야 한다. 그러므로 의과대학의 교육평가 목적을 효과적으로 달성하는데 적합한 평가모형을 선정하는 것은 대단히 중요하다.
보건의료 전문직의 교육프로그램 평가에는 결과 지향 접근(outcome-oriented approach)인 Kirkpatrick의 4단계 평가모형을 널리 사용하고 있다[4]. 경영분야에서 개발된 4단계 평가모형의 최종 목표는 기업의 경영 성과, 생산성 향상, 기업 이익에 두고 있어, 교육분야에서 4단계 평가모형을 적용 시에는 교육프로그램의 성공으로 이어지는 상황, 관련 투입요소 및 과정을 고려하지 못하여 의사결정 지원에 취약한 단점이 있다. Stufflebeam [5,6]이 제안한 Context, Input, Process, Product (CIPP) 모형은 과정 지향 접근(process-oriented approach)으로서, 교육프로그램의 개선을 위한 합리적인 의사결정과 유용한 관련 정보 제공에 적합하여 결과 지향 평가모델의 단점을 보완할 수 있다[7]. Dubrowski와 Morin [8]은 결과 지향 평가모형과 과정 지향 평가모형을 결합한 통합평가모형(integrated program evaluation model)을 제안하기도 하였다.
인제대학교 의과대학(인제의대)은 ASK 2019 (Accreditation Standards of Korean Institute of Medical Education and Evaluation 2019) 인증기준에 대응하고 의학교육의 질 향상과 개선을 위해 기존의 교육평가를 체계적으로 다듬기로 하였다[9]. 2000년대 이후 교육과정 개편 후 효과를 검증하기 위해 3차례의 외부평가(2008, 2013, 2019)와 6년 주기의 정기적인 내부평가가 이루어졌지만 모두 교육과정 또는 교육프로그램에 중점을 둔 평가였기 때문에 교육 전반에 대한 평가가 필요하였다. 2018년 8월에 교육성과평가 소위원회(현, 교육평가위원회)를 구성하였고, 교육평가위원회는 여러 평가모형을 검토 후 결과 지향 접근과 과정 지향 접근 각각의 단점을 보완한 통합평가모형으로 평가하기로 결정하고 평가준거, 평가지표, 평가방법, 평가도구를 개발하여 평가를 수행하였다[10].
최근 들어 우리나라 의과대학에서도 통합평가모형을 적용하기 시작하였는데, 평가목적에 따라 적용한 모형에 차이가 있다. 인제의대의 통합평가모형에서는 CIPP 모형의 산출(product)을 ‘졸업역량을 갖추고 사회적 책임을 다하는 의사의 양성’이라고 정의하고 Kirkpatrick의 4단계 평가모형을 이에 적합하게 개발하여 적용하였다. 이에 본 연구의 목적은 일개 의과대학에서 통합평가모형을 적용하여 시행한 교육평가를 소개하고, 진정한 역량바탕의학교육 구현에 적합한 교육평가체제를 탐색하고 구축하는 데 있다.
1. 교육평가위원회 구성과 지원
2018년까지 인제의대에서는 내부 모니터링은 교육과정을 수행하는 의학교육혁신센터에서 하였고, 내부평가는 교무위원회에서 주도하였기 때문에 교육의 수행과 평가 주체를 분리하고 평가를 전문적으로 수행할 조직이 필요하였다[11]. 교육평가를 전담할 교육평가위원회를 조직하여 의학교육 전문가 중 교무위원회 구성원이 아닌 교수 1인을 교육평가위원장으로 위촉하였고, 교육학 전공자, 통계학 전공자 교수를 포함한 교수위원, 학생위원, 행정위원 등 9명 이내로 구성하였다. ‘의과대학 교육평가위원회 운영에 관한 시행세칙’에 구성, 기능, 역할과 업무를 규정하였다. 그리고 장기성과 자료수집, 관리, 평가를 위하여 교육평가위원회 산하 코호트운영소위원회를 구성하였고, 교육평가위원 중 전문성이 있는 1인을 코호트운영소위원장으로 선정하였으며 ‘의과대학 학생 및 졸업생 코호트 운영에 관한 지침’에 규정한 대로 코호트를 구축, 관리하도록 하였다.
의과대학은 교육평가위원회 운영에 필요한 재정 투입, 자료수집을 위한 지원과 협조, 코호트 구축과 운영에 대한 정책과제 수여를 통해 직간접적으로 교육평가를 지원하였다.
2. 교육평가 절차
1) 평가모형 선정
인제의대 교육평가위원회는 적절한 교육평가모형을 찾기 위해 기존에 사용하고 있던 Kirkpatrick 4단계 평가모형을 검토하였다(Figure 1). Kirkpatrick의 4단계 평가모형은 개인 및 조직 차원에서 교육프로그램의 효과성을 평가하기 위한 모형으로 현재까지 교육프로그램 평가에 널리 사용되고 있다[4]. 역량바탕의학교육에서 역량의 달성 여부를 평가하여야 하고 졸업역량의 달성을 넘어서서 궁극적으로 실제 직무에서 그 역량이 발휘와 수월성을 확인했을 때 역량 바탕의학교육이 구현되었다고 할 수 있다. 또한 교육평가에서 학습자의 부족한 역량 확인과 요인분석을 통하여 교육의 개선을 낳고, 부족한 역량을 달성하도록 하여 공동체를 위한 좋은 의사를 배출하는 것은 궁극적으로 교육평가가 내포하고 있는 사회적 책무를 수행한다고 할 수 있다. 따라서 Kirkpatrick의 4단계 평가모형은 직업훈련 교육과정 평가에 자주 적용되었고 훈련 후 실제 직무에서 학습자의 성과 측정이 가능한 모형이므로 의과대학 교육의 중장기 성과를 평가하는 데 적절하다고 판단하였다[12,13].
The process of program evaluation at Inje University College of Medicine. CIPP, Context, Input, Process, Product.
인제의대는 2013년부터 Kirkpatrick의 4단계 평가모형을 교육과정의 성과와 효과성을 평가하기 위하여 사용한다고 명시하였지만, 다음과 같은 어려움으로 지금까지 주로 1단계 반응평가와 2단계 학습평가를 하였다[11]. 3단계 행동평가와 4단계 결과평가를 위해서는 학습자의 졸업 후를 계속 추적해야 하고 학습자가 수행하고 있는 직무에서 역량을 측정할 수 있어야 하므로 졸업생의 적극적인 협조와 자료수집을 위한 많은 인적, 물적 자원 투입이 필요하다. 그리고 의과대학과 졸업생들이 일하고 있는 기관이 다른 경우에 서로의 평가체계가 다르기 때문에 평가자료를 수집하기 어렵다. 3단계 행동평가는 졸업 후 교육과 연결(졸업 후 교육에서는 2단계 학습평가에 해당)되는데, 4단계 모형을 제대로 적용하기 위해서는 졸업후 교육과 기본의학교육 교육과정 연계와 더불어 평가의 연계가 이루어져야 한다. 이것을 일개 의과대학이 해결할 수 있는 문제는 아니기 때문에 4단계 평가모형 적용에 여전히 어려움이 있다. 현재 상황에서 학생 및 졸업생 코호트 구축은 가장 실행 가능한 자료수집 방법이 될 것으로 판단하였고, 교육평가체계를 갖추는 동시에 코호트 구축을 시작하였다.
성과 중심 접근 평가모형인 Kirkpatrick의 4단계 평가모형으로는 교육의 전반적인 과정을 평가하기에는 부족하다. 4단계 평가모형은 원인과 결과를 단순한 인과관계로 해석하기 쉽고 교육에 영향을 미치는 여러 요소를 간과할 수 있다[2]. 즉 성과를 달성했다고 하더라도 그 원인을 파악하기 어려운 경우가 많다. 교육과정설계, 교수설계부터 평가를 계획하여야 그 귀인을 분석할 수 있고, 이를 통하여 평가의 궁극적인 목적인 교육의 질 개선작업으로 이어질 수 있다. 따라서 교육의 맥락과 투입, 과정을 평가하기 위해 CIPP 모형이 더 적합하다.
Stufflebeam의 CIPP 모형은 프로그램의 상황(context), 투입(input), 과정(process), 산출(product) 각각에 대한 판단적 정보를 제공하여 교육프로그램 개선과 관련된 올바른 의사결정을 지원하고, 그 결정의 장점, 단점, 가치를 파악할 수 있도록 해야 한다는 입장에서 제안한 의사결정지원 평가모형이다[5,6]. 하지만 성과 부분에서 CIPP 모형은 중장기 성과를 측정하기에는 한계가 있기 때문에 Kirkpatrick의 4단계 평가모형을 결합한 통합평가모형을 사용함으로써 두 평가모형의 장단점을 보완하여 인제의대 교육프로그램 효과를 평가하고자 하였다(Figure 2).
The integrated program evaluation model adapted from the CIPP model and Kirkpatrick’s four levels, Inje University College of Medicine. CIPP, Context, Input, Process, and Product.
2) 평가준거 설정
과정 지향 접근(process-oriented approach)인 CIPP 모형의 산출(product)평가 부분을 결과 지향 접근(outcome-oriented approach)인 Kirkpatrick의 4단계 평가모형을 적용한 통합평가모형을 바탕으로 평가준거를 개발하였다. 교육평가위원회에서 초안을 준비하고 교무위원회, 의학교육혁신센터, 의학교육질향상위원회, 사명과성과검토소위원회, 지속개선위원회, 의학교육평가인증 자체평가기획위원회, 의학교육평가인증 자체평가연구소위원회와 대그룹, 소그룹 워크숍 등 공개적, 집단적 소통을 통해 평가준거, 평가지표를 설정하고, 평가방법에 대한 의견과 실행 가능성을 논의하였다. 관련 부서나 위원회와의 소통은 평가설계단계뿐 아니라 평가 중에도 필요에 따라 이루어졌다.
평가준거는 평가대상 프로그램의 성공, 가치를 어떤 특성으로 판단할 것인지를 결정하는 것으로 풍부한 질적 해석과 다양한 자료수집이 가능하도록 질문형태로 만들었다[5,6] (부록 1).
통합평가모형을 적용한 인제대학교 의과대학(인제의대) 교육평가 프레임
(1) 상황(context)평가
상황평가는 교육을 통해 추구해야 할 일반적인 목적과 구체적인 목표, 학습자의 필요와 요구, 교육활동이 이루어질 환경과 상황을 확인해주는 평가이다[5,6]. 평가준거를 크게 세 가지 (1) 학습의 구성요소: 목표, 시간, 학습자, 교수자, (2) 학습요구도 파악: 자원, 동기, 학습자 수행, (3) 프로그램 개선 체제: 자료수집, 자료이용, 개선으로 분류하였다[14,15].
(2) 투입(input)평가
투입평가는 설정된 목표를 성취하기 위해 교육 활동에서 사용해야 할 수단과 절차에 대한 정보를 제공해 주는 평가로 의사결정자가 여러 가지 대안이 되는 전략을 결정하는데 필요한 정보를 사전에 제공해 줄 수 있다[5,6]. 평가준거를 (1) 교육내용, 교수학습법, 학생평가방법, 자원, (2) 교수자의 역량, (3) 교육시설, (4) 교육예산으로 분류하여 설정하였다.
(3) 과정(process)평가
과정평가는 계획된 프로그램을 실제 시행하였을 때 예정대로, 계획대로, 효율적으로 전개되고 있는지 파악하는 평가로서 실천단계에서의 절차적인 사안과 활동을 기술하고 문제점과 효율성을 점검한다[5,6]. 교육의 과정을 수행하고 모니터링하며 교육평가, 개선활동 등 일련의 의과대학 프로그램의 실제적 운영에 대한 준거를 설정하였다.
(4) 산출(product)평가: Kirkpatrick의 4단계 평가모형 적용
산출평가는 계획하였던 교육성과를 측정, 해석, 판단하기 위한 평가이다. 인제의대가 추구하는 장기성과(desired outcomes)인 ‘졸업역량을 갖추고 사회적 책임을 다하는 의사의 양성’이라는 기관의 성취수준을 평가하는 데 한계를 가진다. 이에 CIPP 모형의 산출평가에는 Kirkpatrick의 4단계 평가모형을 적용하여 인제의대가 추구하는 장기성과를 평가하였다. 졸업역량은 2단계 학습(learning)평가에서 학습자가 달성할 성과로 보았고, 3단계 행동(behavior)평가와 4단계 결과(results)평가를 위해서는 장기적인 성과의 정의가 필요하였다. 교육평가위원회는 의학교육질향상위원회, 사명과성과검토소위원회와 소통하여 장기성과 제정의 필요성을 논의하였고, 사명과성과검토소위원회는 2019년 3월 인제의대 인재상을 제정하고 졸업역량 상위의 개념으로 연결하였다.
1단계 반응(reaction)과 2단계 학습(learning)은 필요에 따라 시기 1, 2, 3을 세분하여 평가하였다. 1단계 반응평가는 교육프로그램에 대한 참여자의 만족도, 몰입, 직무 관련성을 측정하는 것이며, 2단계 학습평가는 학습자 수행과 관련된 지식, 술기, 태도 측면에서 향상 정도를 평가하는 것이다. 3단계 행동(behavior)평가는 전공의 시기로 규정하였고, 실제 의사로서 직무 수행에 있어서 행동의 변화와 의과대학 교육이 실무 적용에 기여하는 정도를 측정한다. 4단계 결과(results)평가는 전문의 또는 수련 이후의 시기로 정하고 직무수행의 장기적인 성과와 조직이 기여한 정도에 대해 평가한다. 인제의대 인재상을 장기성과로 보고 4단계의 단계마다 평가준거를 설정하였다(부록 1).
3) 평가지표 개발
평가지표는 평가준거를 측정하고 평가할 수 있는 척도이다. 양적 척도와 함께 질적 해석이 가능한 성찰저널 분석, 경험 면담 등을 포함하였다. 질적 척도는 평가결과를 결정하면서 대안과 방향을 제시할 때 귀중한 자료가 되었다.
4) 자료수집방법 결정
평가지표에 따라 다양한 자료수집방법을 나열하고 실행 가능성을 평가한 후 결정하였다. 그동안 교육의 모니터링 과정에서 자연스럽게 수집하던 자료를 기존의 방식대로 수집하기로 하고 부족한 자료수집계획을 수립하였다. 평가에 사용하는 자료 중 일부는 코호트소위원회에서 논의를 거쳐 학생 코호트 자료로 편입하였다. 부족한 자료는 대부분 3, 4단계 자료였으므로 졸업생 코호트 자료도 부족하였다. 졸업생 설문을 통해 자료를 수집하였고 가능한 범위내에서 자기평가, 동료평가(의사 동료, 간호사), 지도교수 평가를 시행하였다. 수집한 자료를 분석한 후 부족한 부분은 졸업생 인터뷰를 통해 질적 자료를 수집하여 보충하였다.
5) 자료분석과 결과 도출
교육평가위원들은 자료를 수집하고 분석한 후 토의를 통해 모든 평가준거에 대해 우수, 충족, 조건부 충족, 미충족으로 평가하였다. 평가시점까지 평가준거를 달성했고 질적으로 우수하다고 판단되면 우수, 평가준거를 달성했으며 질적으로도 적절하면 충족, 평가준거를 달성했으나 질 향상을 위해 추가적인 노력이 필요하다고 판단한 경우 조건부 충족, 평가준거를 달성하지 못한 경우 미충족으로 평가하였다. 평가결과 도출을 위하여 양적 자료와 질적 자료를 모두 확인하였고, 평가결과의 근거를 보고서에 명시하였으며 개선사항을 제안하였다[10] (부록 2).
교육평가 결과와 제안 예시(산출평가, 부분 제시)
3. 교육평가의 활용과 평가주기
교육평가의 결과를 최종보고 3개월 전에 교무위원회에 보고하였고 학장 면담을 통해 의견을 조율하였다. 중간보고 내용으로 대학본부의 대학교육혁신처장, 졸업생 교수, 지역사회 외부인사 등 여러 이해관계자와 개별 또는 초점면담을 시행하여 의견을 듣고 평가자료로 추가하여 최종보고를 준비하였다.
교육평가 보고체계에 따라 의학교육질향상위원회에 구두로 최종 보고하였으며 보고서를 제출하였다[10]. 의학교육질향상위원회는 평가결과를 바탕으로 개선할 사항을 선정하고 관련 부서나 위원회에 제안하였다(부록 3). 교육과정위원회에 교육과정에 대한 개선사항을 제안하였고, 졸업역량 검토 제안은 사명과성과검토소위원회에 제안하여 연구하도록 하였다. 중장기적인 의학교육의 개선방향에 대해 지속개선위원회에 자문을 구하고 심도 있는 개선안을 도출하기 위하여 교내 정책연구과제로 수행할 예정이다. 교사 신축 등 장기계획이 필요한 아젠다는 장기발전위원회가 맡아 추진하고 있다.
인제대학교 의과대학 교육의 과정 개선 체계도
의학교육질향상위원회는 Kirkpatrick 4단계 평가모형을 적용한 성과평가결과에 따라 인제의대 인재상 중 보완이 필요한 인재상 항목에 대한 교육과정 개발을 제안하였고, 학생선발위원회에 성과평가결과를 통보하여 학생선발에 사용하는 선발인재상 중 강조할 부분을 선정하고 인성면접 문항개발에 활용하도록 하였다.
교육평가위원회가 시행하는 평가주기는 ‘의과대학 교육평가위원회 운영에 관한 시행세칙’에 명시하였고, 대규모 내부평가(major internal evaluation)는 입학부터 졸업까지 교육과정의 1회 주기에 해당하는 6년을 주기로 시행하기로 하였다. 본 논문에서 기술한 평가는 대규모 내부평가이다. 소규모 내부평가(minor internal evaluation)는 인제의대 교육의 한 시기(phase)에 해당하는 2년을 주기로 시행하고, 의학교육질향상위원회에서 대규모 내부평가결과를 논의한 후 주요 관심사를 선정하여 이를 중간평가하는 성격으로 시행할 예정이다. 또한 교육과정에 국한하여 매년 자료수집체계에 따라 수집되는 자료를 분석하여 과정 책임, 부책임 교수진과 공유한다. 이 과정 자체가 교육과정에 대한 모니터링 성격이 있다.
결 론
역량바탕의학교육을 달성하기 위하여 역량 또는 성과의 성취를 평가하는 것은 중요하다. 의도한 교육성과의 달성 정도를 확인하지 않고 교육설계와 시행에만 열심인 것은 역량바탕의학교육의 취지에 부합하지 않는다. 인제의대의 교육평가모형은 통합평가모형으로 과정 지향 접근의 CIPP 모형과 결과 지향 접근의 Kirkpatrick의 4단계 평가모형을 결합한 형태이며, 특히 CIPP 모형의 산출평가 부분을 단기부터 중장기간 성과의 성취를 평가할 수 있도록 단계별로 개발하여 역량바탕의학교육 구현을 위한 평가체제로 결정하여 평가하였다.
중장기 평가를 통하여 졸업생이 좋은 의사가 되었음을 확인하는 일은 의학교육현장에서 과중한 업무에 시달리고 낮은 보상으로 동기가 떨어진 교육자에게 힘을 불어넣어 주고, 졸업생들의 소중한 통찰은 다시 후배들의 교육에 많은 영감을 줄 것이다. 또한 의과대학에서 설정한 역량이 현실에 부합하는지 확인할 수 있고 미래 의사에게 적합한 역량을 탐구할 기회를 주며 역량바탕의학교육의 의의를 실천할 수 있다.
교육평가체제를 갖추는 가장 큰 장점은 평가범위에 있어서 놓칠 수 있는 부분을 최소화하고 교육의 과정을 이루는 요소를 골고루 평가하여 균형을 유지할 수 있다는 것이다. 교육평가를 통하여 교육의 과정은 서로 연결되어 있고 부족한 부분은 반드시 연결된 다른 부분의 성장을 방해한다는 것을 발견하였다. 따라서 교육의 부족한 부분이나 영역을 확인하여 개선하고, 교육의 여러 요소가 균형을 이루어 발전할 수 있도록 장려하는 것이 필요하다.
교육은 끝없는 순환의 과정이며 교육평가는 개선을 위한 선순환의 핵심적인 시발점이 된다. 교육평가가 교육의 질을 향상하는 데 중요한 역할을 하기 위해서는 평가과정에서 다양한 이해관계자들의 의견을 청취하고 교육에 참여하는 모든 구성원과 함께 일해야 할 것이다. 또한 의사결정자와 소통도 필요할 것이다.
Appendices
Notes
연구비 수혜 본 논문은 2017학년도 인제대학교 정책과제 학술연구조성비 보조에 의해 수행되었다.
저자 기여 주현정: 교육평가를 시행하였고 평가모형을 정리하였으며 부록 등 도표를 작성하고 본문의 일부를 작성; 오민경: 교육평가를 시행하였고 코호트 구축 부분에 대한 기술을 하였으며 본문을 검토, 수정; 이종태: 논문의 구성과 기획에 참여하고 검토, 수정; 윤보영: 교육평가를 총괄하였고 논문의 구조를 계획하였고 일부를 작성하고 정리.