Korean Med Educ Rev > Volume 23(1); 2021 > Article
역량바탕의학교육을 촉진하기 위한 교육평가: 통합평가모형 적용

Abstract

Educational program evaluation can improve the quality of the curriculum, instructional methods, and resources and provide useful data for making educational decisions and policies. Developing and implementing a program evaluation system is essential in competency-based medical education. The purpose of this study was to explore and establish an educational program evaluation system adapting an integrated program evaluation model to promote competency-based medical education. First, an Educational Evaluation Committee was organized, consisting of faculty, staff members, and students. The committee established an integrated program evaluation model, combining Stufflebeam’s Context, Input, Process, and Product (CIPP) model of a process-oriented approach and Kirkpatrick’s four-level model of an outcome-oriented approach. Kirkpatrick’s model was applied to the product evaluation of the CIPP model. The committee then developed evaluation criteria, indicators, and data collection methods according to the components of the CIPP model and the four levels (reaction, learning, behavior, and results) of Kirkpatrick’s model, and collected and analyzed data. Finally, the committee reported the results of evaluation to a Medical Education Quality Improvement Committee, and the results were used to improve the curriculum and student selection. To enhance the quality of education, identifying educational deficiencies and developing various elements of education in a balanced way through educational evaluation will be needed. Furthermore, it will be necessary to listen to opinions of various stakeholders, work with all members involved in education, and communicate with decision-makers in the process of educational evaluation.

서 론

역량바탕의학교육의 핵심은 사전에 역량을 규정하고 규정한 역량을 바탕으로 교육과정을 설계하여 운영하는 것이다[1]. 그러나 교육과정의 설계와 운영에 그치지 않고 규정한 역량의 달성 여부, 즉 성과평가를 수행하여 평가결과를 확인하고 달성과 미달성의 요인을 분석하여야 한다. 분석결과를 바탕으로 학습자가 규정한 역량에 도달할 수 있도록 교육을 개선, 운영하는 반복적인 과정이 필요하다. 의학교육의 질을 향상하고 교육을 개선하기 위해 의과대학에서 학습자 성과평가의 평가체계를 갖추고 주기적인 교육평가를 수행하는 것은 진정한 역량바탕의학교육을 구현하기 위한 주요한 과정이다.
교육평가는 교육과 관련된 다양한 요소에 대한 의사결정을 위하여 정보를 사용하거나 수집하는 과정을 동반하고, 수집한 정보에 의하여 교육적 의사결정을 하거나 이를 도와주는 기능이 있다[2,3]. 그리고 교육평가는 학습을 극대화하고 교육의 질을 향상하며 교육과정, 교수․학습방법, 교육자료 등을 개선하고 정책을 수립하거나 의사결정을 위한 기초자료를 제공하는 것을 목적으로 한다[3]. 의과대학의 교육평가에서는 재학생의 수행평가와 함께 졸업생의 중장기 수행평가가 이루어져야 할 뿐만 아니라 교육을 구성하는 여러 요소에 대한 맥락, 자원 투입, 환경, 과정 및 결과를 전체적인 관점에서 함께 평가하여 의과대학 교육을 개선하는 데 실질적인 도움이 되어야 한다. 그러므로 의과대학의 교육평가 목적을 효과적으로 달성하는데 적합한 평가모형을 선정하는 것은 대단히 중요하다.
보건의료 전문직의 교육프로그램 평가에는 결과 지향 접근(outcome-oriented approach)인 Kirkpatrick의 4단계 평가모형을 널리 사용하고 있다[4]. 경영분야에서 개발된 4단계 평가모형의 최종 목표는 기업의 경영 성과, 생산성 향상, 기업 이익에 두고 있어, 교육분야에서 4단계 평가모형을 적용 시에는 교육프로그램의 성공으로 이어지는 상황, 관련 투입요소 및 과정을 고려하지 못하여 의사결정 지원에 취약한 단점이 있다. Stufflebeam [5,6]이 제안한 Context, Input, Process, Product (CIPP) 모형은 과정 지향 접근(process-oriented approach)으로서, 교육프로그램의 개선을 위한 합리적인 의사결정과 유용한 관련 정보 제공에 적합하여 결과 지향 평가모델의 단점을 보완할 수 있다[7]. Dubrowski와 Morin [8]은 결과 지향 평가모형과 과정 지향 평가모형을 결합한 통합평가모형(integrated program evaluation model)을 제안하기도 하였다.
인제대학교 의과대학(인제의대)은 ASK 2019 (Accreditation Standards of Korean Institute of Medical Education and Evaluation 2019) 인증기준에 대응하고 의학교육의 질 향상과 개선을 위해 기존의 교육평가를 체계적으로 다듬기로 하였다[9]. 2000년대 이후 교육과정 개편 후 효과를 검증하기 위해 3차례의 외부평가(2008, 2013, 2019)와 6년 주기의 정기적인 내부평가가 이루어졌지만 모두 교육과정 또는 교육프로그램에 중점을 둔 평가였기 때문에 교육 전반에 대한 평가가 필요하였다. 2018년 8월에 교육성과평가 소위원회(현, 교육평가위원회)를 구성하였고, 교육평가위원회는 여러 평가모형을 검토 후 결과 지향 접근과 과정 지향 접근 각각의 단점을 보완한 통합평가모형으로 평가하기로 결정하고 평가준거, 평가지표, 평가방법, 평가도구를 개발하여 평가를 수행하였다[10].
최근 들어 우리나라 의과대학에서도 통합평가모형을 적용하기 시작하였는데, 평가목적에 따라 적용한 모형에 차이가 있다. 인제의대의 통합평가모형에서는 CIPP 모형의 산출(product)을 ‘졸업역량을 갖추고 사회적 책임을 다하는 의사의 양성’이라고 정의하고 Kirkpatrick의 4단계 평가모형을 이에 적합하게 개발하여 적용하였다. 이에 본 연구의 목적은 일개 의과대학에서 통합평가모형을 적용하여 시행한 교육평가를 소개하고, 진정한 역량바탕의학교육 구현에 적합한 교육평가체제를 탐색하고 구축하는 데 있다.

1. 교육평가위원회 구성과 지원

2018년까지 인제의대에서는 내부 모니터링은 교육과정을 수행하는 의학교육혁신센터에서 하였고, 내부평가는 교무위원회에서 주도하였기 때문에 교육의 수행과 평가 주체를 분리하고 평가를 전문적으로 수행할 조직이 필요하였다[11]. 교육평가를 전담할 교육평가위원회를 조직하여 의학교육 전문가 중 교무위원회 구성원이 아닌 교수 1인을 교육평가위원장으로 위촉하였고, 교육학 전공자, 통계학 전공자 교수를 포함한 교수위원, 학생위원, 행정위원 등 9명 이내로 구성하였다. ‘의과대학 교육평가위원회 운영에 관한 시행세칙’에 구성, 기능, 역할과 업무를 규정하였다. 그리고 장기성과 자료수집, 관리, 평가를 위하여 교육평가위원회 산하 코호트운영소위원회를 구성하였고, 교육평가위원 중 전문성이 있는 1인을 코호트운영소위원장으로 선정하였으며 ‘의과대학 학생 및 졸업생 코호트 운영에 관한 지침’에 규정한 대로 코호트를 구축, 관리하도록 하였다.
의과대학은 교육평가위원회 운영에 필요한 재정 투입, 자료수집을 위한 지원과 협조, 코호트 구축과 운영에 대한 정책과제 수여를 통해 직간접적으로 교육평가를 지원하였다.

2. 교육평가 절차

1) 평가모형 선정

인제의대 교육평가위원회는 적절한 교육평가모형을 찾기 위해 기존에 사용하고 있던 Kirkpatrick 4단계 평가모형을 검토하였다(Figure 1). Kirkpatrick의 4단계 평가모형은 개인 및 조직 차원에서 교육프로그램의 효과성을 평가하기 위한 모형으로 현재까지 교육프로그램 평가에 널리 사용되고 있다[4]. 역량바탕의학교육에서 역량의 달성 여부를 평가하여야 하고 졸업역량의 달성을 넘어서서 궁극적으로 실제 직무에서 그 역량이 발휘와 수월성을 확인했을 때 역량 바탕의학교육이 구현되었다고 할 수 있다. 또한 교육평가에서 학습자의 부족한 역량 확인과 요인분석을 통하여 교육의 개선을 낳고, 부족한 역량을 달성하도록 하여 공동체를 위한 좋은 의사를 배출하는 것은 궁극적으로 교육평가가 내포하고 있는 사회적 책무를 수행한다고 할 수 있다. 따라서 Kirkpatrick의 4단계 평가모형은 직업훈련 교육과정 평가에 자주 적용되었고 훈련 후 실제 직무에서 학습자의 성과 측정이 가능한 모형이므로 의과대학 교육의 중장기 성과를 평가하는 데 적절하다고 판단하였다[12,13].
Figure 1.

The process of program evaluation at Inje University College of Medicine. CIPP, Context, Input, Process, Product.

kmer-2021-23-1-56-f001.jpg
인제의대는 2013년부터 Kirkpatrick의 4단계 평가모형을 교육과정의 성과와 효과성을 평가하기 위하여 사용한다고 명시하였지만, 다음과 같은 어려움으로 지금까지 주로 1단계 반응평가와 2단계 학습평가를 하였다[11]. 3단계 행동평가와 4단계 결과평가를 위해서는 학습자의 졸업 후를 계속 추적해야 하고 학습자가 수행하고 있는 직무에서 역량을 측정할 수 있어야 하므로 졸업생의 적극적인 협조와 자료수집을 위한 많은 인적, 물적 자원 투입이 필요하다. 그리고 의과대학과 졸업생들이 일하고 있는 기관이 다른 경우에 서로의 평가체계가 다르기 때문에 평가자료를 수집하기 어렵다. 3단계 행동평가는 졸업 후 교육과 연결(졸업 후 교육에서는 2단계 학습평가에 해당)되는데, 4단계 모형을 제대로 적용하기 위해서는 졸업후 교육과 기본의학교육 교육과정 연계와 더불어 평가의 연계가 이루어져야 한다. 이것을 일개 의과대학이 해결할 수 있는 문제는 아니기 때문에 4단계 평가모형 적용에 여전히 어려움이 있다. 현재 상황에서 학생 및 졸업생 코호트 구축은 가장 실행 가능한 자료수집 방법이 될 것으로 판단하였고, 교육평가체계를 갖추는 동시에 코호트 구축을 시작하였다.
성과 중심 접근 평가모형인 Kirkpatrick의 4단계 평가모형으로는 교육의 전반적인 과정을 평가하기에는 부족하다. 4단계 평가모형은 원인과 결과를 단순한 인과관계로 해석하기 쉽고 교육에 영향을 미치는 여러 요소를 간과할 수 있다[2]. 즉 성과를 달성했다고 하더라도 그 원인을 파악하기 어려운 경우가 많다. 교육과정설계, 교수설계부터 평가를 계획하여야 그 귀인을 분석할 수 있고, 이를 통하여 평가의 궁극적인 목적인 교육의 질 개선작업으로 이어질 수 있다. 따라서 교육의 맥락과 투입, 과정을 평가하기 위해 CIPP 모형이 더 적합하다.
Stufflebeam의 CIPP 모형은 프로그램의 상황(context), 투입(input), 과정(process), 산출(product) 각각에 대한 판단적 정보를 제공하여 교육프로그램 개선과 관련된 올바른 의사결정을 지원하고, 그 결정의 장점, 단점, 가치를 파악할 수 있도록 해야 한다는 입장에서 제안한 의사결정지원 평가모형이다[5,6]. 하지만 성과 부분에서 CIPP 모형은 중장기 성과를 측정하기에는 한계가 있기 때문에 Kirkpatrick의 4단계 평가모형을 결합한 통합평가모형을 사용함으로써 두 평가모형의 장단점을 보완하여 인제의대 교육프로그램 효과를 평가하고자 하였다(Figure 2).
Figure 2.

The integrated program evaluation model adapted from the CIPP model and Kirkpatrick’s four levels, Inje University College of Medicine. CIPP, Context, Input, Process, and Product.

kmer-2021-23-1-56-f002.jpg

2) 평가준거 설정

과정 지향 접근(process-oriented approach)인 CIPP 모형의 산출(product)평가 부분을 결과 지향 접근(outcome-oriented approach)인 Kirkpatrick의 4단계 평가모형을 적용한 통합평가모형을 바탕으로 평가준거를 개발하였다. 교육평가위원회에서 초안을 준비하고 교무위원회, 의학교육혁신센터, 의학교육질향상위원회, 사명과성과검토소위원회, 지속개선위원회, 의학교육평가인증 자체평가기획위원회, 의학교육평가인증 자체평가연구소위원회와 대그룹, 소그룹 워크숍 등 공개적, 집단적 소통을 통해 평가준거, 평가지표를 설정하고, 평가방법에 대한 의견과 실행 가능성을 논의하였다. 관련 부서나 위원회와의 소통은 평가설계단계뿐 아니라 평가 중에도 필요에 따라 이루어졌다.
평가준거는 평가대상 프로그램의 성공, 가치를 어떤 특성으로 판단할 것인지를 결정하는 것으로 풍부한 질적 해석과 다양한 자료수집이 가능하도록 질문형태로 만들었다[5,6] (부록 1).

(1) 상황(context)평가

상황평가는 교육을 통해 추구해야 할 일반적인 목적과 구체적인 목표, 학습자의 필요와 요구, 교육활동이 이루어질 환경과 상황을 확인해주는 평가이다[5,6]. 평가준거를 크게 세 가지 (1) 학습의 구성요소: 목표, 시간, 학습자, 교수자, (2) 학습요구도 파악: 자원, 동기, 학습자 수행, (3) 프로그램 개선 체제: 자료수집, 자료이용, 개선으로 분류하였다[14,15].

(2) 투입(input)평가

투입평가는 설정된 목표를 성취하기 위해 교육 활동에서 사용해야 할 수단과 절차에 대한 정보를 제공해 주는 평가로 의사결정자가 여러 가지 대안이 되는 전략을 결정하는데 필요한 정보를 사전에 제공해 줄 수 있다[5,6]. 평가준거를 (1) 교육내용, 교수학습법, 학생평가방법, 자원, (2) 교수자의 역량, (3) 교육시설, (4) 교육예산으로 분류하여 설정하였다.

(3) 과정(process)평가

과정평가는 계획된 프로그램을 실제 시행하였을 때 예정대로, 계획대로, 효율적으로 전개되고 있는지 파악하는 평가로서 실천단계에서의 절차적인 사안과 활동을 기술하고 문제점과 효율성을 점검한다[5,6]. 교육의 과정을 수행하고 모니터링하며 교육평가, 개선활동 등 일련의 의과대학 프로그램의 실제적 운영에 대한 준거를 설정하였다.

(4) 산출(product)평가: Kirkpatrick의 4단계 평가모형 적용

산출평가는 계획하였던 교육성과를 측정, 해석, 판단하기 위한 평가이다. 인제의대가 추구하는 장기성과(desired outcomes)인 ‘졸업역량을 갖추고 사회적 책임을 다하는 의사의 양성’이라는 기관의 성취수준을 평가하는 데 한계를 가진다. 이에 CIPP 모형의 산출평가에는 Kirkpatrick의 4단계 평가모형을 적용하여 인제의대가 추구하는 장기성과를 평가하였다. 졸업역량은 2단계 학습(learning)평가에서 학습자가 달성할 성과로 보았고, 3단계 행동(behavior)평가와 4단계 결과(results)평가를 위해서는 장기적인 성과의 정의가 필요하였다. 교육평가위원회는 의학교육질향상위원회, 사명과성과검토소위원회와 소통하여 장기성과 제정의 필요성을 논의하였고, 사명과성과검토소위원회는 2019년 3월 인제의대 인재상을 제정하고 졸업역량 상위의 개념으로 연결하였다.
1단계 반응(reaction)과 2단계 학습(learning)은 필요에 따라 시기 1, 2, 3을 세분하여 평가하였다. 1단계 반응평가는 교육프로그램에 대한 참여자의 만족도, 몰입, 직무 관련성을 측정하는 것이며, 2단계 학습평가는 학습자 수행과 관련된 지식, 술기, 태도 측면에서 향상 정도를 평가하는 것이다. 3단계 행동(behavior)평가는 전공의 시기로 규정하였고, 실제 의사로서 직무 수행에 있어서 행동의 변화와 의과대학 교육이 실무 적용에 기여하는 정도를 측정한다. 4단계 결과(results)평가는 전문의 또는 수련 이후의 시기로 정하고 직무수행의 장기적인 성과와 조직이 기여한 정도에 대해 평가한다. 인제의대 인재상을 장기성과로 보고 4단계의 단계마다 평가준거를 설정하였다(부록 1).

3) 평가지표 개발

평가지표는 평가준거를 측정하고 평가할 수 있는 척도이다. 양적 척도와 함께 질적 해석이 가능한 성찰저널 분석, 경험 면담 등을 포함하였다. 질적 척도는 평가결과를 결정하면서 대안과 방향을 제시할 때 귀중한 자료가 되었다.

4) 자료수집방법 결정

평가지표에 따라 다양한 자료수집방법을 나열하고 실행 가능성을 평가한 후 결정하였다. 그동안 교육의 모니터링 과정에서 자연스럽게 수집하던 자료를 기존의 방식대로 수집하기로 하고 부족한 자료수집계획을 수립하였다. 평가에 사용하는 자료 중 일부는 코호트소위원회에서 논의를 거쳐 학생 코호트 자료로 편입하였다. 부족한 자료는 대부분 3, 4단계 자료였으므로 졸업생 코호트 자료도 부족하였다. 졸업생 설문을 통해 자료를 수집하였고 가능한 범위내에서 자기평가, 동료평가(의사 동료, 간호사), 지도교수 평가를 시행하였다. 수집한 자료를 분석한 후 부족한 부분은 졸업생 인터뷰를 통해 질적 자료를 수집하여 보충하였다.

5) 자료분석과 결과 도출

교육평가위원들은 자료를 수집하고 분석한 후 토의를 통해 모든 평가준거에 대해 우수, 충족, 조건부 충족, 미충족으로 평가하였다. 평가시점까지 평가준거를 달성했고 질적으로 우수하다고 판단되면 우수, 평가준거를 달성했으며 질적으로도 적절하면 충족, 평가준거를 달성했으나 질 향상을 위해 추가적인 노력이 필요하다고 판단한 경우 조건부 충족, 평가준거를 달성하지 못한 경우 미충족으로 평가하였다. 평가결과 도출을 위하여 양적 자료와 질적 자료를 모두 확인하였고, 평가결과의 근거를 보고서에 명시하였으며 개선사항을 제안하였다[10] (부록 2).

3. 교육평가의 활용과 평가주기

교육평가의 결과를 최종보고 3개월 전에 교무위원회에 보고하였고 학장 면담을 통해 의견을 조율하였다. 중간보고 내용으로 대학본부의 대학교육혁신처장, 졸업생 교수, 지역사회 외부인사 등 여러 이해관계자와 개별 또는 초점면담을 시행하여 의견을 듣고 평가자료로 추가하여 최종보고를 준비하였다.
교육평가 보고체계에 따라 의학교육질향상위원회에 구두로 최종 보고하였으며 보고서를 제출하였다[10]. 의학교육질향상위원회는 평가결과를 바탕으로 개선할 사항을 선정하고 관련 부서나 위원회에 제안하였다(부록 3). 교육과정위원회에 교육과정에 대한 개선사항을 제안하였고, 졸업역량 검토 제안은 사명과성과검토소위원회에 제안하여 연구하도록 하였다. 중장기적인 의학교육의 개선방향에 대해 지속개선위원회에 자문을 구하고 심도 있는 개선안을 도출하기 위하여 교내 정책연구과제로 수행할 예정이다. 교사 신축 등 장기계획이 필요한 아젠다는 장기발전위원회가 맡아 추진하고 있다.
의학교육질향상위원회는 Kirkpatrick 4단계 평가모형을 적용한 성과평가결과에 따라 인제의대 인재상 중 보완이 필요한 인재상 항목에 대한 교육과정 개발을 제안하였고, 학생선발위원회에 성과평가결과를 통보하여 학생선발에 사용하는 선발인재상 중 강조할 부분을 선정하고 인성면접 문항개발에 활용하도록 하였다.
교육평가위원회가 시행하는 평가주기는 ‘의과대학 교육평가위원회 운영에 관한 시행세칙’에 명시하였고, 대규모 내부평가(major internal evaluation)는 입학부터 졸업까지 교육과정의 1회 주기에 해당하는 6년을 주기로 시행하기로 하였다. 본 논문에서 기술한 평가는 대규모 내부평가이다. 소규모 내부평가(minor internal evaluation)는 인제의대 교육의 한 시기(phase)에 해당하는 2년을 주기로 시행하고, 의학교육질향상위원회에서 대규모 내부평가결과를 논의한 후 주요 관심사를 선정하여 이를 중간평가하는 성격으로 시행할 예정이다. 또한 교육과정에 국한하여 매년 자료수집체계에 따라 수집되는 자료를 분석하여 과정 책임, 부책임 교수진과 공유한다. 이 과정 자체가 교육과정에 대한 모니터링 성격이 있다.

결 론

역량바탕의학교육을 달성하기 위하여 역량 또는 성과의 성취를 평가하는 것은 중요하다. 의도한 교육성과의 달성 정도를 확인하지 않고 교육설계와 시행에만 열심인 것은 역량바탕의학교육의 취지에 부합하지 않는다. 인제의대의 교육평가모형은 통합평가모형으로 과정 지향 접근의 CIPP 모형과 결과 지향 접근의 Kirkpatrick의 4단계 평가모형을 결합한 형태이며, 특히 CIPP 모형의 산출평가 부분을 단기부터 중장기간 성과의 성취를 평가할 수 있도록 단계별로 개발하여 역량바탕의학교육 구현을 위한 평가체제로 결정하여 평가하였다.
중장기 평가를 통하여 졸업생이 좋은 의사가 되었음을 확인하는 일은 의학교육현장에서 과중한 업무에 시달리고 낮은 보상으로 동기가 떨어진 교육자에게 힘을 불어넣어 주고, 졸업생들의 소중한 통찰은 다시 후배들의 교육에 많은 영감을 줄 것이다. 또한 의과대학에서 설정한 역량이 현실에 부합하는지 확인할 수 있고 미래 의사에게 적합한 역량을 탐구할 기회를 주며 역량바탕의학교육의 의의를 실천할 수 있다.
교육평가체제를 갖추는 가장 큰 장점은 평가범위에 있어서 놓칠 수 있는 부분을 최소화하고 교육의 과정을 이루는 요소를 골고루 평가하여 균형을 유지할 수 있다는 것이다. 교육평가를 통하여 교육의 과정은 서로 연결되어 있고 부족한 부분은 반드시 연결된 다른 부분의 성장을 방해한다는 것을 발견하였다. 따라서 교육의 부족한 부분이나 영역을 확인하여 개선하고, 교육의 여러 요소가 균형을 이루어 발전할 수 있도록 장려하는 것이 필요하다.
교육은 끝없는 순환의 과정이며 교육평가는 개선을 위한 선순환의 핵심적인 시발점이 된다. 교육평가가 교육의 질을 향상하는 데 중요한 역할을 하기 위해서는 평가과정에서 다양한 이해관계자들의 의견을 청취하고 교육에 참여하는 모든 구성원과 함께 일해야 할 것이다. 또한 의사결정자와 소통도 필요할 것이다.

NOTES

연구비 수혜 본 논문은 2017학년도 인제대학교 정책과제 학술연구조성비 보조에 의해 수행되었다.

저자 기여 주현정: 교육평가를 시행하였고 평가모형을 정리하였으며 부록 등 도표를 작성하고 본문의 일부를 작성; 오민경: 교육평가를 시행하였고 코호트 구축 부분에 대한 기술을 하였으며 본문을 검토, 수정; 이종태: 논문의 구성과 기획에 참여하고 검토, 수정; 윤보영: 교육평가를 총괄하였고 논문의 구조를 계획하였고 일부를 작성하고 정리.

REFERENCES

1. Frank JR, Snell LS, Cate OT, Holmboe ES, Carraccio C, Swing SR, et al. Competency-based medical education: theory to practice. Med Teach. 2010;32(8):638-645.
crossref pmid
2. Frye AW, Hemmer PA. Program evaluation models and related theories: AMEE guide no. 67. Med Teach. 2012;34(5):e288-299.
crossref pmid
3. Sung TJ. The basis of educational evaluation. 3rd ed. Hakjisa; Seoul: 2019.
4. Kirkpatrick DL, Kirkpatrick JD. Evaluating training programs. 3rd ed. Berrett-Koehler Publishers; San Francisco (CA): 2006.
5. Stufflebeam DL. In: Kellaghan T, Stufflebeam DL, editors. International handbook of educational evaluation. Kluwer Academic publishers; Norwell (MA): 2003. p. 31-61. The CIPP model for evaluation.
6. Stufflebeam DL, Zhang G. The CIPP evaluation model: how to evaluate for improvement and accountability. The Guilford Press; New York (NY): 2017.
7. Lee SY, Shin JS, Lee SH. How to execute Context, Input, Process, and Product evaluation model in medical health education. J Educ Eval Health Prof. 2019;16:40
crossref pmid pmc pdf
8. Dubrowski A, Morin MP. Evaluating pain education programs: an integrated approach. Pain Res Manag. 2011;16(6):407-410.
crossref pmid pmc pdf
9. Korean Institute of Medical Education and Evaluation. Accreditation Standards of Korean Institute of Medical Education and Evaluation 2019. Korean Institute of Medical Education and Evaluation; Seoul: 2020 Internet, Available from: https://kimee.or.kr/board/data/?uid=1318&mod=document&pageid=1. cited 2020 Feb 21.
10. Educational Evaluation Committee. Educational evaluation report. Inje University College of Medicine; Busan: 2019.
11. Lee JT, Kim DJ, Kim YS, Kim TJ, Rho HR, Yoon BY, et al. Curriculum brochure of Inje University College of Medicine. Inje Univerisity College of Medicine; Busan: 2019.
12. Kirkpatrick JD, Kirkpatrick WK. Kirkpatrick’s four levels of training evaluation. ATD Press; Alexandra (VA): 2016.
13. Harden RM, Laidlaw JM. In: Harden RM, Laidlaw JM, editors. Essential skills for a medical teacher: an introduction to teaching and learning in medicine. 2nd ed. Elsevier; Edinburgh: 2017. p. 259-266. Evaluating the curriculum.
14. Branch RM. Instructional design: the ADDIE approach. Springer; New York (NY): 2009.
15. Gagne RM, Wager WW, Golas KC, Keller JM. Principles of instructional design. 5th ed. Wadsworth, Cengage Learning; Belmont (CA): 2005.

Appendices

부록 1.

통합평가모형을 적용한 인제대학교 의과대학(인제의대) 교육평가 프레임

평가 영역(CIPP) 하부 영역 평가준거(criteria) 평가지표(indicator) 자료수집방법(method)
상황(context)평가 학습의 구성요소 - (목표) 교육목표와 학습성과를 명확하게 설정하였는가 - 명시적 교육목표와 하부 성과체계 - 과정지침서(과정성과와 학습성과목표 예시)
- 의과대학 학습목표 인지도조사 - 시기성과 자기평가 서식
- 졸업역량을 바탕으로 한 자기성찰 예시
- 포트폴리오 내 과정성과의 자기평가 양식
- 졸업역량을 바탕으로 시행하는 내과 포트폴리오 평가표
- (시간) 교육목표와 학습성과를 달성하기 위해 교육과정을 설계하였고, 교육과정을 시행하기 위한 적절한 시간을 배정하였는가? - 졸업역량에 따른 교육과정 구성의 적절성 - 졸업역량별 교육과정 맵핑 자료
- 교육과정개선 워크숍의 과정별 자체평가(과정 책임교수, 부책임교수)
- (학습자) 학습자의 특성을 파악하여 교육의 과정에 반영하고 있는가? - 입학생의 특성 파악
- 선수지식 확인
- 입학자 분석자료 및 활용자료
- 과정지침서 예시
- 대학교육혁신처장 면담
- (교수자) 교수자의 특성을 파악하여 교육활동에 활용하고 있는가? - 교수자 다양성
- 교수자의 교육업적
- 교육업적규정
- 교수자 전공, 출신학교, 수련기관, 성별 자료
- 교육업적의 항목별 점수
- 교원인사규정
학습요구도 파악 - (자원) 교육에 필요한 자원을 파악하는 체계가 있는가? - 교육자원 요구도 파악 체계 - 학교생활만족도 조사
- 교학간담회 회의록 예시
- (동기) 학습의 동기를 파악하고 이를 촉진하거나 지원할 체계가 있는가? - 학습동기검사
- 동기부족 학생에 대한 상담
- 의대생 최고의 학습에서 시행하는 학습 관련 검사
- 동기부족 학습자에 대한 상담기록
- (학습자의 수행) 학습자의 정기적인 수행평가를 통해 성과달성 여부를 확인하는 체계가 있는가? - 교육과정 중 학생평가 종류와 주기
- 학생평가 결과의 통보와 공유
- 교육과정 내 학생평가방법과 계획표
- 통합교육과정별 학습평가방법
- 임상실습과정 평가방법
- U-포트폴리오 평가, 피드백 예시
- 통합교육과정 운영회의자료
프로그램 개선 체제 - (자료수집) 학습의 여러 구성요소, 요구도를 파악하기 위해 정기적인 자료수집을 하는 체제가 있는가? - 교육평가 자료수집계획
- 자료수집체계
- 교육평가를 위한 자료수집 연간계획표
- 의과대학 교육성과평가소위원회 운영에 관한 내규
- 의과대학 학생 및 졸업생 코호트 운영에 관한 내규
- (자료이용) 수집한 자료를 이용하여 프로그램을 평가하는 체제가 있는가? - 교육평가 자료를 분석하고 평가하는 체계 - 의과대학 교육성과평가소위원회 운영에 관한 내규
- (개선) 프로그램 평가를 바탕으로 프로그램 개선 체제를 갖추고 있는가? - 평가결과를 프로그램 개선에 환류하는 체계 - 의과대학 교육성과평가소위원회 운영에 관한 내규
- 의과대학 의학교육질향상위원회 운영에 관한 시행세칙
투입(input)평가 교육내용
교수학습법
학생평가방법
자원
- 교육목표를 달성하기 위한 교육내용, 교수학습법, 학생평가방법이 있고, 적절한 자원을 투입하고 있는가? - 교육내용
- 교수학습법
- 학생평가방법
- (시간) 교육프로그램 내 수업시간
- (인적) 교수자의 교육자로서의 전문성
- 교육 관련 지원인력
- (물적) 학습환경
- 과정별 수업시간표
- 과정별 수업계획서
- 과정평가계획표
- 교내/외 교육 관련 세미나 및 워크숍 자료
- 학습환경 조성 실적
교수자의 역량 - 교수자의 역량 개발을 위한 활동이나 지원이 있는가? - 교내/외 교육 관련 프로그램 참여 지원
- 교내/외 교수역량 강화 프로그램
- 교수개발 세미나
- 교육과정개선 워크숍
- 임상실습개선 워크숍
- PBL 과정개선 워크숍
- 문항개발 워크숍
- 신임교수 역량개발 워크숍
- 교육 관련 특강, 세미나
- 교외 교육 관련 학술대회/프로그램 참여 실적
교육시설 - 학생의 학습활동을 위한 충분한 교육시설이 있는가? - 학생을 위한 교육기본시설, 지원시설
- 임상실습환경
- 정보통신기술(학술정보서비스, 이러닝시스템, 병원정보시스템 등)
- 의과대학 공간 현황
- 임상실습활동 결과
- 임상실습시설 현황
- 정보통신기술 현황
교육예산 - 학생 교육을 위한 예산을 수립하고 집행하였는가? - 학생을 위한 교육, 복지, 시설 예산 - 의과대학 예산
과정(process)평가 프로그램 실행과 모니터링 - (교육과정의 시행) 교육과정은 계획대로 운영하고 있는가? - 교육과정 준수율
- 임상실습에서 사전에 계획한 교육활동 이행율
- 과정말 학생만족도
- 핵심과목 임상실습 만족도
- 임상실습 포트폴리오 자료
- (교육성과, 교육활동, 학생평가의 연계) 교육성과를 달성하기 위한 적절한 교육활동과 학생평가방법을 사용하고 있는가? - 교육프로그램 개선 활용목적으로 교수/학생으로부터 수집한 자료 - 과정별 성과
- 과정평가 계획표
- 과정별 학생의 과정평가
- 과정 자체평가
- (교육성과 모니터링) 학습자의 교육성과를 모니터링하고 있는가? - 학습자의 교육성과 모니터링 실적 - 교육평가 자료수집 계획표
- 의과대학 학생 및 졸업생 코호트 운영에 관한 내규
- 과정말 과정평가 회의자료
프로그램 평가 - (교육평가) 프로그램에 대한 정기적인 평가를 하고 있는가? - 교육평가 실적 - 외부평가실적 요약
- 내부평가지침 발췌
- (개선) 프로그램 평가결과에 따라 프로그램을 개선하고 있는가? - 교육평가결과에 따른 교육과정 개선 실적
- 교육평가결과에 따른 입학정책 개선 실적
- 교육평가결과에 따른 교육자원, 문화, 학생지원, 복지, 환경, 예산 등의 개선 실적
- 2015학년도 인제의대 의학교육 질 향상 및 개선을 위한 교육과정 평가 요약
- 2018학년도 인제의대 의학교육 질 향상 및 개선을 위한 교육과정 평가 요약
산출(product)평가: Kirkpatrick 4단계 평가 인제의대의 의도한 교육성과(인재상)를 달성하고 있는가?
인제의대 인재상 단계 평가준거(criteria) 평가지표(indicator) 자료수집방법(method)
의전문인 1단계 반응 - 임상실습과정을 만족하는가? - 학생만족도 - 임상실습교육과정 만족도 설문
2단계 학습 - 일차진료 수준의 진료역량을 갖추고 있는가? - 기본술기 수행능력
- 기초, 임상의학지식
- 의사국가시험 합격 여부
- 실기시험(CPX, OSCE) 성적
- 기초, 임상의학종합평가 성적
- 의사국가시험 합격률
- 의과대학 학생 및 졸업생 코호트 구축 정책과제 보고서(2019. 12)
3단계 행동 - 진료를 수행할 역량을 갖추고 있는가? - 진료 세부역량에 대한 자기평가 점수(진단계획과 시행, 술기, 응급진료, 유해사례 발견과 대처)
- 진료 세부역량에 대한 지도전문의 평가 점수
- 진료 세부역량에 대한 동료평가 점수
- 진료역량의 발전 정도
- 인제의대 졸업생 설문
- 인제의대 졸업생 면담
- 인제의대 졸업생에 대한 간호사 설문
4단계 결과 - 독립적으로 진료를 수행할 역량을 갖추고 있는가? - 진료 세부역량에 대한 자기평가 점수(진단계획과 시행, 술기, 응급진료, 유해사례 발견과 대처)
- 진료 세부역량에 대한 동료평가 점수
- 인제의대 졸업생 설문
- 인제의대 졸업생 면담
- 인제의대 졸업생에 대한 간호사 설문
평가 영역(CIPP) 하부 영역 평가준거(criteria) 평가지표(indicator) 자료수집방법(method)
소통하는 의사 1단계 반응 - 소통학습 관련 프로그램을 만족하는가? - 학생만족도 - 소통학습 만족도 설문
2단계 학습 - 동료, 환자, 사회와 소통하고 있는가? - PBL 토론능력
- 동료평가
- 소통 경험
- 표준화 환자와 소통능력
- 소통에 대한 성찰
- 봉사활동 내용, 이수시간
- PBL 튜터평가
- 동료평가(교수, 전공의, 간호사, 환자, 동료)
- 학생면담
- 대학교육혁신처장 면담
- 표준화환자 진료능력 평가
- 임상실습 포트폴리오 성찰저널
- 봉사활동 자료
- 시기성과 평가
3단계 행동 - 동료, 환자, 사회와 소통하며 일하고 있는가? - 세부역량에 대한 자기평가 점수(의무기록, 직종 내, 직종 간 소통, 환자, 보호자와의 소통, 사회와의 소통)
- 세부역량에 대한 동료평가 점수
- 소통 경험
- 인제의대 졸업생 설문
- 인제의대 졸업생 면담
- 인제의대 졸업생에 대한 간호사 설문
4단계 결과 - 동료, 환자, 사회와 원활하게 소통하고 있는가? - 세부역량에 대한 자기평가 점수(의무기록, 직종 내, 직종 간 소통, 환자, 보호자와의 소통, 사회와의 소통)
- 세부역량에 대한 동료평가 점수
- 사회와의 소통을 위한 활동사례
- 인제의대 졸업생 설문
- 인제의대 졸업생에 대한 간호사 설문
- 인제의대 졸업생 면담
- 대학교육혁신처장 면담
협력하는 의사 1단계 반응 - 협력학습 활동을 만족하는가? - 학생만족도 - 협력학습 만족도 설문
2단계 학습 - 동료와 협력하는가?
- 다양한 직종의 역할과 책무를 이해하고 있는가?
- 동료평가
- 동료와의 협력 경험
- 동료와의 협력에 대한 성찰
- 직종의 역할과 책무 이해 정도
- 직종 간 협력에 대한 성찰
- 동료평가
- 학생면담
- 임상실습 포트폴리오 성찰저널
- 직종의 역할과 책무 이해 설문
3단계 행동 - 동료와 협력하며 일하고 있는가? - 자기평가 점수
- 동료평가 점수
- 동료와의 협력 경험
- 인제의대 졸업생 설문
- 인제의대 졸업생 면담
- 인제의대 졸업생에 대한 간호사 설문
4단계 결과 - 동료와 협력하며 일하고 있는가? - 자기평가 점수
- 동료평가 점수
- 동료와의 협력 경험
- 인제의대 졸업생 설문
- 인제의대 졸업생 인터뷰
- 인제의대 졸업생에 대한 간호사 설문
리더십을 갖춘 의사 1단계 반응 - 리더십 관련 프로그램을 만족하는가? - 학생만족도 - 리더십 관련 프로그램 만족도 설문
2단계 학습 - 리더십을 갖추고 있는가? - 팀원으로서 자기성찰
- 진료팀의 일원으로서 자기성찰
- 국제사회 보건의료활동 참여
- 리더 활동 경험
- 임상실습 포트폴리오 성찰저널
- 국제사회 보건의료활동 참여건수
- 학생 면담
- 대학교육혁신처장 면담
- (사)부산사람이태석기념사업회 위원장 면담
- 국제개발협력센터장 면담
3단계 행동 - 리더로 일하고 있는가? - 자기평가 점수
- 리더 경험
- 인제의대 졸업생 설문
- 인제의대 졸업생 면담
- 국제개발협력센터장 면담
4단계 결과 - 공동체에서 리더의 역할을 하고 있는가? - 인제대 졸업생 중 백병원장
- 학회에서 리더로 활동하는 졸업생 수
- 의료봉사활동
- 국제개발협력사업 참여
- 5개 백병원 연혁
- 의료봉사 활동현황
- 인제의대 졸업생 설문
- 국제개발협력사업 참여현황
- (사)부산사람이태석기념사업회 위원장 면담
- 국제개발협력센터장 면담
탐구하는 의사 1단계 반응 - 의사과학자 과정을 만족하는가? - 학생만족도 - 의사과학자 기본과정 만족도 설문
2단계 학습 - 연구자로서 기본 역량을 갖추었는가? - 의사과학자 기본과정 평가결과
- 우수 연구(논문) 수상
- 국내외 연구프로그램 참여
- 의사과학자 기본과정 성적
- 부산미래과학자상 수상건수
- SCORE 프로그램 참여건수
- 대학교육혁신처장 면담
3단계 행동 - 지도교수의 감독하에 연구자의 역할을 수행하고 있는가? - 인제대학교 대학원 등록 전공의 수
- 근거기반의학에 바탕을 둔 진료에 대한 전문의, 동료 질적 평가
- 대학원 입학통계
- 인제의대 졸업생 설문
- 인제의대 졸업생 면담
4단계 결과 - 의과학 발전에 기여하고 있는가? - 업무 중 연구에 사용하는 시간
- 논문 수
- 특허건수
- 근거기반의학에 입각한 진료 여부
- 인제의대 졸업생 설문
- 인제의대 졸업생 면담
- 대학교육혁신처장 면담
- 인제의대 교수 연구실적
전문직업성을 갖춘 의사 1단계 반응 - 전문직업성 관련 프로그램을 만족하는가? - 학생만족도 - 전문직업성 프로그램 만족도 설문
2단계 학습 - 의료윤리와 환자안전을 고려하는가?
- 의료법을 이해하고 보건의료분야를 탐구하는가?
- 인문사회의학 문제해결능력
- 의료윤리 성찰
- 환자안전 과정 평가
- 환자안전 성찰
- 의료법 지식
- 보건의료분야 연구(탐구)활동
- PBL 인문사회의학 평가점수
- 임상실습 포트폴리오 성찰분석
- 환자안전 과정 성적
- 보건의약관계 법규 성적
- 의사과학자 연구주제(보건의료분야)
3단계 행동 - 전문직업성을 실천하는가? - 세부역량에 대한 자기평가 점수(교육자 전공의, 의료윤리, 시스템 내에서의 진료, 성찰, 자기주도학습, 평생학습)
- 전문직업성에 대한 성찰
- 인제의대 졸업생 설문
- 인제의대 졸업생 면담
4단계 결과 - 전문직업성을 실천하는가? - 세부역량에 대한 자기평가 점수(의료윤리, 연구윤리, 교육자의 역할, 시스템 내에서의 진료, 성찰, 자기주도학습, 평생학습)
- 세부역량에 대한 동료평가 점수
- 자기주도학습 시간
- 인제의대 졸업생 설문
- 인제의대 졸업생 면담
- 대학교육혁신처장 면담
CIPP, Context, Input, Process, and Product; PBL, problem-based learning; CPX, clinical performance examination; OSCE, objective structured clinical examination.
부록 2.

교육평가 결과와 제안 예시(산출평가, 부분 제시)

산출(product)평가
평가준거 평가결과 제안
인제의대의 의도한 교육성과(인재상)를 달성하고 있는가? Kirkpatrick 4단계 평가: 반응-학습-행동-결과
의전문인 충족-충족-충족-충족 · 신체진찰, 환자교육 강화
· 술기 성취 미달 학생 관리
· 임상실습 중 술기교육 강화
· EPA 활용하여 임상실습 강화
· 진단계획과 시행에 관한 교육강화
· 우수한 성적의 학생들이 타 병원 수련을 선호하는 부분에 대한 분석과 성찰
소통하는 의사 충족-충족-미충족-미충족 · CBL 개선(소통)
· IPE 신설
· 보건의료분야 외 다양한 학과의 학생과 교류
· 의미 있는 봉사활동(적성, 관심 반영)
· 소통 부족은 구조적인 문제와 관련됨을 인식
· 전문가의 역량 향상이 소통의 전제조건임을 인식
· 사회와의 소통교육 필요(언론, 대민 등)
· 효과적이고 영향력 있는 사회와의 소통교육
· 정책제안, 정부와의 소통교육
리더십을 갖춘 의사 충족-충족-미충족-미충족 · 리더십 역량 프로그램이나 교과목 개발
· 서비스러닝 확대
· 국제보건의료 관련 교육과정 개설
· 동료, 팀 갈등해결 교육
· 해외 국제보건의료 사이트에 학생 파견 프로그램 발굴
· 지역사회의학 교육 강화
· 리더 경험의 기회 제공
· 전공의 국제보건활동에 대한 병원의 지원
· 새로운 세대에 맞는 리더십에 대한 고민
· 교수, 학생 참여 가능한 학교 차원의 국제보건활동 기구 조직
EPA, entrustable professional activity; CBL, case-based learning; IPE, inter-professional education.
부록 3.

인제대학교 의과대학 교육의 과정 개선 체계도

kmer-2021-23-1-56-f003.jpg
CIPP, Context, Input, Process, and Product.


Editorial Office
Yonsei University College of Medicine, 50-1 Yonsei-ro, Seodaemun-gu, Seoul 03722, Korea
Tel: +82-2-2228-2514   Fax: +82-2-364-5450   E-mail: kmer@yuhs.ac                

Copyright © 2024 by Yonsei University College of Medicine.

Developed in M2PI