일개 의과대학 교육프로그램 평가체제에 대한 연구
Educational Program Evaluation System in a Medical School
Article information
Abstract
A systematic educational program evaluation system for continuous quality improvement in undergraduate medical education is essential. Monitoring and evaluation (M&E) are two distinct but complementary processes referred to in an evaluation system that emphasizes formative purpose. Monitoring involves regular data collection for tracking process and results, while evaluation requires periodic judgment for improvement. We have recently completed implementing an educational evaluation using the M&E concept in a medical school. The evaluation system consists of two loops, one at the lesson/course level and the other at the phase/graduation level. We conducted evaluation activities in four stages: planning, monitoring, evaluation, and improvement. In the planning phase, we clarified the purpose of evaluation, formulated a plan to engage stakeholders, determined evaluation criteria and indicators, and developed an evaluation plan. Next, during the monitoring phase, we developed evaluation instruments and methods and then collected data. In the evaluation phase, we analyzed results and evaluated the criteria of the two loops. Finally, we reviewed the evaluation results with stakeholders to make improvements. We have recognized several problems including excessive burden, lack of expertise, insufficient consideration of stakeholders’ evaluation questions, and inefficient data collection. We need to share the value of evaluation and build a system gradually.
서 론
교육평가(educational evaluation)는 프로그램의 장점, 가치, 중요성을 체계적으로 결정하는 일이다[1]. 평가의 접근법에 따라 ‘장점, 가치, 중요성’의 해석에서 차이가 있으며, 평가는 목표 달성 정도를 판단하는 일, 효과와 영향을 사정하는 일, 의사결정에 도움이 되는 정보를 제공하는 일, 프로그램에 관하여 기술하고 판단하는 일 등을 복합적으로 지니고 있는 합리적이고 체계적인 활동이라 정의할 수 있다[2].
모니터링(monitoring)은 프로그램의 질 관리를 목적으로 삼은, 형성적 기능을 강조한 평가모형 중의 하나이다. 모니터링 평가는 한 시점에서 일괄적으로 시행되는 평가와는 달리 지속적인 자료수집과정을 통해 평가가 연속적으로 일어난다는 특성이 있다. 정보를 수집하고 해석하여 가치를 부여하는 것이 평가활동이라고 한다면, 모니터링은 전문성을 확보하지 못한 상태에서도 실행이 가능하며, 폭넓은 자료에 의해 종합적으로 판단하므로 유용하고 실용적인 장점을 지닌다[3].
그러나 모니터링을 평가 시행 전 단계로 인식하여 평가와 구분지어 설명하는 경우가 많다[4,5]. 모니터링이 교육의 진행을 추적하기 위해 지속적·상시적으로 시행하는 정보수집활동인 반면, 평가는 모니터링보다 간헐적으로 일어나고, 프로그램의 성취에 대해 체계적·객관적으로 파악한다. 평가는 프로그램의 타당성, 효과 및 영향을 평가하여 목표, 자원, 교육의 과정(process)을 개선하는 것을 목적으로 한다[5]. 모니터링과 평가는 구분되지만 서로 보완적이어서, 모니터링에서 수집된 자료는 평가의 근거가 되며, 모니터링하는 동안 운영의 문제점을 발견한다면 빠르게 평가하고 중재할 수 있다(Figure 1).
The relationship between monitoring and evaluation.
지속적 발전을 위해 대학은 교육평가를 통해 개선해 나가는 체제를 갖추고 있어야 하지만, 평가에 대한 전문성과 경험의 부족으로 체제 수립에 어려움을 겪고 있다. 한국의학교육평가원에서 발표한 새로운 평가인증기준(Accreditation Standards of Korean Institute of Medical Education and Evaluation 2019, ASK 2019)은 대학이 교육평가체제를 수립해야 하는 책무성을 더욱 강조하고 있다[6]. 따라서 의과대학 단위에서 교육평가를 시행하는 동안 고려했던 사항에 대해 공유하는 것은 의미가 있다고 판단된다. 부산대학교 의과대학은 2015년부터 모니터링과 평가에 대한 준비를 시행하여 2019년에 모니터링과 평가순환체계를 일차적으로 완료하여 그 경험에 대해 기술하고자 한다.
평가자 선정
본격적인 평가를 수행하기 전에 평가목적과 대상에 적합한 평가자를 선정해야 한다. 부산대학교 의과대학은 의학교육학교실(Department of Medical Education, DME)이 교육평가 업무를 총괄하기로 하였다. DME의 전신기관인 의학교육실(Meidcal Education Unit, MEU)은 2016년도에 의학교육 연구, 교육평가 및 질 관리를 담당하는 의학교육학교실(DME)과 교육을 실행하는 의학교육지원실(MEU)로 구분되었다. DME는 4인의 전임교원, MEU는 교육부학장(MEU 실장), 전문위원 14인 및 교육전담 조교 5인으로 구성되어 있으며, DME 교수는 MEU의 부실장 또는 전문위원으로 위촉되어 교육현장에 전문성을 부여하는 역할을 맡는다. DME는 MEU(교육부학장)의 재정적, 행정적 지원을 받아 교육평가 업무를 실행할 수 있다. 이와 같이 DME가 대학 안의 일개 교실이지만, 역사적, 제도적 배경으로 교육평가 시행이 가능한 구조이기에 교육평가 업무를 지속적으로 총괄하기에 적합하다고 판단하였다. 또 DME는 내부평가자로서 평가상황과 여건을 파악하고 있고, 프로그램 내용을 이해하고 있으며, 지원조직(MEU)으로부터 자료수집이 용이한 장점이 있다. 주요 이해관계자와 의사소통이 원활하고 평가결과를 활용하는 데 있어서도 효과적이다[3]. 그러나 내부평가자는 평가에 대한 전문지식이 다소 부족하고 객관적인 평가가 어렵다는 단점이 있어서 필요한 경우 외부자문을 받기도 하였다.
활용 모형
일반적으로 평가는 계획단계부터 실제 개선을 유도하기까지 여러 활동을 포함한다. 평가의 주요 활동은 평가목적의 확인, 이해관계자 확인, 평가준거(criteria)와 평가지표(indicator)의 설정, 평가활동의 설계, 자료수집도구 및 방법의 준비, 자료수집활동 전개, 평가적 판단 실시, 평가보고와 활용으로 구성된다[3].
모니터링과 평가는 사전계획과, 평가 후 개선단계를 강조하여, 계획-모니터링-평가-개선의 단계로 구분할 수 있고, 부산대학교 의과대학은 이 네 단계 모형을 활용하여 실행하였다(Figure 2). 계획단계에서 평가자는 평가의 목적을 확인하고, 이해관계자를 파악하며, 평가준거와 평가지표를 설정하고, 평가활동을 계획하였다. 모니터링단계에서 자료수집도구와 방법을 준비하고, 교육자와 학생을 비롯한 이해관계자로부터 정보를 수집하였다. 평가단계에서는 모니터링에서 수집된 정보를 바탕으로 평가준거에 따라 평가를 시행하였다. 개선단계에서는 평가에서 확인된 문제점에 대해 개선안을 도출하고 의사결정 과정을 거쳐 교육자와 학생에게 환류하였다.
The steps of monitoring and evaluation.
한편, 교육 모니터링과 평가 업무를 지속적으로 시행하고 개선해 나가기 위해서 평가에 대한 평가, 즉 메타평가를 시행하였다[7].
실 행
1. 계획단계
1) 평가목적의 확인
평가의 첫 번째 단계는 평가의 목적을 확인하는 것이다. 대학은 교육의 효과를 측정하여 프로그램의 가치를 판단하고, 이해관계자들에게 정보를 제공하며, 발전을 위한 개선을 유도하기 위해서 평가를 시행한다. Chelimsky와 Shadish [8]은 이 세 가지 평가의 목적을 책무성 관점, 정보 제공을 위한 지식 관점, 개선을 위한 관점으로 분류하였다. 책무성 관점은 총괄평가의 목적이며, 지식 관점과 개선 관점은 형성평가의 목적으로 볼 수 있다[8]. 우리 대학의 평가목적을 총괄-형성평가와 Chelimsky와 Shadish [8]의 관점을 연결하여 Table 1에 제시하였다. 우리 대학은 평가인증의 외부요인이 동기가 되어 정보 공유와 개선 목적에 집중하고자 하였다.
The purposes of evaluation
2) 이해관계자 확인과 참여계획
이해관계자는 교육프로그램과 관련이 있거나 영향을 받는 모든 사람을 의미한다. ASK 2019 평가인증기준에 따르면 주요 이해관계자는 학장, 보직자, 교수, 교육과정 관련 위원회, 학생대표, 대학본부로 정하고 있다.
주요 이해관계자 중에서 모니터링-평가-개선활동에 직접적으로 참여하는 그룹을 정하였다. 즉 학생 중에 학생모니터링그룹은 수업과 실습을 직접 모니터링하고, 학생대표와 MEU 교육전담 조교는 교육관련 위원회에 참여하여 평가와 개선에 참여하였다. 교수 중에 과정책임교수, 수업참여교수, 시기책임교수, 교육 관련 위원회 위원, 학장단은 교육평가 또는 개선의 주체가 되었다. 본부의 협조가 필요한 경우 학장단은 대학본부에 사안에 대해 요청하였다.
다른 이해관계자는 간접적인 방법으로 의견을 제시하였다. 모니터링 과정 동안 교수, 외부병원 임상실습 지도의사, 전공의를 포함하는 교육자, 재학생과 졸업생을 포함하는 학생, 동창회, 외래교수, 지역사회 시민을 포함하는 이해관계자로부터 설문을 통해 의견을 수렴하였다.
모니터링과 평가과정 동안 이해관계자의 직접적·간접적 참여에 대해 Table 2, Table 3, Figure 3에 표시하였다.
The direct participation of stakeholders in the evaluation process
The indirect participation of stakeholders in the evaluation process
The overview of educational program evaluation system. FGI, focus group interview.
3) 평가준거와 평가지표의 설정
평가준거는 평가하고자 하는 대상 또는 내용의 속성을 나타내고, 평가지표는 평가준거의 판단을 위한 근거자료를 의미한다. 우선 평가준거를 정한 후 평가지표를 선정하는 순서로 시행했으나, 상호보완적으로 이루어졌다. 평가준거를 설정하기 위해 평가모형, ASK 2019 평가인증기준, 이해관계자의 관심사항, 현재의 교육과정 문서 등을 활용하였다.
먼저, 몇 가지 평가모형을 비교해 보았다. Kirkpatrick [9] 모형은 프로그램의 성과를 4단계로 나누어 만족도, 목표 달성도, 현업 적용도, 교육성과를 분석하는 틀인데, 교육의 과정(process)에 대한 평가가 부족하였다. 논리모형(logic model)과 맥락-투입-과정-산출(context-input-process-product, CIPP) 모형은 교육의 과정과 결과를 거시적으로 평가하는 대표적인 평가모형으로 알려져 있다[10,11]. 이 중 CIPP 모형은 교육의 맥락평가를 포함하고, 직선이 아닌 순환구조를 갖고 있으며, 논리모형보다 단순하여 적용하기가 용이하다고 판단되었다[12]. 우리 대학은 CIPP 모형으로 맥락, 투입, 과정, 산출의 과정이 차례로 순환하는 과정을 평가하지 않고, 전체적인 평가준거를 맥락, 투입, 과정, 산출의 ‘평가 영역’으로 구분하는 데 사용하였다.
평가모형을 결정한 후, 평가의 내용을 구체화하고 평가의 목적을 상기시키며 이해관계자의 관심사항을 반영하기 위해 평가준거를 개발하였는데, CIPP 평가모형, 현재 교육과정 문서, ASK 2019 평가인증기준, 이해관계자의 관심사항을 중심으로 추출하였다. 먼저, CIPP 모형의 각 영역별로 현재 교육과정 문서에서 의도한 성과 및 학생평가방법과 평가인증기준을 고려하였다. 이 과정에서 CIPP 모형의 산출영역은 단기효과, 장기효과, 코호트평가로 확대되어 Kirkpatrick 모형과 유사하게 되었다. 또 이해관계자의 관심사항을 반영하기 위해 학장단, 교육과정위원회, 학습성과위원회, 입학전형위원회 및 학생지도위원회에 평가를 위한 질문을 요청하였다. 예를 들어 입학전형요소와 관련된 수행능력은 입학전형위원회의 관심사항으로 평가준거에 추가되었다.
평가준거의 설정과 동시에 평가지표를 정하였고 실행 가능성을 고려하였다. 예를 들어 ‘투입-인력-수업교수는 교육전문성이 있는가?’의 평가준거를 판단하기 위해 평가지표는 교수직급별 수업시간으로 하였다. 교육경력이나 교수개발 이수시간 등을 평가지표로 하는 것이 타당하나 자료수집의 한계가 있었다.
우리대학의 평가체제에서는 모니터링단계에서 평가지표가 되는 자료를 수집하였고, 평가단계에서 평가준거를 통해 판단을 하였으며, 개선단계에서 각 위원회와 교수에게 관련 평가준거의 평가결과를 제시하고 개선안을 도출하도록 하였다. 평가준거와 평가지표가 모니터링-평가-개선의 단계에서 어떻게 활용되는지는 부록 1과 부록 2에 제시하였다.
수업·과정 평가준거와 평가지표: 모니터링-평가-개선 단계에서의 활용
시기·졸업 평가준거와 평가지표: 모니터링-평가-개선 단계에서의 활용
4) 평가활동의 계획
모니터링-평가-개선은 맥락, 투입, 과정, 산출영역의 수업·과정 평가와 시기·졸업 평가의 두 축으로 시행하였다. 수업·과정 평가는 실제 수업에 참여하는 교수가 중심이 되어 과정 개선을 목표로 하며, 시기·졸업 평가는 의학교육학교실, 교육 관련 위원회, 시기책임교수, 학장단 및 대학본부가 주체가 되어 거시적 관점에서 시기별 또는 전체 프로그램 개선과 책무성을 입증하고자 하였다.
Stake [13]가 제안한 평가의 차원에 따라 수업·과정 평가와 시기·졸업 평가의 특성을 나타내면 Figure 4와 같다. 형성평가-총괄평가의 차원에서 수업·과정 평가는 형성평가의 의미가, 시기·졸업 평가는 총괄평가의 의미가 좀 더 강하다. 비공식적-공식적 차원에서 두 축 모두 공식적 의미가 있는데, 시기·졸업 평가가 조금 더 공식적 활동으로서 보고서를 체계적으로 작성하여 보고를 한다. 수업·과정 평가는 특정 과정에 대해서만 평가하고 시기·졸업 평가는 전체 교육을 대상으로 한다. 수업·과정 평가는 과정에 좀 더 집중하지만, 시기·졸업 평가는 결과에 집중하는 경향이 있다. 수업·과정 평가는 좀 더 서술적인 반면, 시기·졸업 평가는 판단적이다. 수업·과정 평가는 평가자가 그 과정에 대해 미리 알고 있으나, 시기·졸업 평가는 예상치 않은 교육의 과정에 대해서도 평가한다. 수업·과정 평가는 분석적인 경향이 있으나, 시기·졸업 평가는 입학부터 졸업까지 과정과 결과를 전체적 관점에서 평가한다. 수업·과정 평가는 실제 수업을 담당하는 교수가 직접 평가하지만, 시기·졸업 평가는 교육과정을 설계하고 운영하는 위원회와 독립적인 기관에서 평가하며, 외부전문가의 자문을 받을 수 있다[2,14]. 수업·과정 평가는 보다 참여자 중심의 접근형태이다[2].
The differences between lesson/course evaluation and phase/graduate evaluation according to dimensions of evaluation. LC, lesson/course; PG, phase/graduate.
수업·과정 평가와 시기·졸업 평가는 서로 보완적으로 실행되었다. 수업·과정 평가에서 발견된 문제점은 시기·졸업 평가에서 종합적으로 다루어지고, 시기·졸업 평가에서 도출된 개선안이 수업·과정 평가에 적용되는 순환관계가 형성되었다.
5) 메타평가계획 수립
메타평가 설문문항은 경제협력개발기구(Organization for Economic Cooperation and Development) 평가준거를 참고하여, 이해관계자의 요구 충족(요구 일치도), 평가목적의 달성(효과성), 효율적인 방식으로 평가 실행(효율성), 평가활동을 통해 변화 또는 개선 유도(영향력), 평가활동의 지속 가능성(지속 가능성)에 대해 5점 척도로 구성하였다[14]. 평가·개선 워크숍에 참석하는 이해관계자를 대상으로 설문을 시행할 계획을 수립하였고, 학생모니터링그룹은 포커스그룹 인터뷰하는 동안, MEU는 회의를 통해 정보를 수집하기로 하였다.
2. 모니터링단계
모니터링체제는 Figure 3의 좌측에, 수집하는 평가지표는 부록 1과 부록 2에 제시하였다. 모니터링은 자료 수집 시기와 내용에 따라 수업·과정, 시기·졸업, 입학, 코호트, 정신건강으로 구분하였다. 수업·과정 모니터링 자료는 수업·과정 평가에, 시기·졸업, 입학, 코호트, 정신건강 자료는 시기·졸업 평가에 사용되었다. 자료수집의 주체는 MEU이며, 학생모니터링그룹과 행정실이 자료수집의 일부를 담당하였다. 교육자, 학생을 비롯한 이해관계자로부터 평가지표에 대한 의견을 수집하였다. 자료수집방법은 양적·질적 자료를 함께 사용하는 것을 권장함에 따라[15], 설문 등의 양적 방법과 포커스그룹 인터뷰 등의 질적 방법을 함께 사용하였으며, 공식자료뿐만 아니라 게시판 등의 비공식적인 경로도 활용하였다. 모니터링 실행을 위해 자료수집도구를 작성하고 방법에 대해 계획하였다.
1) 자료수집도구 및 방법 준비
DME는 학생모니터링그룹이 평가지표를 이해하고 자료를 수집할 수 있도록 보고서 양식을 제공하였다. 학생모니터링그룹은 과정마다 6명의 학생으로 구성되며, 성별과 성적을 고려하여 그룹을 구성하였다. 과정지침서의 교육계획이 아니라 실제 교육을 받은 사실에 근거해서 교육내용, 수업교수, 수업방법, 평가방법 등에 대해 모니터링하도록 교육하였다.
DME는 MEU 교육전담 조교에게 성적분석과 기본통계분석 방법에 대해 사전에 교육하고, 모니터링 보고서 양식을 제공하여 관리할 평가지표를 안내하였다. 과정 강의평가 설문을 검토하고 포커스그룹 인터뷰 질문지를 작성하였다. 학년말에 이해관계자에게 시행하는 설문지와 포커스그룹 인터뷰 질문지를 작성하였다.
코호트 평가를 위해 자료 수집에 대한 동의서 양식을 작성하고, 역량 구성요인을 정하며, 역량 합산방법을 모색하였다. 역량 관련 요인으로 입학전형요소, 정신건강과 학습유형, 교육과정(의과대학/의학전문대학원) 등을 수집할 계획을 세웠다. 졸업 후 역량을 확인하기 위해 설문지를 작성하였다.
2) 자료수집활동: 수업·과정 모니터링
수업·과정 모니터링은 과정의 계획부터 운영, 종료 동안 자료를 상시적으로 수집하였다. 모니터링하는 평가지표를 CIPP 평가준거에 따라 살펴보면 부록 1, 2와 같다. 1, 2학년 통합교육에서 학생모니터링그룹은 과정 수업을 받으면서 수업·과정을 모니터한 결과를 과정 종료 1주 이내에 MEU에 제출하였다. 학생모니터링 보고서를 바탕으로 포커스그룹 인터뷰를 통해 추가 정보를 수집하였다. MEU는 과정 종료 2주 이내에 강의평가 설문, 포커스그룹 인터뷰, 성적분석, 조사 등을 시행하여 ‘과정 모니터링 보고서’를 작성하였다. 3, 4학년 임상실습 동안 학생모니터링그룹은 보고양식에 따라 실습을 모니터링하여 MEU에 보고서를 제출하였다.
3) 자료수집활동: 시기·졸업, 입학, 코호트 및 정신건강 모니터링
시기·졸업 모니터링은 DME의 계획에 따라 MEU가 학년말에 수행하였다. 거시적인 관점에서 수집하는 CIPP 항목의 평가지표는 부록 1, 2와 같다. MEU는 시기·졸업 종료 전후 학생으로부터 설문과 포커스그룹 인터뷰를 시행하고 ‘시기 모니터링 보고서’를 작성하였다. 교육자를 포함한 다양한 이해관계자로부터 설문을 종합적으로 시행하여 자료를 수집하였다.
코호트 모니터링은 코호트 대상 학생과 졸업생의 입학부터 과정, 시기, 졸업까지의 일련의 정보를 MEU가 상시로 수집하였다. 대상 코호트의 수행능력, 국가고시 합격률, 진로 등을 장기적으로 수집하였다.
정신건강 모니터링은 성격유형(Myers-Briggs Type Indicator)과 심리상태(간이정신진단검사, K-SCL-95)에 대하여 매년 수집하였다.
3. 평가단계
평가체제는 Figure 3에, 평가준거와 평가지표는 부록 1과 부록 2에 제시하였다. 평가와 개선활동은 수업·과정과 시기·졸업 두 축으로 시행하였다.
1) 수업·과정 평가
수업·과정 축은 평가와 개선 주체가 동일한 특성이 있다. 과정책임교수와 과정참여교수가 ‘과정 평가·개선 워크숍’에 참석하여 과정 평가준거에 따라 평가를 시행하였다. 과정 평가 워크숍은 학기 종료 후 시행했으며, 지난 교육과정(과정지침서)과 과정 모니터링 보고서가 평가의 근거가 되었다.
워크숍 진행절차는 DME가 과정 모니터링 결과와 교육과정의 개선방향에 대해 발표한 후, 과정별로 소그룹으로 모여 과정성과, 과정 교육과정, 교육방법 또는 평가방법에 대해 평가하였다. 과정별 토의하는 동안 과정책임교수는 ‘과정 평가 보고서’를 작성하고, 토의가 끝난 후 개선방안에 대해 공유하는 시간을 가졌다.
2) 시기·졸업 평가
DME는 시기·졸업 모니터링 자료를 바탕으로 단기·장기 결과(product)를 분석하고, 코호트 자료를 바탕으로 재학생과 졸업생의 수행능력을 분석하였다. 예방의학 및 직업환경의학교실의 협조를 받아 지역사회 건강현안에 대해 분석하고, 의료환경 변화와 학습환경·문화에 대한 분석을 시행하였다(교육의 맥락). 시기·졸업 모니터링 보고서를 바탕으로 투입과 과정에 대한 분석을 시행하였다. 형성평가 시행방법에 대해 교육학과 교수의 자문을 받았다. 반복 회의를 통해 시기·졸업 평가를 시행하고 ‘평가 보고서’를 작성하였다.
4. 개선단계
개선체제는 Figure 3의 우측에, 평가준거와 평가준거에 따른 개선 주체는 부록 1과 부록 2에 제시하였다.
1) 수업·과정 개선
과정책임교수는 워크숍에서 도출한 개선방안에 대해 다음 학기 과정을 계획할 때 반영하고 ‘개선 보고서’를 제출하였다. 과정참여교수는 ‘교육활동계획서’를 의무적으로 작성하도록 하여 수업 개선이 이루어지도록 하였다.
2) 시기·졸업 개선
시기·졸업 교육 개선을 위한 ‘교육 개선 워크숍’은 학년 종료 후 시행했으며, 교육과정위원회, 학습성과위원회, 학생지도위원회, 입학전형위원회, 시기책임교수, 학장단, 학생대표 및 MEU 교직원이 참석하였다. 워크숍 진행절차는 DME가 교육평가결과를 발표한 후 각 위원회별로 개선방안에 대해 그룹토론을 시행하였다. 교육과정위원회와 시기책임교수는 교육과정에 대해, 학습성과위원회는 졸업성과, 학생지도위원회는 학생지도 방법, 입학전형위원회는 신입생 선발에 대해 개선안을 도출하고 ‘개선 보고서’를 작성하였다. 위원회는 개선안에 대해 발표하고 학장단과 공유하였다. 학장단은 예산과 시설에 대한 내용뿐만 아니라 각 위원회에서 나온 건의사항에 대해 개선방법을 모색하였다. 본교의 협조가 필요한 사항은 본부에 요청하였다.
이후 교육 관련 위원회의 지속적 회의와 대학위원회의 회의를 거쳐 개선안에 대한 의사결정이 이루어지면, 공문, 회의, 간담회, 교육프로그램, 안내서, 게시판 등을 통해 교육자와 학생에게 환류하였다.
5. 메타평가
평가·개선 워크숍에 참석했던 이해관계자 중 메타평가 설문에 총 61명이 응답하였다. 과정책임교수, 과정참여교수, 교육 관련 위원회 위원과 학장단을 포함하여 교수 56명, 학생 3명, 교직원 2명이었다. 평가활동의 요구 일치도, 효과성, 효율성, 영향력, 지속 가능성 항목 모두에서 ‘만족’ 또는 ‘매우 만족’을 응답한 경우가 85% 이상이었다(Table 4). 그러나 교육평가 총괄기관인 DME와 모니터링의 주체였던 MEU는 다음과 같은 문제점을 인지하였다.
Meta-evaluation
- 교육평가 전담인력과 예산 확보
- 교육평가에 대한 전문성 부족
- 이해관계자의 평가 질문 반영 미비
- 자료수집의 비효율성과 부정확한 자료
- 자료분석의 객관성, 타당성 확보
- 교수 참여 유도의 어려움
- 개선안의 실현과 환류
위의 문제점을 해결하기 위해서 다음과 같은 노력이 필요하겠다. 첫째, 평가를 지속적으로 시행하기 위해서는 평가 전담인력과 예산의 확보가 시급하다. 모니터링과 평가는 일회성이 아니라 상시적인 업무이며, 계속적인 관심과 추적을 통해 변화를 유도할 수 있다. 둘째, 평가 총괄기관은 전문성을 향상시켜야 한다. 전문성은 외부 전문가와의 공동평가 또는 평가에 대한 직·간접경험을 통해 증가시킬 수 있다. 셋째, 평가준거는 주요 이해관계자의 평가질문을 반영해야 관심과 참여를 유도할 수 있으므로, 대학 구성원의 의견과 특수성을 반영하기 위해 노력해야 한다. 넷째, 평가기관은 모니터링과 평가계획을 조기에 체계적으로 세워야 한다. 자료수집도구 등을 종합적으로 개발하여 자료수집과정을 용이하게 해야 한다. 다섯째, 모니터링 주체기관은 자료수집·분석의 효율성을 확보해야 한다. 온라인 설문을 사용하여 코딩·분석과정을 간소화하고, 이해관계자의 의견을 빠짐없이 수렴하며, 설문 여부와 질에 대해 관찰해야 한다. 모니터링 주체는 평가지표에 대해 이해하고 정확하게 수집해야 한다. 코호트 자료와 같이 장기간 축적이 필요한 자료는 상시에 수집한다. 여섯째, 평가의 타당성을 높이기 위해 자료분석을 객관적이고 엄정하게 시행해야 한다. 일곱째, 교육 관련 위원회와 학장단은 교육평가의 중요성에 대해 인지하고 있어야 한다. 교수 참여를 독려하고, 개선안을 실현하기 위해서 지속적인 노력을 기울여야 하며, 변화 내용을 이해관계자와 공유해야 한다.
결 론
지금까지 일개 의과대학에서의 교육 모니터링과 평가의 실행 경험에 대해 살펴보았다. 교육평가 실행과정에서 많은 문제점과 개선사항이 도출되었지만, 이 중 가장 중요한 것은 대학 내 평가자의 전문성, 평가의 가치에 대한 공유이다. 평가를 맡은 기관은 전문성을 키우고 실제적인 발전을 유도해야 하며, 학교 문화는 평가 업무의 가치를 인정해 주고 지원해 주어야 한다.
대학 상황에 맞는 평가체제를 만드는 것도 중요하겠다. 평가의 목적은 구성원 간의 교육정보 공유와 개선에 있음을 염두 해야 한다. 평가인증의 기준 달성을 위해 평가를 실행한다면, 대학 고유의 맥락을 놓치거나 대학의 장점과 특성을 잃어버릴 수 있다. 일회성이 아니라 지속적인 평가를 위해서는 평가활동이 교육 개선에 실질적인 도움이 되어야 하고 실행 가능해야 한다. 평가에 대한 다양한 접근법이 있고, 이해관계자의 의견을 반영하여 의미 있는 평가준거를 선택하며, 평가방법과 도구를 다양하게 적용할 수 있으므로, 대학마다 알맞은 교육프로그램 평가체제를 만들어가야 할 것이다. 가용 가능한 인력으로 현실적으로 접근해야 하며 시범평가를 통해 장기적으로 시스템을 수립해 나가야 한다[15]. 우리가 바라는 지속적인 발전은 안정적인 평가체제 수립을 통해 이룰 수 있다.
Appendices
Notes
저자 기여 윤소정: 원고 작성과 검토; 이상엽: 원고 검토와 개선; 임선주: 원고 작성과 검토; 저자 모두는 교육프로그램 평가체제를 주체적으로 수립함
Acknowledgements
이 과제는 부산대학교 교수국외장기파견지원비에 의하여 연구되었다.