Korean Med Educ Rev > Volume 24(3); 2022 > Article
의과대학 학생과 졸업생 수행능력 평가를 위한 코호트 구축 설계

Abstract

Evaluating the effectiveness of educational programs involves measuring learning processes as well as outcomes. It is essential to study cohorts of students and graduates to evaluate the long-term effects of educational programs with data generated both during education and after graduation. The purpose of this study was to establish cohorts of students and graduates to evaluate their performance, thereby providing a basis for evaluating the social accountability of medical education. In this study, student and graduate cohorts were built for both students currently enrolled and graduates at Inje University College of Medicine (IUCM). A model involving the process of cohort establishment and an evaluation indicator framework was developed. In the process of cohort establishment, the following steps were conducted: defining the goals and objectives of the student and graduate cohorts, organizing a cohort committee, developing regulations, registering cohorts, acquiring consent, and building a database. A framework of evaluation indicators according to the graduate roles of IUCM was developed by adapting Kirkpatrick’s evaluation model. Next, items to be collected in student and graduate cohorts were selected, and the current status of existing data was analyzed. Moreover, a preliminary analysis was conducted, including analyses of the evaluation indicators and graduates’ performance. This study suggests that it is necessary to include additional evaluation indicators considering students’ learning environment and well-being in student cohorts and to develop strategies or methods for graduates to continue participating in data collection for a long-term study.

서 론

교육평가는 교육프로그램의 효과와 적절성을 판단하기 위한 체계적 정보수집의 과정으로 목표가 달성되었는지 확인하고, 의사결정에 도움이 되는 정보를 제공하고, 가치를 판단하며 교육프로그램의 효과나 영향을 체계적으로 검토하는 것이라고 정의할 수 있다[1]. 거시적 수준에서는 대학의 사명과 학교가 전반적인 목표를 달성하는 정도를 조사할 수 있으며, 미시적 수준에서는 학습결과, 교수법, 학습 및 평가방법, 교육전략, 교육환경, 교육과정 관리 등을 포함한 교육과정의 요소를 평가할 수 있다[2]. 평가는 의사결정에 도움이 되는 유용한 정보를 생성하여야 하므로 평가의 목적을 염두에 두고 실시하여야 하며 좋은 평가가 되기 위해서는 정량적 방법, 정성적 방법을 고려하고 효과성, 효율성, 타당성, 형평성, 대응성, 적절성, 신뢰성 등의 평가준거와 각 준거를 평가하기 위한 평가지표를 고려하여야 한다[3].
교육프로그램의 성과를 평가하기 위해서는 교육프로그램이 시행되는 도중과 사후에 성과를 평가하여야 하며, 그 요인을 분석하고 개선을 위한 정보를 얻기 위해 교육의 과정(educational process)에 대한 자료수집, 분석이 동반되어야 한다. 교육프로그램의 성과 평가는 사전에 규정한 교육의 목표가 달성되었는지를 확인하는 것이므로 매우 중요하고 반드시 필요하지만 평가가 쉽지 않다. 특히 중장기 성과를 평가하기 위한 자료를 얻기 어려워 중장기 성과를 평가하는 것이 중요하다는 것은 인식하고 있지만 모든 의과대학이 고민하고 있는 문제이다. 이러한 교육프로그램의 효과를 체계적으로 평가하기 위해 많은 모형을 고려하였지만, 의학교육 분야에서는 Kirkpatrick의 4단계 모형이 가장 널리 사용되고 있다[4,5]. 이 모델은 교육프로그램에 대한 반응(reaction), 학습(learning), 행동(behavior) 및 결과(results)의 4가지 수준의 성과를 구분하여 평가한다. 이 중 3단계인 행동평가는 의과대학 졸업 이후 의사의 행동으로 교육받은 바가 어떻게 전이되었는지를 평가하는 것이며(예: 졸업 후 비교적 짧은 기간이 경과한 시점에서 평가, 전공의 시기 정도), 4단계인 결과 평가는 이 사회에서 어떠한 의사로서 역할을 수행하고 있는지를 평가하여 업무성과 및 사회에 미치는 영향으로 나타나야 한다. 그러나 이러한 3, 4단계는 장기간에 걸친 성과를 평가하여야 하므로 많은 어려움이 따른다.
의과대학 교육프로그램의 목표는 전문적인 역할을 효과적으로 수행하고 양질의 의료를 제공할 수 있는 의사를 양성하는 것이다[4]. 의과대학이 이 목표를 어느 정도 달성하였는지를 확인하려면 졸업생들이 실제 의료현장에서의 얻은 성과를 측정하여야 한다. 의과대학은 평가를 통하여 의과대학 교육이 환자 경험과 지역사회 건강을 개선하고 의료 질 향상에 기여하고 있음을 입증할 수 있어야 한다[4,6]. 궁극적인 의과대학의 사명과 목표 달성 여부를 확인하려면 졸업 이후의 장기적인 성과를 평가할 수 있어야 하고, 이를 위해서는 졸업생을 대상으로 한 장기연구가 필요하다. 또한 의과대학 재학 중의 교육의 결과와도 연결지어 평가되어야 할 필요가 있으므로 졸업생 코호트와 함께 재학생 코호트의 구축도 이루어질 때 의미있는 중장기 평가가 가능하리라 기대한다.
한국의학교육평가원은 의학교육의 질 향상을 위하여 세계의학교육연합회(World Federation for Medical Education)에서 제시한 기준을 받아들여 2019년부터 적용할 새로운 의학교육 평가인증 기준을 마련하였다[7,8]. 이 평가인증 기준에서는 교육평가를 위하여 사명, 교육과정, 학생의 향상 정도와 의도한 교육성과에 관련된 프로그램의 핵심 측면과 교육프로그램의 질을 나타내거나 입증할 목적으로 신뢰할 만하고 타당한 자료수집과 분석방법을 사용하도록 하고 있으며, 학생과 졸업생 코호트를 구축하여 이와 관련된 수행능력을 분석하고 학생 배경 및 조건, 입학자격과 관련하여 수행능력을 분석하도록 하였다. 이는 빠르게 변화하는 의료환경과 사회적 책무성에 대한 대중의 요구가 증가함에 따라 의료의 질에 대한 교육의 효과를 고려한 교육평가 수행이 필요하다는 것을 인식하고 이를 요구하고 있는 것으로 이해할 수 있다.
코호트는 같은 특성을 가진 사람들의 집단을 일정 기간 추적하고 그들의 정보를 관찰하여 수집하는 연구방법으로 시간의 흐름에 따라 변화하는 요인들을 고려하여 대상자들의 결과 변수에 영향을 주는 요인을 확인할 수 있다[9]. 코호트는 연구의 목적에 따라 연구대상, 자료수집의 방향, 자료의 수집시기, 수집하는 자료의 항목 등을 다르게 고려할 수 있다. 코호트를 활용한 연구의 장점은 다양한 결과의 발생 현황을 확인할 수 있으며, 장기적인 추적관찰을 통해 여러 변수의 변화를 파악할 수 있고 결과에 영향을 주는 위험요인을 찾아 볼 수 있다. 하지만 오랜 기간의 추적관찰이 필요하므로 많은 시간과 노력, 비용이 필요하며 대상자들의 중도 탈락이 많아지거나 수집하는 변수들의 정확성이 떨어질 경우 결과의 신뢰성에 문제가 발생할 수 있다[10,11]. 따라서 대상, 자료의 수집시기, 자료의 수집항목을 미리 잘 설계하고, 자료수집의 절차와 방법 및 역할을 명확히 하여 장기적인 자료수집을 위한 체계적인 절차를 갖추어야 한다.
인제대학교 의과대학(인제의대)은 의학교육평가 인증을 준비하고 교육평가체계를 개선하기 위하여 Stufflebeam과 Zhang [12], Kellaghan 등[13]이 제안한 context, input, process, product model (CIPP 모형)과 Kirkpatrick [5]의 4단계 모형을 결합한 통합평가모형을 적용하였다. 이 모형에서 CIPP 모형의 산출(product) 부분을 Kirkpatrick의 4단계 모형으로 적용하였고, 평가의 각 단계를 인제 의대의 인재상과 졸업역량과 연결하여 평가준거를 설정하고, 평가 지표를 개발하여 자료를 수집, 평가하였다[14]. CIPP 모형의 산출 부분은 Kirkpatrick 4단계 모형을 고려하여 교육프로그램의 효과성을 평가하기 위한 평가준거와 평가지표들을 포함하고 있으므로 많은 부분들이 코호트에 수집될 수 있도록 하였다.
인제의대 교육프로그램의 궁극적인 목표인 좋은 의사를 양성하는 사회적 책무를 평가하기 위해 좋은 의사의 구체적 장기 성과를 인재상으로 규정하고 각각의 인재상 틀을 이용하여 교육의 성과를 평가하기 위해 학생과 졸업생 수행능력 자료를 수집하여 코호트를 구축하였다. 수행능력 분석을 위해 학생 코호트에는 입학정보, 학생 특성, 교육과정 수행능력 및 태도, 가치관, 환자진료 역량 등의 자료를 수집하였고, 졸업생 코호트에는 의사국가시험 결과, 진로선택, 졸업 후 성취 등을 포함하였다.

코호트 구축을 위한 위원회 구성

인제의대는 Accreditation Standards of KIMEE 2019 (ASK2019) 인증을 준비하고 교육평가체계를 개편하는 과정에서 2018년 8월에 교육성과평가소위원회(현, 교육평가위원회)를 구성하였고, 교육평가를 고려한 효율적인 코호트 구축설계를 위하여 2018년 9월에 코호트 구축 논의를 시작하였으며 교육평가위원이 함께 참여하였다. 통계학자, 의학교육에 참여하고 있는 임상교수, 교육학자 등의 전문성을 가진 사람들이 포함되었으며, 코호트를 운영하고 관리하기 위하여 2019년 10월 교육평가위원회 산하 코호트소위원회를 구성하고 교육평가위원 중 전문성이 있는 1인을 코호트소위원장으로 선정하였다. 위원장을 포함한 3인의 위원으로 구성하고, 필요에 따라 행정실, 의학교육혁신센터, 의학교육정보지원실 직원이 실무위원으로 참여할 수 있도록 구성하였다. 또한 코호트 구축방향의 최종 의사결정을 위하여 학장단의 필요한 행적적 지원과 협력을 통하여 코호트 구축을 진행하였다. 의과대학에서는 코호트 구축을 정책과제로 지정하고 체계적인 코호트 구축을 지원하였다.

학생과 졸업생 코호트 구축절차

인제의대는 역학에서 일반적으로 사용하는 코호트 구축 설계과 정을 분석하여 학생과 졸업생 코호트 구축에 적합한 모델을 개발하였다(Figure 1). 가장 먼저 하여야 하는 코호트 목적 설정은 모델의 첫 단계이며[1], 규정 제정과 위원회 재정비[2], 코호트 등록 등의 구축 체제[3], 데이터베이스 구축과 관리체계 설정[4], 기초 조사[5] 및 추적 조사[6]의 6단계 구조로 설계하였으며, 학생과 졸업생 수행 능력 평가를 위한 평가지표 틀의 개발과정을 포함하고 있다.

1. 학생과 졸업생 코호트 구축의 목적 및 구체적인 목표 설정

인제의대 학생 및 졸업생 코호트의 목적은 의과대학의 의도한 교육의 성과를 확인하고 사회적 책무성을 평가하기 위한 학생 및 졸업생 코호트를 구축하고 졸업생 대상 장기연구를 시행하여 생애에 걸쳐 지속적인 추적관찰을 하고자 하는 것으로 설정하였다. 학생 코호트의 구체적인 목표는 시기별 학생 수행능력을 추적 관리하며 졸업과 동시에 졸업생 코호트로 이어지는 기초자료를 구축하는 데 있다. 또한 졸업생 코호트의 구체적인 목표는 졸업 후 1년(인턴)과 3년(전공의, 연구원 등) 경과 시점인 전문가가 되기 위한 교육과 훈련 중의 졸업생의 수행능력을 평가하고, 졸업 후 10년 경과 시점인 전문의 또는 박사학위 취득 후 전문가로서 수행능력 평가를 추적관리하며 이후 3–5주년 주기로 전문가로서 수행능력 평가를 지속적으로 추적 관리하고자 하였다.

2. 평가지표 틀 개발

교육프로그램의 효과를 측정하기 위하여 인제의대의 의도한 교육 성과를 장기적인 성과인 인재상을 목표로 설정하고 이를 Kirkpatrick의 4단계 평가모형을 적용하여 평가할 수 있도록 각 평가단계를 고려한 평가지표 틀(evaluation indicator framework)을 개발하였다. 의과대학의 졸업역량은 학습자가 달성하여야 할 성과로 보아 학생 코호트에서는 1단계 반응(reaction)과 2단계 학습(learning) 평가를 시행하고, 졸업생 코호트에서는 3단계 행동(behavior)과 4단계 결과(results) 평가를 시행하도록 고려하였다(부록 1).

3. 동의서 개발

생명윤리 및 안전에 관한 법률 시행규칙(1)의 제2조(인간대상연구의 범위)에 의하면, “초ㆍ중등교육법” 제2조 및 “고등교육법” 제2조에 따른 학교와 보건복지부 장관이 정하여 고시하는 교육기관에서 통상적인 교육실무와 관련하여 하는 연구는 사람을 대상으로 물리적으로 개입하는 연구(연구대상자를 직접 조작하거나 연구대상자의 환경을 조작하여 자료를 얻는 연구)에 포함되지 아니한다고 명시하고 있다[15]. 인제의대 학생과 졸업생 코호트는 교육기관에서 통상적인 교육실무의 과정에서 발생하는 내용을 수집하여 보관하는 것을 목적으로 하고 있으므로 사람을 대상으로 하는 연구에는 포함되지 않으나 개인정보보호의 목적을 고려하여 “개인정보 수집 및 이용 동의서”를 개발하였다. 코호트 동의서에는 개인정보의 수집 및 이용의 목적을 제시하였으며 수집하려는 개인정보의 항목을 포함하여 개발하였다. 또한 코호트 자료를 활용하여 연구를 수행하고자 할 때는 각 연구별로 연구를 위한 계획서를 작성하고 독립적인 연구윤리심의위원회(institutional review board) 승인을 받아 진행하도록 하였다.

4. 코호트 수집항목 선정 및 도구 개발

1) 입학정보

의과대학 입학생의 특성을 파악하여 교육과정의 설계와 운영 및 역량을 평가하기 위해서는 입학 당시의 정보에 대한 수집이 필요하다. 신입생을 대상으로 입시전형, 출신 고등학교, 출신 지역, 고등학교 졸업연도 등 수집 가능한 정보를 수집하였다. 입학처 보관의 입시전형자료는 개인정보보호와 보안으로 인해 자료 전체를 폐기하기 때문에 좋은 정보를 담은 자료수집은 불가능하였다.

2) 재학 중 교육활동 자료

의과대학 교육과정에서 생성되는 기존의 자료는 입학정보, 과정별 성적, 평가결과, 시기성과, 과정말 학생 만족도, 학사력, 학생상담 기록, 의사국가시험 성적 등으로 자료의 종류와 형태가 다르며, 자료 수집 시기와 자료관리 부서 및 주체가 입학처, 교학과, 의학교육혁신센터 등에서 생성하고 보관하고 있음을 확인할 수 있었다.

3) 기존 자료 현황 분석

학생 및 졸업생 코호트 구축을 위하여 의과대학 교육과정에서 생성되는 기존의 자료 현황에 대하여 분석을 수행하였다. 기존의 자료는 입학정보, 재학 중 교육활동으로 생성되는 자료가 있으며, 각 자료는 자료의 수집과 관리 주체가 의예과, 의과대학 행정실, 의학교육혁신센터 등으로 여러 부서에서 담당하고 있으므로 관리의 주체가 명확하지 않았다. 또한 자료의 수집형태가 학교 전산시스템 상에 있거나 엑셀(Excel) 또는 한글 문서의 파일형태로 존재하고 있어 표준화된 형태의 자료수집이 필요함을 확인하였다. 따라서 평가준거에 따라 평가지표를 개발하고 평가방법과 평가시기를 고려하여 체계적인 코호트 구축을 설계하여야 할 필요성을 확인하였다.

4) 졸업 후 수행능력 평가지표 및 졸업생 자료

졸업 후 수행능력 평가지표는 인턴/전공의 성적, 논문, 사회적 인지도, 환자 진료성과 등이 고려될 수 있다. 하지만 인턴/전공의 성적 등은 각 병원별로 평가도구가 다르고 사회적 인지도 등은 객관적인 평가도구로 사용하는 것이 어렵기 때문에 졸업 후 수행능력을 평가하기에는 현실적인 어려움이 있다. 졸업 후 수행능력 평가에 관한 선행연구를 보면, Peters 등[16]은 3개 영역(휴머니즘, 생애학습, 사회학습)의 행동과 태도 관련 22개 문항으로 구성된 평가도구를 사용하고 있었고, Carr 등[17]은 신참 의사 평가를 위해 3개 영역(임상관리, 의사소통, 전문직업성)의 10개 문항으로 구성된 평가도구를 개발하였다.
인제의대 인재상과 졸업역량에 대한 평가지표는 위에서 언급한 두 연구결과를 참고하여 새로이 개발하였다. 인턴과 전공의 대상으로 자기평가 외에 동료평가, 지도전문의 평가자료를 하나의 세트로 묶어 자료화하여 분석함으로써 객관적인 평가지표가 될 수 있도록 하였다. 그리고 장기연구를 위하여 졸업생 대상으로 구조화한 설문지를 개발하여 자료를 생성하였다.

5. 내규 및 지침 개발

코호트의 타당성은 완전하고 정확한 정보의 유용성에 있다. 의사결정을 위해 자료를 효과적으로 사용하기 위해서는 다양한 소스에서 수집되는 자료가 자료의 손실 없이 완전하고 신뢰성 있는 자료여야 한다[9]. 이를 위해서는 자료를 수집하고 관리하기 위한 신중한 전략과 장기적인 자료를 수집하는 체계를 갖출 수 있는 내부절차를 개발하여야 한다. 따라서 인제의대는 코호트에 수집되는 자료의 시기, 항목 및 책임의 주체를 명확히 하기 위해 자료수집 연간계획표를 개발하여 자료수집의 체계를 수립하고, 학생 및 졸업생 코호트의 목적, 용어 정의, 운영 및 관리, 자료의 활용, 자료의 보안을 고려한 코호트 운영에 관한 내규를 개발하였다.

학생과 졸업생 코호트 구축

1. 코호트 수집항목

학생과 졸업생 코호트에서는 교육평가를 위한 평가준거 측정에 적합하고 ASK 2019 평가인증의 관련 기준을 평가지표에 포함하였다. 지표에 적합한 수집항목을 선정하고 필수적인 항목을 최종적으로 채택하였다. 학생 코호트에서는 실제 학습기간, 과목의 학점, 합격과 낙제 비율, 성공과 중도 탈락 비율과 이유, 교육과정에 대한 학생 보고서, 선택과목을 포함한 특별 관심 분야에 쏟은 시간에 대한 정보를 포함하고 과정을 자주 반복하는 학생과 교육프로그램을 떠나는 학생에 대한 인터뷰를 포함하였다. 졸업생 코호트에서는 의사국가시험 시험결과, 진로 선택, 졸업 후 역량에 대한 정보를 포함하였다(Table 1).

2. 코호트 데이터베이스 구축 및 관리

연구대상자에 대한 정보는 코호트 데이터베이스 시스템을 구축하여 관리자 및 연구자가 등록 상황을 체계적으로 확인할 수 있도록 구축되는 것이 필요하다. 하지만 의과대학 재학 중 발생되는 교육자료는 여러 부서에서 자료의 수집과 보관이 이루어지고 있었기 때문에 하나의 데이터베이스 형태로 구성하였다. 그리고 코호트 자료화를 위하여 학생평가를 계획할 때 졸업역량에 기반한 수행능력평가 계획표를 개발하여 자료가 구조화된 형태로 코호트에 수집될 수 있도록 하였다. 또한 자료수집의 시기를 입학, 과정말, 학기말, 졸업 시 등으로 정의하고 자료수집 책임의 주체를 명확하게 하기 위한 자료수집 연간계획표를 작성하여 자료의 수집이 이루어지지 않는 경우를 방지하여 완전한 자료수집이 이루어질 수 있도록 하였다.

3. 코호트 등록과 관리

학생 코호트는 입학 시점에 동의서를 획득하여 코호트에 등록되는 것을 원칙으로 하지만 재학 중 등록을 원하는 경우 동의서를 작성하고 코호트에 등록할 수 있도록 하였다. 졸업생 코호트는 의과 대학 졸업 시점에 졸업생 코호트로 등록이 이어지는 것을 원칙으로 하지만, 졸업 이후 등록을 원하는 경우 졸업생 코호트로의 등록을 허용하였다. 또한 졸업생 코호트에 등록된 대상자 중 재학 시의 정보가 수집 가능한 경우, 이를 연결하여 후향-전향 코호트(retrospective-prospective cohort)의 형태로 등록하였다.

코호트 구축 결과

1. 평가지표 분석

교육프로그램 효과를 평가하기 위해 개발된 평가지표의 개념 틀을 통해 설계된 평가지표는 총 68개였다. 이 중 인제의대 학생과 졸업생 코호트에서 실제로 수집된 평가지표와 그렇지 않은 지표들에 대한 평가를 시행하였다. 33개의 지표는 정량적인 평가가 가능하여 코호트에 수집이 되었으나 나머지 지표들은 정성적인 평가를 통해 평가가 가능하거나 또는 개별 학생에 대한 지표가 아닌 의과대학 또는 의과대학 학생 집단에 대한 지표들이었기 때문에 코호트에 수집되지 않았다(부록 1).

2. 코호트 동의 현황

의과대학 학생을 대상으로 학년별로 코호트 구축의 목적에 대하여 설명하고 개발된 동의서를 사용하였고, 졸업생의 경우 1979년에 입학하여 졸업한 1회 졸업생을 포함한 인제의대 졸업생을 대상으로 이메일과 문자메시지 등을 활용하여 코호트 동의서를 발송하였다. 학생 코호트는 전체 624명 중 595명인 95.4%가 동의하였고, 졸업생 코호트는 전체 졸업생 3,649명 중 509명인 13.9%에게서 동의를 획득하였다(Table 2).

3. 인재상에 따른 졸업 후 수행능력

개발한 구조화된 설문지를 사용하여 졸업생을 대상으로 인재상에 따른 졸업 후 수행능력을 평가하고 졸업 후 기간(1–5년, 6–10년, 11–20년, 21–30년, 31년 이상)에 따라 수행능력의 차이가 있는지를 확인하기 위하여 Jonckheere-Terpstra test를 사용하여 통계분석을 실시하였다. 인제의대 인재상 중 협력하는 의사(collaborator)의 경우 졸업 후 기간에 따라 통계적으로 유의한 차이(p=0.0012)를 나타냈으나, 나머지 인재상의 경우 졸업 후 기간에 따라 통계적으로 유의한 차이를 보이지는 않았다(Figure 2).

결 론

의과대학에서의 교육은 교육의 수행으로만 끝나는 것이 아니라 교육이 실제 어떤 성과를 이루었는지 확인할 필요가 있다. 이는 교육프로그램의 개선을 위한 중요한 자료이며 교육프로그램에 의미를 부여하고 사회와 소통하는 방법이다. 의과대학 교육프로그램의 궁극적인 성과는 좋은 의사를 배출하고 이를 통해 의료의 질이 향상되어 공동체의 건강에 이바지하는 것이며, 이는 의과대학의 사회적 책무이다. 교육프로그램의 성과를 평가하기 위하여 의과대학에서는 학습자를 평가하고 교육평가를 수행하기 위한 체계적인 평가체계를 갖추어야 한다. 인제의대는 의도한 교육의 중장기 성과를 평가하여 의과대학의 사회적 책무성 달성을 확인하기 위하여 학생과 졸업생 코호트를 구축하여 인제의대 인재상을 바탕으로 수행능력을 분석하였다.
교육평가를 위한 의과대학에서의 코호트는 임상연구 수행을 위한 역학에서의 코호트 등록과 다른 관점에서 고려되어야 한다. 학생이 의과대학에 입학하는 시점에서부터 의과대학 6년 과정 동안의 자료가 학생 코호트로 수집되며, 졸업생 코호트에서는 졸업 시점부터가 자료수집 시작점(baseline)이 되고, 이후 장기적으로 자료의 추적관찰(follow-up)이 이루어지는 형태이다. 인제의대 코호트 지표는 Kirkpatrick의 4단계 모형을 적용하여 교육의 효과를 평가할 때 1, 2단계(반응, 학습)는 학생 코호트의 자료를 통한 평가, 3, 4단계(행동, 결과)는 졸업생 코호트의 자료를 통한 평가이다. 3단계(행동) 평가의 경우 자료수집의 첫 번째 추적관찰로 졸업 후 인턴/전공의 과정에 해당하고, 4단계(결과) 평가는 두 번째 추적관찰로 졸업 이후 5–10년에 해당한다. 즉 학생 시점의 6년의 자료가 모두 수집되어 있고 졸업 이후의 자료를 연결하여 수집할 수 있어야 명확한 개념에서의 코호트 구축을 통한 교육의 성과를 평가할 수 있다. 또한 의과대학 학생 전체의 자료를 수집하고자 하는 데 차이점이 있다고 할 수 있다.
인제의대 학생 코호트의 경우 95%가 넘는 동의율을 나타내고 있으므로 코호트로서의 대표성을 가진다고 볼 수 있으며, 코호트에 수집되는 자료 대부분이 재학 중 교육활동으로 발생하는 자료로써 평가준거를 고려한 평가지표 수집을 위한 코호트 설계가 전반적으로 적절하다고 볼 수 있었다. 졸업생 코호트는 전체 졸업생 수를 고려할 때 약 14%의 동의율을 나타내고 있으므로 대표성을 확보했다고 하기는 어려우나, 코호트 구축의 초기 단계임을 고려할 때 장기적인 자료수집이 필요함을 알 수 있었다. 졸업 후 역량을 평가하기 위하여 인재상에 따른 평가준거와 평가지표를 개발하여 졸업생을 대상으로 자기 설문, 동료평가, 지도 전문의 평가 등을 통하여 자료수집을 수행하였으나, 보다 객관적인 평가지표의 개발에 대한 필요성을 인지하였다. 또한 학생들이 교육목표를 달성하고 있는지 확인하기 위하여 교과과정에서의 목표달성뿐만 아니라 의과대학 학습환경, 학생복지(well-being) 등의 여러 환경적인 요소들을 고려한 다양한 관점에서의 검토가 필요하다[18]. 이러한 관점에서 학생 코호트 구축과정에서 학생의 학습환경이나 학생복지 등에 대한 추가적인 평가 지표 개발이 필요할 것이다.
코호트의 유용성은 코호트에 참여한 사람들을 대상으로 장기적으로 완전하고 정확한 정보를 수집하는 것에 있다. 학생 코호트와 달리 졸업생 코호트의 자료수집은 계획된 자료수집 시점에 졸업생이 자발적으로 평가문항에 응답하여야 지속적인 자료수집이 가능하다. 따라서 의과대학 졸업 이후 졸업생들이 지속적으로 자료수집에 참여하는 참여율을 높이기 위해서는 Harvard 동문 코호트와 같이 응답이 간단한 도구를 사용하여 쉽게 추적관찰할 수 있도록 하는 것이 하나의 방법이 될 수 있다[19]. 또한 주기적인 자료의 수집과 함께 코호트 관련 소식지(newsletter)의 개발, 보급 등을 통하여 졸업생들에게 본인이 제공한 정보의 활용 현황을 공유함으로써 학교와 졸업생 간의 긴밀한 관계를 유지해 나가는 등의 전략개발을 고려하여야 한다.
코호트는 의과대학의 인증평가를 위하여 단순히 자료를 수집하고 분석하며, 이를 활용하여 평가를 수행하기 위한 도구라는 인식에서 벗어나 사회적 책무성 관점에서 의학교육성과 달성 여부를 평가하기 위한 교육평가의 체계적인 자료수집 절차임을 이해하고 활용하는 것은 의학교육의 질 향상과 개선에 중요할 것이다.

연구비 수혜 본 논문은 2019학년도 인제대학교 정책과제 학술연구조성비 보조에 의해 수행되었다.

저자 기여 오민경: 코호트 구축을 수행하였고, 자료 정리와 분석 및 표, 부록을 포함한 논문 작성; 주현정: 코호트 구축에 참여하여 동의서 수집과 졸업생 역량 평가 자료수집과 초록 작성 및 본문 검토, 수정; 윤보영: 코호트 구축에 참여하여 졸업생 역량 평가지표 개발 및 본문 검토, 수정; 이종태: 코호트 구축을 기획 및 총괄하였고 논문을 구성, 검토, 수정

Figure 1.
A model of cohort establishment and an indicator framework for evaluating performance of students and graduates.
kmer-2022-24-3-250f1.jpg
Figure 2.
Trends in core competencies in the graduate cohorts.
kmer-2022-24-3-250f2.jpg
Table 1.
Items to be collected in the cohorts
Cohort Category Items
Student Student performance metrics - Data from learning tests (e.g., self-regulated learning tests)
- Scores (course assessment, comprehensive assessment of basic medicine, comprehensive assessment of clinical medicine, OSCE, and CPX)
- Data of phase assessment (self-evaluation and committee evaluation)
- Academic records (e.g., pass and failure rates, success and dropout rates)
Learning environment metrics - Data of the Minnesota Multiphasic Personality Inventory (MMPI)
- Learning satisfaction
- Actual study duration
- Counseling records
Internal metrics - Admission information
- Special interests
National metrics - Scores on the KAMC Comprehensive Basic Medical Sciences Examination
- Scores on the KAMC Comprehensive Clinical Medical Sciences Examination
- Scores on the Korean Medical Licensing Examination
Graduate Internal metrics - Admission information
- Career and/or job placement
- Data of competency assessments based on graduate roles of IUCM (self-, peer-, and/or supervisor assessment)
National metrics - Board Certified Specialist
- Academic degree (e.g., master’s degrees, PhD)

OSCE, objective structured clinical examination; CPX, clinical performance examination; KAMC, Korea Association of Medical Colleges; IUCM, Inje University College of Medicine; PhD, Doctor of Philosophy.

Table 2.
Numbers of students and graduates in cohorts, Inje University College of Medicine (as of December 2021)
Subject Year Invited no. No. of participants Consent rate (%)
Student
 Pre-medical phase Year 1 104 99 95.2
Year 2 122 106 86.9
 Pre-clerkship phase Year 3 101 100 99.0
Year 4 101 97 96.0
 Clerkship phase Year 5 103 103 100.0
Year 6 93 90 96.8
Graduate 3,649 509 13.9

REFERENCES

1. Kim HS. Theory and practice of educational program. Seoul: Kyoyookbook; 2014. p. 300.
2. Harden RM, Laidlaw JM. Essential skills for a medical teacher: an introduction to teaching and learning in medicine. 3rd ed. Edinburgh: Elsevier Health Sciences; 2020. p. 315.
3. Bae HS. Principles of program evaluation. Seoul: Wonmisa; 1994. p. 458.
4. Ragsdale JW, Berry A, Gibson JW, Herber-Valdez CR, Germain LJ, Engle DL, et al. Evaluating the effectiveness of undergraduate clinical education programs. Med Educ Online. 2020;25(1):1757883.
crossref pmid pmc
5. Kirkpatrick DL, Kirkpatrick JD. Evaluating training programs: the four levels. 3rd ed. San Francisco (CA): Berrett-Koehler Publishers; 2006. p. 568.
6. Paull M, Whitsed C, Girardi A. Applying the Kirkpatrick model: evaluating an ‘interaction for learning framework’ curriculum intervention. Issues Educ Res. 2016;26(3):490-507.
7. World Federation for Medical Education. Basic Medical Education WFME Global Standards for Quality Improvement: the 2015 revision [Internet]. Ferney-Voltaire: World Federation for Medical Education; 2015 [cited 2022 Mar 20]. Available from: https://wfme.org/download/wfme-global-standards-for-quality-improvement-bme/?wpdmdl=831&refresh=6179f6186bb081635382808%22%3EDownload%3C/a%3E%20%20%20%20%20%20%20%20%20%20%20%20%3C/div%3E%20%20%20%20%20%20%20%20%3C/div%3E%20%20%20%20%3C/div%3E%3C/div%3E%3C/div%3E
8. Korean Institute of Medical Education and Evaluation. Accreditation Standards of Korean Institute of Medical Education and Evaluation 2019 [Internet]. Seoul: Korean Institute of Medical Education and Evaluation; 2020. [cited 2020 Dec 30]. Available from: https://kimee.or.kr/board/data/?uid=1318&mod=document&pageid=1
9. Goldacre M. The role of cohort studies in medical research. Pharmacoepidemiol Drug Saf. 2001;10(1):5-11.
crossref pmid
10. Hennekens CH, Buring JE, Mayrent SL. Epidemiology in medicine. Philadelphia (PA): Lippincott Williams & Wilkins; 1987. p. 383.
11. Kelsey JL, Whittemore AS, Evans AS, Thompson WD. Methods in observational epidemiology. 2nd ed. New York (NY): Oxford University Press; 1996. p. 432.
12. Stufflebeam DL, Zhang G. The CIPP evaluation model: how to evaluate for improvement and accountability. New York (NY): The Guilford Press; 2017. p. 384.
13. Kellaghan T, Stufflebeam DL, Wingate LA. International handbook of educational evaluation. Dordrecht: Kluwer Academic Publishers; 2003.
14. Ju H, Oh M, Lee JT, Yoon BY. Adapting an integrated program evaluation for promoting competency‐based medical education. Korean Med Educ Rev. 2021;23(1):56-67.
crossref pdf
15. Enforcement Rule of Bioethics and Safety Act. Ministry of Health and Welfare Ordinance No. 143 (Dec 31, 2009) [Internet]. Sejong: Ministry of Government Legislation; 2020 [cited 2021 Dec 30]. Available from: https://www.law.go.kr/LSW/lsInfoP.do?lsiSeq=98198&viewCls=engLsInfoR&urlMode=engLsInfoR#0000
16. Peters AS, Greenberger-Rosovsky R, Crowder C, Block SD, Moore GT. Long-term outcomes of the New Pathway Program at Harvard Medical School: a randomized controlled trial. Acad Med. 2000;75(5):470-9.
pmid
17. Carr SE, Celenza T, Lake FR. Descriptive analysis of junior doctor assessment in the first postgraduate year. Med Teach. 2014;36(11):983-90.
crossref pmid
18. Santen SA, Feldman M, Weir S, Blondino C, Rawls M, DiGiovanni S. Developing comprehensive strategies to evaluate medical school curricula. Med Sci Educ. 2018;29(1):291-8.
crossref pmid pmc pdf
19. Paffenbarger RS Jr, Wing AL, Hyde RT. Physical activity as an index of heart attack risk in college alumni. Am J Epidemiol. 1978;108(3):161-75.
crossref pmid

Appendices

부록 1.

인제대학교 의과대학 코호트 평가지표 틀

인제의대 인재상 Kirkpatrick 4단계 평가준거(criteria) 평가지표(indicator) 자료수집방법: 코호트 수집 여부(Y/N)
의전문인 1단계 반응 - 임상실습과정을 만족하 - 학생 만족도 - 임상실습교육과정 만족도 설문: Y
2단계 학습 - 일차진료 수준의 진료역량을 갖추고 있는가? - 기본술기 수행능력 - 실기시험(CPX, OSCE) 성적: Y
- 기초, 임상의학 지식 - 기초, 임상의학종합평가 성적: Y
- 의사국가시험 합격 여부 - 의사국가시험 합격률: Y
- 의과대학 학생 및 졸업생 코호트 구축 정책과제 보고서(2019. 12): N
3단계 행동 - 진료를 수행할 역량을 갖추고 있는가? - 진료 세부역량에 대한 자기평가 점수(진 단계획과 시행, 술기, 응급진료, 유해사 례 발견과 대처) - 인제의대 졸업생 설문: Y
- 진료 세부역량에 대한 지도전문의 평가 점수 - 인제의대 졸업생 면담: Y
- 진료 세부역량에 대한 동료평가 점수 - 인제의대 졸업생에 대한 간호사 설문: N
- 진료역량의 발전 정도
4단계 결과 - 독립적으로 진료를 수행할 역량을 갖추고 있는가? - 진료 세부역량에 대한 자기평가 점수(진 단계획과 시행, 술기, 응급진료, 유해사 례 발견과 대처) - 인제의대 졸업생 설문: Y
- 인제의대 졸업생 면담: Y
- 진료 세부역량에 대한 동료평가 점수 - 인제의대 졸업생에 대한 간호사 설문: N
소통하는 의사 1단계 반응 - 소통학습 관련 프로그램을 만족하는가? - 학생 만족도 - 소통학습 만족도 설문: Y
2단계 학습 - 동료, 환자, 사회와 소통하고 있는가? - PBL 토론능력 - PBL 튜터평가: N
- 동료평가 - 동료평가(교수, 전공의, 간호사, 환자, 동료): Y
- 소통 경험 - 학생면담: N
- 표준화 환자와 소통능력 - 대학교육혁신처장 면담: N
- 소통에 대한 성찰 - 표준화환자 진료능력 평가: Y
- 봉사활동 내용, 이수시간 - 임상실습 포트폴리오 성찰저널: N
- 봉사활동 자료: N
- 시기성과 평가: Y
3단계 행동 - 동료, 환자, 사회와 소통하며 일하고 있는가? - 세부역량에 대한 자기평가 점수(의무기 록, 직종 내, 직종 간 소통, 환자, 보호자 와의 소통, 사회와의 소통) - 인제의대 졸업생 설문: Y
- 세부역량에 대한 동료평가 점수 - 인제의대 졸업생 면담: N
- 소통 경험 - 인제의대 졸업생에 대한 간호사 설문: N
4단계 결과 - 동료, 환자, 사회와 원활하게 소통하고 있는가? - 세부역량에 대한 자기평가 점수(의무기 록, 직종 내, 직종 간 소통, 환자, 보호자 와의 소통, 사회와의 소통) - 인제의대 졸업생 설문: Y
- 인제의대 졸업생에 대한 간호사 설문: N
- 세부역량에 대한 동료평가 점수 - 인제의대 졸업생 면담: N
- 사회와의 소통을 위한 활동사례 - 대학교육혁신처장 면담: N
협력하는 의사 1단계 반응 - 협력학습 활동을 만족하는가? - 학생 만족도 - 협력학습 만족도 설문: Y
2단계 학습 - 동료와 협력하는가? - 동료평가 - 동료평가: Y
- 다양한 직종의 역할과 책무를 이해하고 있는가? - 동료와의 협력 경험 - 학생면담: N
- 동료와의 협력에 대한 성찰 - 임상실습 포트폴리오 성찰저널: N
- 직종의 역할과 책무 이해 정도 - 직종의 역할과 책무 이해 설문: N
- 직종 간 협력에 대한 성찰
3단계 행동 - 동료와 협력하며 일하고 있는가? - 자기평가 점수 - 인제의대 졸업생 설문: Y
- 동료평가 점수 - 인제의대 졸업생 면담: N
- 동료와의 협력 경험 - 인제의대 졸업생에 대한 간호사 설문: N
4단계 결과 - 동료와 협력하며 일하고 있는가? - 자기평가 점수 - 인제의대 졸업생 설문: Y
- 동료평가 점수 - 인제의대 졸업생 인터뷰: N
- 동료와의 협력 경험 - 인제의대 졸업생에 대한 간호사 설문: N
리더십을 갖춘 의사 1단계 반응 - 리더십 관련 프로그램을 만족하는가? - 학생 만족도 - 리더십 관련 프로그램 만족도 설문: Y
2단계 학습 - 리더십을 갖추고 있는가? - 팀원으로서 자기성찰 - 임상실습 포트폴리오 성찰 저널: N
- 진료팀의 일원으로서 자기성찰 - 국제사회 보건의료활동 참여 현황: N
- 국제사회 보건의료활동 참여 - 학생면담: N
- 리더활동 경험 - 대학교육혁신처장 면담: N
- (사)부산사람이태석기념사업회 위원장 면담: N
- 국제개발협력센터장 면담: N
3단계 행동 -리더로 일하고 있는가? - 자기평가 점수 - 인제의대 졸업생 설문: Y
- 리더 경험 - 인제의대 졸업생 면담: N
- 국제개발협력센터장 면담: N
4단계 결과 - 공동체에서 리더의 역할을 하고 있는가? - (대학)학장, (병원)병원장 이상의 보직 여부 - 인제의대, 5개 백병원 연혁: N
- 학회에서 리더활동 - 의료봉사활동 현황: Y
- 의료봉사활동 - 인제의대 졸업생 설문: Y
- 국제개발협력사업 참여 - 국제개발협력사업 참여 현황: Y
- (사)부산사람이태석기념사업회 위원장면담: N
- 국제개발협력센터장 면담: N
탐구하는 의사 1단계 반응 - 의사과학자 과정을 만족 하는가? - 학생 만족도 - 의사과학자 기본과정 만족도 설문: Y
2단계 학습 - 연구자로서 기본 역량을 갖추었는가? - 의사과학자 기본과정 평가결과 - 의사과학자 기본과정 성적: Y
- 우수 연구(논문) 수상 - 부산미래과학자상 수상 건수: N
- 국내외 연구프로그램 참여 - SCORE 프로그램 참여 건수: N
- 대학교육혁신처장 면담: N
3단계 행동 - 지도교수의 감독하에 연 구자의 역할을 수행하고 있는가? - 인제대학교 대학원 등록 전공의 - 대학원 입학 통계: N
- 근거기반의학에 바탕을 둔 진료에 대한 전문의, 동료 질적 평가 - 인제의대 졸업생 설문: Y
- 인제의대 졸업생 면담: N
4단계 결과 - 의과학 발전에 기여하고 있는가? - 업무 중 연구에 사용하는 시간 - 인제의대 졸업생 설문: Y
- 논문 수 - 인제의대 졸업생 면담: N
- 특허 건수 - 대학교육혁신처장 면담: N
- 근거기반의학에 입각한 진료 여부 - 인제의대 교수 연구실적: Y
전문직업성을 갖춘 의사 1단계 반응 - 전문직업성 관련 프로그 램을 만족하는가? - 학생 만족도 - 전문직업성 프로그램 만족도 설문: Y
2단계 학습 - 의료윤리와 환자안전을 고려하는가? - 인문사회의학 문제해결능력 - PBL 인문사회의학 평가점수: Y
- 의료법을 이해하고 보건 의료분야를 탐구하는가? - 의료윤리 성찰 - 임상실습 포트폴리오 성찰 분석: N
- 환자안전 과정 평가 - 환자안전 과정 성적: Y
- 환자안전 성찰 - 보건의약관계 법규 성적: Y
- 의료법 지식 - 의사과학자 연구 주제(보건의료분야): N
- 보건의료분야 연구(탐구)활동
3단계 행동 - 전문직업성을 실천하는가? - 세부역량에 대한 자기평가 점수(교육자 전공의, 의료윤리, 시스템 내에서의 진 료, 성찰, 자기주도학습, 평생학습) - 인제의대 졸업생 설문: Y
- 전문직업성에 대한 성찰 - 인제의대 졸업생 면담: N
4단계 결과 - 전문직업성을 실천하는가? - 세부역량에 대한 자기평가 점수(의료윤리, 연구윤리, 교육자의 역할, 시스템 내에서의 진료, 성찰, 자기주도학습, 평생학습) - 인제의대 졸업생 설문: Y
- 세부역량에 대한 동료평가 점수 - 인제의대 졸업생 면담: N
- 자기주도학습 시간 - 대학교육혁신처장 면담: N

인제의대, 인제대학교 의과대학; Y, yes; N, no; CPX, clinical performance examination; OSCE, objective structured clinical examination; PBL, problem-based learning.



Editorial Office
Yonsei University College of Medicine, 50-1 Yonsei-ro, Seodaemun-gu, Seoul 03722, Korea
Tel: +82-2-2228-2514   Fax: +82-2-364-5450   E-mail: office@kmer.or.kr                

Copyright © 2024 by Yonsei University College of Medicine.

Developed in M2PI