Cohort Establishment and Operation at Pusan National University School of Medicine

So-Jung Yune; Sang-Yeoup Lee; Sunju Im

doi:10.17496/kmer.23.013

Abstract

Pusan National University School of Medicine (PNUSOM) began analyzing the cohort of pre-medical students admitted in 2015 and has been conducting purposeful analyses for the past 3 years. The aim of this paper is to introduce the process of cohort establishment, cohort composition, and the utilization of cohort analysis results. PNUSOM did not initially form a cohort with a purpose or through a systematic process, but was able to collect longitudinal data on students through the establishment of a Medical Education Information System and an organization that supports medical education. Cohort construction at our university is different in terms of a clear orientation toward research questions, flexibility in cohort composition, and subsequent guideline supplementation. We investigated the relevance of admission factors, performance improvements, satisfaction with the educational environment, and promotion and failure rate in undergraduate students, as well as performance levels and career paths in graduates. The results were presented to the Admissions Committee, Curriculum Committee, Learning Outcomes Committee, and Student Guidance Committee to be used as a basis for innovations and improvements in education. Since cohort studies require long-term efforts, it is necessary to ensure the efficiency of data collection for graduate cohorts, as well as the validity and ethics of the study.

Keywords: Cohort studies; Graduates; Medical students

서론

부산대학교 의과대학은 2015년도 입학한 의예과 학생 코호트를 대상으로 2020년도에 분석을 시작하여 지난 3년 동안 목적에 따라 분석을 지속해 오고 있다. 우리 대학은 입학요소에 따른 수행능력을 분석하여 입학전형을 개선하고 있는데, 특히 2015년도에 의학전문대학원에서 의과대학으로 학제 개편 후 의학전문대학원 입학생과 의예과 입학생의 학습상황, 수행능력, 진급과 중도탈락 비율, 진로 등의 추이를 지속적으로 비교해 볼 필요가 있었으며, coronavirus disease 2019 (COVID-19) 팬데믹 상황에서 학생들의 학업성취도를 모니터링하여 학습환경을 개선하고자 하였다. 즉 입학 및 교육의 변화가 학생들의 학업성취, 진로선택 등에 어떤 영향을 미쳤는지 파악하여 교육과정, 교육방법, 평가체계 또는 학생 지도 등 교육의 과정요소를 개선하고자 코호트 연구를 시행하였다.

코호트 분석이 가능했던 이유는 종단자료(longitudinal data)를 확보할 수 있었기 때문이며, 방대한 자료 중에서 분석목적에 따라 자료를 재정리하는 과정을 거쳤다. 우리 대학의 종단자료 구축과정, 코호트 구성과 분석요인, 코호트 분석결과의 활용을 소개하고자 한다.

종단자료의 구축과정

부산대학교 의과대학은 코호트의 목적이나 체계적인 절차를 통해 코호트를 구축한 것이 아니라, 정보기술을 활용한 의학교육정보시스템과 의학교육을 총괄하는 기구의 설립으로 학생들의 종단자료를 확보할 수 있었다. 우선, 의학교육정보시스템은 교육과정 운영과 학생평가를 효율적으로 하기 위해 컴퓨터기반평가시스템, 실기시험평가시스템, 임상실습평가시스템, 강의평가시스템 등을 구축한 것으로, 2009년부터 학생평가 자료를 축적할 수 있는 계기가 되었다[1]. 또한 의학교육지원실은 2015년에 교육전담 조교를 확보함에 따라 교육과정의 설계, 운영 및 평가를 지원하는 총괄기구로서의 기능을 수행하였고, 의학교육지원 활동을 통해 과정별, 시기별 학생평가 자료, 상담기록, 졸업 설문 또는 심리검사와 같은 교육 모니터링 자료를 지속적으로 확보할 수 있었다[2]. 이와 같이 정보시스템과 교육전담기구의 설립으로 코호트의 기본이 되는 방대한 종단데이터베이스를 구축하게 되었다.

구체적으로 자료수집과 분석과정을 살펴보면, 자료수집의 주체는 의학교육지원실이고, 학생모니터링그룹과 행정실이 자료수집의 일부를 담당하며, 의학교육학교실은 자료수집 과정을 관리한다. 자료는 수집시기와 항목에 따라 입학, 수업・과정, 시기・졸업, 졸업 후, 정신건강으로 구분되는데, CIPP (context, input, process, & product)에 맞추어 교육의 과정을 모니터링할 수 있도록 구성되었다(Appendix 1). 교육평가위원회(의학교육학교실 포함)는 입학전형위원회, 교육과정위원회, 학습성과위원회 및 학생지도위원회 회의를 통해 분석이 필요한 내용에 대한 의견을 수렴한 후 연구문제를 선별하여 구체적인 자료를 의학교육지원실에 요청하였다. 의학교육지원실은 연구에 필요한 종단자료를 별도의 엑셀파일로 ‘2015 입학 코호트’, ‘2022 졸업 코호트’ 또는 ‘의학전문대학원(또는 의예과) 코호트’ 등으로 구성하여 교육평가위원회 분석 담당 위원에게 제공하였다. 종단자료는 분석담당 위원과 의학교육지원실 담당자만 열람할 수 있으며, 암호를 사용하여 관리하였다.

코호트 구축은 모형연구를 통해 면밀한 설계작업이 이루어지거나[3], 목적 설정, 평가지표 개발, 동의서 개발, 코호트 수집항목 선정과 도구 개발, 내규 및 지침 개발의 단계로 체계적으로 진행될 수 있으나[4], 우리 대학의 코호트 구축은 뚜렷한 연구문제 지향, 코호트 구성의 유연성 및 지침의 후속 보완 면에서 다른 양상을 보인다. 먼저 분석할 연구문제를 명확히 설정한 후 교육 모니터링 자료로부터 필요한 종단자료를 선별하여 구성하였다. 엑셀을 활용하여 데이터를 구성하였으므로 데이터 구성에 효율성이 부족하나 연구문제에 따라 유연하게 자료를 추가・삭제할 수 있었다. 졸업생 진로와 같이 기존 데이터베이스 이외에 자료가 필요한 경우에는 의학교육지원실을 통해 조사를 시행하였다. 개인정보 수집 및 이용 동의서는 2019년부터 후향적 또는 전향적 연구를 위해 확보하였고, 코호트 운영지침은 2020년에 교육평가 규정에 기술하여 제도적 보완을 시행하였다.

코호트 구성과 분석요인

우리 대학이 최근 3년간 시행한 코호트 구성과 분석 내용은 Appendix 2에 제시되었다. 분석방법은 코호트 간 횡단적 비교(같은 시점, 다른 코호트), 코호트 내 종단적 비교(다른 시점, 같은 코호트) 방법이 주로 사용되었으며[3], 후향적(retrospective) 연구였다.

1. 입학요소와 수행능력의 관련성

입학요소와 수행능력의 관련성을 알아보기 위해 재학생 입학정보와 수행능력정보를 수집하였다. 입학정보는 2015–2021 입학 코호트별로 성별, 고등학교 유형, 입학전형, 현역, 재수, 삼수 이상 비율, 출신 고교소재지 비율, 입학연도별 유급, 휴학, 제적률을 조사하였다. 2015, 2016 입학 코호트에서 입학정보별 성적추이를 종단적으로 비교하였다.

2. 졸업성과별 수행능력의 향상도

졸업성과(의사소통과 협력, 전문직업성, 의학지식, 임상술기, 학자적 소양) 평가를 위해 교내 의학교육전문가를 대상으로 델파이 조사를 시행하여 요인을 구성하였고, 이를 바탕으로 2015, 2016 입학 코호트에서 학생 개별의 수행능력이 향상되는지 종단적으로 분석하였다.

3. 의예과 입학생과 의학전문대학원(의전원) 입학생의 비교

의예과 첫해인 2015 입학 코호트와 의전원 마지막 졸업생인 2016 입학 코호트 간에 수행능력, 졸업성과별 수행능력, 학습상황 분석(학습시간, 학업 외 특별한 관심분야, 의학교육환경 만족도), 진급, 낙제, 중도탈락 비율과 사유를 비교 분석하였다. 이것은 의예과-의전원 체제의 교육과정, 투입자원, 학습상황에 따른 수행능력 차이를 비교하기 위함이었다.

4. COVID-19 전후 학생들의 수행능력 비교(COVID-19 학습상황에 따른 수행능력 차이)

COVID-19 전 2016, 2017 입학 코호트와 COVID-19 후 2018, 2019 코호트 간에 기초종합평가, 임상종합평가, 학점을 횡단적으로 비교하였다.

5. 의학교육환경 만족도 변화

2016, 2017 코호트 176명에서 의학교육환경에 대한 DREEM (Dundee Ready Education Environment Measure) 설문을 반복적으로 시행하였고, 반복측정 분산분석을 통해 종단적 분석을 시행하였다[5].

6. 성격과 심리상태에 따른 수행능력 차이

2015–2021 입학 코호트 간 MBTI (Myers-Briggs Type Indicator) 성격유형과 간이정신진단검사(Korean Symptom Checklist 95) 결과를 비교하였고, 성격유형별 성적 차이, 유급생의 성격유형과 심리상태, 심리적 상태와 성적과의 상관을 분석하였다.

7. 진급, 낙제 비율 조사와 학습부진 및 유급생 면담결과 분석

2015–2021 입학 코호트별로 진급, 낙제, 중도탈락 비율을 조사하고 면담기록을 분석하여 학습부진과 유급의 원인을 조사하였다.

8. 의사국가고시 분석

졸업연도 코호트별로 합격률 현황을 분석하고 있으며, 2021, 2022 졸업 코호트에서 입학정보와 의사국가고시 필기시험 성적, 불합격생의 입학정보를 분석하였다.

9. 졸업생 진로

2017–2019 졸업 코호트 간 전공분야와 근무지역을 조사하였다.

10. 졸업생의 수행능력

2020, 2021년도 전공의 1–4년차의 수행능력에 대해 교수 평가를 시행하였으며, 2020년도 전공의 1, 2년차 수행능력과 의과대학 4학년 임상시험종합과정(필기, 실기)과의 상관성을 분석하였다. 졸업생 수행능력 회수 자료는 30–36명으로 표본 수가 부족하여 신뢰성 있는 자료를 얻지 못하였다.

코호트 분석결과의 활용

코호트 분석의 주요 결과는 Appendix 2에 제시되었다. 이 결과는 입학전형위원회, 교육과정위원회, 학습성과위원회 및 학생지도위원회에 보고되었고, 각 위원회는 입학정책 수립, 교육과정 개선, 학생지도체계 개선에 결과를 활용하였다.

1. 입학전형위원회

입학요소별 재학생의 수행능력, 의사국가고시 성적, 졸업생의 근무지역 분석결과는 입학전형위원회에 환류되어 입학정책을 수립하는 데 활용되었다. 예를 들어 지역전형 입학생의 지역사회 근무 비율이 높음을 확인하고 입학전형위원회는 지역전형의 비율을 확대하였다.

2. 교육과정위원회, 학습성과위원회

졸업성과별 수행능력, 의예과 입학생과 의전원 입학생 간의 수행능력, COVID 전후 수행능력, 의사국가고시 분석, 졸업생의 수행능력 분석 등은 교육과정위원회와 학습성과위원회에 환류되어 교육과정을 개선하는 데 활용되었다. 예를 들어 COVID-19 팬데믹 동안 수업을 받았던 본과 1, 2학년 학생들의 수행능력이 저조한 것을 확인하고, 교육과정위원회와 학습성과위원회는 2학년 임상의학종합과정의 내실 있는 운영을 통해 학생들의 수행능력을 높이는 노력을 하고 있다.

3. 학생지도위원회

의학교육환경 만족도, 성격과 심리상태에 따른 수행능력, 진급, 낙제, 중도탈락 비율, 학습부진 및 유급생 면담분석은 학생지도위원회에 환류되어 학생지도체계를 보완하는 데 활용되었다. 예를 들어 학습부진과 유급의 가장 많은 원인은 수업관리(출석, 수업집중)와 공부습관임을 확인하고, 출석관리를 보다 엄격하게 시행하고 있다.

코호트 구축 및 운영에 대한 개선방향

우리대학은 기존의 교육 모니터링 자료를 활용하여 코호트 연구에 필요한 종단자료를 재구성하는 형태이므로 자료정리에 어려움이 있다. 또한 전국의 병원에서 근무하는 졸업생 코호트에게 일개 대학 차원에서 자료를 수집할 때 설문 회수율이 낮고 신뢰성 있는 표본 자료를 확보하기가 어려웠다. 비밀보장 및 보안, 자료활용 및 제공원칙 등 보다 엄격한 절차를 마련하고 규정을 보완할 필요가 있다.

결론

우리 대학은 코호트 분석을 통해 입학과 교육의 변화가 학생들에게 미치는 영향을 조사하고 있으며, 교육의 혁신과 개선을 위한 근거를 교육 관련 위원회에 제공하고 있다. 코호트 연구는 장기간 자원이 투입되므로 졸업생 코호트 자료수집 또는 데이터 자동화를 통한 실무의 효율성을 높여야 하고, 연구의 타당성과 윤리성 확보를 위한 노력이 필요하다.