Establishment and Management of an Educational Outcome Cohort at the Keimyung University School of Medicine

Soongu Kim; Aehwa Lee; Garam Lee; Ilseon Hwang

doi:10.17496/kmer.23.006

Abstract

An educational outcome cohort has been established at Keimyung University School of Medicine to help make educational policy decisions and improve educational programs based on data. The purpose of the educational outcome cohort is to support educational policy decisions for achieving graduation outcomes smoothly and to accomplish the intended human resources development of the university through objective analyses and regular monitoring, providing continuous feedback. The data collected for the educational outcome cohort include the student identifications of freshmen, entrance exam scores, premedical and medical school grades, titles and forms of student academic research, the results of psychological testing, scholarship recipient lists, volunteer clubs, and so forth. The data are collected using an information utilization agreement approved by the Institutional Review Board, and the collected data are encrypted and stored on a dedicated computer for enhanced personal information security. Proposals to access and utilize the educational outcome cohort data must be discussed and approved by the Educational Outcome Cohort Committee, which decides on the scope and method of utilization. The collected and managed educational outcome cohort data have been used to develop comparative programs to improve students’ competency and to support admission policy decisions through an analysis of the characteristics and performance of medical school students. The establishment and utilization of the educational outcome cohort will play an important role in determining the School of Medicine’s educational policies and suggesting new directions for educational policies in the future.

Keywords: Achievement; Cohort; Medical education; Performance

서론

최근 의과대학은 의료환경의 변화에 능동적으로 대처하기 위하여 미래 의사가 갖추어야 할 역량, 대학의 인재상을 반영한 사명과 졸업성과 등을 설정하고 있다[1,2]. 의과대학 교육프로그램은 각 대학의 고유한 사명과 졸업성과 및 그 대학의 상황과 맥락에 따라 다양하게 운영되고 있다. 이러한 교육프로그램의 운영결과가 효용성을 획득하기 위해서는 그 프로그램이 해당 대학의 사명과 졸업성과 달성 정도에 적합한지에 대한 분석을 하고, 분석결과를 바탕으로 교육프로그램 개발 및 개선, 교육자원 및 환경 개선 등의 후속작업이 동반되어야 한다[3-5]. 또한 의학교육 평가인증에서는 의학교육의 질 향상을 위하여 재학생과 졸업생의 수행능력을 사명, 교육성과, 교육과정 및 투입된 그 밖의 자원 등으로 구분하여 분석하고 이를 관리하기 위한 지표 개발 및 체제 구축을 요구하고 있다[6].

의과대학 내 코호트 구축은 학생의 입학부터 졸업까지의 시간의 흐름에 따라 동일한 특성을 가진 집단을 일정 기간 추적 및 관찰하고, 이 중 유의미한 결과들을 발견하여 의과대학의 교육활동 전반에 대해 개선하기 위한 자료로 활용할 수 있다는 데 의의가 있다. 이러한 의과대학생을 위한 코호트는 입학부터 졸업까지의 장기적이면서도 학생에게 영향을 미칠 수 있는 다양한 변수를 고려해야 하기 때문에 자료관리의 체계성을 갖추고자 하는 노력이 필요하다. 이에 계명대학교 의과대학은 코호트 체제의 체계적인 구축과 관리를 통하여 도출된 평가결과를 실제 의과대학 교육의 과정에 있어 효율적 운영을 위한 개선자료로 활용하고자 하였다.

교육성과 코호트의 구축과정

계명대학교 의과대학 재학생 및 졸업생을 대상으로 하는 코호트를 교육성과 코호트로 이름 지었으며, 교육성과 코호트의 구축은 크게 2단계로 진행되었다. 1단계로 코호트 구축에 있어 자료의 제공처, 이용방법 및 관리방법 등에 대한 규정을 제정하고 가이드를 제작하였다. 2단계로 2010학년도부터 2021학년도까지의 재학생을 수집대상으로 하여 재학생 코호트와 졸업생 코호트로 구성된 교육성과 코호트를 구축하였다. 이러한 코호트 구축을 통하여 의과대학의 사명과 졸업성과의 연계성 분석 및 피드백, 교육과정의 변화에 따른 학생 성과분석 등 의과대학의 질 개선을 위한 다양한 연구가 가능하게 되었다.

법제상 교육을 위해 발생된 정보자료에 대해서는 수집 및 보관이 가능하지만, 본교는 체계적인 관리를 통한 개인정보보호를 위하여 의과대학장을 연구책임자로 임명하여 계명대학교 동산병원 임상시험윤리위원회(Institutional Review Board, IRB) 심의를 받았으며(DSMC 2021-11-003), 2022학년도부터 IRB에서 승인된 “정보 활용 동의서”를 이용하여 신입생에게 동의를 받고 있다. 또한 2022학년도부터는 졸업생에게도 “개인정보 수집 및 이용 동의서”를 추가로 받음으로써 체계적인 정보 이용 및 관리를 위해 노력하고 있다.

교육성과 코호트 자료의 구성 및 수집・관리방법

교육성과 코호트 자료는 재학생 코호트와 졸업생 코호트가 합쳐진 형태로 구성되며, 재학생 코호트는 기본정보, 입학성적, 의예과성적, 의학과성적, 학생학술연구, 심리검사, 장학금명단 및 봉사/동아리 등 8개의 영역으로 구분하였고, 졸업생 코호트는 여기에 졸업 후 진로가 포함된 9개의 영역으로 구분하여 관리하고 있다. 세부적으로 기본정보는 학번, 입학연도, 성별, 학적상태 등으로 구성하였고, 입학성적은 전형 구분, 모집단위, 모집 구분, 학생부성적, 입시성적 등으로 구성하였다. 다만, 입시과정에서 발생하는 다면인적성면접(multiple mini interview) 결과를 포함한 입시전형 관련 일부 자료는 대외비이거나 폐기를 원칙으로 하기 때문에 신입생 관련 자료에 포함하지 않았다. 의예과성적은 학기별 석차, 신청학점, 취득학점, 휴학, 유급 등으로 구성하였고, 의학과성적은 평균점수, 석차, 유급, 휴학 등으로 구성하였다. 학생학술연구는 연구형태, 연구제목 등으로 구성하였고, 심리검사는 기질, 성격, 우울척도, 자살생각척도, 인터넷중독척도, Minnesota Multiphasic Personality Inventory 결과 등으로 구성하였다. 장학금명단은 장학내용, 입학장학금 여부, 지급 구분 등으로 구성하였고, 봉사/동아리는 동아리명 등 관련 정보로 구성하였다. 졸업생 자료는 입학연도, 졸업연도, 근무처, 인턴근무형태, 인턴근무지역 등으로 구성하였다(Appendix 1).

교육성과 코호트 구축을 위한 자료는 신입생 및 재학생 자료의 경우 의과대학 행정팀에, 졸업 후 자료의 경우 의과대학 행정팀 및 계명대학교 의과대학 동창회에 교육성과 코호트 위원장이 요청하여 수집하였다(Appendix 1). 각 부서에서 제공된 다차원 형태의 자료 연결을 위해 마이크로소프트사의 Access 프로그램(Microsoft Corp., Redmond, WA, USA)을 활용하여 데이터를 연결하여 관리하고 있다(Appendix 2). 학생이 입학 시에 취득하게 되는 신입생 명부표를 중심으로 학번을 활용하여 의예과성적, 의학과성적, 학생학술연구, 심리검사, 장학금명단 및 봉사/동아리 등의 자료를 연결하였다. 이렇게 생성된 교육성과 코호트 자료는 개인정보 보안 강화를 위해 암호화하여 전용 컴퓨터에 보관하고 있으며, 데이터 손상에 대비하여 별도로 외장하드에 이중 백업하여 관리하고 있다. 교육성과 코호트 자료의 권한은 교육성과코호트위원장에게 있으며, 자료에 접근 및 활용하고자 할 때에는 교육성과코호트위원회의 논의를 거쳐 활용범위와 방법을 결정하고 있다.

교육성과 코호트의 활용

교육성과 코호트는 계명대학교 의과대학 학생의 다양한 변인을 분석하고 졸업 및 시기성과 달성 정도를 평가하여, 학생의 역량 향상을 위한 교육프로그램을 제공하고 교육정책 결정을 지원하는 데 활용되었다. 그 예로, 교육과정의 개선을 위한 목적으로 신입생입학성적(수능-탐구) 항목과 의예과성적(평균평점, 석차) 및 의학과성적(평균점수, 석차)을 분석하였고, 그 결과를 바탕으로 의예과 1학년을 대상으로 비교과프로그램을 개설하여 생물 관련 교육을 진행하였다. 그리고 의과대학의 입학정책을 논의하는 입학전형개발위원회에 제공을 목적으로 신입생 명부의 입학전형에 따른 의학과성적(평균평점, 석차, 유급횟수)을 분석한 자료를 제공함으로써 교육정책 결정을 지원하였다. 또한 동산병원 교육수련부와 입학 및 대외협력실에 동산병원 인턴 인력충원과 관련된 정책 결정을 지원하기 위하여 의학과성적(평균평점, 석차, 유급)에 따른 인턴지원지역 분포(취업지역)를 분석한 자료를 제공하는 등 여러 가지 정책적 의사결정을 할 수 있도록 자료를 활용하고 있다.

결론

의과대학 학생 코호트 자료는 재학생 및 졸업생의 개인정보를 비롯한 민감정보를 포함하기 때문에 자료제공자의 동의 및 IRB 심의를 통한 체계적인 관리가 필요하다. IRB를 통해 소홀해질 수 있는 학사정보 등의 보안에 주의할 수 있다. 자료제공자의 동의를 거치지 않은 자료는 원칙적으로 수집 및 이용을 하지 않아야 한다. 의과대학의 교육과정, 교육의 과정, 교육평가 등에 활용되는 코호트자료는 다양한 자료를 수집하기 위한 노력이 필요하지만 모든 자료를 수집할 수 없음을 유념하여야 한다. 코호트 자료는 주로 고유한 번호에 해당하는 학번에 의해서 연계가 가능하고 이에 따라 하나의 데이터베이스 형태로 관리될 수 있지만, 모든 자료를 연결하는 데는 어려움이 있을 수 있다. 이러한 경우 필요에 따라 자료를 가공하여 쓸 수 있으므로 자료를 별도로 관리할 필요가 있다.

졸업생에 대한 코호트 자료는 전공분야의 선택, 근무연수, 의과대학에 대한 인식 등이 포함될 수 있으며, 의과대학 동창회를 통하거나 개별 설문조사를 통해서 그 자료를 수집할 수 있다. 하지만 개인정보 제공에 대한 보호문제 및 설문조사에 대한 비협조성 등으로 인하여 어려움을 겪게 된다. 이에 우리 대학은 졸업 시점에서 개인정보제공동의서를 한번 더 취득하는 것을 추진하고 있으며, 설문조사에 대한 보상을 통해 설문조사에 대한 협조를 높여 나가고자 한다. 이렇게 수집되는 자료를 이용하여 의과대학의 여러 가지 의학정책을 평가하고, 추후 나아갈 방향을 제시할 수 있을 것으로 예상된다.

의과대학 코호트 체제는 교육성과의 달성 정도에 얼마나 도달하였는가를 비교적 객관적인 자료를 분석하여 피드백함으로써, 입학에서부터 졸업에 이르는 여러 가지 교육정책의 결정에 큰 도움이 될 수 있다. 예를 들면, 입학전형에 따른 졸업성과 달성의 정도를 분석한 결과를 바탕으로 입학정책의 방향성을 제시할 수 있으며, 장학금의 배정이나 봉사/동아리 활동 등의 자료를 통해서 우리 대학의 사명을 교육정책에 반영한 정도 등을 파악할 수 있다. 또한 졸업생의 취업현황 자료와 연계해서, 입학부터 졸업까지의 교육과정에 대한 분석 및 대안의 제시도 가능하다. 하지만 아직까지 우리의 교육성과 코호트 자료에는 졸업생과 관련된 내용이 부족한 편이고, 이에 대한 추가적인 수집 및 분석이 필요하다. 이렇게 의과대학의 교육성과 코호트의 구축 및 활용은 의과대학의 교육정책 및 제도를 평가하고, 새로운 교육정책방향을 제시하는 데 중요한 역할을 할 것이다.