, 서론
학교 교육의 효과나 교육정책의 효과를 분석하기 위해서는 일정 기간 학생들의 변화 과정을 추적하여 비교하는 것이 필요하며, 학교 교육의 현상을 파악하고 앞으로의 교육 변화를 예측하고 전망하기 위해서는 학생의 성장과 발달과정을 포함한 생애 정보와 교육 관련 변수 정보의 탐색이 요구된다. 이를 위해서는 학생집단에 대한 횡단자료 분석을 넘어 종단자료(panel data, longitudinal data)의 분석이 요구되며, 같은 특성을 가진 집단을 일정 기간 추적하고, 그 정보를 관찰하여 수집하는 코호트 연구방법 또한 매우 효과적이다[1]. 특히 의학교육 평가인증에서는 학생과 졸업생 코호트에서 사명, 의도한 교육성과, 교육과정, 투입한 자원에 관련된 수행능력을 분석하도록 요구하고 있으며, 이를 위하여 각 대학에서는 나름의 코호트 운영계획을 수립하고 이를 실천하고 있다[2].
이와 같은 각 대학의 도입 노력에도 불구하고, 의과대학 내 교육성과 분석 및 보고 등을 위한 체계적인 조직과 인력구성이 부족할 경우, 코호트 운영 자체에 어려움이 예상되며, 이러한 노력을 각 대학에서 자체적으로 수행함으로써 의학교육 연구인력과 수행인력의 소모적인 노력이 동시다발적으로 이루어지고 있을 가능성이 높다. 특히 교육성과에는 가시적이거나 잠재적인 매우 다양한 변수들이 복합적으로 영향을 미치며, 학생들의 발달적 측면을 분리하는 것 또한 어려우며, 다양한 학습성과와 교육의 질 관리요소들이 변수로 작용할 수 있다는 점에서 각 의과대학에서 어떻게 정의하고, 접근하는가에 따라 다양한 형태를 보일 수 있게 된다.
따라서 코호트 구축 및 운영의 용이성과 수월성을 동시에 확보할 수 있도록 코호트 구축과정과 운영 및 그 결과 등을 수시로 공유하고 전문가 간 협의를 통해 더 효과적이고 발전적인 교육평가방안을 지속적으로 논의할 필요가 있다. 이에 본 단신에서는 대전 소재 건양대학교 의과대학(건양의대)에서 설계하고 실행하고 있는 학생 및 졸업생 코호트의 구축과정과 그 결과를 공유하며, 앞으로의 코호트의 구축과 개선 방향에 대해 기술하고자 한다.
코호트 구축 목적 및 절차
1. 코호트 구축 목적
건양대학교 의과대학은 의과대학에 입학한 학생들 중 코호트 자료수집에 동의한 학생들의 수행능력을 지속적으로 평가하기 위하여 입학 및 기초자료, 학습성과 및 학습활동, 졸업 후 자료 등을 수집・분석・관리・보고하는 전반적 활동으로 코호트를 정의한다. 또한 의과대학 교육의 질을 보장하고, 향상시키기 위하여 의학교육과 관련한 다양한 자료를 수집・분석・관리・보고하는 활동도 포함한다. 즉 건양의대의 코호트는 대학의 사명과 목표 달성 정도를 파악하기 위한 거시적 수준의 교육평가와 함께 학습자의 학습성과와 다양한 특성들 외에도 교육 및 평가방법, 교육전략과 환경, 그리고 그 관리과정 전반을 다루는 다양한 수준의 평가 모두를 학생 코호트 운영의 범위로 정의하였다. 이는 코호트 운영을 교육의 질을 향상시키기 위한 보다 적극적인 대학의 노력으로 정의함으로써 학생들의 성공적인 성장과정을 돕고, 교육 및 정책 효과성을 함께 고려할 수 있도록 하기 위함이다.
2. 코호트 구축절차
건양의대 코호트의 구축과 운영의 궁극적 목적은 교육의 질 관리이며, 따라서 코호트 자료의 수집 및 활용계획은 의과대학 질 관리체계 내에서 구체화 된다(Figure 1). 건양의대는 교육의 질 관리를 위하여 단기 프로그램이나 교육활동 및 지원활동 수준의 micro-continuous quality improvement (CQI), 학기별 또는 학년별 연간 계획 기반 macro-CQI, 그리고 2년 이상 또는 중장기 발전계획 기반 mega-CQI의 3개 수준으로 정의하였으며, 주요 코호트 자료들은 macro 및 mega 수준의 활동에서 주로 산출되고 수집된다. 즉 학기별 또는 학년별 계획에 기반한 학습성과와 자료들 및 각종 교육활동 자료들이 수집되고 분석, 보고되도록 하였다.
이러한 건양의대의 코호트는 2019년 코호트 구축을 위한 task force team (TFT)을 발족하면서 시작되었으며, TFT 활동에 기반하여 코호트 운영 전반에 대한 논의가 시작되었다. 또한 의과대학 내 교육활동을 통해 수집되는 자료들의 규모와 형태 등에 대한 검토에 기반하여 코호트 운영의 목적, 정의, 대상 및 주체, 절차, 보고, 자료관리 및 기타 사항을 정의하였으며, 이를 포괄적으로 기술한 ‘의과대학 코호트 운영에 관한 지침’을 개발하였다. 특히 코호트를 위한 각종 정보보안 대책과 자료의 수집과 보관 관련 방안을 마련하였다(Figure 2). 5년간 기본 자료를 수집하여 분석하고, 이에 기반하여 5년 후인 2023년 코호트 관련 전산화 등의 정책 결정을 하기로 하였으며, 2019학년도 재학생부터 코호트 동의를 득하여 자료수집을 시작하였다. 이때 코호트 분석대상은 입학 및 기초자료, 재학 중 수집되는 학습성과 및 학습활동 자료와 졸업 후 자료 등이며, 교육의 과정에 대한 지표 평가결과 또한 수집된다. 코호트 운영 주체인 의학교육학교실은 설계와 분석 및 보고를, 의학교육지원센터는 데이터베이스 구축 및 관리를 담당한다.
코호트 자료가 갖는 개인정보 및 각종 정보보안 관련 문제를 해결하기 위하여 건양의대는 크게 3가지 보안 관련 정책을 시행하고 있다. 첫째, 코호트 자료의 수집, 보관, 분석, 보고 등의 전 과정과 관련하여 학장의 승인을 득하고, 학장의 책임하에 institutional review board를 득한 후, 학생 동의를 획득하도록 하고 있다. 둘째, 자료의 수집 및 분석, 보고 등을 담당한 주요 교원 및 연구원의 경우, ‘의과대학 코호트 정보보안서약서’를 사전에 작성해야 하며, 연간 1회 숙지해야 할 정보보안 문제들에 대한 워크숍을 자체적으로 시행하고 있다. 셋째, 데이터베이스 구축과정에서 학생의 민감정보나 개인정보는 별도 블록으로 처리되어 식별이 되지 않도록 하고 있으며, 개인정보 처리자 1인을 지정하여 관리하도록 하고 있다. 그럼에도 불구하고 간접 식별이 가능한 경우를 고려하여 2023년 현재 합성데이터 활용에 관한 별도의 연구를 진행하고 있다. 또한 정책적으로 코호트 및 분석 보고 등을 담당하는 교직원의 역량 강화를 위하여 관련 연수를 적극 지원하고 있으며, 정보의학 및 외부 전문가 자문 등을 득하여 지속적으로 모니터링하고 있다.
2019학년도부터 2023학년도까지 5년간의 데이터를 종합 평가한 후, 장기적인 자료수집 및 분석 보고계획을 재정립할 계획이다. 또한 2024학년도부터는 전산화 기반의 체계적 코호트 데이터베이스 구축 및 관리를 계획하고 있으며, 이에 따라 2023학년도에 학생이력관리 선진화 TFT를 구성하여 코호트 전산화 작업을 진행하고 있다.
코호트 설계 및 자료수집
1. 코호트 설계
건양의대는 코호트 분석을 위해 총 12개 지표영역을 정의하고 있으며, 2년마다 작성하는 의과대학 코호트 보고서에 해당 지표 중 정책적으로 중요하다고 판단되는 지표영역을 중심으로 보고서를 작성하고 있다. 지표영역은 다음과 같다: (1) 입학유형에 따른 교육성과와 졸업 후 수행능력, (2) 대학생활 적응도와 정서행동 특성에 따른 교육성과와 졸업 후 수행능력, (3) 사명 및 교육목표에 따른 교육성과와 졸업 후 수행능력, (4) 인적・물적 투입 정도에 따른 교육성과와 졸업 후 수행능력, (5) 과정성과 성취도에 따른 교육성과와 졸업 후 수행능력, (6) 시기성과 성취도에 따른 교육성과와 졸업 후 수행능력, (7) 졸업역량 성취도에 따른 교육성과와 졸업 후 수행능력, (8) 국가고시 합격률에 따른 교육성과와 졸업 후 수행능력, (9) 진로(경력) 개발 교육성과에 따른 졸업 후 수행능력, (10) 장학금 지급성과에 따른 교육성과와 졸업 후 수행능력, (11) 학생상담 시행률 및 학생지원에 따른 교육성과와 졸업 후 수행능력, (12) 졸업 후 직종별 취업률에 근거한 교육성과와 졸업 후 수행능력.
먼저 의학교육학교실에서 코호트 분석과 관련하여 주요 지표를 선정하게 되면 의학교육지원센터에 자료 활용을 위한 데이터 추출을 요청하게 되며, 의학교육지원센터에서는 개인정보처리가 완료된 분석 가능한 분석용 데이터를 의학교육학교실에 제공하게 된다. 코호트 분석을 통한 횡단 및 종단연구의 주요 주제는 2년마다 의학교육 전문위원들의 합의에 의해 결정된다. 2023년 현재 건양의대는 2019학년도에 자료수집 및 활용에 동의했던 학생들을 포함하여 2014학년도 신입생 학생들부터 코호트 자료를 수합하고 있으며, 공식적인 코호트 시작 시점인 2019학년도 신입생을 중심으로 5년간의 데이터 축적 후, 별도의 데이터베이스 시스템 구축 등에 대한 정책을 수립하고 있다.
2. 자료수집
학생들로부터 수집되어야 할 자료나 교육과정 운영이나 교육의 과정에서 발생하는 다양한 자료들에 대한 체계적인 수집을 위하여 매년 신입생들은 자료수집 및 목적, 자료수집 대상, 자료수집 및 보관, 개인정보보호에 대한 대책, 코호트 자료의 제공에 관한 사항 등에 대한 ‘의과대학 코호트 자료수집 및 활용에 대한 설명문’을 제공 받으며, 이에 대한 충분한 설명을 득한 후, ‘의과대학 코호트 자료수집 및 활용 동의서’를 작성하게 된다. 코호트 자료수집 및 활용에 동의한 학생들의 자료들만 수집 분석되며, 이때 자료의 보관 및 사용기간은 규정상 반영구적이나, 졸업 후 6년까지는 의학교육지원센터 내 시건장치가 있는 별도의 장소에서 자료를 보관하며, 그 이후에는 원본 자료를 폐기하고 전자 데이터로 보관하도록 하고 있다. 코호트 참여자가 자료수집 활용에 대한 동의를 철회할 경우, 즉시 해당 참여자의 자료를 폐기하며, 기존 자료의 수집은 동의하나 이후 자료수집에 동의하지 않을 경우, 수집된 자료만 활용하고 그 이후에는 해당 참여자에 대한 자료수집을 전면 중단하도록 하고 있다.
주로 수집되는 자료의 종류와 수집시기, 수집자료 및 담당 부서는 Appendix 1과 같다. 이러한 코호트 자료는 의과대학 코호트 운영에 관한 지침에 근거하여 ‘의과대학 코호트 자료 승인 신청서’를 작성하고, 학장의 승인을 획득 후 정보보안 서약서를 작성한 경우에 의과대학이 정한 교육 및 연구자료로 활용할 수 있도록 하고 있다.
코호트 운영 및 활용
건양의대의 경우, 교육의 질 관리 주체를 ‘질 관리 위원회’로 규정하고 있으며, 의과대학 코호트 운영 주체는 의학교육학교실과 의학교육지원센터로 정하고 있다. 이는 장기간에 걸친 자료수집 및 분석의 안정성과 코호트 자료 활용 및 지속적인 개선을 위한 의학교육 전문성 활용정책에 따른 것이다. 또한 이러한 활동을 적극적으로 수행할 의학교육 전문위원제도를 도입하고, 질 관리활동과 관련하여 지속적인 협의와 숙고를 할 수 있도록 예산과 인력을 지원하고 있다. 코호트 운영을 위한 절차와 코호트 분석대상 및 주체는 Figure 3과 같으며, 코호트 자료수집 대상 및 담당 부서는 Appendix 1에 제시된다.
코호트 운영의 절차는 다음과 같다. 각 행정 담당 부서와 위원회에서는 매년 관련 자료를 수집하며, 의학교육지원센터 코호트 자료 담당자가 총괄 수합하여 이를 전산 자료로 보관・관리하게 된다. 의학교육학교실에서는 학생 코호트 분석 시 학생 성과와 관련하여 주로 분석할 영역으로 총 12개 지표영역 중 특정 영역을 중심으로 당해 연도 자료수집 및 분석계획을 수립한다. 코호트 자료 담당자는 해당 자료를 정제하여 의학교육학교실에 제공하며, 의학교육 전문가와 자료 담당자 등이 참여하여 분석계획에 따라 분석하고, 2년마다 보고서를 작성하여 구성원들에게 공유하고 있다. 공유방법으로 전체교수회의 등을 통해 전체 교원에게 주요 이슈들이 전달되며, 보고서 요약본은 의과대학 홈페이지에 게시되어 학생 및 교직원들이 언제든지 열람할 수 있도록 하고 있다. 또한 보고서 내용에 근거하여 학생 성과 분석뿐만 아니라 대학 발전계획의 점검과 교육운영의 환류개선 등이 논의되고 있다.
건양의대는 2019학년도 재학생부터 ‘의과대학 코호트 자료수집 및 활용에 대한 동의’를 획득하였으며, 2014학년도 1학년 입학생 자료부터 2023학년도 재학생에 이르는 10년간의 자료가 현재 축적되어 있다. 졸업생의 경우, 2019학년도부터 5년간 졸업연도와 관련 없이 졸업생 전원 대상으로 관련 자료를 수집하고 있으며, 5년 경과 시점인 2024학년도부터는 졸업 후 5년간 매년 수집하고, 그 이후 3년마다 졸업생 코호트 자료를 수집할 계획이다. 코호트 운영을 위해 수집되는 자료들의 형태는 크게 2가지로 구분되는데, 하나는 재학생과 졸업생 대상으로 직접 수집되는 자가보고 설문형태의 자료나 검사자료이며, 다른 하나는 교육성과 결과나 기타 교육의 과정에서 자동으로 산출되는 각종 결과물 들이다. 대체로 정형 데이터 형태로 수집되며, 현재는 별도로 개발된 데이터베이스 프로그램을 활용하여 단순 저장 후 개인정보를 삭제한 형태로 인출하여 분석하고 있다.
코호트의 효과적인 활용을 위하여 의과대학 코호트 분석결과는 ‘의과대학 학생 코호트 보고서’에 수록되며, 해당 보고서에는 다양한 현황 분석 및 개선점 등이 제공된다. 예를 들어, 연도별 과정성과 도달 여부에 따른 대학생활 적응 및 대학만족도 비교 분석결과, 유급 및 휴학 경험 여부에 따라 교육만족도 차이가 있었으며, 유급 및 휴학 경험자가 그렇지 않은 학습자보다 더 낮은 대학 만족도와 적응을 보였다. 이에 의과대학에서는 유급 상담과 휴학자 복학 상담 전담자를 배정하여 희망 학생들에 대한 적극적인 상담을 제공하고, 적응을 높이기 위한 다양한 학습 및 상담지원 등을 제공하는 정책을 강화한 바 있다.
결론
건양의대의 학생 코호트는 교육의 질 관리활동의 일환이자 의학교육을 위한 맥락(목표 및 계획과 규정 등), 투입(인적, 물적 자원의 할당과 집행), 과정(교육과정 및 각종 교육활동의 운영), 산출(교육성과 및 각종 교육활동 결과들)에 대한 평가와 환류 개선을 위해 계획되고, 운영되고, 평가되고 있다[3]. 이러한 접근은 학생 코호트를 단순히 교육성과에 대한 정보 수집과 평가로 정의하는 협의를 넘어 보다 광의의 개념인 기관연구(institutional research, IR)가 이루어지도록 노력하고 있다[4]. 즉 의과대학에서 일어나는 다양한 교육의 과정을 평가하고 개선하도록 정책 의사결정을 돕는 보다 적극적이고 광범위한 평가활동으로 정의함으로써 데이터 기반의 IR센터 운영의 개념으로 정의하고자 하며, 이때 가장 중요한 요인 중 하나로 재학생과 졸업생의 학습성과를 다루도록 설계하고 있다. 따라서 대학에서 수집하는 모든 자료가 코호트 자료가 될 수 있으며, 반면 수집된 자료와 분석결과 또한 질 관리의 대상이 될 수 있다.
건양의대는 대학에서 정한 ‘의과대학 코호트 운영에 관한 지침’에 근거하여 매년 신입생의 ‘의과대학 코호트 자료수집 및 활용에 대한 동의’를 획득하고 있으며, 의학교육지원센터에서 관리하는 교육 관련 광범위한 수집자료를 의학교육학교실이 계획한 코호트 분석계획에 따라 분석하고 2년마다 보고서로 작성하여 공유하고 있다. 이러한 광범위한 분석을 위해서는 몇 가지 조건들이 갖추어져야 한다. 먼저 코호트 운영을 위한 핵심 부서나 팀이 필요하며, 전문 인력 배치와 이들을 위한 역량 강화 활동 지원이 요구된다. 코호트 운영을 위해 수집되는 자료 특성들에 의해 철저한 정보보안과 체계적인 데이터 관리가 요구되며, 자료축적에 따라 자연스럽게 빅데이터로 확장될 것이므로 분석 및 관리 등을 효율적으로 수행할 수 있도록 데이터베이스 전산화 과정이 필수적으로 수반된다. 따라서 초기 투입비용과 지속적인 지원이 필요하며, 이러한 필요성을 의과대학에서 동의하고 지원하는 것은 매우 중요하다. 따라서 코호트를 광의의 IR 개념으로 정의하고 의과대학에서 필요한 다양한 교육의 과정 정보를 함께 제공하는 것이 보다 효과적이다.
코호트 운영의 또 다른 조건은 자료의 수집을 보다 용이하게 하기 위한 대학 본부와의 연계와 학생과 졸업생의 적극적 협조이다. 즉 다양한 이해관계자들의 이해를 높이고 이들이 IR의 핵심 당사자이자 수혜자가 될 수 있도록 의미 있는 분석결과들을 마이닝하는 것이 필요하다. 연간 학생 대상으로 생성되거나 수집되는 자료의 규모는 매우 다양하며, 그 다양성에 비해 표집 크기가 적은 특성을 가진 데이터가 약 5년 정도 수집되면 해당 자료들이 곧 빅데이터로 정의될 수 있는 규모로 확장된다. 코호트 연구의 전향적 특성을 고려한다면 건양의대에서 정의한 것처럼 코호트 연구를 위한 지표영역 등을 사전에 정하고, 수집자료를 축소하는 것이 필요하다. 그러나 대학 내에서 수집되는 다양한 자료를 빅데이터로 정의하고, 이들 자료들을 대상으로 데이터마이닝을 통해 다양한 교육현상들을 이해하는 후향적 노력 또한 필요하다고 본다. 이를 위해 건양의대는 표집 크기의 한계를 극복하기 위한 합성데이터 활용방안에 대해 논의하고 있으며, 빅데이터로서의 교육데이터 수집 및 관리방안과 데이터마이닝 방안 등에 대한 논의를 시작하고 있다. 또한 5년간의 자료축적과 시범운영을 넘어 데이터베이스 기반 전산화를 위한 작업을 시작하였고, 추후 분석과 결과보고 자동화 방안 등에 대해 모색할 예정이다.
본 저자는 코호트 운영이 의과대학의 또 다른 부담이 되지 않기를 희망하며, 의학교육의 효과성을 높이고 의과대학의 운영과 정책 결정에 도움이 되는 의미 있는 활동이 되어야 한다고 생각한다. ASK2019 (Accreditation Standards of KIMEE 2019) 평가인증을 충족하기 위한 의무적 활동이 아닌 의과대학 발전에 기여할 수 있는 데이터 기반의 질 관리활동 중 하나로 자리 매김할 수 있기를 기대한다. 이를 위해 많은 의과대학이 연대하고, 공동으로 노력하여 함께 개발해 나가기를 희망하며, 이러한 노력 자체가 의학교육을 보다 발전시키는 데 조금이나마 도움이 되기를 진심으로 기원해 본다.
PDF Links
PubReader
ePub Link
XML Download
Full text via DOI
Download Citation
Print
