Korean Med Educ Rev > Volume 25(2); 2023 > Article
학생지원체계 개선을 위한 학생주도 교육평가 사례

Abstract

Educational evaluation involves data collection and the analysis of various education-related factors to make decisions that improve educational quality. Systematic educational evaluation is essential for enhancing the quality of education. This study reports a case of student-conducted process evaluation of a medical school’s student support system and the procedure for devising improvement plans. Sixteen Inje University College of Medicine students participated in the Education Evaluation Committee (IUCM-EEC) to understand the educational improvement process as learners and actively achieve improvement. The Quality Improvement Committee of the Inje University College of Medicine (IUCM-QIC) decided to reform its student support system based on a previous educational evaluation in 2019. The evaluation of the student support system was conducted for 10 months in 2021 by the student subcommittee, under the guidance of the IUCM-EEC. The CIPP (context-input-process-product) evaluation model was used for a systematic evaluation. Accordingly, the subcommittee developed evaluation criteria and indicators, and analyzed relevant data collected from surveys and the previous literature. For further recommendations and revision ideas, the student subcommittee members interviewed faculty members from six other medical schools and also conducted a focus group interview with the dean and vice deans of IUCM. Finally, the student subcommittee submitted a report to the IUCM-QIC. Communication with various stakeholders is essential for a successful evaluation process. In this case, students, as key stakeholders in education, evaluated the student support system. Their active participation helped improve their understanding of the evaluation process.

서론

교육평가는 교육에 관한 다양한 정보를 수집하고 분석하는 과정이며 수집한 정보는 교육의 질 개선을 위한 의사결정에 중요한 근거로 활용될 수 있다. 이를 통해 학습을 극대화하고 교육의 질을 향상하며 교육과정, 교수학습방법, 교육자료 등을 개선하고 정책을 수립하거나 의사결정을 위한 기초자료를 제공하는 것을 목적으로 한다[1].
인제대학교 의과대학(인제의대)은 의과대학의 교육의 질을 개선하기 위해 2018년부터 교육평가를 위한 독립된 위원회를 조직하여 평가를 시행하였다[2]. 2019년에 시행한 대규모 내부 교육평가 결과에 따라 ‘학생 수가 많고 학습공간의 이동이 잦아 학습자의 발전을 추적하여 돕는 시스템이 부족하여 개선이 필요하다’는 제안이 도출되었고[2], 해당 분야에 대한 체계적인 자료수집과 분석, 개선안을 제시하기 위해 부가적인 평가가 필요함을 인식하였다.
최근 의과대학 학생지원체계는 학습공동체 지원, 학생 정신건강 증진 등의 학생들의 학습뿐만 아니라 생활, 진로 전반을 다루고 있는데[3-5], 지금까지의 의과대학생 지원체계에 대한 자료수집과 평가의 주체는 주로 교수였기에 학생의 요구나 관점을 취사선택할 가능성이 있다. 지금까지 의과대학 학생들이 교육과정 설계에 참여한 여러 연구에서 보인 교육과정 설계의 성과, 문제해결 성과, 학생 피드백 조직화 및 학생들의 주인의식 및 학생-교수 협력 사례를 보았을 때[6,7], 학생지원체계의 주요한 이해관계자인 학생들의 고유한 관점이 반영된 평가가 의미 있을 것이라 판단하였다. 또한 의학교육 평가인증 기준 중 교육평가 영역에는 교육평가활동에 주요 이해관계자를 포함할 것을 하나의 기준(K.7.4.1)으로 두고 있다[8]. 교육평가위원회는 해당 인증기준을 더욱 적극적으로 해석하고 학습자에게 교육활동에 대한 주체성을 부여할 기회라고 생각하여 교육평가위원회 산하 학생소위원회에서 학생지원체계에 대한 평가를 권하였고 학생소위원회가 이를 수용하였다. 학생소위원회는 2021년 10개월간 학생지원체계에 대한 평가를 진행하였고 평가결과와 함께 개선에 대한 제안을 보고하였다[9]. 본 연구의 목적은 일개 의과대학 학생들이 구조화된 교육평가체계에 따라 학생지원체계를 체계적으로 평가한 과정, 절차와 함께 그 결과를 보고하는 것이다.

교육평가위원회 학생소위원회 구성

본교에서는 6년 주기로 교육의 과정에 대한 대규모 내부 교육평가가 이루어지고 있으며 대규모 교육평가에서 도출한 개선점에 대하여 2년 주기로 소규모 내부 교육평가가 이루어지고 있다[2]. 의학교육질향상위원회 산하 교육평가소위원회는 2020년 교육평가위원회로 독립하면서 주요 이해관계자를 교육평가에 참여시키기 위해 학생위원 1인을 위원으로 참여시켰다. 2021년부터 체계적이고 정례적인 자료수집과 평가에 학습자를 참여시키기 위해 학생소위원회를 구성하게 되었다. 새 학년 강의시간 초반에 학생소위원회의 기능과 목적을 안내하였으며 의예과 1학년부터 의학과 3학년까지 각 학년 지원자에게 지원서를 받아 학년마다 3–4명을 선발하였다. 학생소위원회를 구성하면서 양질의 교육평가 자료를 정례적으로 생산하게 되었으며 학생들의 적극적인 참여를 유도할 수 있었다.
2019년 대규모 내부 교육평가결과에서, 인제의대의 약점으로 파악된 학생지원체계를 2021년 교육평가 주제로 선정하였고, 워크숍을 통해 교육평가와 방법에 대한 교육평가위원회의 지도를 받은 학생소위원회가 주체가 되어 평가를 수행하였다.

학생지원체계 개선을 위한 평가 및 개선안 도출절차

1. 평가질문과 평가방법 설정

역량바탕의학교육을 달성하기 위해서는 잘 조직된 교육과정이 필요하며 교육과정을 제대로 실행하는 것 외에도 교육과정에 따라 학습을 수행하는 학습자에 대한 지원과 지지가 중요하며, 이를 통해 교육의 성과를 달성하도록 견인할 수 있다. 학생지원체계는 학습과 생활에 대한 상담이나 조력뿐 아니라 진로에 대한 탐색과 코칭이 포함되므로 미래의 좋은 의사를 양성하는 의과대학의 사회적 책무 면에서 종합적이고 체계적인 학생지원은 중요하고 필수적이다.
인제의대의 학생지원체계를 개선하기 위하여 학생소위원회는 다음과 같은 평가질문을 선정하였다. (1) 현재 인제의대 학생지원체계는 어떠한가? (2) 현재 인제의대 학생지원체계의 문제점은 무엇이고 개선사항은 무엇인가? (3) 타 학교 학생지원체계는 어떠한가? (4) 타 학교 학생지원체계의 장점은 무엇이고 어떤 점을 배워서 우리 학교에 적용할 수 있을까? 평가 질문 (1), (2)를 위해 체계적인 교육평가를 시행하기로 하였으며 (3)을 위해 타 의과대학의 학생지원체계에 대한 문헌고찰, 교수자 면담을 시행하기로 하였다. (2), (4) 질문의 결과를 도출하기 위해 학장단, 교육평가위원회에 평가결과를 보고 후 토의한 결과를 정리하기로 하였다(Figure 1).

2. 교육평가 시행

1) 교육평가 모형 결정

인제의대는 2019학년도부터 교육평가 모형으로 교육프로그램 전 과정을 평가하는 과정 지향 접근의 context-input-process-product (CIPP) 모형과 교육프로그램 결과를 평가하는 결과 지향 접근의 Kirkpatrick 4단계 평가모형을 융합한 통합평가모형을 사용하고 있다[2]. CIPP 모형의 산출평가 부분에 Kirkpatrick 4단계 평가모형을 적용한 것으로 단기부터 중장기간 성과를 평가하고자 한 모형이다. 교육평가위원회 소속 교수자에 의해 진행된 학생소위원회 오리엔테이션과 워크숍을 통해 학생소위원회는 인제의대 교육평가 모형에 관한 교육을 받았으며 학생지원체계 평가를 위한 모형을 결정하였다. 이번 평가목적은 학생지원체계의 개선과 이와 관련된 의사결정을 돕는 것이며 교육의 중장기 성과를 평가하는 것은 학생지원체계를 새롭게 조직한 이후에 시행할 수 있으므로 현재 단계에서 Kirkpatrick 4단계 평가모형은 적절하지 않다고 판단하여 CIPP 모형만 선택적으로 적용하기로 하였다.

2) 평가준거 설정 및 평가지표 개발

학생소위원회는 워크숍을 통하여 학생지원체계에 대한 평가준거와 평가지표를 설정하였다. 평가준거는 CIPP 모형을 바탕으로 학생지원체계의 맥락, 투입, 과정, 결과 요소에 따라 어떤 특성으로 학생지원체계의 성공과 가치를 판단할 것인지를 염두에 두면서 질문 형태로 설정하였다. 평가지표는 평가준거를 측정하고 평가하기 위하여 양적, 질적척도로 개발하였다(Appendix 1). 양적 척도는 현황을 객관적으로 파악하기 위함이며 질적 척도는 대안과 방향을 제시하는 귀중한 자료로 사용하기 위해 개발하였다.
상황(context) 평가를 통하여 학생지원체계의 목적과 구체적인 목표를 확인하고 학습자와 교육환경을 충분히 고려하여 운영되고 있는지 확인하고자 하였다[10]. 평가준거는 (1) 학생지원체계의 목표(학습, 생활, 진로), (2) 학생지원체계에 대한 구성원들의 목표 인식, (3) 인제의대 교육과정 특성에 대한 고려, (4) 인제의대 구성원이 처한 상황에 대한 고려(의예과 수업 특성, 절대평가)로 설정하였다.
투입(input) 평가는 학생지원체계의 목표에 맞게 작동하기 위하여 갖추어야 할 지원요소들에 대한 정보를 제공해 주며 개선을 위해 필요한 요소들에 대한 정보를 제공해 줄 수 있다[10,11]. 평가준거는 다음과 같이 설정하였다. (1) 학생지원체계: 학생들의 능동적 참여 및 자치활동 유도, 정보 접근성, 총괄 부서, 교수개발, 행정제도 및 교육과정, 교수자의 학생 파악을 위한 시스템, (2) 투입시간, (3) 상담공간, (4) 문화, (5) 보상으로 분류하여 설정하였다.
과정(process) 평가는 학생지원체계가 실질적으로 잘 운영되고 있는지 감시하고 적절한 개선이 이루어지고 있는지 파악하는 평가로 실천단계에서 문제점과 효율성을 점검하는 것이 목적이다[10,11]. 평가준거는 (1) 학생지원체계 평가조직의 유무, (2) 학생지원체계 평가조직의 활동, (3) 개선체계의 유무, (4) 의견수렴과 개선 유무로 설정하였다.
산출(product) 평가는 개선된 학생지원체계에 대한 학습자의 만족도와 교육환경의 변화를 측정, 해석, 판단하기 위한 평가이다[10,11]. 평가준거는 구성원의 반응평가와 성과평가로 나누어 (1) 학생지원체계에 대한 만족도, (2) 학생지원체계의 성과로 설정하였다.

3) 자료수집방법 결정

평가준거와 지표를 설정한 후 인제의대 학생지원체계에 대한 평가 및 개선방안 마련을 위한 자료수집방법을 결정하였다(Appendix 1). 평가에 사용할 자료 중 대부분은 학교 홈페이지, 교내 learning management system 및 학생지원체계 관련 문서를 통해 수집하기로 하였으며 학생지원 담당 직원 면담과 학생 및 분담지도교수 대상 설문조사를 시행하기로 하였다.

4) 자료수집 도구 개발

문헌고찰은 학교 홈페이지, 학사정보시스템, 학생지원체계 안내서, 분담지도교수제 내규, 포트폴리오 등을 조사하였고 부족한 부분이나 학년별 유급률, 휴학률 등과 같은 추가적인 자료는 학생지원 담당 직원 면담을 통해 수집하였다.
설문조사는 2021년 재학 중인 인제의대 학생 및 분담지도교수를 대상으로 시행하였다. 설문조사를 위한 설문지는 학생소위원회가 개발하였으며 객관식 문항은 5점 척도로 주관식 문항은 자유 기술 형태로 구성하였다. 학생지원체계에 대한 만족도, 현재 상담횟수, 분담지도교수와 상호작용하는 방법과 매체, 분담지도교수제 외 학생상담 상황, 상담영역, 코로나 상황에서 학생상담 상황, 분담지도교수님의 포트폴리오 피드백 현황, 멘토링제도에 대한 의견, 보상, 약점과 개선책 등 평가지표를 측정할 수 있도록 개발하였다.

5) 결과 수집 및 분석

설문조사는 온라인 설문도구를 이용하여 2021년 10월 한 달간 설문 링크를 배포하여 시행하였고 학생 238명, 분담지도교수 62명으로부터 답변을 받았다. 5점 척도의 답변을 받은 객관식 문항에 대한 자료의 경우 기술통계량 작성 및 통계분석과정을 거쳤으며, 주관식 문항의 경우 질적으로 내용을 분석하였다.

3. 타 의과대학 학생지원체계 현황 조사

6개의 타 의과대학 학생지원체계 현황을 조사하기로 하였고 2–3명의 학생들이 1개의 의과대학을 담당하였다. 학생지원체계 관련 문서 분석은 출판된 논문을 검색하거나 각 학교 학생담당 교수로부터 받은 자료를 통해 이루어졌다[12-14]. 면담은 5개 학교 학생지원 관련 교수자를 대상으로 시행하였고 1개 학교 교수자에게 서면 질의를 시행하였다. 면담은 화상회의프로그램 Zoom (Zoom Video Communications Inc., San Jose, CA, USA)을 이용하여 온라인으로 진행되었으며 사전에 모든 면담자 대상자에게 면담내용 녹화 및 평가자료로 쓰임을 설명 후 동의를 받았다. 모든 면담내용을 녹화하고 해당 면담에 참가한 학생들은 면담내용을 전사한 후 결과를 정리하고 주제별로 내용을 분석하였다.

4. 중간 결과 보고 및 개선안 논의

교육평가위원회 학생소위원회는 교육평가자료와 타 의과대학 학생지원체계 자료를 모두 분석한 후 학장단, 교육평가위원회에 구두 보고하였으며 온라인 워크숍을 개최하여 개선안에 대한 논의의 과정을 거쳤다.

교육평가 결과 보고 및 후속조치

구두 결과 보고와 함께 논의된 개선안을 포함하여 ‘2021 인제대학교 의과대학 학생지원체계 교육평가보고서’를 작성하여 의학교육질향상위원회에 공식적으로 제출하였다[9]. 교육평가결과에 대한 요약은 표로 정리하였다(Appendix 2). 이 결과를 바탕으로 의학교육질향상위원회에서 개선사항에 대해 논의하였고 실행 예정이다.

결론

의과대학의 학생지원체계는 의대생들의 생활, 학습, 진로 등 다방면의 지원을 목적으로 한다. 이러한 지원은 의대생들의 학습, 정신건강, 자기개발과 자기실현, 삶의 가치관 형성에 영향을 미치므로[14], 이러한 학생지원을 달성하기 위해서 의과대학은 효과적인 학생지원체계를 만들어 운영하여야 한다. 그리고 학생지원체계가 그 목적에 맞게 잘 시행되고 있는지 평가하는 것은 학생지원(학생 생활, 학습, 진로 지원)이 취지에 부합하도록 운영되고 있는지 확인하고 개선을 위한 자료를 수집하고 분석하는 활동이다.
인제의대 교육평가위원회 산하 학생소위원회는 CIPP 모형을 사용하여 학생지원체계를 평가하였다. 또한 타 학교 학생지원체계 자료를 수집하고 학생지원 업무를 맡고 있는 교수자 인터뷰를 통하여 개선안 도출에 도움을 받았다. 최종적으로 정리된 평가결과와 개선안은 보고서와 구두로 의학교육질향상위원회에 보고하였으며 의사결정 단계를 통해 개선해 나갈 예정이다.
학생지원체계의 주요 구성요소이자 대상은 의과대학 학생이므로 이번 교육평가는 학생들이 주도적으로 진행하여 더욱 의미가 있다고 생각한다. 이 과정에서 학생들은 변화를 위해 많은 노력이 필요하며 체계적인 평가를 통해 구성원을 설득하고 변화를 시작할 수 있다는 것을 배웠으며 학교에 대한 주인의식을 고취하고 학생지원체계 개선에도 참여할 동기를 부여할 수 있었다.
평가를 통해 개선된 좋은 학생지원체계는 과중한 학업량에 시달리는 의과대학생들의 번아웃을 예방하고, 학업에 어려움을 겪는 학생들에게 도움을 주고, 학업 및 학교생활의 동기가 저하된 학생들에게 동기를 부여해 주며 자신의 진로를 찾아 줄 것이라 기대한다. 교내의 관심 분야에 대한 교육평가를 학생들이 주도한 보고는 국내에서는 처음으로 본 연구를 통하여 의과대학생들이 소속 학교에서 교육평가에 참여할 기회가 많아지고 의학교육 분야에서 학생연구가 활발해지기를 기대한다.

Authors’ contribution

연구설계: 장예나, 김서윤, 김성우, 김주희, 김채연, 박지수, 이건호, 윤보영; 자료수집: 장예나, 김서윤, 강지윤, 권나현, 김가연, 김나래, 김성우, 김주희, 김채연, 박신영, 박주연, 박지수, 이건호; 자료분석: 장예나, 김서윤, 강동화, 권나현, 김가연, 김나래, 김서윤, 김성우, 김주희, 김채연, 박주연, 박지수, 이건호, 임보라, 윤보영; 도구개발: 강동화, 김나래, 김성우, 김주희, 박신영, 임보라, 윤보영; 논문작성: 장예나, 김서윤, 강지윤, 윤보영

Figure 1.
The process of educational evaluation to reform the student support system at Inje University College of Medicine. CIPP, context-input-process-product. CIPP, context-input-process-product.
kmer-23-007f1.jpg

REFERENCES

1. Frye AW, Hemmer PA. Program evaluation models and related theories: AMEE guide no. 67. Med Teach. 2012;34(5):e288-99. https://doi.org/10.3109/0142159X.2012.668637
crossref pmid
2. Ju H, Oh M, Lee JT, Yoon BY. Adapting an integrated program evaluation for promoting competency‐based medical education. Korean Med Educ Rev. 2021;23(1):56-67. https://doi.org/10.17496/kmer.2021.23.1.56
crossref
3. Lo HH, Ngai S, Yam K. Effects of mindfulness-based stress reduction on health and social care education: a cohort-controlled study. Mindfulness (N Y). 2021;12(8):2050-8. https://doi.org/10.1007/s12671-021-01663-z
crossref pmid pmc
4. Hathaisaard C, Wannarit K, Pattanaseri K. Mindfulness-based interventions reducing and preventing stress and burnout in medical students: a systematic review and meta-analysis. Asian J Psychiatr. 2022;69:102997. https://doi.org/10.1016/j.ajp.2021.102997
crossref pmid
5. Shochet R, Fleming A, Wagner J, Colbert-Getz J, Bhutiani M, Moynahan K, et al. Defining learning communities in undergraduate medical education: a national study. J Med Educ Curric Dev. 2019;6:2382120519827911. https://doi.org/10.1177/2382120519827911
crossref pmid pmc
6. Geraghty JR, Young AN, Berkel TD, Wallbruch E, Mann J, Park YS, et al. Empowering medical students as agents of curricular change: a value-added approach to student engagement in medical education. Perspect Med Educ. 2020;9(1):60-5. https://doi.org/10.1007/s40037-019-00547-2
crossref pmid pmc
7. Milles LS, Hitzblech T, Drees S, Wurl W, Arends P, Peters H. Student engagement in medical education: a mixed-method study on medical students as module co-directors in curriculum development. Med Teach. 2019;41(10):1143-50. https://doi.org/10.1080/0142159X.2019.1623385
crossref pmid
8. Korean Institute of Medical Education and Evaluation. Accreditation Standards of Korean Institute of Medical Education and Evaluation 2019 [Internet]. Seoul: Korean Institute of Medical Education and Evaluation; 2023 [cited 2023 Feb 20]. Available from: https://kimee.or.kr/board/data/?uid=1557&mod=document&pageid=1
9. Education Evaluation Committee. Educational evaluation report of Student support system. Busan: Inje University College of Medicine; 2022. 233 p.
10. Stufflebeam DL. The CIPP model for evaluation. In: Kellaghan T, Stufflebeam DL, editors. International handbook of educational evaluation. Dordrecht: Kluwer Academic Publishers; 2003. p. 31-61.
11. Stufflebeam DL, Zhang G. The CIPP evaluation model: how to evaluate for improvement and accountability. New York (NY): The Guilford Press; 2017. 384 p.
12. Hur Y, Kim S, Lee K. What kind of mentoring do we need?: a review of mentoring program studies for medical students. Korean J Med Educ. 2013;25(1):5-13. https://doi.org/10.3946/kjme.2013.25.1.5
crossref pmid pmc
13. Kim J, Lee SH, Kim EJ, Kim H, Hwang J. A case study on small group teaching programs in medical school: SNU mentoring, peer tutoring, coaching, and research mentoring programs. Korean Med Educ Rev. 2012;14(2):78-85. https://doi.org/10.17496/kmer.2012.14.2.078
crossref
14. Jeon UT. A new search for medical school student learning and life guidance: focusing on the 2005 student counseling case. Korean Med Educ Rev. 2006;8(1):23-33. https://doi.org/10.17496/kmer.2006.8.1.023
crossref

Appendices

Appendix 1.

CIPP (context-input-process-product) 모형을 적용한 인제대학교 의과대학 학생지원체계 평가 프레임

kmer-23-007-app1.pdf
Appendix 2.

인제대학교 의과대학 학생지원체계 교육평가 결과와 제안

kmer-23-007-app2.pdf


Editorial Office
Yonsei University College of Medicine, 50-1 Yonsei-ro, Seodaemun-gu, Seoul 03722, Korea
Tel: +82-2-2228-2514   Fax: +82-2-364-5450   E-mail: office@kmer.or.kr                

Copyright © 2024 by Yonsei University College of Medicine.

Developed in M2PI