의과대학의 컴퓨터기반시험 프로그램 및 시험환경 만족도 분석
Analysis of the Satisfaction with Computer Based Test Program and Test Environment in Medical School
Article information
Abstract
This study aimed to identify needed improvements to current evaluation methods in medical school computer-based test (CBT) programs and test environments. To that end, an analysis of the importance and satisfaction was conducted through a survey of 3rd and 4th year medical students who had sufficient experience with CBT programs. Importance performance analysis methodology using the correlation coefficient was applied to assess average satisfaction and importance. The first quadrant (keep up the good work) was a factor of review and time management and test facilities among the conveniences of the CBT program. The second quadrant (concentrate here) was a factor of the convenience of the CBT program and computer monitor and chair factor within the test facilities. The third quadrant (low priority) was a factor of cheating and computer failure. The fourth quadrant (possible overkill) was the location, spacing, and temperature factors of the test facilities. Improvements are needed to reduce ‘eye fatigue’ and help students focus and understand the questions in the CBT programs. It is necessary to improve computer monitors, desks and chairs, and consider the subject’s body type and manager in order to cope with computer breakdown and peripheral failures. Spare computers are needed. These findings are meaningful in that they have been able to identify factors that require improvement in the CBT program and test environment resulting from changes in assessment tools.
서 론
오늘날 의학교육은 새로운 디지털 기술의 진보로 인해 기존 강의식 교육의 한계를 뛰어넘어 플립러닝, 팀기반학습 등과 같이 학습자 중심의 교육방법을 적용하는데 보다 수월하게 접근할 수 있게 되었다. 이러한 의학교육의 변화는 교육방법뿐만 아니라 평가방법 및 도구에도 나타나고 있는데, 그 예로 진료영상, 검사영상, 시술영상 등이 포함된 멀티미디어 문항을 출제할 수 있는 평가도구인 컴퓨터 기반 평가(computer-based test, CBT)가 있다[1-3]. CBT의 적용사례는 1999년부터 적용된 미국의사면허시험에서 살펴볼 수 있으며, 국내 의사국가시험에서도 2022년부터 도입 예정으로 알려져 있다[4]. 이 밖에도 응급구조사국가시험은 2017년부터 스마트기기 기반 평가(smart device-based test)로 시행하고 있으며, 치과의사국가시험과 한의사국가시험은 2023년부터 CBT로 시행할 예정임이 보고되고 있다[4]. 이렇게 CBT는 다양한 멀티미디어 문항 출제가 가능하고 평가 이후에 즉각적인 채점 및 피드백을 제공할 수 있어 대부분의 의과대학에서 평가도구로 도입하고 있지만, CBT 제반 요소들이 각 대학의 사정에 따라 상이할 수 있어 이에 대한 포괄적인 연구가 선행될 필요가 있다.
CBT는 평가부터 결과분석까지 모든 과정을 컴퓨터로 진행하는 평가도구로 정의되며, 평가도구가 종이에서 모니터로 변화한 시험을 컴퓨터화시험(computerized test), 피평가자의 능력이나 특성을 반영하여 피평가자의 수준에 적합한 문항을 선택하여 개별적으로 실시하는 시험을 개별적응시험(computerized adaptive testing)으로 구분할 수 있다[5,6]. CBT는 평가자가 멀티미디어 문항의 출제가 가능하고, 문항관리가 편리하며, 피평가자의 문제풀이시간 등의 통계자료 수집이 가능하다는 특성을 지닌다. 그리고 그것은 시험지 인쇄, 채점 등에 소요되는 시간 및 비용을 절약할 수 있으며, 시험감독에 있어서는 종이 기반 평가(paper-based test, PBT)보다 용이하다는 장점이 있다[1-3]. 또한 피평가자는 PBT에 비해 시험시간 및 남은 문항 수 관리가 편리하며, 재검토하는 과정이 용이하다는 장점이 있다. 그러나 피평가자가 시험지에 메모를 하면서 문제를 해결하고자 할 경우에는 CBT 사용에 불편함을 느끼고, 집중도가 떨어지며, 시스템 오류와 같은 전산 등으로 평가 수행과정에 어려움을 겪을 수 있어 이에 대한 개선 연구가 요청된다.
이러한 CBT 관련 선행연구들은 스마트기기를 이용한 유비쿼터스 기반 평가(ubiquitous-based test)의 유용성 확인, CBT 환경의 지속적인 모니터링을 통한 부정행위 방지기능 구현, 학습자의 학습능력 및 성별에 따른 CBT와 PBT 점수 비교분석 등과 같이 교육현장에서의 CBT 활용에 대한 가능성을 제시하고 있었다[3,7-9]. 이 밖에도 평가도구의 변화에 따른 피평가자의 자세변화 및 집중도, 모니터의 화질이 평가결과에 영향을 미친다는 연구결과도 확인할 수 있었다[10-12].
교육현장에서의 CBT 평가도구에 관한 연구가 활발하게 진행되는 맥락에서 연구진이 소속한 의과대학에서도 2010년부터 CBT시스템을 구축하여 의예과, 의학과 학생들의 교과목 평가를 비롯하여 기초의학종합평가 및 교내 모의고사 등에 지원하고 있다(Figure 1). 이에 연구진은 피평가자가 지각하는 CBT프로그램에 대한 만족도를 포함하여 CBT 환경에서의 문제점을 도출하고 이에 대한 해결방안을 모색하여 교육현장에 도입하고자 연구를 수행하게 되었다. 이를 위해 본 연구는 중요도 만족도 분석(importance performance analysis, IPA)방법을 활용하였고, CBT를 이용한 평가 전반에 대한 만족도 및 환경에 대한 분석결과를 바탕으로 CBT 기반의 평가환경 개선방향을 탐색하였다.
Current of computer-based test program screen.
본 연구는 의과대학생을 대상으로 하는 CBT프로그램에 대한 전반적인 만족도와 CBT프로그램 운영환경에서 피평가자의 인식 정도를 파악하여 CBT프로그램과 그 환경의 개선방안을 제시하는데 목적을 두고 수행하였다.
연구대상 및 방법
1. 연구대상
본 연구의 대상은 의예과 1학년부터 교과목 시험을 비롯하여 기초의학종합평가 등으로 졸업까지 100회 내외로 CBT프로그램으로 평가를 수행한 경험이 있는 2019학년도 의학과 3학년 및 4학년 150명을 대상으로 설문조사를 시행하였다. 의학과 3학년은 CBT로, 의학과 4학년은 PBT로 동일한 임상의학종합평가(2019년 12월)를 수행한 직후에 설문을 시행하였으며, 설문의 목적을 이해하고 참여에 동의한 116명 중 무성의한 응답을 한 16명의 결과를 제외한 100명의 결과를 분석하였다.
2. 연구도구
본 연구에서 사용한 CBT프로그램 만족도 및 그 환경의 영향요인을 파악하기 위한 설문도구는 Park 등[1]과 Im 등[2]의 연구에서 사용한 시스템 사용성 평가척도와 CBT 만족도 설문의 일부 문항을 수정하여 전문가 검토과정(의학 박사 2명과 교육학 박사 1명으로 구성)을 거쳐 개발하였다. 설문지는 크게 네 부분으로 나누었으며, ‘CBT프로그램 편의성’(9문항), ‘시험시설’(5문항), ‘시험부대시설’(7문항), ‘부정행위’(4문항), ‘오류경험’(2문항), ‘전반적인 만족도’(1문항), 일반적인 특성인 학년과 성별로 설문도구를 구성하였다. 설문조사에는 조사의 신뢰성을 확보하기 위해 반대로 물어보는 질문(역문항)을 포함하였다. 리커트 5점 척도로 만족도는 매우 불만 1점, 매우 만족 5점으로 하고, 역질문은 매우 불만 5점, 매우 만족 1점으로 하였다. 본 연구에서 사용한 설문도구의 신뢰도를 분석하기 위해 크론바하 알파(Cronbach’s α)검정을 하였다. ‘CBT프로그램의 편의성’ 0.884, ‘시험장 시설’ 0.879, ‘시험장 부대시설’ 0.903, ‘부정행위’ 0.933로 모두 0.800 이상으로 신뢰도가 높았다.
3. 자료 분석방법
본 연구는 IPA기법을 활용하여 만족도와 중요도를 분석하였다. 만족도는 요인의 평균값을 산출하는 기술통계분석을 이용하였으며, 중요도는 전반적인 만족도에 대한 각 요인들의 상관계수 값을 상관계수의 합으로 나눈 값을 이용하였다. IPA기법은 1977년 Martilla와 James [13]가 처음으로 제안한 이후 교육프로그램 개발, 교과목 운영 개선, 교육 만족도 분석 등의 연구에서 활용하고 있다. IPA는 개선점의 우선순위를 결정하는 분석기법으로 연구자의 주관적인 의견 개입을 최소화하여 연구대상의 인식을 보다 정확하게 분석할 수 있는 특징이 있다[13-16]. 또한 IPA는 x축을 만족도, y축을 중요도로 구분하고 기준선은 평균값으로 설정 후 중요도와 만족도의 결과값을 좌표로 표시하기 때문에 좌표 위 항목들 간의 상대적인 위치를 확인하여 결과를 해석하는 데 용이할 수 있다[17] (Figure 2). 그러나 초기 IPA는 절대값을 이용하여 중요도와 만족도를 분석하였으며, 이러한 분석은 중요도와 만족도가 서로 독립적이지 않고, 연관성이 있다는 결과가 보고된 바 있다[18-21]. 이후 수정된 IPA를 활용한 연구가 늘어나고 있으며, 응답자가 제시한 절대적 중요도 대신 상관계수 혹은 회귀계수 등 통계적으로 도출한 상대적 중요도를 활용하여 분석하는 것이 합리적이라는 선행연구 결과에 따라 상관계수를 이용하여 IPA를 진행하였다[18,22,23].
Importance performance analysis diagram.
4. 윤리적 고려
연구대상자의 정보보호를 위해 응답자의 정보를 알 수 없도록 설문도구를 설계하였으며, 연구목적 이외에 다른 용도로 사용되지 않음을 명시한 후 설문에 참여한 학생만을 대상으로 설문을 시행하였다. 연구대상이 응답한 설문지는 연구진이 직접 회수하였으며, 코딩과정에서 고유번호 부여 및 암호화하여 분석에 이용하였다. 본 연구는 계명대학교 동산병원 연구심의위원회의 심의를 받았다(승인 번호 2020-09-050).
결 과
1. Computer-based test 프로그램 및 환경의 만족도 결과
1) 의학과 3학년
의학과 3학년의 CBT프로그램 및 환경의 만족도는 성별에 따라 남학생의 경우 ‘시험장 밝기’(4.19)와 ‘자리 배치’(4.19)가 가장 높았으며, ‘눈의 피로도’(3.04) 만족도가 가장 낮았다. 여학생은 ‘답안 수정의 편리’(4.10)가 가장 높았으며, ‘눈의 피로도’(2.37) 만족도가 가장 낮았다. PBT보다 CBT로 평가를 계속 하고 싶다는 의견은 여학생에 비해 남학생이 높았다(Table 1).
Satisfaction of CBT program and environment (medical student)
2) 의학과 4학년
의학과 4학년의 CBT프로그램 및 환경의 만족도는 성별에 따라 남학생의 경우 ‘채점 결과의 신뢰’(4.13)가 가장 높았으며, ‘컴퓨터의 고장’(2.45)이 가장 낮았다. 여학생은 ‘답안 수정의 편리’(4.50)가 가장 높았으며, ‘눈의 피로도’(2.31) 만족도가 가장 낮았고, 남녀 학생 간 차이는 없었다. 책상 넓이의 경우 여학생에서 만족도가 유의하게 높았는데, 이는 여학생이 남학생에 비해 책상 넓이에 만족하고 있음을 의미한다(p=0.044). PBT보다 CBT로 평가를 계속 하고 싶다는 의견은 여학생에 비해 남학생이 높았다(Table 1).
3) 전체 대상자
전체적으로 CBT프로그램 및 환경의 만족도는 성별에 따라 남학생은 ‘채점결과의 신뢰’(4.14)가 가장 높았으며, ‘컴퓨터의 고장’(2.89)이 가장 낮았다. 여학생은 ‘답안 수정의 편리’(4.28)가 가장 높았으며, ‘눈의 피로도’(2.36) 만족도가 가장 낮았으며, 남녀 학생간 차이는 없었다. ‘문제․ 답가지․ 이미지를 보는데 편리’, ‘목의 피로도’, ‘눈의 피로도’는 모두 남자에서 만족도가 유의하게 높았다(p=0.023, p=0.039, p=0.022). 이러한 결과는 남학생이 여학생보다 CBT로 시험문제를 보는 데 편리함을 느끼고, 목과 눈의 신체 피로도를 덜 호소한다는 것을 의미한다. PBT보다 CBT로 평가를 계속하고 싶다는 의견은 여학생에 비해 남학생이 높았다(Table 1).
2. Computer-based test 프로그램 및 환경의 importance performance analysis 결과
1) 의학과 3학년
의학과 3학년만을 대상으로 분석한 결과, x축의 기준은 만족도의 평균값인 3.673, y축의 기준은 중요도의 평균값 0.037로 사분면을 분할하였다. 제1사분면(유지관리 영역)은 시험시설 및 시험부대시설 요인들이었으며, 제2사분면(중점개선 영역)은 CBT프로그램의 편의성 요인들이었다. 3사분면(저순위 영역)은 부정행위 요인들이 었으며, 제4사분면(과잉노력지양 영역)은 시험시설의 온도, 밝기 및 부정행위 요인들이었다(Table 2, Figure 3).
IPA results of CBT program and environment (3rd and 4th medical student)
Importance performance analysis graph of computer-based test program and test environment for medical students. (A) 3rd year medical student. (B) 4th year medical student. (C) 3rd & 4th year medical student.
2) 의학과 4학년
의학과 4학년을 대상으로 분석한 결과, x축의 기준은 만족도의 평균값인 3.425, y축의 기준은 중요도의 평균값 0.037로 사분면을 분할하였다. 제1사분면(유지관리 영역)은 대부분 CBT프로그램의 편의성 요인들이었으며, 제2사분면(중점개선 영역)은 CBT프로그램의 편의성 중 문제에 집중 및 이해, 눈의 피로도 요인들이었다. 3사분면(저순위 영역)은 시험부대시설 및 오류경험 요인들이었으 며, 제4사분면(과잉노력지양 영역)은 시험시설의 자리배치 및 간격, 온도 요인들이었다(Table 2, Figure 3).
3) 전체 대상자
의학과 3, 4학년을 대상으로 분석한 결과, x축의 기준은 만족도의 평균값인 3.539, y축의 기준은 중요도의 평균값 0.037로 사분면을 분할하였다. 제1사분면(유지관리 영역)은 CBT프로그램의 편의성 중 재검토 및 시간관리, 시험부대시설 요인, 제2사분면(중점개선 영역)은 CBT프로그램의 편의성 및 시험부대시설 중 모니터, 의자 요인, 3사분면(저순위 영역)은 부정행위 요인 및 컴퓨터의 고장 요인, 제4사분면(과잉노력지양 영역)은 시험시설 중 자리배치 및 간격, 온도 요인들이었다(Table 3, Figure 3).
IPA results of CBT program and test environment (3rd & 4th medical student)
고 찰
본 연구는 최첨단 디지털기술의 발달로 인한 교육환경 및 평가방법이 다양해지고, CBT를 활용한 학생평가가 보편화된 시점에서 의과대학생을 대상으로 CBT프로그램의 만족도 및 환경에 대한 인식조사를 통해 CBT의 프로그램 운영에 대한 개선방안을 도출하고자 수행하였다. CBT프로그램 운영 및 환경에 대한 연구결과를 정리하면 다음과 같다.
첫째, CBT 만족도가 높은 영역은 의학과 3학년 및 4학년 모두에서 채점의 신뢰 및 답안 수정의 편리함이었고, CBT 만족도가 낮은 영역은 눈의 피로도였으며, 특히 의학과 4학년의 경우에는 시스템 오류가 포함되었다. 둘째, IPA 결과에 따르면 의학과 3학년은 신체의 피로도, 시스템 오류, 문제에 집중 및 이해, 편리성의 개선이 필요한 것으로 나타났으며, 의학과 4학년은 신체의 피로도 중 눈의 피로, 문제에 집중 및 이해의 개선이 요구되는 것으로 나타났다. 셋째, IPA 결과 의학과 3학년의 중점개선 영역 중 CBT프로그램의 편리성과 신체의 피로도 중 목의 피로는 의학과 4학년에서 제1사분면(유지관리 영역)에 위치하였으며, 시스템 오류는 제3사분면(저순위 영역)에 위치하는 것으로 나타났다. 이러한 결과는 의학과 4학년의 경우 PBT로 임상의학종합평가를 시행한 직후 CBT 만족도 설문을 하였기 때문에 PBT에 비해 CBT가 가지는 장점이 반영된 결과로 해석할 수 있다. PBT는 수정테이프나 스티커로 OMR (optical mark reading)카드를 수정해야 하며, 이중 마킹 등 피평가자의 실수가 결과에 영향을 끼칠 수 있다. 반면에 CBT는 PBT에 비해 답안 수정이 간단하며, 문제마다 정해진 정답 수만큼만 답가지가 선택되기 때문에 피평가자의 실수가 평가결과에 미치는 영향을 줄일 수 있다. 그러나 CBT는 모니터 화면을 통해 기본으로 제공하는 메모기능만을 활용하여 문제를 해결해야 하기 때문에 집중하는 데 어려움과 눈의 피로를 호소할 수 있다. 또한 시험시간 중 컴퓨터 및 주변기기의 고장 등의 시스템 오류는 평가결과에 영향을 줄 수 있어 이에 대한 개선이 필요할 것이다.
본 연구의 결과를 종합해 보면 제2사분면(중점개선 영역)에 위치한 ‘문제에 집중 및 이해,’ ‘눈의 피로도’ 및 ‘시스템 오류’ 등의 요인은 시험결과에 영향을 미칠 수 있는 중요한 영역으로 즉각적인 개선이 필요하며, 이상의 연구결과를 토대로 CBT프로그램 및 환경에 대한 개선방안을 제언해보면 다음과 같다.
첫째, ‘문제에 집중’ 및 ‘문제를 이해하는데 편리’ 요인은 CBT프로그램 화면에서 문항줄기, 답가지, 참고이미지, 메모를 함께 볼 수 있도록 화면을 구성하여 개선할 수 있다. 교과목 평가는 지문의 길이가 다양하고, 이미지가 많은 경우가 있어 답가지와 메모는 고정하고, 문항줄기와 사진자료는 상하로 움직일 수 있도록 구성하면 문제이해 및 집중에 도움을 줄 수 있을 것이다. 또한 CBT에서도 PBT처럼 밑줄 긋기가 가능하고, 오답이라고 생각되는 답가지를 표시할 수 있는 기능이 포함된 피평가자 중심의 CBT프로그램 개선이 필요하다.
둘째, ‘눈의 피로도’ 요인에 대한 개선이 필요하다. 전자기기의 가독성과 관련된 연구결과에서는 무채색인 흰색은 밝기가 밝아 눈을 자극시켜 가독성을 떨어트리고, 눈의 피로도를 높이며, 종이색에 가까운 초록색이 가독성을 높이고 눈의 피로도를 낮출 수 있다고 하였다[24]. 이에 CBT프로그램에서도 (1) 글씨는 검은색에 배경은 회색, (2) 글씨는 검은색에 배경은 종이색에 가까운 초록색, (3) 배경은 검은색에 글씨는 흰색(다크모드 혹은 야간모드)으로 피평가자가 옵션에서 선택할 수 있는 기능을 개발하는 것이 가독성 증가 및 눈의 피로도를 낮추는 데 도움이 될 것으로 판단되며, 이러한 개선점을 반영하여 연구진이 CBT프로그램의 화면을 재구성하였다(Figure 4).
Proposal of computer-based test program screen. (A) The writing is black and background is gray. (B) The writing is black and background is greenish white. (C) The writing is white and background is black.
셋째, 피평가자의 체형을 고려한 시험환경 개선이 필요하다. 피평가자는 개인마다 앉은키 등의 체형이 다르며 편하게 인식하는 자세에도 차이가 있다. 그러나 대부분의 시험시설에서 사용하는 책상, 의자는 높낮이 조절에 어려움이 있으며, 책상에 모니터가 고정되어 있거나 각도조절(tilting)기능은 있으나 높낮이 조절이 불가한 모니터로 구성되어 있다. 이에 피평가자가 본인의 체형에 맞게 책상 또는 의자의 높낮이, 모니터의 높낮이를 조절할 수 있는 시설이 필요하다.
넷째, ‘컴퓨터 및 주변기기의 고장’을 대처하고 이에 더해 학생 평가시스템을 체계화하는 프로세스 마련이 필요하다. 하드웨어적으로 컴퓨터 및 주변기기의 고장은 피평가자가 시험시간의 부족, 고장으로 인한 걱정 등의 이유로 이어져 시험결과에 영향을 미칠 수 있을 것으로 생각되며, 시험 전에 컴퓨터 및 주변기기를 점검하고, 시험 중에 발생 가능한 오류 및 실제 문제 상황에 대처하는 프로세스 마련이 필요하다. 소프트웨어적으로는 시험 종료 이후에 그 결과에 대한 심층적인 분석 및 결과를 제공할 수 있는 평가결과 데이터 관리를 위한 시스템이 필요하다. 이러한 시스템은 학습자의 평가활동 분석을 통해 학습자 개인별로 평가결과 및 피드백을 제공할 수 있고, 교수자는 성별이나 학습자 스타일과 같은 학습자 특성에 따른 학업성취도 차이 분석, 학습자의 학습 향상도 등을 과학적이고 종합적으로 분석한 결과를 바탕으로 학업성취도 달성 정도 파악 및 학습 부진의 원인 등을 파악하는데 활용할 수 있어 보다 효과적으로 학생 평가 및 관리를 수행할 수 있을 것이다.
본 연구는 CBT프로그램 및 환경의 개선을 위해 피평가자 중심에서 중요한 개선사항을 제안하였으나, 일개대학에서 CBT를 시행할 수 있는 장소의 한계로 의학과 3학년은 CBT로, 의학과 4학년은 PBT로 임상의학종합평가를 진행 후 설문을 하였으며, 2개 학년 만을 대상으로 한 연구이기 때문에 연구결과를 일반화하는 데 어려움이 있다. 또한 현재 많은 의과대학에서 다양한 CBT프로그램을 개발하거나 상용프로그램을 구입하여 사용 중이며, 각 대학마다 시험장의 환경에도 차이가 있을 것으로 생각된다. 최근 스마트기기를 활용한 온라인 강의 등을 경험하는 빈도가 증가하고 있으며, 스마트기기를 접하는 연령이 낮아지고 있는 추세이며, 연령별로 스마트기기의 친숙 정도에 차이가 있을 것으로 생각된다. 이러한 한계점에도 불구하고 본 연구는 IPA를 활용하여 기존의 CBT 만족도 연구에서 알려진 장·단점을 피평가자가 인식하는 중요도와 만족도로 구분하여 우선적으로 개선이 필요한 요인을 파악하고 개선방안을 제시하였다는 점에서 이 연구의 의의가 있다. 향후 연구에서는 학습자 특성을 고려한 다양한 변인과 평가환경과의 영향관계를 분석하여 실제 의학교육 평가영역에서의 학생평가체제를 개선하는 연구가 요청된다.
Notes
저자 기여 김순구: 자료수집 및 분석, 논문작성 및 수정, 최종검토, 초록작성; 이애화: 자료분석, 논문작성 및 수정; 황일선: 연구설계, 논문수정 및 최종검토