Level of Third-Year Students’ Competency and Correlating Curricular Factors

Beesung Kam; Sang Yeoup Lee; Sun Ju Im

doi:10.17496/KMER.2013.15.2.087

Abstract

The purpose of this study was to assess third-year medical students’ competency for development or revision of the undergraduate curriculum and assessments. One hundred and twenty-seven third-year medical students at the Pusan National University were included in the study. After third- and fourth-year students took a common written examination, clinical performance examination (CPX), and objective structured clinical examination (OSCE) with common items as a summative assessment, the third-year students’ competency was compared with 132 forth-year students’ results. The correlation of the written examination and CPX/OSCE was analysed, and the summative results were compared with the grade point average (GPA) through the second year, CPX/OSCE in the second year, and GPA in the clerkship. On the written examination, the third-year students ‘mean score was lower than the fourth-year students’ by over 11 points, whereas the gap in the CPX/OSCE was 4 points and there was no difference in the OSCE. There was a moderate correlation between the written examination and the CPX/OSCE scores (R=0.371, p<0.01). The written examination was highly correlated with GPA through the second year, which mainly evaluated medical knowledge (R=0.771, p<0.01). A relatively high correlation was observed between CPX/OSCE scores and GPA in the clerkship (R=0.641, p<0.01). The summative CPX/OSCE scores showed a moderate correlation with formative CPX/OSCE scores in the second year (R=0.464, p< 0.01). The third-year students’ score was quite low on the written examination and slightly low on the CPX/OSCE compared to that of the fourth-year students. The written examination and CPX/OSCE cannot replace each other and should be combined with other methods of evaluation to measure competency. Early OSCE and workplace-based assessment should be useful in the early assessment of clinical skills competency.

Keywords: Competency-based education; Clinical competence

론

2009년도부터 도입된 의사실기시험은 의과대학· 의학전문대학원 교육과정의 변화를 유도하였다. 실기시험을 앞두고 일시적으로 시행하던 실기교육에서 임상실습을 강화하고 과목의 블록강의에 통합하는 등 체계적이고 장기적인 교육을 시도하는 대학들이 늘고 있다. 본과 4학년에서 시도하던 임상수행평가(clinical performance examination, CPX; objective structured clinical examination, OSCE)를 3학년에서 임상실습과정을 평가하는 방법으로 도입하기도 한다. ‘할 줄 아는 의사’의 양성을 목표로 하는 의사실기시험은 인턴제도 폐지 논의와 맞물려 임상실습을 위한 가면허 도입 또는 학생인턴제를 정착하기 위해 핵심 임상실습을 마친 본과 3학년에서 조기 시행하는 방안 등이 논의되고 있다(Korean Association of Medical Colleges, 2012). 이러한 관점에서 졸업하는 시점이 아니라 주요 교육과정을 마치는 시점인 3학년 학생들의 학업성취도는 어떠하며, 이전의 통합강의와 임상실습이 3학년 학업성취도 달성에 얼마나 영향을 주는가에 의문이 있다.

수행의 강조는 성과중심교육(outcome-based education, OBE)의 도입으로 극대화되었다. 기존의 의학교육이 가르치는 내용과 방법을 강조했다면, OBE는 학습결과를 강조하며 교육의 가치를 학생들의 역량(competency) 향상에 두고 있다. 이러한 OBE는 학생들이 졸업할 때 갖추어야 하는 역량, 즉 졸업성과에 대해 먼저 정의하고, 이를 점진적으로 달성할 수 있도록 각 성과에 대해 단계별로 수준을 정하게 된다(Harden et al., 1999). 따라서 최종 학년의 역량에 도달하기 위해 3학년 이하의 시기별 성과의 수준을 결정하는 일이 중요하게 부각되었다(Searle, 2000).

OBE에서 가장 어렵고 중요한 부분은 역량수준을 평가하는 것이다. 역량의 평가는 수업에서 형성평가(formative assessment)를 통하여 단계별로 성취수준에 대해 지속적으로 피드백을 제공하는 것을 강조하고 있지만, 시기별 또는 졸업성과를 달성을 객관적으로 판단하여 진급 여부를 결정하기 위해서는 종합평가(summative assessment)를 시행해야 한다(Wass et al., 2001).

또한 성과는 특성을 잘 측정할 수 있는 방법으로 평가해야 한다. Miller (1990)는 아는 것(knows), 어떻게 하는가를 아는 것(knows how), 어떻게 하는가를 보여주는 것(shows how), 실제 하는 것(does)를 구분하여 평가해야 한다고 하였고, Shumway et al. (2003)는 Mil-ler가 제시한 평가 피라미드 체계에 따라 성과를 평가하는 모형을 제안하였다. 즉 의학지식역량은 knows와 knows how에 해당하여 지필시험(written examination)으로 가능하고, 임상수기역량은 shows how에 해당하여 CPX/OSCE로 판단할 수 있으며, 윤리성은 does에 해당하여 실제 하는 것을 관찰(observation)해야 한다고 하였다.

본 연구에서는 주요 필수임상실습을 마친 3학년 학생들을 대상으로 종합평가 목적으로 지필시험과 임상수행평가를 시행하여, 3학년 단계에서 의학지식역량과 임상술기역량의 시기별 역량수준을 판단하고자 하였다. 또한 3학년 역량수준에 미친 교육과정의 영향을 살펴보기 위해 종합평가결과와 다른 교육평가결과가 일치하는가를 보고자 하였다.

본 연구는 3학년 시기별 역량의 기준설정에 대한 기초자료를 제공하고 교육과정과 평가의 개선방향을 모색하고자 시행하였으며, 구체적 목적은, 첫째, 3학년의 의학지식역량과 임상술기역량을 4학년과 비교하여 어떠한가를 조사해보고, 둘째, 3학년 종합시험의 결과와 교육과정 관련 요소들과의 상관을 분석하고자 하였다.

연구 대상 및 방법

1. 연구 대상 및 방법

2012년도 12월에 부산대학교 의학전문대학원 3학년 학생 127명을 대상으로 종합평가를 시행하였다. 3학년 학생들은 2학년까지 기초 · 임상통합강의과정을 마친 후, 3학년에서 주요 필수임상실습을 마친 상태였다. 주요 필수임상실습은 내과학, 외과학, 산부인과학, 소아과학, 정신건강의학, 가정의학, 응급의학으로 이루어졌다. 2학년 과정에서 학생들은 과정에 통합된 술기내용에 대해 학기말에 2회의 CPX/OSCE를 친 경험이 있었으며, 성적은 각 통합강의과정에 5%의 적은 수치가 반영되어 형성평가의 의도가 강하였다. 대조군인 4학년은 132명이었으며, 3학년 실습 후 이들은 선택실습(selective clerkship)과 선택심화실습(selective intensive clerkship)을 시행하였다.

종합평가는 의학지식역량평가를 위한 지필시험과 임상수기역량을 평가하기 위한 CPX/OSCE로 구분하여 시행하였다. 지필시험은 기본의학교육평가컨소시엄에서 주관하는 전국 시험을 3, 4학년이 동시에 시행하였다. 3학년 CPX/OSCE는 이틀 동안 시행하였는데, 설사와 폐진찰을 제외하고 양일간 다른 항목으로 시행하였다(Table 1). 4학년 CPX/OSCE는 2012년도 2학기에 부산· 경남실기컨소시엄 주관 시험에 참여하여 평가하였다. 3, 4학년 문항 중 진료문항(CPX) 6문항과 수기문항(OSCE) 6문항은 동일하였으며, 같은 표준화환자가 연기하였다(Table 1). 표준화환자는 기본훈련 8시간을 이수하였으며 사례에 대한 훈련은 각 8시간씩 이루어졌다. 표준화 환자간 신뢰도는 0.77이었다. 환자의사관계(patient-physician inter-action)를 제외한 진료문항과 수기문항은 모두 교수가 평가하였다.

Table 1.

CPX/OSCE items that third-year students performed

Items	1st day	2nd day
CPX items	Drug abuse	Headache
	Dyspnea^a)	Palpitation^a)
	Diarrhea	Diarrhea
	Hematuria	Dysmenorrhea^a)
	Breast pain/mass^a)	Polydipsia and polyuria^a)
	Breaking bad news^a)	Alcohol problems
OSCE items	Arterial puncture	Venous cannulation
	Wet smear of the vagina and cervix^a)	Chest x-ray presentation
	Cardiac examination	Chest and lung examination^a)
	Foreign body airway obstruction^a)	Defibrillation
	Burn dressing	Local anesthesia^a)
	Cranial nerve examination^a)	K-MMSE^a)

CPX, clinical performance examination; OSCE, objective structured clinical examination; K-MMSE, Korean mini-mental state examination.

^a) a) Busan-Kyeongnam CPX/OSCE consortium items, which were common items with the fourth-year.

2. 연구 분석

의학지식역량은 지필시험결과를 바탕으로 3, 4학년간 평균점수를 비교하였다. 임상수기역량은 CPX/OSCE 결과를 비교하였는데, 공통으로 시행한 문항에 대하여 진료문항은 항목별 · 영역별로, 수기문항은 항목별로 비교하였으며, 진료문항과 수기문항을 합하여 총점을 비교하였다. 학생별로 시행한 CPX/OSCE 문항이 상이하여, 시행한 문항에 한하여 평균점수를 계산하였다. 역량평가를 위한 지필시험과 CPX/OSCE의 필요성을 분석하기 위해 지필시험과 CPX/OSCE 간에 상관분석을 시행하였다. 교육과정과 다른 평가와의 관련성을 살펴보기 위해 지필시험 · CPX/OSCE 결과와 2학년까지의 학점, 2학년에서 형성평가로 시행한 CPX/OSCE, 3학년 임상실습 학점 간의 상관분석을 시행하였다. 데이터분석은 Windows 용 SPSS ver. 18.0 (SPSS Inc., Chicago, IL, USA)을 이용하였다. 교육과정과 연구방법은 Table 2에 제시하였다.

Table 2.

Curriculum and study design

	Grade	Curriculum	Course assessment	Summative assessment for competency
	Grade	Curriculum	Course assessment	Medical knowledge	Clinical skills
1st-year	Common curriculum	Organ-based integrated courses	GPA, CPX/OSCE
2nd-year
3rd-year		Core clerkship	GPA in clerkship	Written examination^a)	CPX/OSCE^a)
4th-year	Individual curriculum	Selective clerkship, selective intensive clerkship & student-internship		Written examination	CPX/OSCE

GPA, grade point average; CPX, clinical performance examination; OSCE, objective structured clinical examination.

^a) a) Third-year students’ competency was compared with forth-year students’ results. The correlation of the written examination and CPX/OSCE was analysed, and the summative results were compared with GPA through the second year, CPX/OSCE in the second year, and GPA in the clerkship.

결 과

1. 지필점수

3학년 학생들의 지필시험 평균점수는 56.1점으로 4학년의 67.8점보다 11.7점 낮았으나(p< 0.001), 3학년에서 최고점수는 81.1로 4학년의 최고점수 85점에 근접하였다(Table 3).

Table 3.

Third-year students’ written examination scores compared to those of fourth-year students

Scores	3rd-year	4th-year
Minimum score	40.5	50.1
Maximum score	81.1	85.0
Mean score	56.1	67.8
Standard deviation	7.0	7.2

2. Clinical Performance Examination/Objective Structured Clinical Examination

3학년의 임상수기역량은 CPX/OSCE 결과 총점이 4학년 학생들에 비해 약 4점 차이를 보였다. 진료문항을 살펴보면 항목별로 월경이상, 두근거림, 나쁜 소식 전하기 항목에서 4학년의 점수가 유의하 게 높았으며, 특히 나쁜 소식 전하기 항목은 그 차이가 10점 이상이었다. 반면에 호흡곤란, 다뇨증, 유방통 항목에서는 차이가 없었다. 영역별로 병력청취는 65.3±7.3으로 점수가 비교적 높았으나 신체진찰과 환자교육은 약 50점이었다. 4학년 점수와 비교했을 때, 병력청취와 환자의사관계 점수는 4학년의 점수가 약 5점 높았으나, 신체진찰과 환자교육 영역점수는 차이가 없었다. 진료문항 총점 점수의 차이는 약 3점이었다(Table 4).

Table 4.

Third-year students’ CPX/OSCE scores compared to those of fourth-year students

CPX/OSCE scores	3rd-year	4th-year	p-value
CPX items
Dyspnea (64 vs. 53)	63.8±7.6	63.0±8.9	0.61
Dysmenorrhea (63 vs. 106)	59.0±9.6	64.8±9.2	<0.001
Polyuria (63 vs. 106)	56.1±9.9	58.0±10.5	0.25
Palpitation (64 vs. 79)	54.5±8.2	60.6±9.7	<0.001
Breast pain (64 vs. 26)	66.6±9.0	65.8±14.6	0.75
Delivering bad news (64 vs. 26)	50.0±14.1	60.6±12.6	<0.001
CPX components
History taking (127 vs. 132)	65.3±7.3	70.8±7.6	<0.001
Physical examination (127 vs. 132)	50.2±12.8	51.3±13.3	0.51
Patient education (127 vs. 132)	51.7±13.2	51.5±15.9	0.95
Patient-physician interaction (127 vs. 132)	59.9±6.7	64.2±7.2	<0.001
CPX total (100)	59.3±5.8	62.4±5.9	<0.001
OSCE items
Wet smear of the vagina and cervix (64 vs. 106)	38.4±6.0	40.8±7.0	0.03
Chest and lung examination (63 vs. 106)	40.4±6.3	43.2±5.8	<0.001
Local anesthesia (63 vs. 53)	36.2±7.4	36.0±8.4	0.90
K-MMSE (63 vs. 53)	36.3± 6.8	36.7±5.2	0.73
Cranial nerve examination (64 vs. 79)	29.5±11.7	33.5±8.7	0.02
Foreign body airway obstruction (64 vs. 53)	41.0±9.4	42.3±10.2	0.48
OSCE total (127 vs. 132)	73.7±10.6	75.2±13.7	0.33
CPX/OSCE total (127 vs. 132)	61.8±5.3	65.7±5.0	<0.001

Values are presented as mean±standard deviation. OSCE items score was based on 50, the other score was based on 100. CPX components and total score were summed up common item scores of the 3rd and 4th year.

CPX, clinical performance examination; OSCE, objective structured clinical examination; K-MMSE, Korean mini-mental state examination.

수기문항에서 질분비물검사, 폐진찰, 뇌신경기능평가 항목은 3학년과 4학년의 점수가 유의한 차이가 있었지만, 국소마취, 간이정신상태검사, 이물질기도폐색응급처치 항목은 점수가 비슷하였다. 수기문항 총점은 4학년이 약 1.5점 높았지만 통계적으로 유의한 차이는 보이지 않았다(Table 4).

3. 지필시험과 Clinical Performance Examination/Objective Structured Clinical Examination

지필시험과 CPX/OSCE 점수의 관계를 분석한 결과, 이들은 상관계수가 0.371로 유의수준 0.01에서 유의한 것으로 나타나, 보통의 정적상관을 이루고 있다고 볼 수 있다(Table 5).

Table 5.

Relationship between written examination and CPX/OSCE

CPX/OSCE	Written examination
History taking	0.321^**
Physical examination	0.018
Patient education	0.257^**
Patient-physician interaction	0.198^*
CPX total	0.306^**
OSCE total	0.300^**
CPX/OSCE total	0.371^**

CPX, clinical performance examination; OSCE, objective structured clinical examination.

^* * Pearson correlation coefficient, p<0.05;

^** ** Pearson correlation coefficient, p<0.01.

4. 종합시험과 관련 요소

3학년 종합평가와 관련 요소들의 상관을 분석한 결과, 필기시험은 2학년까지 학점과의 상관계수가 0.771로 강한 상관이 있었고 3학년 필수임상실습 성적과는 상관계수 0.612의 상관을 보여주었다. CPX/OSCE 결과와 필수임상실습 성적의 상관계수는 0.641로 비교적 높았다. 2학년에 시행한 실기시험과의 상관계수는 0.464로 나타나 보통의 상관을 보여주었다(Table 6).

Table 6.

Relationship between GPA through the 2nd year, CPX/OSCE in the 2nd year, GPA in the clerkship, and 3rd-year summative assessment

3rd-year summative assessment	GPA through 2nd year	CPX/OSCE in 2nd year	GPA in clerkship
Written examination	0.771^**	0.329^**	0.612^**
CPX/OSCE	0.500^**	0.464^**	0.641^**

The GPA through the 2nd year mainly represents medical knowwledge competency.

The CPX/OSCE in the 2nd year was a formative assessment. The GPA in the clerkship was composed of workplace-based asseessments.

GPA, grade point average; CPX, clinical performance examination; OSCE, objective structured clinical examination.

^** ** Pearson correlation coefficient, p<0.01.

고 찰

이 연구의 첫 번째 목적은 필수임상실습을 마친 3학년 학생들의 역량수준을 평가하기 위해 시행되었으며, 4학년과 공통으로 시행한 지필시험과 CPX/OSCE 결과와 비교하였다. 그 결과는 첫째, 3, 4학년의 점수 차이는 지필시험에서 11.7점, 임상수행평가에서 4점이었다. 둘째, 4학년과 비교하여 3학년은 진료문항에서 점수 차이를 보였으나, 수기문항 점수는 차이가 없었다. 셋째, 진료문항은 영역별로, 병력청취와 환자의사관계 점수는 4학년이 높았지만, 신체진찰과 환자교육 점수는 차이가 없었다.

우선, 지필시험을 통하여 의학지식역량을 평가한 결과 3, 4학년 학생들의 점수 차이가 11.7로 매우 컸다. 부산대학교 의학전문대학원 교육과정의 성과는 3학년에서 주요 임상수기역량을 갖추고, 4학년에서는 보다 다양한 진로를 모색하고 진료에 깊이 참여할 수 있도록 하는 것이 목표이다. 따라서 교육과정은 3학년에서 주요 필수임상실습을, 4학년에서 선택, 선택심화실습으로 구성되어 있으며, 2013년도부터 학생인턴을 시행할 계획에 있다. 시기적으로 3학년 학생들은 주요 필수임상실습을 통하여 지식뿐만 아니라 임상수기역량을 갖추어 4학년에서 학생인턴 업무를 수행할 수 있도록 해야 한다. 4학년 교육과정은 개인별로 차이가 있으며, 지필시험 또는 CPX/OSCE 준비를 위한 정규과정이 없는 상태에서 지식역량은 상당히 차이를 보인 이 결과는, 통합강의와 필수실습을 하는 동안 지식의 통합이 충분히 일어나지 않으며 4학년 과정 동안 개별적으로 일어나는 것을 의미한다.

지식의 통합과 관련하여 필기시험은 12월에 시행되어 4학년 학생들은 개별적으로 지식적으로 충분히 통합하였던 반면, 3학년 학생들은 필수실습을 수행한 직후 시행하여 정리하고 통합할 시간이 적었던 것으로 생각된다. 또한 4학년 학생들은 이전의 모의고사를 통하여 국가고시 시험문항의 형태에 익숙해져 있지만, 3학년 학생들은 1학기말에 한 번의 경험밖에 없어 문제형식에 적응하지 못하였을 가능성이 있다.

그러나 의학지식역량과 비교하여 임상수기역량의 차이는 4점 정도로 비교적 작았다. 진료문항은 세 문항에서 차이를 보였는데, 특히 나쁜 소식 전하기 항목은 점수 차이가 10점으로 차이가 가장 컸으며, 이것은 어려운 면담에 속하는 항목은 기본면담기술에 더하여 추가적인 훈련이 필요함을 보여준다. 한편, 임상실습을 적극적으로 하는 기간 동안 의사소통 및 공감능력이 떨어진다는 보고들이 있는데, 임상에서 의사소통과 공감표현을 하는 롤 모델이 적고, 학생들은 학습해야할 내용과 시간 스트레스, 환자요인 등이 복합적으로 작용하여 감소하는 현상을 보인다고 설명하고 있다(Lim et al., 2013; Neumann et al., 2011). 본 연구에서도 임상업무수행이 집중되어 있는 3학년에서 비슷한 결과를 보였다.

진료문항은 영역별로 3학년의 신체진찰과 환자교육 점수가 낮고 특히 4학년에서도 변화가 없다는 점이 주목된다. 신체진찰에 대해서 2학년 통합교육과정에서 수업을 했지만 강의형태로 이루어진 것이 많았고, 3학년 임상실습에서 충분히 수행할 기회가 없었음을 의미한다. 환자교육 점수가 낮은 것은 현재 진료시험에서 임상추론능력과 향후 계획, 환자에게 필요한 내용을 교육하는 역량이 낮다고 판단할 수 있지만, 현재 진료시험의 형태에서 환자교육의 많은 부분을 사이시험에서 작성하게 됨으로써 이러한 역량을 정확하게 판단하기는 어려울 수 있다.

한편, 수기문항인 폐진찰은 3, 4학년 모두에서 80점 이상을 보이지만 진료문항에서 신체진찰 점수는 50점에 불과하였다. Wilkerson & Lee (2003)는 진료문항에서 신체진찰 점수와 수기문항에서 신체진찰 점수가 상관관계가 없으며 같은 장기에서 진료문항 내의 신체진찰 점수는 수기문항 신체진찰 점수보다 낮았음을 보고하였다. 이 결과는 수기를 단순히 시행하는 능력이 부족한 것이 아니라, 특정 진료문항 증례에서 필요한 신체진찰을 간과하거나 시간제한으로 인해 하지 못하기 때문이라고 분석하였다. 따라서 특정 진찰을 반복하는 교육방법은 수기문항 점수 향상에만 도움이 되며, 진료문항에서 신체진찰 점수를 향상시키기 위해서는 임상추론능력을 향상시키도록 훈련하여야 할 것이다.

3학년 수기문항 점수는 뇌신경기능평가와 폐진찰 등 특히 숙련도를 요하는 문항에서 차이를 보였으나 그 폭은 크지 않았고, 총점은 73.7±10.6으로 4학년과 비교하여 통계적으로 유의한 차이가 없었다. 이와 같은 연구결과는 인턴제도 폐지와 관련하여 논의되고 있는 실기시험의 조기 시행의 근거를 뒷받침할 수 있을 것으로 판단된다. 즉 3학년에서도 수기문항은 평가가 가능함을 보여주며, 진료문항은 나쁜 소식 전하기와 같은 어려운 문항 등을 고려하여 시행할 필요가 있겠다.

4학년과 비교한 3학년 역량평가결과로부터의 시사점은, 지식의 통합이 일어날 수 있도록 강의와 실습교육과정을 구성해야 하며, 기본적인 소통에 더하여 어려운 면담 등의 추가적인 훈련이 필요한 사항은 단계별로 구성할 필요가 있고, 신체진찰을 강조해야 하며, 단편적인 수기교육보다 임상추론능력을 향상시키도록 모색하는 것으로 요약할 수 있다.

본 연구의 두 번째 목적은 3학년의 역량의 결과와 교육과정 관련 요소와의 상관성을 살펴보기 위해 다른 측정 결과들과 비교하는 것이다. 그 결과, 첫째, 지필시험과 CPX/OSCE는 중간 정도의 일치도를 보였으며(R= 0.371), 둘째, 지필시험은 통합강의 학점과 높은 상관성(R= 0.771), CPX/OSCE는 통합강의 학점, 임상실습 학점과 상관성이 있었으며(R= 0.612, R= 0.641), 마지막으로 2, 3학년 임상수행평가결과 간의 연관성이 있었다(R= 0.464).

먼저 의학지식역량을 나타내는 지필시험과 임상수기역량을 나타내는 CPX/OSCE결과는 보통 정도의 상관을 보였다(R= 0.371). Dennehy et al. (2008)은 치의학과 3, 4학년에서 시행한 지필시험과 OSCE시험은 중간 정도의 상관성을 보이며, Nunnink et al. (2010)는 중환자술기에 대하여 시행한 필기시험과 시뮬레이션기반 시험결과 상관성이 미미하였다고 보고하고 있다. 지필시험과 CPX/OSCE 는 상관성을 보이지만 상관계수의 값이 높지 않은데, 이것은 측정하는 내용이 다르다는 것을 의미하며 역량을 평가하기 위해서는 구분하여 평가해야 하고 서로 대체될 수 없는 것을 의미한다(Miller, 1990). 또 의학지식역량은 지필시험뿐만 아니라 CPX/OSCE를 통해서도 평가할 수 있고, 임상수기역량은 CPX/OSCE와 더불어 지필시험의 성적과도 일부 관련이 있으므로 학생의 역량을 판단할 때는 다양한 평가방법을 동원하여 종합적으로 판단할 필요가 있겠다(Shumway et al., 2003).

2학년까지의 학점은 3학년 말 종합시험에서도 지필고사와 높은 상관관계를 나타내었고(R= 0.771), 실기시험과는 중간 정도의 상관을 보여주었다(R= 0.500). 2학년까지의 학점은 과정의 평가결과들의 총합으로 문제바탕학습, CPX/OSCE 결과 등이 포함되어 있지만 대부분 의학지식역량을 반영하며 2학년의 시험은 knows과 knows how를 판단하는 지필시험이었다. 따라서 유사한 역량을 평가하는 3학년의 지필시험과도 높은 관련성을 보인 것으로 생각된다.

반면에 임상실습 학점은 지필시험, 실기시험과 모두 0.6 이상의 비교적 강한 상관관계를 보여주었으며, 실기시험에서 약간 더 높았다(0.612 vs. 0.641). 부산대학교 의학전문대학원은 2012년도부터 임상실습평가방법을 실습 직무에 근거하도록 개선하였다. 직무중심평가(workplace-based assessment)는 학생이 의사의 직무를 행하는 것을 관찰하거나 증례에 대해 토론하거나 간호사 또는 환자와 같은 병원 현장의 다양한 구성원으로의 평가를 바탕으로 판단하는 평가방법이다(Miller & Archer, 2010). 직무중심평가는 Miller의 평가 피라미드 4단계인 실제 행하는 것(does)에 해당하는 평가로, 임상수행평가인 shows how, 지필시험 knows how 및 knows와 상당히 밀접한 관계가 있었다. 향후 임상실습에서 직무중심의 교육과 평가의 강화는 임상수행능력과 의학지식역량을 높일 수 있을 것으로 판단된다.

한편, 2학년에서 시행한 임상수행평가는 3학년 임상수행평가결과와 중간 정도의 상관을 보였다(R= 0.464). 2학년 임상수행평가는 각 과정 내에서 실습한 진료 및 수기 항목 내용에 대하여 평가와 함께 피드백을 주기 위한 형성평가의 목적으로 학기말에 2회 시행한 결과이며, 3학년의 임상수행평가는 종합평가로서 진급 여부를 결정하기 위한 목적이었다. 본 연구결과와 유사하게 Simon et al. (2007)은 2학년에 시행한 OSCE 시험과 미국의사고시 실기시험 (United States Medical Licensing Examination step 2)과 상관을 보여(R= 0.395) 조기에 임상역량을 평가하는 것이 유용하다고 판단하였다. 특히 임상실습 이전에 표준화환자를 통하여 임상술기를 교육하는 것이 확대되고 있고 특히 실습 전에도 환자와 조기에 접촉하여 실습 전환을 유도하며 동기를 부여하는 등 조기임상교육이 활발해지고 있다(Godefrooij et al., 2010). 그러나 상관계수 수치가 높지 않은 것은 형성평가와 종합평가의 시험결과의 목적이 상이한 점 등을 고려하여야 할 것이며(Anziani et al., 2008), 추후 연구가 필요할 것으로 생각된다.

요약하면 지필시험과 임상수행평가결과의 상관성은 중간 정도이며, 같은 역량의 특성을 평가하는 결과 간에 일치도가 높았는데, 이것은 역량의 특성에 따라 구분하여 평가할 필요가 있는 것을 의미한다. 직무중심평가는 임상수행평가, 지필시험과 모두 관련이 있어 임상실습의 바람직한 평가방법으로 생각된다. 조기에 시행한 CPX/OSCE는 도움을 준 것으로 판단할 수 있다.

본 연구의 제한점은 첫째, 지필고사는 동시에 동일한 문항으로 12월에 시행하여 충분한 비교가 가능하였지만, 실기시험은 4학년은 8월 말, 3학년은 12월에 시행한 시험을 비교하여 시행시기 차이를 간과하였다. 둘째, 3, 4학년 간 시험의 경험과 적응도를 간과하여 한계가 있다. 셋째, 3학년에서 종합시험을 시행한 첫 해로서 학생들의 충분한 인식이 없었다.

제한점을 고려하여 본 연구의 의의는 종합평가를 시행하여 3학년의 수준을 측정함으로써, 향후 3학년의 시기별 성과를 정의하고 절대적 기준을 설정하며, 교육과정과 평가방법을 개선하는 데 도움을 줄 것으로 판단된다. 특히 학생들이 4학년에서 학생인턴제를 시행할 때에 진료에 깊이 참여하고 진로모색을 하기 위해서는 3학년까지의 과정 동안 역량수준을 높여야 하며, 이를 위해서 임상실습을 내실화할 뿐만 아니라 통합강의와 평가방법의 질적 개선이 필요하겠다.