재교육으로서 비디오를 이용한 피드백이 임상수행평가 성적에 미치는 영향

The Effect of Remedial Precepted Video Review on Clinical Performance Examination Scores

Article information

Korean Med Educ Rev. 2012;14(1):51-56

Publication date (electronic) : 2012 June 30

doi : https://doi.org/10.17496/KMER.2012.14.1.051

Jong Hoon Kim ^,

Medical Education Center, Inha University School of Medicine, Incheon, Korea

김종훈^,

인하대학교 의학전문대학원 의학교육실

교신저자: 김 종 훈 인천광역시 중구 서해대로 366 (정석빌딩 2층) 인하대학교 의학전문대학원 의학교육실 Tel: +82-32-890-0918 Fax: +82-32-888-7224 E-mail: minasun01@inha.ac.kr

Received 2012 March 12; Revised 2012 April 17; Accepted 2012 April 20.

Trans Abstract

Purpose

Precepted video review (PVR) has been considered one of the methods for the remediation of clinical performance examinations (CPX). This study quantified the effect of brief PVR on CPX scores.

Methods

For two years, final-year students (61 students in the 1st year's cohort and 54 in the 2nd year's cohort) participated in CPXs. The scores on the initial CPX were announced to the students shortly after that CPX administration. There was no PVR after the initial CPX in the 1st year. All participants of the 2nd year were noti-fied of the opportunity to voluntarily receive brief PVR after the initial CPX. Several months after the initial CPX, the students took the latter CPX in both years. The differences of scores between initial and latter CPX were compared in good performers and poor performers of the initial CPX.

Results

Thirteen poor performers and 8 good performers received PVR in the 2nd year. In the 1st year, history taking (Hx), physical examination, and patient physician interaction (PPI) scores of the good performers of the initial CPX were significantly decreased on the latter CPX. In the 2nd year, the Hx and PPI scores of the good performers of the initial CPX, who received PVR, were significantly decreased at the latter CPX. The Hx and PPI scores of the poor performers of the initial CPX were significantly increased at the latter CPX in both years regardless of PVR.

Conclusion

The changes in CPX scores according to PVR did not show any consistent trend. Brief PVR appears to be not sufficient for improving CPX scores.

Keywords: Clinical competence; Educational measurement; Feedback

서 론

2009년에 처음 시행된 의사국가시험의 실기평가(국가실기시험)는 각 학교가 자체적으로 시행하거나 지역 컨소시엄이 주관하는 실기평가(임상수행평가)에도 영향을 미치고 있다. 두 평가 모두 표준화 환자나 모형(simulator)을 이용하여 여러 시험방(multi-station)에서 시행된다는 면에서 그 내용이나 구조가 유사한 면이 많이 있다. 의사국가시험에 실기평가가 도입되기 전까지는 여러 학교에서 임상수행평가를 이용하여 학생의 임상능력을 측정한 결과는 대개 각 학생에게 그대로 전달되거나 단지 학교의 임상실습을 점검하는 데 이용되고 있었다. 그러나 국가실기시험이 도입된 후에는 이에 더하여 각 학생이 국가실기시험을 응시할 준비가 되었는지 점검하는 목적으로도 이용되고 있으며 특히 임상수행평가에서 드러난 각 학생의 문제점을 학생 개인에게 보다 상세히 전달하고 개선할 수 있는 방법을 제공하는 재교육의 시행을 더욱 중요하게 고려할 필요가 있다고 본다. 임상수행평가 결과가 부진하여 국가실기시험에 실패할 위험이 있다고 판단되는 학생에게는 이러한 재교육이 특히 중요할 것이다(Hauer et al., 2006).

단지 국가시험에 대비하기 위해서라기보다는 학생의 임상수행능력을 평가한 후에 학생을 재교육하기 위하여 여러 가지 방법이 제안되었다(Beckert et al., 2003; Bennett et al., 2005; Faustinella et al., 2004; Lin et al., 2001; Magarian & Campbell, 1992; Rosenblatt & Schartel, 1999). 이와 같이 여러 방법이 소개되었지만 아직까지 재교육을 위한 표준방법이 무엇인지에 대하여 합의된 바는 없다. 이는 각 기관마다 가용 자원과 인력의 한계가 다르기 때문에 이에 합당한 재교육 방법에 차이가 있을 수 밖에 없기 때문일 것으로 생각한다. 미국에서는 임상수행 지도교수와 함께 임상수행평가 동영상을 함께 재검토(precepted video review, PVR)하며 지도를 받는 것이 재교육의 방법으로 가장 많이 사용되고 있다는 조사 결과가 발표되었다(Saxena et al., 2009). 본 연구자는 이미 임상수행평가에서 성적이 부진한 학생을 대상으로 PVR을 시행한 결과 수개월 후에 다시 시행된 임상수행평가에서 그 학생들의 성적이 PVR을 받지 않은 학생들에 비하여 일부 유의미하게 상승하였음을 보고하였다(Kim, 2010). 그러나 그 연구에서는 성적이 부진한 학생이 PVR을 받지 않았을 경우에 성적의 변화를 비교할 수 있는 대조군이 없었던 관계로 임상수행평가 성적의 상승이 학생들이 받은 PVR에 기인한다고 결론 내리기에는 무리가 있는 것 같다.

이에 본 연구에서는 임상수행평가를 시행한 후에 이 평가 결과를 토대로 PVR을 받은 학생과 받지 않은 학생의 병력청취, 신체진찰, 환자의사관계 성적이 수개월 후에 다시 시행되는 임상수행평가에서 어떤 변화를 보이는지를 조사하였다. 즉, 같은 학교에서 2009년에 4학년을 대상으로 비슷한 시기에 거의 같은 간격으로 PVR을 하지 않고 시행한 임상수행평가에서 성적의 변화와 비교하여 2010년 4학년 성적의 변화에 PVR이 의미 있는 영향을 미치는지 조사하고자 하였다.

대상 및 방법

본 연구를 시행한 인하대학교 의학전문대학원(인하의전원)에서는 본과 4학년을 대상으로 1년에 3차례에 걸쳐 임상수행평가를 실시하고 있다. 대개 1차 임상수행평가는 1월 중순에, 2차는 6월 초순에, 3차는 8월 초순에 시행하고 있다. 이 중에서 1차와 3차 평가는 서울/경기 컨소시엄을 통하여 준비되고 있으며 컨소시엄에 가입한 학교에서 시나리오와 채점표를 제출받아 그 해에 사용한 사례를 확정하고 수정한 후에 사례당 4-5명의 표준화 환자를 모집하여 환자 연기와 채점표 작성이 정해진 수준 이상이 되도록 훈련시킨 다음 각 학교를 순회하며 임상수행평가를 시행한다. 자세한 준비 절차와 방법은 참고문헌에 자세히 기술되어 있다(Kim, 2010). 2차 평가는 인하의전원에서 자체적으로 모든 사항을 준비하여 시행하고 있으며 그 절차는 컨소시엄에서 시행하는 절차와 거의 동일하다.

표준화 환자 훈련을 위한 환자 시나리오와 평가를 위한 채점표의 형식은 임상수행평가에 사용되는 사례의 성격에 따라 약간의 변화는 있지만 근본적으로 동일하다. 예를 들어 ‘나쁜 소식 전하기’ 같은 사례에서는 신체진찰을 평가하기 위한 채점표가 없다. 채점표는 병력청취, 신체진찰, 환자교육, 임상예절, 환자의사관계 등 5가지 영역으로 나누어져 있다(Table 1). 병력청취, 신체진찰, 환자교육에 대한 채점표는 각 사례의 특성에 따라 그 내용과 항목 수가 다르며 대개 20개 내외로 구성되어 있다. 임상예절 채점표는 신체진찰을 시행할 때 의사가 지켜야 하는 예절을 평가하는 내용으로 신체진찰이 필요한 사례에 공통적으로 사용되는 4개 항목으로 구성되어 있으며 채점표에 신체진찰이 있는 경우에만 포함된다. 환자의사관계 채점표는 모든 사례에 공통적으로 사용되는 7개 항목으로 구성되어 있다. 채점표는 표준화 환자가 학생의 진료를 받고 학생이 방을 나간 후에 5분 내에 작성하게 된다.

Table 1.

Checklists and rating scales

1차 연도(2009년)에는 61명의 4학년 학생이 임상수행평가를 받았다. 컨소시엄에서 준비한 6개의 사례로 이루어진 1차 평가 후에 학생들에게 개별적으로 사용된 각 사례별로, 그리고 5가지 영역별로 성적만을 통고하였으며 PVR은 시행하지 않았다. 1차 평가 4개월 후에 본교에서 자체적으로 준비한 6개의 사례로 이루어진 2차 평가를 시행하였다. 1차 평가와 2차 평가에는 모두 다른 사례들이 사용되었다.

2차 연도(2010년)에는 52명의 4학년 학생이 임상수행평가를 받았다. 컨소시엄에서 준비한 6개의 사례로 이루어진 1차 평가가 종료된 직후에 1차 연도와 마찬가지로 학생들에게 개별적으로 사용된 각 사례별로, 그리고 5가지 영역별로 성적을 통고하였다. PVR을 받기 원하는 모든 학생들은 성적에 관계없이 약 4주의 기간에 걸쳐 개인별로 한 학생당 1시간 30분에서 2시간 정도의 PVR을 임상수행평가 담당 교수로부터 받았다. PVR은 임상수행평가의 모든 평가 영역에 걸쳐 시행했으며 학생 개인별로 수행이 미흡한 영역에 더 많은 시간을 할애하여 진행하였다. 1차 평가 4개월 후에 본교에서 자체적으로 준비한 6개의 사례로 이루어진 2차 평가를 시행하였다. 1차 평가와 2차 평가에는 모두 다른 사례들이 사용되었다.

1차 연도에는 1차 평가 결과 개인별 평균 성적이 상위 27% 이내에 해당하는 학생과 하위 27%에 속하는 학생들의 성적이 2차 평가에서 어떠한 변화를 보였는지 영역별로 조사하였으며 2차 연도에는 PVR을 받은 학생과 받지 않은 학생을 구분하여 1차 평가 결과 개인별 평균 성적이 상위 27% 이내에 해당하는 학생과 하위 27%에 속하는 학생들의 성적이 2차 평가에서 어떠한 변화를 보였는지 영역별로 조사하였다(Tavakol & Dennick, 2011). 영역별 점수는 백분위 점수로 학생이 Table 1의 점수 배정에 의하여 각 영역에서 득점한 점수를 그 영역의 만점으로 나누고 100을 곱하여 산정하였다. 2차년도에 PVR을 받은 학생을 대상으로 PVR의 내용과 만족도에 대한 설문을 시행하였다.

1차 연도에는 상위성적 학생군과 하위성적 학생군의, 2차 연도에는 PVR을 받거나 받지 않은 상위성적 학생군과 하위성적 학생군의 성적을 비교하였다. 성적 비교는 학생들의 영역별 점수를 표준 z점수로 변환하여 각 군의 1차 평가와 2차 평가 사이의 병력청취, 신체진찰, 임상예절, 환자의사관계 점수의 차이를 Wilcoxon signed rank test를 이용하여 검증하였다.

결 과

1차 연도의 1차 평가 상하위 27%에 해당하는 각 17명 학생군의 성적과 그 학생들의 2차 평가 성적을 비교한 결과 상위성적 학생군에서는 병력청취와 신체진찰, 환자의사관계의 2차 평가 성적이 1차 평가에 비해 통계적으로 유의하게 떨어졌으며, 임상예절 성적은 유의한 변화를 보이지 않았다. 반면에 하위성적 학생군에서는 병력청취와 신체진찰, 환자의사관계의 2차 평가 성적이 1차 평가에 비해 통계적으로 유의하게 올라갔으며, 임상예절 성적은 유의한 변화를 보이지 않았다(Table 2).

Table 2.

The scores of the students in the 4 domains of the CPXs in the 1st year

2차 연도에는 1차 평가 하위 27%에 해당하는 14명의 학생들 중에서 13명이, 상위 14명 중에서는 8명의 학생이 PVR을 받았으며, 6명의 학생은 PVR을 받지 않았다. 하위 27%에 속하지만 PVR을 받지 않은 1명의 성적은 결과에서 제외하였다. 이 학생들의 1차 평가 성적과 2차 평가 성적을 비교한 결과 성적 상위 학생군에서 PVR을 받은 학생의 신체진찰, 임상예절 성적은 1, 2차 평가에서 유의한 차이를 보이지 않았으나 병력청취와 환자의사관계 성적은 통계적으로 유의하게 떨어진 것으로 나타났다. 성적 상위 학생군에서 PVR 을 받지 않은 학생들의 성적은 1, 2차 평가 사이에 유의한 차이가 없었다. 반면에 PVR을 받은 성적 하위 학생군에서는 병력청취와 환자의사관계 성적이 2차 평가에서 유의한 상승을 보였다(Table 3).

Table 3.

The scores of the students at 4 domains of CPXs in 2nd year

2차 연도에서 PVR을 받은 학생을 대상으로 PVR에 대한 설문을 시행한 결과 학생들은 PVR이 잘 준비되었으며 도움이 되었다고 응답하였다(Table 4).

Table 4.

Rating scales of questionnaire about PVR (median [range])

고 찰

본 연구 결과 PVR은 임상수행평가의 성적에 뚜렷한 영향을 미치지는 않는 것으로 나타났다. 본 연구 대상 학교의 PVR은 의사국가시험에 실기시험이 도입됨에 따라 국가시험을 앞둔 4학년 학생이 임상수행평가 결과 나타난 각자의 임상능력의 장점이나 단점을 인지하게 하고 그 능력을 향상시키기 위한 방법을 제시하는 피드백을 줄 목적으로 본 연구의 1차 연도부터 계획되었다. 하지만 본 연구의 1차 연도의 2차 평가 전까지는 PVR을 시행할 수 있는 시설이 설치되지 못해 1차 연도의 1차 평가 후에는 PVR을 시행할 수 없었으며 PVR이 학생의 임상능력 향상에 어떻게 도움이 될지 알 수 없는 상황이었다. 그래서 일단은 시설이 갖추어진 후인 1차 연도의 2차 평가에서 성적이 불량하여 반드시 기존의 교과과정 외에 어떻게든 특별한 재교육이 필요하다고 여겨지는 학생을 대상으로 PVR을 시행하게 되었다. 그 결과 PVR을 받은 학생들이 PVR에 대하여 호의적인 반응을 보여 그 후로는 모든 임상수행평가를 마친 후에는 PVR 을 원하는 학생 전원을 대상으로 PVR을 시행하였고 그 결과 2차 연도에는 1차 평가부터 바로 PVR을 시행할 수 있었다.

학생들의 임상수행능력을 평가하고 그 결과에 따라 학생을 다시 교육하는 방법으로는 PVR 외에도 여러 가지가 소개되었다. White et al. (2009)은 의과대학 4학년 학생을 대상으로 객관구조화임상시험(objective structured clinical examination, OSCE) 후에 각 학생이 통과하지 못한 시험문항(station)에 대하여 자율적 재교육(self-remediation)을 시행할 때 이에 더하여 각 항목을 평가한 교수의 피드백을 제공하는 것에 대한 정량적인 결과를 발표하였다. 학생이 시행한 자율적 재교육은 자신이 통과하지 못한 OSCE 문항에 대하여 스스로 참고문헌을 읽고 시행된 OSCE의 동영상을 시청하며 숙고(reflection)하는 것으로 이루어져 있으며, 이들 중에서도 합격선에서 측정 표준오차를 뺀 수치 이하의 점수를 받은 학생에게는 자율적 재교육에 더하여 웹사이트를 통하여 평가 교수의 서술 피드백을 제공하였다. 그러나 차기 OSCE에서 이와 같은 서술 피드백을 제공받은 학생의 성적이 이를 제공받지 않은 학생에 비하여 유의한 변화를 보이지는 않았다. Dowell et al. (2006)은 다른 재교육 방법을 소개하였다. 그들은 성적이 부진한 2, 3학년 학생을 대상으로 강도 높고 상호작용을 하는 과정을 개발하여 재교육을 시행하였다. 저자들은 이 과정을 통하여 기본과 보다 고차원적인 임상기술을 배우고 익힐 수 있는 많은 기회를 제공하여 많은 학생이 도움을 받았다고 보고하였다. Kneebone et al. (2008)은 고식적인 피드백 방법에 비하여 인터넷에 기반한 피드백이 시스템의 다양한 자료에 학생이 보다 원활하게 접근할 수 있어 많은 장점이 있었고 학생들의 만족도도 좋았다고 보고하였다. Hauer et al. (2008)은 미국 각 의과대학의 임상수행교육 및 평가 책임자 33명과의 면접조사 결과를 보고하였다. 이 연구에 의하면 각 학교는 재교육으로 본 연구와 유사한 방법을 비롯하여 표준화 환자를 이용한 연습, 심층 추가 임상실습 등을 다양한 형태로 시행하고 이후에 다시 평가를 시행하고 있지만 이와 같은 재교육이 학생들의 임상능력에 어떤 변화를 가져오는지에 대한 효과는 미지수라고 보고하였다. 최근에 Klamen & Williams (2011)는 절대평가 방식의 표준화 환자를 이용한 임상수행평가에서 낙제점을 받은 학생을 대상으로 한 달에 걸쳐 그 학생들이 취약했던 특정 영역을 집중적으로 재교육한 결과 차후의 평가에서 그 학생들이 모두 합격선을 넘어섰으며 점수도 통계적으로 유의하게 상승했음을 보고하였다. 이와 같은 연구 결과를 보면 임상수행평가 후에 재교육을 실시했을 때 대체로 학생들이 그 재교육이 자신에게 도움이 된다고 생각하고 있으며 재교육 후에 다시 평가한 결과 학생의 임상수행능력이 향상되었다고 보고하고 있지만 재교육의 대상이 되는 학생들이 재교육을 받지 않고 다시 평가를 받았을 때 어떠한 성적의 변화를 보이는지에 대한 자료가 없어 재교육이 성적 향상에 도움이 되었다고 단정하기에는 무리가 있다고 보인다.

본 연구에서는 PVR을 이용한 재교육의 여부가 임상수행평가의 각 영역의 성적에 어떤 영향을 미쳤는지를 알아보았다. 병력청취 영역에서는 1차 평가에서 하위권의 성적을 나타낸 학생의 경우 PVR 에 관계없이 1, 2차 연도의 2차 평가에서 뚜렷하게 성적이 향상된 것으로 나타났으나, 1차 평가에서 상위권의 성적을 나타낸 학생의 경우 PVR이 실시되지 않았던 1차 연도에서는 2차 평가에서 성적이 상당히 하락하였고 PVR을 시행한 2차 연도에서는 PVR을 받지 않은 학생들의 성적은 유의한 변화를 보이지 않았으나 PVR을 받은 학생의 성적은 오히려 유의하게 하락하였다. 신체진찰 영역에서는 1차 평가에서 하위권의 성적을 나타낸 학생의 경우 2차 평가에서 성적이 향상되었으나 통계적으로 유의한 차이는 PVR을 시행하지 않은 1차 연도에만 나타났으며, 1차 평가에서 상위권의 성적을 나타낸 학생의 경우 PVR이 실시되지 않았던 1차 연도에서는 2차 평가에서 성적이 상당히 하락했던 반면, 2차 연도에는 PVR 여부에 관계없이 상위권 학생의 성적이 2차 평가에서 약간 하락(원점수는 약간 상승)한 것으로 나타났지만 통계적으로 유의한 차이는 보이지 않았다.

이와 같이 특히 1차 임상수행평가의 병력청취 영역에서 부진한 성적을 보인 학생이 PVR 시행 유무에 관계없이 2차 평가에서 성적이 향상되는 것으로 볼 때 성적이 향상되는 이유는 PVR에 도움을 받아서라기보다는 1차 평가의 부진한 성적 자체가 성적 향상의 동기 유발 요인으로 작용한 것으로 보인다. 1차 평가에서 우수한 성적을 보인 학생들의 경우 1차 연도에는 2차 평가에서 성적이 많이 하락하였고 PVR을 시행한 2차 연도에는 PVR을 받았던 학생의 성적이 특히 많이 하락한 것으로 나타났다. 원점수만 비교하면 차이가 없는 것으로 보이지만 표준점수로 비교하면 크게 하락하였다. 이는 1차 평가 결과 상대적으로 높은 성적을 받은 학생이 PVR까지 받고 나서 지나치게 자신감을 갖고 시험 준비를 상대적으로 등한히 한 결과가 아닌가 추정되지만 정확한 원인은 좀 더 대규모의 연구를 시행해 보아야 알 수 있을 것으로 보인다. 참고로 성적에 관계없이 2차 연도 1차 평가 후에 PVR을 받은 학생과 받지 않은 학생의 1, 2차 평가의 병력청취 표준점수를 비교한 결과 PVR과 관계없이 유의한 변화를 보이지 않았다. 이 역시 PVR이 병력 성적에 큰 영향을 주지 않음을 보여준다고 생각한다. 신체진찰 영역도 병력청취 영역과 비슷한 추이를 보여 1차 평가에서 부진한 성적을 보인 학생의 성적이 2차 평가에서 많이 향상된 것으로 보이지만 학생 성적의 편차가 병력에 비해 큰 관계로 2차 연도에는 통계적으로 유의한 차이는 나타나지 않은 것으로 추정된다.

임상예절 영역에서는 평가 연도나 차수에 관계없이 큰 변화를 보이지 않았다. 원점수로 분석하면 2차 연도의 1차 평가에서 상위권에 위치한 학생들의 성적이 2차 평가에서 크게 하락한 것으로 보이지만 표준점수를 환산하여 분석한 결과 차이가 없는 것으로 나타났다. 환자의사관계 영역에서는 1, 2차 연도에서 모두 1차 평가에서 상위권 성적을 보인 학생의 성적이 2차 평가에서 유의하게 하락한 것으로 나타났다. 환자의사관계의 평가는 병력청취나 신체진찰에 비하여 표준화 환자의 개인적인 시각이 크게 작용한다고 알려져 있다(Clauser et al., 2006; Engelhard, 1996; Harik et al., 2009). 그러므로 1, 2차 평가 사이의 성적의 변화가 학생의 수행능력을 반영하기도 하지만 1, 2차 평가에서 활동한 표준화 환자가 다르기 때문에 이들 간의 개인차가 여기에 큰 영향을 미쳤을 것으로 보인다. 그러나 그런 점을 감안한다고 하여도 표준점수를 이용한 분석 결과 PVR 시행과는 관계없이 1, 2년 차에서 1차 평가 하위권 학생의 점수가 2차 평가에서 상승한 반면 1차 평가 상위권 학생의 성적이 2차 평가에서 크게 하락한 것은 큰 문제로 생각된다. 특히 2차 연도에서 PVR 을 시행받은 상위권 학생의 성적도 하락한 것으로 보아 이는 단지 PVR을 실시한다고 해서 교정이 될 것으로 보이지 않으며 이에 대한 새로운 피드백 수단이 강구되어야 할 것으로 여겨진다. 임상수행평가의 또 다른 영역인 환자교육 영역은 평가에 사용된 모든 사례의 채점표의 항목을 모두 합하여도 그 수가 각 평가당 2-7개에 불과하여 본 연구에서는 제외하였다.

PVR에 대한 학생들의 반응은 매우 긍정적인 것으로 나타났다. 이는 학생들이 자신이 진료하는 모습을 실제 스스로 지켜보면서 그 평가 결과를 볼 수 있는 기회를 PVR을 통하여 처음으로 접할 수 있었다는 점이 크게 작용한 것으로 여겨진다. PVR을 담당한 교육자의 태도와 피드백을 주는 능력도 어느 정도 영향을 미쳤을 것으로 생각된다.

이상의 결과를 종합하여 보면 학생들 스스로는 PVR을 통하여 큰 도움을 받은 것으로 생각했지만 PVR에 의한 실질적인 실력 향상의 효과는 미미한 것으로 보인다. 사실 짧은 시간의 PVR 자체가 학생의 실력을 향상시키기는 어렵다고 할지라도 PVR이 학생에게 스스로 실력을 향상시키려 노력해야 한다는 동기를 부여하여 학생의 임상능력을 향상시킬 수 있을 것으로 기대하였으나 본 연구 결과 그런 효과도 미미한 것으로 나타났다. 단 본 연구는 1개 학교에서 소수의 학생을 대상으로 하고 평가 시기마다 사용사례, 평가자(표준화 환자) 등이 모두 다르기 때문에 연구 결과를 일반화하기에는 무리가 따른다. 하지만 본 연구 결과로 판단할 때 재교육을 통하여 학생의 임상능력을 향상시키고자 한다면 재교육을 통하여 학생의 실재 임상능력을 향상시킬 수 있는 보다 잘 구조화되고 심화된 과정(예를 들어 학생의 임상능력 중에서 취약한 영역을 보다 집중적으로 연습할 수 있는 실습과정)이 마련되어야 재교육에 의한 효과가 나타날 것으로 보인다.

ACKNOWLEDGMENT

이 연구는 2011학년도 인하대학교의 지원에 의하여 수행되었다(INHA-2820).

References

Beckert L., Wilkinson T. J., Sainsbury R.. 2003;A needs-based study and examination skills course improves students’ performance. Med Educ 37(5):424–428.

Bennett A. J., Roman B., Arnold L. M., Kay J., Goldenhar L. M.. 2005;Professionalism deficits among medical students: models of identification and intervention. Acad Psychiatry 29(5):426–432.

Clauser B. E., Harik P., Margolis M. J.. 2006;A multivariate generalizabil-ity analysis of data from a performance assessment of physicians’ clinical skills. J Educ Meas 43:173–191.

Dowell J., Dent J. A., Duffy R.. 2006;What to do about medical students with unsatisfactory consultation skills? Med Teach 28(5):443–446.

Engelhard G.. 1996;Evaluating rater accuracy in performance assessments. J Educ Meas 33(1):56–70.

Faustinella F., Orlando P. R., Colletti L. A., Juneja H. S., Perkowski L. C.. 2004;Remediation strategies and students’ clinical performance. Med Teach 26(7):664–665.

Harik P., Clauser B. E., Grabovsky I., Nungester R. J., Swanson D., Nan-dakumar R.. 2009;An examination of rater drift within a generalizabili-ty theory framework. J Educ Meas 46(1):43–58.

Hauer K. E., Teherani A., Irby D. M., Kerr K. M., O'Sullivan P. S.. 2008;Approaches to medical student remediation after a comprehensive clinical skills examination. Med Educ 42(1):104–112.

Hauer K. E., Teherani A., Kerr K. M., O'sullivan P. S., Irby D. M.. 2006. Impact of the United States Medical Licensing Examination Step 2 clinical Skills exam on medical school clinical skills assessment Acad Med, 81(10 Suppl), S13-S16.

Kim J. H.. 2010;The effect of precepted video review as remediation for poor performer in clinical performance examination. Simul Healthc 5(3):187.

Kim J. H.. 2010;Does sharing information before a clinical skills examination impact student performance? Med Teach 32(9):747–753.

Klamen D. L., Williams R. G.. 2011;The efficacy of a targeted remediation process for students who fail standardized patient examinations. Teach Learn Med 23(1):3–11.

Kneebone R., Bello F., Nestel D., Mooney N., Codling A., Yadollahi F., Tier-ney T., Wilcockson D., Darzi A.. 2008;Learner-centred feedback using remote assessment of clinical procedures. Med Teach 30(8):795–801.

Lin C. T., Barley G. E., Cifuentes M.. 2001;Personalized remedial inten-sive training of one medical student in communication and interview skills. Teach Learn Med 13(4):232–239.

Magarian G. J., Campbell S. M.. 1992;A tutorial for students demonstrating adequate skills but inadequate knowledge after completing a medi-cine clerkship at the Oregon Health Sciences University. Acad Med 67(4):277–278.

Rosenblatt M. A., Schartel S. A.. 1999;Evaluation, feedback, and remediation in anesthesiology residency training: a survey of 124 United States programs. J Clin Anesth 11(6):519–527.

Saxena V., O'Sullivan P. S., Teherani A., Irby D. M., Hauer K. E.. 2009;Remediation techniques for student performance problems after a comprehensive clinical skills assessment. Acad Med 84(5):669–676.

Tavakol M., Dennick R.. 2011;Post-examination analysis of objective tests. Med Teach 33(6):447–458.

White C. B., Ross P. T., Gruppen L. D.. 2009;Remediating students’ failed OSCE performances at one school: the effects of self-assessment, reflection, and feedback. Acad Med 84(5):651–654.

Article information Continued

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Domain	Scale
History taking	Done (1), not done (0)
Physical examination	Done well (1), not done well (0.5), or not done (0)
Information sharing	Done (1), not done (0)
Clinical courtesy	Done (1), not done, or not applicable (0)
Patient-physician interaction	6-Point scale (0-5)

Student group	CPX	Scores (average± SD)^* (average of standard z scores)
Student group	CPX	History taking	Physical examination	Clinical courtesy	Patient-physician interaction
Upper 27% of 1st CPX	1st CPX	60.8± 4.5 (0.96)	50.4± 7.2 (0.94)	69.5± 11.5 (0.60)	67.4± 3.7 (0.65)
	2nd CPX	54.4± 5.2^† (0.18)	42.2± 11.8^† (0.08)	70.2± 12.8 (0.30)	55.0± 4.4^† (0.16)
Lower 27% of 1st CPX	1st CPX	46.1± 5.9 (-0.97)	32.7± 8.9 (-0.72)	58.1± 9.3 (-0.45)	55.7± 4.5 (-1.16)
	2nd CPX	52.3± 6.4^‡ (-0.18)	41.4± 15.9^‡ (0.02)	63.6± 16.6 (-0.11)	52.7± 4.5^‡ (-0.36)

Student group	CPX	Scores (average± SD)^* (average of standard z scores)
Student group	CPX	History taking	Physical examination	Clinical courtesy	Patient-physician interaction
Upper 27% of 1st CPX (PVR group)	1st CPX	56.9± 4.0 (0.91)	41.7± 9.2 (0.91)	71.9± 9.5 (0.71)	67.6± 4.2 (1.12)
	2nd CPX	52.7± 6.0^† (-0.19)	44.4± 6.8 (0.71)	57.5± 12.0 (0.20)	51.6± 2.5^† (-0.23)
Upper 27% of 1st CPX (non-PVR group)	1st CPX	56.0± 4.7 (0.78)	39.6± 1.8 (0.69)	67.7± 14.5 (0.37)	65.5± 2.8 (0.79)
	2nd CPX	57.6± 8.5 (0.46)	41.3± 9.1 (0.41)	59.2± 8.6 (0.34)	54.8± 4.7 (0.66)
Lower 27% of 1st CPX (PVR group)	1st CPX	41.5± 6.4 (-1.18)	23.9± 9.1 (-0.90)	51.9± 10.0 (-0.94)	55.3± 6.7 (-0.88)
	2nd CPX	51.6± 6.6^‡ (-0.34)	32.5± 12.7 (-0.43)	51.5± 10.9 (-0.30)	52.7± 3.2^‡ (0.06)

Items of questionnaire	After 1st CPX in 2nd year (n=35)
The duration of the PVR was appropriate.	5.0 (2-5)
The level of the PVR was appropriate.	5.0 (3-5)
The PVR was bidirectional communication.	5.0 (3-5)
The content of PVR was detailed.	5.0 (3-5)
The PVR with the faculty was effective.	5.0 (4-5)
The faculty prepared well for the PVR.	4.5 (2-5)
The PVR was helpful to me (student).	5.0 (4-5)
The PVR should be continued next year.	5.0 (3-5)