이번에 가톨릭대학교 의과대학 김영민 교수께서 주도하여 번역한 “Practical guide to the evaluation of clinical competence” 2nd edition은 의과대학생, 전공의, 전임의 교육프로그램에서 진료역량(clinical competency)을 평가하는 다양한 방법을 제공하고 있다. 이 가이드의 번역은 우리나라 의학분야 교육자들이 이런 다양한 평가방법이나 체계(system)를 한눈에 알 수 있도록 한 훌륭한 작업이다. 물론 대부분의 의학 교육자가 영문 해독에 큰 어려움이 없을 것이나, 모국어인 국문으로 읽을 수 있다면 더 효율적인 것은 틀림없다. 진료역량에 대한 평가이므로 주로 전공의 대상 교육을 많이 소개하였으나, 내용 중 일부는 학부 교육에서도 충분히 활용할 수 있다. 이 교재는 지금까지 소개된 평가방안을 총망라하여 16개의 장으로 구성하였다.

(1) 성과바탕 교육시대에 평가의 문제, (2) 의학교육 평가의 타당도와 신뢰도 문제, (3) 평가 틀, 평가양식과 총괄평정척도, (4) 직접관찰, (5) 직접관찰: 표준화환자, (6) 의학지식의 평가와 임상적용을 위한 필기시험, (7) 업무현장에서의 임상추론(clinical reasoning) 평가, (8) 시술 기술(procedural skill)의 업무현장바탕 평가, (9) 근거중심진료(evidence-based practice, EBP), (10) 임상진료검토, (11) 다면피드백, (12) 시뮬레이션바탕 사정, (13) 임상교육에서 피드백과 코칭, (14) 포트폴리오, (15) 문제가 있는 학습자 또는 문제 학습자? 역량부족 학습자와 일하기, (16) 프로그램 평가 등을 주제로 각 장을 구성하고, 현장에서 활용할 수 있는 다양한 도구를 표로 제공하였다. 이 교재에서 제공하는 다양한 측정 평가도구를 바탕으로 각 전문분야에 적절한 평가도구를 제작할 수 있을 것이다. 또한 전공의 공통역량 역시 우리 실정에 맞추어 제작이 가능할 것이다. 이 교재는 자세한 이론 설명과 함께 본문과 부록에 다양한 도구나 체계를 정리하였으므로, 전공의 교육자를 위한 일종이 실습교재라고도 할 수 있다.

이론에서는 전체 내용을 통틀어 타당도, 특히 구인타당도(construct validity)를 강조하였다. 모든 측정도구는 타당도가 중요한데, 신뢰도도 역시 타당도 안에 포함된 내용이라고 할 수 있다. 또한 현장에서 사용하는 다양한 측정도구의 분석방법을 제시하고 설명하였고, 일반화 가능도 이론(generalizability theory)을 소개하였다. 조금 더 구체적인 방안은 참고문헌을 보고 실제 분석해 보면 이해하기 쉬울 것이다. 한 가지 아쉬운 점은 문항반응이론(item response theory)을 바탕으로 분석하는 내용은 전혀 소개하지 않은 점이다. 이는 측정도구 평가에서 빠지지 않는 문항반응이론이 아직 의학교육 평가, 특히 전공의 교육에서 활용하는 다양한 도구의 평가에는 활발하게 적용되지 못하고 있다는 것을 의미한다. 또한 이 이론을 진료 의사나 의과대학 교원이 이해하고 쉽게 자료에 적용하는 것도 쉽지 않음을 알 수 있다. 특히 Rasch 모형은 이해하기도 쉽고 적용할 수 있는 프로그램도 많이 소개되어 있어, 앞으로 국내 연구자가 서구의 의학교육자가 흔히 다루지 못하는 이 이론을 도입한다면 차별화가 가능할 것이다. 우리나라의 의학교육 연구자가 기존에 나온 측정도구를 가지고 조사한 후 문항반응이론을 도입하여 이를 분석할 수 있다면 국제적으로 앞서갈 수 있을 것이다.

제3장에서 RIME (reporter-interpreter-manager-educator) 모델, 즉 보고자, 해석자, 관리자, 교육자 시각으로 표현한 측정 모델과 위임가능전문활동(entrustable professional activity, EPA)을 전공의가 수행할 수 있는 지식과 술기 수준 기준으로 기술한 측정표는 전공의 훈련과정에 매우 쉽게 적용할 수 있는 내용이다. 즉 EPA를 “1단계: 전공의는 일정 수준의 지식과 술기를 갖고 있지만 EPA를 독립적으로 수행할 수는 없음, 2단계: 전공의는 감독자의 적극적, 지속적, 완전한 감독 아래에 EPA를 수행할 수 있음, 3단계: 전공의는 감독자의 간접적인 감독 아래에 EPA를 수행할 수 있음, 4단계: 전공의는 독립적으로 EPA를 수행할 수 있음(즉 자신의 행동에 책임을 지는 수준), 5단계: 전공의는 감독이나 교수자의 역할을 수행할 수 있음”의 다섯 단계로 나누어 각각의 술기 습득도를 측정한다면 조금 더 구체적으로 역량을 측정할 수 있을 것이다.

제5장인 ‘직접관찰: 표준화환자’에서는 점수 동등화 전략을 기술하였는데, 평가자에 의한 수행의 평균을 계산하여 엄격성/관대함에 대한 추정치를 산출하고 채점을 조정하는 데 사용할 수 있다는 기술이 있다. 그런데 준거 설정(standard setting, 합격선 설정)을 언급하면서 다양한 구체적인 기법에 대한 기술은 없다. 합격선 설정은 전문의 시험에도 필요하고, 표준화환자에 이용하거나 진료 수행을 관찰하는 평가에 사용할 수도 있으므로, 이 전공의 교육평가 분야에서도 추가 연구가 국제적으로 다양하게 나올 것을 기대한다.

자동 문항 생성(automatic item generation)을 다룬 6장에는 이에 대한 여러 프로그램이 소개되어 현장에 적용한 내용이 있다. 이런 프로그램을 우리나라에서 도입하여 사용하였다는 소식은 아직 듣지 못하였다. 이 기법은 문항 출제시간을 줄여줄 수 있다. 프로그램의 소스 코드는 Github (https://github.com/qmarcou/IGoR)에 공개되어 있으므로, 국문으로도 가능한지 점검이 필요하다.

제10장에서 제공한 “질 향상 및 환자안전과 관련된 유용한 자료목록”은 이 책에 포함된 여러 부록 가운데도 백미이다. 이렇게 간단하지만 잘 정리된 내용은 전공의뿐 아니라 학생 교육현장에서도 바로 적용이 가능할 것이다.

제15장에서 다루고 있는 “문제가 있는 학습자 또는 문제 학습자? 역량부족 학습자와 일하기”는 흔히 찾기 어려운 주제이다. 현실에서 이런 경우 교원은 당황하게 되고 어떻게 도와줄 수 있을지 막막하여 단지 알아서 학습하고 지식과 술기를 조직화하여 습득해 주기만 바라게 되는데, 이 책에서는 다양한 방안을 제시하였다. 우선 부족한 역량이 무엇인지 파악하고, 전공의와 지도 전문의가 문제를 같이 인식하고 원인을 찾으며, 각자 어떤 역할을 하였는지와 어떤 중재(intervention)가 필요한지를 확인하여 해결해야 한다고 하였다. 행동이나 습관 교정은 쉽지 않은 일이다. 전공의가 문제를 인식하고(insight) 개선할 동기를 부여하면서, 환자안전 측면에서 반드시 적절한 역량을 갖추도록 지원하여야 한다.

프로그램 평가를 다루고 있는 제16장에서, 미국은 졸업후교육인증위원회(Accreditation Council for Graduate Medical Education, ACGME)를 두어 다양한 프로그램을 표준화하고 평가기준을 제시하고 있음을 소개하고 있다. 우리나라는 아직 이와 유사한 기구가 존재하지 않고 병원협회 수련환경평가본부에서 이러한 종류의 업무를 시행하고 있으나, 이 본부에서 다루는 업무의 수준은 ACGME에 미치지 못한다. 앞으로 졸업후교육인증을 위하여 이 본부를 더 발전시킬 것인지, 또는 한국의학교육평가원에 업무를 의뢰할지, 아니면 별도의 인증평가기구를 둘 것인지는 전체 의료계 차원에서 다루어야 할 화두이다. 이런 교재를 읽을 때마다 “우리는 어떻게 하고 있고 어디로 가야 할까?”라고 돌이켜 보게 된다. 이미 언급한 지 오래된 주제이므로 우리도 조금 더 깊이 있게 검토할 필요가 있다. 전 세계적으로 삶의 질 영역에서 우리나라가 가장 경쟁력 있는 것이 의료서비스와 인터넷 속도이다. 이런 최고 수준의 의료서비스 제공은 의과대학 학부 교육뿐 아니라 전공의 훈련과정이 워낙 뛰어나서 가능하였다. 지금도 최고인데 더 잘할 필요가 있냐고 반박할 수 있으나, 좀 더 체계적인 훈련을 도입한다면 더 높은 수준의 의료서비스를 제공하고 국민의 생명과 안전을 책임질 더 뛰어난 의료인을 길러낼 수 있다.

사족일 수도 있겠으나, 이 교재에 인용된 문헌에서 국내 기관 소속 연구자의 논문을 찾아보니 한 편이 나온다(Myung SJ, Kang SH, Kim YS, Lee EB, Shin JS, Shin HY, et al. The use of standardized patients to teach medical students clinical skills in ambulatory care settings. Med Teach. 2010;32(11):e467-70). 한국의학교육학회에서 발간하는 Korean Journal of Medical Education의 논문은 한 편도 인용 받지 못하였다. 한국의학교육학회지는 2015년도 국문지일 때 MEDLINE에 등재되고 2016년 영문지로 PMC에 등재되었다. 이 교재의 2판 발간이 2017년이므로 원고는 2016년에 완성하였을 것인데, 한국의학교육학회지가 국제 사회에 널리 알려지기 전이어서 그럴 수도 있다. 앞으로는 이런 교재에 국내 학술지가 더 많은 인용을 받을 수 있도록 활발한 연구가 필요하다.

이 교재는 지도 전문의로서 자신이 맡은 전공의를 “어떻게 하면 조금 더 나은 역량을 갖추고 성과를 낼 수 있으며, 평생 근거에 바탕을 두고 진료하는 습관을 갖추도록 도와줄지” 염두에 두면서 훈련 현장에 적용하기에 적절한 지침서이다. 아직은 우리나라에서 이런 수준의 교재를 출판하기 어려우므로 우선 지금처럼 번역한 교재로 학습할 필요가 있다. 이후 최고 수준의 의료서비스를 가능하게 한 훌륭한 전공의 훈련과정 평가에 이 교재에서 소개한 여러 측정 평가도구를 활용할 수 있기 바란다. 여러 동료 교원이 교재 내용을 현장에서 유용하게 사용하는 것이, 열심히 번역한 김영민 교수와 동참한 학자의 바람일 것이다.