Article information

Trans Abstract

서 론

최근 우리나라 의학교육계에는 교수 및 학습과 관련해 다양한 시도가 이루어지고 있다. 대표적인 시도로 문제바탕교육 (Problem Based Learning), 성과바탕교육(Outcome Based Learning), 과제바탕교육(Task Based Learning) 등이 있다(김범 수, 2003; 채수진, 2009; 이영희, 김병수, 2009). 이러한 시도는 현재 교육현장에서 초기단계에 있거나 아니면 이보다는 진일보한 형태로 진행되고 있다.

이러한 노력에도 불구하고 새롭게 도입되고 있는 다양한 교수 및 학습 프로그램이 과연 어느 정도의 성과를 거두고 있는가에 대한 평가연구는 거의 찾아보기 힘든 실정이다. 현실적으로 교 수 및 학습방법에 대한 기존 성과평가 연구는 주로 현황이나 만족도를 파악하는 수준에 머무르고 있다.

새로운 교수 및 학습 프로그램에 대한 효과분석에 있어 가장 큰 쟁점은 프로그램 개입이외에 참여자와 미참여자의 동질성을 어떻게 확보하느냐이다. 실험연구는 실험집단과 통제집단을 임의로 배정(random assignment)하여 두 집단의 동질성을 확보하는 방식을 취하지만 인간을 대상으로 하는 사회과학 연구에서 이와 같은 임의 배정은 쉽지 않다. 예컨대 학교에서 반 배정이 되어 있는 학생들을 임의로 뽑아 어느 학생은 실험집단으로 어느 학생은 통제집단으로 배정하는 경우 학생 본인은 물론이고 학부모의 동의를 얻기가 쉽지 않을 것이다. 그래서 현실 연구에서는 유사실험디자인, 선실험디자인, 비실험디자인 등의 실험디자인의 엄격성을 완화한 형태로 연구가 진행되고 있다(김영종, 2008)

교수 및 학습 프로그램 효과분석 시 이와 같이 임의배정을 통제집단이 설정되지 않는다면 두 집단의 이질성으로 인해 교수 및 학습 방법의 차이 이외에 효과를 설명하는 다양한 형태의 외부설명이 가능해진다. 이와 관련된 대표적인 예는 선별 편향성(selection bias) 또는 자기선택(self-selection)¹⁾ 문제 이다. 예를 들어, 새롭게 도입된 교수 및 학습 프로그램의 효 과성을 평가하기 위해 실험집단을 모집하는 경우 여기에 자발적으로 참여한 학생들은 참여하지 않은 학생들보다 사전적 으로 학습에 대한 관심이 높은 집단일 수 있다. 이러한 경우 교수 및 학습 프로그램의 참여효과는 두 집단의 사전적 차이로 인한 것인지 아니면 프로그램 효과로 인한 차이인지 명확 히 가릴 수가 없게 된다. 이와 유사한 예로 Currie와 Thomas(1995)는 Head Start²⁾ 프로그램이 학생의 학업성취 도에 미치는 영향에 관한 연구를 수행하였는데, Lee, Brooks-Gunn, Schnur, 그리고 Liaw(1990)를 인용해 아이의 능력이 Head Start 프로그램의 참여여부에 중요한 변수라고 지적하였다. 이것은 상대적으로 능력이 낮은 학생이 Head Start 프로그램에 참여하게 됨으로써 Head Start 프로그램의 효과가 과소추정될 수 있음을 의미한다.

본 연구는 교수 및 학습 프로그램 평가 시 발생할 수 있는 참여집단과 미참여집단의 선별 편향성 문제를 진단 및 개선 할 수 있는 방법론을 제시하여 평가연구의 내적타당성을 높이는 데 목적이 있다. 이를 위해 횡단자료(cross-section data) 인 경우 도구변수를 활용한 2단계최소자승 추정방법과 Heckman(1976)이 제안한 IMR(inverse Mill's ratio)을 활용한 방법을 제시하였다. 패널자료인 경우에는 선별 편향성을 검증하는 Hausman(1978) 검정과 이 검정을 토대로 한 고정 효과 모형(fixed effect model)과 임의효과 모형(random effect model)을 제시하였다.

본 론

의학분야에서 이루어지는 다양한 교수, 학습 개선 프로그램에 참여하는 참여자의 자발성, 능력 등으로 인해 선별 편향성의 문제가 발생할 수 있다. 이러한 문제가 일어나면 교수, 학습 프로그램의 효과에 대한 모수의 추정치를 신뢰할 수 없게 된다(Moffitt, 1996).

선별 편향성의 문제는 이와 같이 모형에 포함할 수 있는 관찰할 수 있는 특성이 아니라 자발성, 능력 등과 같이 관찰할 수 없어 모형에 포함할 수 없는 특성(unobservable characteristics) 으로 인해 일어난다. 이러한 문제가 발생하면 교수, 학습 프로그램 참여여부(D)와 개인의 자발성, 능력 등의 관찰할 수 없는 요소(U)간에 관련성이 발생한다 (Cov(D,U) ≠ 0). 이러한 현상을 보편적으로 내생성 (endogeneity) 문제라고 하며 이러한 상황하에서 프로그램 참여효과의 추정치는 허구적인(spurious) 값을 갖거나 편의 (bias)된다³⁾(Greene, 2003).

횡단자료를 이용하는 경우 선별 편향성 문제를 개선하는 방 법으로는 통상적으로 도구변수를 활용한 추정방법이 있다 (Greene, 2003). 선별 편향성 문제는 독립변수(X)와 누락된 변 수가 포함된 오차(U)의 상관(Cov(X,U) ≠ 0)으로 인해 발생하므로, 도구변수를 활용한 추정방법은 U와는 상관이 없으면서 (Cov(Z,U) = 0) X와는 상관이 높은(Cov(Z,X) ≠ 0) Z를 찾아 모형에 투입하여 추정하는 방법이다. 예컨대 X의 전년도 또는 전월 자료(lagged data)를 도구변수로 사용할 수 있으며 이와 같은 도구변수는 다양한 형태로 존재할 수 있다.

Amemiya(1978), Heckman(1978)과 Lee(1979)는 선별 편향성 문제를 다루는 도구변수추정방법의 특수한 예인 2단 계최소자승 추정방법을 프로그램 효과분석에 적합하도록 제 시했다. 이와는 별도로 Heckman(1976)은 자기선택(self- selection) 을 중심으로 내생성을 조정하기 위해 IMR(Inverse Mill's Ratio)을 이용한 2단계최소자승 추정방법을 제안했다.

구체적으로 도구변수를 활용한 2단계최소자승 추정방법을 이용해 프로그램 참여여부가 학업에 영향을 주는가를 규명하기 위해서는 2단계에 걸친 추정절차가 요구된다. 먼저 통상적으로 프로그램 참여여부는 0, 1을 갖는 제한 종속변수(limited dependent variable)⁴⁾ 임을 감안하여 프로빗(probit) 모형을 이용해 D(프로그램 참여여부)의 추정치인 D^ 을 구한다. 그리고 이렇게 추정된 D^ 을 식(1)의 D 대신에 투입하여 식(1)' 를 OLS(Ordinary Least Square)로 추정한다(Barnow et al., 1980).

Heckman(1976)이 자기선택을 중심으로 제안한 IMR을 이용한 2단계최소자승 추정방법을 프로그램 참여여부와 성과지표간의 관계를 중심으로 설명하면 다음과 같다. 본 추정방법의 핵심은 선택편의가 오차 U의 기댓값을 IMR만큼 편의시키 므로 IMR을 추정하여 모형에 변수로 투입함으로써 이를 조정하자는 것이다. 먼저 IMR(: λ)은 프로그램 참여여부를 종속 변수로 하는 식(2)에서 MLE 추정방법의 일종인 프로빗 모형을 통해 추정한다. 그리고 이렇게 추정된 IMR(λ)을 식(1)에 투입하여 식(1)″ 을 OLS로 추정한다(Berg & Jeong, 1991).

IMR을 이용한 추정방법은 도구변수를 활용한 2단계최소자승 추정방법에 비해 내생성 존재여부를 IMR(λ) 변수가 유의 미한지 여부를 통해 명시적으로 알 수 있다는 장점이 있다 (Wimmer & Chezum, 2003). IMR 계수의 부호는 식(1)과 식(2)의 오차간의 공분산을 의미한다. 따라서 IMR의 계수가 양의 값을 갖는 경우는 프로그램 참여여부와 성과지표간에 정적인 상관이 있음을 의미하고 IMR의 계수가 음의 값을 갖 는 경우는 이와는 상반된 의미를 갖는다. 또한 IMR이 통계적 으로 유의미하지 않는 경우는 선별 편향성이 표본에 향을 주지 않는 것을 의미한다.

지금까지는 횡단자료를 이용해 선별 편향성을 고려한 교수 및 학습 프로그램의 효과를 평가하기 위한 추정방법을 탐색 해 보았다. 지금부터는 패널자료(panel data)를 이용해 D 변 수 즉, 프로그램 참여여부의 선별 편향성을 고려한 추정방법 을 살펴보겠다.

교수 및 학습 프로그램의 참여 또는 선정에서 중요한 역할을 했으리라 판단한 개인의 자발성, 능력등과 같은 누락된 변수 (omitted variable) 또는 관찰할 수 없는 변수(unobservable variable)는 패널자료 분석에서 통상적으로 C 변수로 정의한 다(Wooldridge, 2002). 이와 같은 C 변수가 프로그램 참여여 부(D)와 상관이 없다면 오차에 포함되더라도 독립성 가정이 충족되어 모수의 추정치가 편의되는 문제가 발생하지 않는다. 그러나 횡단자료를 이용한 방법론에서도 밝혔듯이 C 변수가 D 변수와 상관이 있음에도 불구하고 오차에 포함된다면 독립 변수와 오차간에 상관이 생겨 모수의 추정치가 편의된다.

패널자료 분석에서는 이와 같은 C 변수(개인의 자발성 등) 가 존재하는 경우 고정효과 모형(fixed effect model)과 임의 효과 모형(random effect model)을 적용하여 모수를 추정한다. 고정효과 모형은 개인간 차이가 고유한 값(intercept term)의 차이로 포착될 수 있다고 가정한다(Greene, 2003). 이것은 식(3)의 C_i 가 각 개인별로 우연하게 주어진 값이 아 니라 각 개인별로 내재되어 있는 특성이 포착된 고정적인 값 (fixed constants)임을 의미한다. 그래서 X_it 행렬은 시간의 흐름에 따라 변화가 없는(time invariant) 변수는 배제되고 변화가 있는(time variant) 변수들로만 구성된다.

고정효과 모형은 전통적으로 LSDV(Least Square Dummy Variable) 추정방법을 활용하는 데 이를 Wooldridge(2002) 토대로 정리하면 다음과 같다. LSDV는 회귀계수 β 와 함께 C₁ 를 추정할 수 있다는 가정 하에서 개인수 n만큼의 가변수를 정의하는 방법이다. 가변수를 정의하는 방식은 개인1에는 ‘1’ 값, 나머지 개인에게는 ‘0’ 값을 주고(d1_i) 개인2에는 ‘1’ 값, 나머지 개인에게는 ‘0’ 값을 주는(d2_i) 방식을 개 체 N까지 반복하여 N개의 가변수(dN_i) 를 설정하는 것이다. 이렇게 설정된 독립변수 d1_i, d2_i, ⋅⋅⋅, dN_i X_it 를 활용하여 성과지표 N_it 에 대해 POLS(pooled ordinary least square)⁷⁾ 를 실행한 후 얻은 모수의 추정치 β^ 이 바로 고정효과의 추정 치 βEF^ 이다. 고정효과 모형은 설정한 가변수 (d1_i, d2_i, ⋅⋅⋅, dN_i) 만큼 자유도(degree of freedom)를 잃게 되어 선별 편향성 문제가 없는 한 앞으로 소개할 임의효과 모형에 비해 상 대적으로 추정치의 정밀함(precision)이 떨어진다.

임의효과 모형은 개인간에 차이가 어떤 분포(distribution) 로부터 임의적(randomly)으로 결정된다고 가정한다(Greene, 2003). 식(3)의 C_i 가 개인별로 내재되어 있는 특성을 포착한 값이 아니라 각 개체별로 우연하게 주어진 값임을 의미한다. 그래서 이 방법에서는 C_i 를 U_it 와 함께 다루어 전체를 오차 (e_it = C_i + U_it)로 간주한다. 이렇게 하기 위해서는 C_i 와 D 변수를 포함한 여타의 독립변수 X_it 가 상호 독립이라는 것이 전제되어야 한다. 그렇지 않다면 X_it 와 e_it 가 상관이 생겨 추 정치의 편의가 발생한다.

임의효과 모형은 GLS(Generalized Least Square) 추정방 법을 활용하고 있는 데 Wooldridge(2002)에 제시된 내용을 중심으로 정리하면 다음과 같다. GLS는 시간에 걸쳐 조사된 동일 개인의 관찰치들간에 관련성(serial correlation)을 조정하기 위해 사용된다⁸⁾. GLS를 활용해 모수를 추정하기 위해서 는 e_it 의 분산 (E(eit2)=σc2+σu2) 과 공분산 (E(eiteis)=σc2) 으로 구성된 Ω 행렬을 추정하는 것이 관건이다. Ω 행렬을 추정한다는 것은 아래의 Ω 행렬을 통해 알 수 있듯이 결국, σu2 과 σc2 을 추정하는 것을 의미한다⁹⁾.

이를 위해 앞서 설정한 식(3)에서 각 개인의 평균값으로 구성된 식(4)를 빼면 C_i 가 제거된 식(5)가 도출된다. 식(5)는 오차항 e_it 에서 C_i 가 제거된 형태로 식(5)의 잔차 분산은 σu2 의 추정치가 된다.

이제 Ω 행렬을 추정하기 위해서는 σc2 를 추정하는 것만 남게 된다. e_it 의 분산 (σe2) 은 σc2+σu2 이므로 σc2 의 추정치는 σe2 의 추정치를 POLS를 통해 계산한 다음 이를 식(3)에서 구 한 σu2 의 추정치와 차감하여 구하게 된다. 이렇게 구한 Ω 행렬을 활용하여 GLS의 모수 추정치 β^=(∑i=1NXi′Ω−1^Xi)−1 (∑i=1NXi′Ω−1^Yi)¹⁰⁾ 이 바로 임의효과의 추정치 βRE^ 이다.

고정효과와 임의효과 모형을 적용하기 위해서는 앞에서 언급 한 C 변수, 즉 개인의 자발성 등과 같은 관찰할 수 없는 변수의 존재를 증명해야 하는 데 이와 관련한 검정 방법으로 Breusch 와 Pagan(1980)의 LM(Lagrange Multiplier) 검정이 있다. LM 검정은 귀무가설 C_i 의 분산이 ‘0’ 인지 (H0:σc2=0) 를 검 정하는 것이다. 귀무가설을 기각하지 못하는 경우, 즉 C_i 의 분산이 없다¹¹⁾ 면 POLS를 사용하는 것이 적절하다 (Wooldridge, 2002). 귀무가설을 기각하는 경우, 즉 C_i 의 분 산이 존재한다면 고정효과 또는 임의효과 모형을 적용할 가능성이 제기된다.

이와 같이 LM 검정결과를 통해 C 변수의 분산이 존재하는 것을 확인하였다면 그 다음으로 남은 과제는 C 변수를 오차 로 간주할 것인지 아니면 가변수를 활용해 독립변수로 설정할 것인지에 대한 것이다. 이것은 C 변수가 D 변수를 포함한 독립변수와 상관이 있느냐 아니면 없느냐에 달려 있는 데 이 와 관련한 검정방법으로 Hausman(1978) 검정이 있다.

Hausman 검정은 임의효과 모형을 적용하기 위한 전제 조 건인 귀무가설 즉, D 변수를 포함한 독립변수와 C 변수의 관련 성을 검정하는 방법이다¹²⁾. 귀무가설 (H_o: Cov(X,C_i) = 0) 을 기각하지 못 하는 경우, 즉 X와C_i 간에 상관이 존재하지 않 는다면 임의효과 모형을 적용할 수 있다. 그러나 귀무가설을 기각하는 경우에는 임의효과 모형을 적용할 수 없다. 이러한 경우 임의효과 모형을 사용한다면 독립변수와 오차() 간의 상관이 존재하여 모수의 추정치가 편의된다. Hausman 검정 은 임의효과의 적용여부를 판단하는 것이지 고정효과의 적용 여부를 판단하는 것은 아니다. 이것은 Hausman 검정을 통해 귀무가설을 기각하지 못 하는 경우 임의효과 모형을 적용할 수도 있고 또한 고정효과 모형을 적용할 수도 있음을 의미한다.

결 론

교수 및 학습 프로그램의 평가연구에서 제기되는 주된 쟁점 중 하나는 프로그램의 참여집단과 미참여집단의 동질성 확보여부이다. 현실적으로 사회과학연구에서 이들의 동질성 을 임의배정을 통해 사전적으로 확보하기는 어려운 게 현실이다. 그래서 본 연구는 횡단자료와 패널자료의 속성에 따라 동질성 미확보 문제를 개선할 수 있는 방법론을 문헌조사를 통해 제시하였다.

횡단자료의 경우에는 도구변수를 활용한 2단계최소자승 추정방법과 Heckman(1976)이 제안한 IMR(Inverse Mill's Ratio)을 활용한 방법을 제시하였다. 도구변수를 활용한 추정 방법은 해당 독립변수와는 상관이 높으면서 오차와는 상관이 없는 변수를 찾아 모형에 투입하자는 것이다. IMR을 활용한 방법은 선별편향성이 오차의 기댓값을 IMR만큼 편의시키므로 IMR을 추정하여 모형에 변수로 투입함으로써 이를 조정하자는 것이다. IMR을 이용한 추정방법은 IMR 변수가 유의미한지 여부를 통해 선별편향성 존재여부를 명시적으로 알 수 있다는 장점이 있다

패널자료의 경우에는 고정효과 모형과 임의효과 모형을 제시하였다. 고정효과 모형과 임의효과 모형의 선택은 선별편향성을 일으키는 관찰할 수 없는 특성이 개체의 고유한 값인지 아니면 임의적 분포에서 나왔는지와 같은 관점차이에 따라 결정된다. 이러한 개념적 차이와는 별도로 두 모형 가운데 어느 모형을 활용하는 것이 내생성 가정을 위배하지 않는지를 확인하는 방법으로 Hausman 검정을 이용할 수 있다. 그리고 패널자료 분석은 인과관계를 확인하는 조건 중 하나인 시간적 우선성을 직접적으로 확인하기 어려운 횡단자료의 특성을 개선하는데 기여할 것이다.

본 연구에서 제시된 방법론은 사전적으로 프로그램 참여집 단과 미참여집단의 동질성을 확보하기 어려운 다양한 의학교 육 분야의 평가연구에서 활용될 수 있을 것으로 사료된다. 이와 같은 방법론을 통해 선별편향성 문제를 개선한다면 프로그램 효과분석에 있어 내적타당성을 저해하는 원인을 상당히 해소할 수 있을 것이다. 따라서 본 연구는 분석자료의 범위를 횡단자료에서 패널자료로 확대하고 더불어 선별편향성 문제를 개선할 수 있는 방법론을 제시함으로써 교수 및 학습 관련 프로그램의 효과성을 검증하는 연구들이 활발히 전개되는 데 기여할 것이다.

Article information Continued