문항 반응 이론(Item Response Theory)

IRT의 가정

일반적인 IRT의 핵심 가정은 다음과 같다.

• 학생의 능력은 일차원상의 실수값 $\theta$에 대응할 수 있다.
  • 이 가정을 깨뜨린 것이 바로 MIRT이다.
• 전체 학생 집단의 능력 분포는 정규분포를 따른다.

Item Response Function (IRF)의 종류

---

3PL Model

3PL model은 3-parameter logistic model의 준말로, 파라미터의 수가 3개라는 뜻이다. 이 3PL model이 conventional한 모델 중에서는 가장 일반적인 버전인 듯하다. 이 모델의 IRF는 다음과 같으며, $p_i(\theta )=c_i+\frac{1-c_i}{1+e^{-a_i(\theta -b_i)}}$

이 함수의 그래프는 아래와 같다.

$c_i$는 문제를 찍어서 맞출 확률이며, $a_i$, $b_i$는 각각 문항의 변별도와 난이도를 의미한다고 보면 된다. 특히 $b_i$의 경우 학생의 능력을 나타내는 매개변수 $\theta$와 차원이 같음을 확인할 수 있는데, 능력과 난이도가 서로 뺄 수 있다고 상상하면 이해하기 쉽다.

다른 접근들

---

• Bock’s NRM: 선택지가 여러 개인 상황에서의 IRT
  • Suh and Bolt’s 2PL-NRM: 정답 분석할 때만 2PL 사용

Dataset

• FCI (Force Concept Inventory): 선다형
• FMCE (Force and Motion Conceptual Evaluation): 선다형
• PhysPort DataExplorer database: 선다형
• LASSO (Learning About STEM Student Outcomes): 선다형
• TIMSS (Trends in International Mathematics and Science Study)
• PIRLS (Progress in International Reading Literacy Study)
  • 2001년부터 5년마다 수집.
• PISA (Program for International Student Achievement)
• PIAAC (Program for the International Assessment of Adult Competencies)

선다형을 polytomous(다분) item이라고 하나? vs. binary items

Package

• (R) MIRT
• WinSteps software?

DIF (Differential Item Functioning)

median을 사용하면 작은 sample에서 좋지 않음