문항정답률에 기반한 능력추정

1. 아이디어
고민이 생겼다. 객관식 시험에서 능력을 조금 더 정확하게 추정할 수 있는 방법이 없을까.

객관식 시험은 다음과 같은 특징을 가진다:
찍어서 맞출 수 있다. 즉, 능력이 낮더라도 어려운 문제를 20%(25%) 확률로 맞출 수 있다.
실수로 틀릴 수 있다. 즉, 능력이 높더라도 쉬운 문제를 틀릴 수 있다.

이런 점을 고려해, 각 문제의 정답률과 개개인의 정답률에 따라 점수를 다르게 주면 어떨까 하는 생각을 했다.

못하는 사람이 쉬운 문제를 틀릴때보다
잘하는 사람이 쉬운 문제를 틀릴때에 감점이 덜 되는 방식이다.


2. 테스트: 모의 데이터 생성
엑셀을 사용해서 40개의 모의 문항을 만들고, 난수를 통해 각 문항마다 0에서 1의 난이도를 지정해주었다. 같은 방식으로 250명의 응시자를 만들고, 난수를 통해 각 응시자에게 0에서 1의 능력을 지정해주었다.

찍기 구현. 문항 난이도가 응시자의 능력보다 높을 경우, 응시자는 원래 틀렸어야 할 해당 문제를 0.2의 확률로 맞추게 된다. (5지선다형 기준)
실수 구현. 문항 난이도가 응시자의 능력보다 낮을 경우, 응시자는 원래 맞췄어야 할 해당 문제를 0.1의 확률로 틀리게 된다. (임의로 정해준 값)


3. 비교
다음과 같이 배점하였다.

난이도 0.25까지의 문제는 1점,
난이도 0.50까지의 문제는 2점,
난이도 0.75까지의 문제는 3점,
난이도 1.00까지의 문제는 4점.

이렇게 배점해서 합산한 점수를 “단순채점점수”라고 하고, 비교대상으로 삼았다.

*

다음과 같이 능력추정치를 계산한다.

찍기 보정. 맞춘 문제에 대해, (1 – 문항의 정답률) * (맞춘 문제수 비율)을 배점한다.
정답률이 20%인 문제라면,
10개를 맞춘 사람은 0.8 * (10/40) = 0.2점을 얻는다.
30개를 맞춘 사람은 0.8 * (30/40) = 0.6점을 얻는다.

실수 보정. 틀린 문제에 대해, (0 – 문항의 정답률) * (1 – 맞춘 문제수 비율)을 배점한다.
정답률이 80%인 문제라면,
10개를 맞춘 사람은 -0.8 * (30/40) = -0.6점을 얻는다. (0.6점이 감점된다.)
30개를 맞춘 사람은 -0.8 * (10/40) = -0.2점을 얻는다. (0.2점이 감점된다.)

이렇게 계산된 점수를 합산해 “능력추정치”라고 하였다.


4. 결과

능력추정치는 단순채점점수에 비해 실제능력과의 상관계수가 “거의” 높게 나타났다.

다음과 같은 조건들도 테스트하였다.

실수 0.1/찍기 0.2
실수 0.1/찍기 0.25
실수 0.3/찍기 0.2
실수 0.3/찍기 0.25

하지만 의문점도 있다. 단순채점점수보다 정답갯수가 실제능력과 상관계수가 더 높았다. 어려운 문제를 높게 배점해서 합산한 점수보다, 모든 문제를 동일하게 쳐서 맞은 갯수만 센 점수가 실제능력에 더 가까웠다는 의미인데.. 혹시 방법이 잘못된걸까?

추가: 생각해보니, 모든 문제를 동일하게 쳐서 맞은 갯수만 센 점수는 실제 능력에 더 가까울 수 밖에 없었다. 모의 데이터를 만들면서 특정 난이도의 문제를 맞출지 못 맞출지를 능력에 따라 정해지도록 했기 때문. 그렇다보니 능력이 높은 사람은 자연히 문제도 많이 맞추게 되는 모의 데이터가 만들어진거다.

첨부: compensate3.xlsx

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s