다중공선성, OVB(누락편의)

회귀식을 잘못 설정한 경우 어떠한 문제가 생기는지 알아보겠습니다. 

실제 회귀식에 필요한 변수를 제외해버리고 회귀식을 돌린다면?

오차항에 b1x1이라는 항이 포함되게 됩니다.

 

즉 b2^을 추정할 때 불편성을 만족하지 못하게 됩니다.

 

그렇다면 불필요한 변수를 추가해버린다면?

전 포스팅에서 유도한 이 식을 이용해보죠

x1을 설명하는 변수가 x2뿐만이 아니라 x3라는 의미없는 변수까지 추가되게 된다면 R^2이 증가하게 되어 분산이 증가하는 것입니다. 즉 불필요한 변수를 추가 시 효율성이 감소하는 것이죠

 

다중공선성을 두가지로 구분할 수 있습니다. x1을 알면 x2도 알 수 있는 완전 다중공선성과 그냥 서로 관계가 있다는 부분 다중공선성입니다.

완전 다중공선성은 추정이 불가능하다는 문제가 있습니다.

부분 다중공선성은 사실 앞서 보았듯이 x1과 x2가 상관관계가 클수록 R^2이 커지기 때문에 분산이 증가하게 되죠. 하지만 그렇다면 다중공선성이 높은 변수를 빼버리면 OVB의 문제가 생기기 때문에 어쩔 수 없습니다. 

부분 다중공선성이 있다고 해도 GMT 정리를 만족하는 추정량이기 때문이죠. 그냥 분산이 클뿐..

 

해결법도 사실 딱히 없습니다. 그냥 표본을 더 구해서 분산을 줄이는 수밖에.

 

이건 사실 알필요 없을거같은데 완전 특이케이스를 2개 써봤습니다.

1. 변수들끼리 상관관계가 없지만 빠진 누락변수가 원래대로 추가된다면? 일반적으로 분산이 감소합니다.

2. 변수들끼리 상관관계가 있지만 빠진 누락변수가 원래대로 추가된다면? 분산의 증감을 알 수 없답니다.