시계열의 정상성 (AR,MA,ARMA과정)

시계열이든 회귀분석이든 목적이 뭘까요?

당연히 여러가지겠지만 대표적으로 예측이라는 것입니다.

즉 미래를 예측하기 위해서는 y라는 확률변수에 대한 가정이 필요한데요. 평균이 일정하고 분산도 일정하고 공분산이 시간이 아닌 거리에만 영향을 받는다라는 조건을 만족하는 시계열을 약안정적이라고 합니다.

 

만약 위와 같은 y가 있다고 해보죠. 우리는 r1,r2등등 엄청나게 많은 계수를 추정해야 합니다. 이것을 해결하기 위해서 이제

AR등등의 모델이 나오는 겁니다.

 

AR,MA,ARMA가 뭔지 보겠습니다.

AR과정이란 자기회귀 즉 Y(t)를 추정하기 위해 Y(t-1)등등을 넣어서 추정하는 것이죠. 

ARMA 과정은 AR과정과 MA과정을 합친것입니다.

 

먼저 AR(1) 과정부터 평균 분산 공분산을 구해보겠습니다.

정상시계열이라 평균과 분산이 같다는 가정을 한다면 위처럼 구할 수 있죠. (근데 분산의 형태에서 정상시계열이면 회귀계수가 1보다 작아야하지 않을까? 라는 생각이 드네요)

 

공분산을 구해보겠습니다. 공분산의 정의대로 식을 써본후 치환을 이용한 테크닉을 이용하면 간단하게 나타낼 수 있습니다.(대부분 책에서 생략할텐데 그 과정에서 평균을 빼고 치환하는 과정이 생략되어 있는것입니다.)

또한 양번에 y(t-k)를 곱하고 기댓값을 씌운다면 k 거리의 공분산과 k-1거리의 공분산의 관계를 나타낼 수 있죠.

 

여기에 0 거리의 공분산 즉 분산으로 나눠준다면 자기상관계수가 될 것이고 Y끼리의 상관계수를 알 수 있는 것이죠.

정상시계열은 어느 한 기에 충격이 무한히 영향을 미치지 않아야하는 시계열입니다. 즉 무한대 거리의 자기상관계수는 0이어야 하므로 정상시계열의 AR(1) 과정에서의 정상시계열 조건을 구할 수 있죠.

 

그렇다면 이 AR 과정으로 미래 예측은 어떻게 할까요?

과거에 이러한 충격이 있었으니 이번의 충격은 미래에 이만한 충격이겠구나라고 예상하는거랍니다.

 

그럼 이제 AR(2)로 확장해서 해볼게요.

평균은 쉽고 분산이 이제 공분산 항때문에 어렵습니다.

평균은 쉽습니다.

분산을 구할때 공분산이 필요해서 공분산 먼저 구하자면 이렇습니다. AR(1)과 동일한 논리죠

AR(2) Variance

AR(2)의 분산을 구하기 위해서는 위에서 구한 공분산을 이용해야 하는데요. 사실 여기서 공분산 구하는걸 더 자세하게 썻네요. 어쨋든 1차 공분산을 분산의 함수로 나타낼 수 있어서 이를 위에 다시 대입하면 엄청 복잡한 식이 나오게 됩니다.

 

그렇다면 AR(2)의 충격반응분석을 해보겠습니다.

여기서 쓰는 테크닉은 향후 VAR 분석에서 사용하므로 잘 익혀두셔야 합니다.

Y(t)와 Y(t-1)을 행렬을 통해 나타내고 행렬을 하나의 변수로 사용한다면 어떠한 AR과정도 AR(1)처럼 나타낼 수 있습니다. 

이를 통해 충격반응분석을 할 수 있죠.

 

그런데 저 행렬을 J번 제곱한다는게 정말 어지럽지 않나요?

여기서 특성근이라는 선형대수 개념이 필요합니다.

이거는 선형대수쪽을 찾아보시고 간단히만 설명하자면 어떠한 행렬을 쉽게 분해하기 위한 겁니다. 

어쨋든 AR(2)에서의 정상성 조건 또한 두 특성근의 절댓값이 1보다 작아야 합니다.

 

MA과정은 유한하다면 항상 정상성을 가지기도 하고 분석도 전혀 어려운게 없어서 생략하기로 하고

ARMA 과정을 알아보겠습니다.

ARMA 과정을 분석할 때 후방연산자 L을 사용하는 테크닉을 알면 편한데요

AR 과정 또한 후방연산자를 통해 간단하게 나타낼 수 있죠. (참고로 L의 값이 특성근의 역수입니다. 즉 L의 절댓값이 1보다 크다면 정상시계열이라는 뜻이죠. 저는 이걸로 체크하는게 훨씬 편하더라고요)

 

ARMA 평균 분산 공분산을 구해보겠습니다.

평균은 쉽게 구할 수 있고요

 

ARMA 공분산

ARMA의 공분산을 먼저 구해야 분산을 구할 수 있어서 공분산부터 구해보았습니다. AR(2)일때와 다르게 j가 1인지 2 이상인지에 따라서 일반화 식이 달라지네요. 참고로 여기서 ARMA의 정상성은 AR을 따라간다는 사실을 얻을 수 있습니다.(MA는 정상성에 영향을 미치지 못하는 거죠)

 

ARMA의 분산

ARMA 분산은 공분산 항이 너무 많아서 더럽습니다.. 위에서 구한 공분산을 통해서 잘 계산하면 나옵니다.

 

 

그럼 우리는 AR 몇을 사용할지 어떻게 정할까요? PACF라는 개념을 간단하게만 설명하겠습니다.

AR(1)이 정답이라면 Y(t-2)의 회귀계수 항이 0에 가까워야 합니다.

회귀계수의 추정치가 저 정규분포로 분포수렴한다는 점을 이용해서 (증명은 다음 포스팅에서 하겠습니다.)  걸러내는 방식입니다. 5% 하에서라면 저 통계량이 1.96을 넘는다면 회귀계수가 0이 아니구나 하고 ar을 몇차로 쓸지 선택해가는거죠