개요

• 모든 시스템 트레이딩 전략과 마찬가지로, AiLA 전략도 과적합된 결과에 기반할 위험이 있습니다.
• 최선의 의도를 갖고 당시의 모범 관행을 따르더라도 과적합을 피할 수 있다는 보장은 없습니다. 예를 들어 과거 경험에 의도치 않게 영향을 받을 수 있습니다.
• 과적합의 영향을 적극적으로 최소화하기 위해, AiLA 전략 개발은 일련의 원칙을 엄격하게 따릅니다.

개요

• 유형: 전략 R&D의 각 단계에서 일반적으로 고려되는 과적합 원천을 요약합니다.
• 위험: AiLA 전략 프로세스에서 과적합이 발생할 위험이 있는 주요 단계를 짚어 봅니다.
• 완화: 과적합 위험을 줄이기 위해 따르는 AiLA 원칙을 설명합니다.

• 과적합된 전략 결과의 예시이며, 자세한 내용은 Perspective [Overfitting Risk]를 참조하십시오.
• 평가에 사용한 것과 동일한 데이터로 설계한 전략 개선안은 기본 전략보다 더 나은 성과를 보입니다(2017년~2021년).
• 다른 데이터(2011년~2016년)를 기반으로 한 동일한 개선 전략은 해당 가설이 효과가 없음을 보여줍니다.

과적합은 흔히 R&D 프로세스의 여러 단계에서 고려되며, 일반적인 두 가지 유형은 아래와 같습니다.
이 용어는 머신러닝(ML)에서 흔히 사용되지만, 문제 자체는 ML에만 국한되지 않으며 데이터를 참조하는 모든 작업에 적용됩니다.

학습(설계) 단계

• 이는 전략 학습 또는 설계 단계에서 발생하는 과적합을 말합니다.
• 이 단계에서 과적합은 어느 정도 불가피하며, 표본 내 데이터의 노이즈에 관계를 적합시키는 데서 생기는 문제를 해결하기 위해 다양한 방법이 사용됩니다.

검증 단계

• 이는 과적합을 의도하지 않는 전략 검증 단계에서 발생하는 과적합을 말합니다.
• 이는 흔히 “여러 개를 검증하고 가장 좋은 것을 고르기” 또는 “검증 후 수정하고 다시 검증하기”와 같은 다중 검증 시나리오에서 발생하며, 최종 평가에서 결과를 좋아 보이게 만든 원인을 (흔히 의도치 않게) 간과하게 됩니다.

과적합 대응 방안의 예

학습(설계) 단계

• 교차 검증 기법을 사용하여 표본 외 데이터에서 결과를 재현(일반화)할 수 있는지 확인합니다.
• 정규화 기법을 사용하여 모델 복잡도와 특정 데이터 표본에 대한 민감도를 줄입니다.
• 앙상블 모델을 사용하여 모델 결과의 분산을 줄이고 과적합에 대해 더 견고하게 만들 수 있습니다.

검증 단계

• 수행한 다중 검증을 기록하고, 가족별 오류율 검정(familywise test)이나 디플레이티드(deflated) 성과와 같은 방법으로 영향을 보정하거나 추정합니다.
• 사전 등록한 검증 세부 사항과 다른(“블라인드”) 데이터 사용에 관한 엄격한 정책을 시행합니다.

위의 예시 [Overfitting Risk]는 교차 검증으로 쉽게 드러났지만, 검증 단계에서 (의도치 않게) 발생하는 과적합은 일반적으로 정량화하기가 훨씬 어렵습니다.

AiLA 전략 개발 프로세스 전반에 걸쳐 과적합이 발생할 수 있는 여러 지점이 있습니다.

특히 위험한 영역

• 미시/거시 데이터와 피처 정의에 관한 선택. 이는 전략이 데이터를 어떻게 사용해야 하는지를 암시하지 않으면서, 데이터가 중요한 팩터를 가장 잘 드러내도록 하는 방법에 관한 것입니다.
• 자산 모델의 학습과 선택. 여기서는 위에서 언급한 기법을 사용하여 과적합에 대응하며, 모든 모델 평가와 하이퍼파라미터 튜닝은 사전에 정한 학습/검증 데이터 세트를 사용하여 수행합니다.
• 최종 상류(upstream) 배분 방법의 파라미터도 동일한 학습/검증 데이터 세트를 사용하여 최적화합니다.
• 하류(downstream) 지수 구성은 여러 자산 배분 모델을 다양한 유형의 지수로 결합합니다. 이 과정은 자산 성과보다는 포트폴리오 전반에 걸쳐 분산된 위험을 달성하는 데 중점을 둔 고정된 방법에 기반합니다. 다만 이 단계에는 파라미터 선택과 지수 자산 선정이 포함되며, 여기서 선택 편향이 개입되지 않도록 해야 합니다.

과적합의 영향을 줄이기 위해 여러 원칙을 엄격하게 따릅니다.
다만 모든 접근 방식에는 한계가 있으며, 모든 결정에 신중을 기해야 한다는 점에 유의해야 합니다.

준수하는 원칙

• 모든 피처 데이터는 예측 가능한 미래까지 이용 가능해야 하며, 자산 모델이 확정(동결)된 후에는 피처 정의와 함께 어떠한 변경도 하지 않습니다. 데이터와 피처 정의의 선택은 펀더멘털/재량적 원자재 트레이딩 실무에서 얻은 도메인 지식에 기반하며, 이는 시간이 지나면서 재검토될 수 있습니다. 그러나 정상성(stationary) 팩터에 중점을 두므로, 이러한 재검토/갱신 과정을 통한 과적합 가능성을 피하기 위해 데이터 측면도 동결하는 것을 원칙으로 합니다.
• 자산 모델의 학습과 선택은 엄격하게 2016년 말까지 이용 가능한 데이터에만 기반합니다. 이 시점은 유동성이 높은 원자재 대부분의 자산 배분 모델이 동결되어 실거래에 사용되기 시작한 시점과도 일치합니다. 이러한 이유로 이 기간은 새로운 연구와 자산 모델의 학습/검증에도 사용됩니다.
• 최종 자산 배분 방법의 파라미터를 표본 내에서 최적화하면 선택 편향이 생길 가능성이 있습니다. 그러나 값의 범위가 제한되어 있어 결과에 극적인 영향을 미치지 않을 것으로 예상되며, 표본 외 결과에서 유의미한 과적합이 관찰되지 않는다는 점으로 결과가 검증됩니다.
• 상류(upstream) 자산 배분 모델 전체를 검증하려면, 1 Jan 2017부터의 홀드아웃 데이터를 사용하여 표본 외 검증 결과를 얻기 전에 모든 세부 사항을 동결해야 합니다. ML 커뮤니티에서 일반적인 관행인, 방법을 동결하고 최종 상류 평가에 홀드아웃 데이터 세트를 사용하는 엄격한 관행을, 다중 검증 편향이 결과를 좋아 보이게 만드는 효과를 과소평가하거나 실수로 포함할 위험을 줄이는 주요 수단으로 채택했습니다. 같은 이유로 유동성 높은 자산 배분 모델 대부분은 1 Jan 2017부터 동결되어 그 이후 변경되지 않았으며, 따라서 실거래 표본 외 결과를 제공합니다.
• 하류(downstream) 지수 구성에는 변동성 목표나 배분 한도 등 대부분 성과에 미치는 영향이 크지 않은 파라미터가 포함되며, 그 결정은 일반적으로 지수 성과보다는 실무적 목적에 기반합니다. 그러나 주의가 필요하며, 특히 성과에 더 큰 영향을 미치는 지수 자산 선정에 대해서는 더욱 그렇습니다. 여기서 일반 원칙은 자산을 동등한 기준으로 고려하고, 학습 단계에서 근거가 있고 표본 외 검증 결과로 뒷받침되는 경우에만 자산 간에 차별을 두는 것입니다.