백테스트 과최적화란?
퀀트 투자에서 백테스트(backtest)는 과거 데이터를 활용해 전략의 성과를 검증하는 핵심 과정입니다. 하지만 많은 트레이더가 빠지는 치명적 함정이 있습니다. 바로 과최적화(overfitting)입니다. 과최적화란 과거 데이터에 지나치게 맞춰진 전략을 만들어, 실전에서는 전혀 다른 결과가 나오는 현상을 말합니다.
예를 들어 이동평균 기간을 5일, 10일, 20일, 50일, 100일, 200일 등 수십 가지 조합으로 테스트한 뒤, 가장 수익률이 높았던 조합만 선택하면 어떻게 될까요? 과거 차트에서는 완벽해 보이지만, 미래 시장에서는 무용지물이 됩니다. 이것이 과최적화의 본질입니다.
과최적화가 위험한 이유
과최적화된 전략은 다음과 같은 문제를 일으킵니다.
- 실전 수익률 급락: 백테스트에서 연 50% 수익이던 전략이 실전에서 -20%를 기록하는 경우가 흔합니다.
- 시장 체제 변화 대응 불가: 과거 특정 구간에 맞춰진 파라미터는 시장 환경이 바뀌면 즉시 무력화됩니다.
- 거짓 자신감: 화려한 백테스트 결과가 과도한 레버리지 사용으로 이어져, 큰 손실을 초래합니다.
- 데이터 스누핑 편향: 수백 번의 파라미터 조합 테스트 자체가 통계적으로 우연한 결과를 만들어냅니다.
과최적화를 판별하는 5가지 신호
자신의 전략이 과최적화되었는지 확인하는 방법입니다.
| 번호 | 경고 신호 | 설명 |
|---|---|---|
| 1 | 파라미터가 5개 이상 | 조건이 많을수록 과거에만 맞는 전략이 될 확률이 높습니다. |
| 2 | 인접 파라미터 성과 급변 | 이동평균 20일은 수익인데 21일은 손실이라면 과최적화 신호입니다. |
| 3 | 승률 80% 이상 | 비현실적으로 높은 승률은 커브 피팅의 결과일 가능성이 큽니다. |
| 4 | 특정 구간에서만 수익 | 2020~2021 상승장에서만 작동하는 전략은 범용성이 없습니다. |
| 5 | 거래 횟수가 너무 적음 | 30회 미만의 거래로는 통계적 유의미성을 확보할 수 없습니다. |
과최적화를 방지하는 7가지 실전 기법
1. Out-of-Sample 테스트 분리
전체 데이터를 훈련 구간(In-Sample)과 검증 구간(Out-of-Sample)으로 나눕니다. 일반적으로 70:30 비율이 권장됩니다. 훈련 구간에서 전략을 개발하고, 검증 구간에서 성과를 확인합니다. 검증 구간에서도 유사한 성과가 나와야 신뢰할 수 있습니다.
2. Walk-Forward 분석
Walk-Forward 분석은 Out-of-Sample 테스트의 진화 버전입니다. 시간 순서대로 최적화 → 검증 → 최적화 → 검증을 반복하며, 전략이 다양한 시장 환경에서 일관되게 작동하는지 확인합니다. 실전에 가장 가까운 검증 방법으로 평가됩니다.
3. 파라미터 최소화 원칙
전략의 파라미터는 3개 이하로 유지하는 것이 이상적입니다. 파라미터가 적을수록 과최적화 위험이 줄어듭니다. 조건을 추가할 때마다 “이 조건이 정말 논리적 근거가 있는가?”를 자문하세요. 근거 없이 수익률만 높이는 조건은 과최적화의 씨앗입니다.
4. 파라미터 안정성 테스트
최적 파라미터 주변 값에서도 유사한 성과가 나오는지 확인합니다. 예를 들어 이동평균 20일이 최적이라면, 18일과 22일에서도 비슷한 결과가 나와야 합니다. 이를 파라미터 고원(Parameter Plateau)이라 하며, 고원이 넓을수록 전략의 견고성이 높습니다.
5. 다중 시장·다중 시간대 검증
하나의 종목이나 시간대에서만 작동하는 전략은 위험합니다. 비트코인에서 개발한 전략을 이더리움에서도 테스트하고, 1시간봉 전략을 4시간봉에서도 확인해보세요. 여러 환경에서 일관된 성과를 보이는 전략이 진짜 알파입니다.
6. 몬테카를로 시뮬레이션
거래 순서를 무작위로 섞어 수천 번 시뮬레이션합니다. 이를 통해 최대 낙폭(MDD)의 분포와 수익률의 신뢰구간을 파악할 수 있습니다. 운이 좋았을 때와 나빴을 때의 시나리오를 모두 확인하여, 전략의 실질적 리스크를 이해합니다.
7. 실거래 전 페이퍼 트레이딩
모든 검증을 통과한 전략도 최소 1~3개월의 페이퍼 트레이딩을 거쳐야 합니다. 실시간 데이터로 전략이 예상대로 작동하는지 확인하고, 슬리피지·수수료·체결 지연 등 백테스트에서 반영하기 어려운 요소를 점검합니다.
실전 백테스트 체크리스트
전략을 실전에 투입하기 전, 아래 체크리스트를 반드시 확인하세요.
- ✅ 파라미터 3개 이하인가?
- ✅ Out-of-Sample 구간에서도 양의 수익인가?
- ✅ Walk-Forward 분석을 통과했는가?
- ✅ 인접 파라미터에서도 유사한 성과인가?
- ✅ 거래 횟수가 100회 이상인가?
- ✅ 수수료·슬리피지를 반영했는가?
- ✅ 다른 종목/시간대에서도 작동하는가?
- ✅ 몬테카를로 시뮬레이션 95% 신뢰구간에서 양의 수익인가?
- ✅ 최소 1개월 페이퍼 트레이딩을 완료했는가?
자주 하는 실수와 해결법
실수 1: 전체 데이터로 최적화 후 같은 데이터로 검증
→ 반드시 훈련/검증 구간을 분리하세요. 같은 데이터로 만들고 검증하면 100% 과최적화됩니다.
실수 2: “이번엔 다르다”는 확증 편향
→ 전략이 검증에 실패하면 수정이 아니라 폐기가 정답입니다. 실패한 전략을 계속 수정하면 결국 과최적화로 돌아갑니다.
실수 3: 수수료·슬리피지 미반영
→ 암호화폐 선물 기준 편도 0.04~0.06%, 슬리피지 0.01~0.05%를 반드시 반영하세요. 고빈도 전략일수록 수수료 영향이 큽니다.
과최적화를 방지하는 것은 퀀트 투자에서 수익을 내는 것만큼 중요합니다. 화려한 백테스트 결과에 현혹되지 말고, 체계적인 검증 프로세스를 반드시 거치세요. 결국 시장에서 오래 살아남는 전략은 단순하고 견고한 전략입니다.
관련 글도 함께 확인해보세요: