퀀트 백테스트에서 과적합이 위험한 이유
퀀트 투자에서 백테스트(Backtest)는 전략의 유효성을 검증하는 핵심 도구입니다. 하지만 많은 트레이더가 백테스트 결과에 지나치게 맞추다가 과적합(Overfitting)이라는 치명적 함정에 빠집니다. 과적합된 전략은 과거 데이터에서는 놀라운 수익률을 보이지만, 실전에서는 처참한 결과를 만들어냅니다.
과적합은 전략이 과거 데이터의 노이즈(noise)까지 학습해버린 상태를 말합니다. 시장의 본질적 패턴이 아니라 우연한 가격 움직임에 최적화된 것이죠. 이 글에서는 퀀트 백테스트 과적합을 탐지하고 방지하는 실전 기법을 다룹니다.
과적합의 대표적 징후 5가지
아래 징후가 보이면 전략이 과적합되었을 가능성이 높습니다.
| 징후 | 설명 |
|---|---|
| 파라미터가 지나치게 많다 | 이동평균 기간, 진입/청산 조건 등 조절 변수가 5개 이상이면 위험 신호 |
| 백테스트 수익률이 비현실적 | 연 100%+ 수익, MDD 5% 미만 등 너무 완벽한 결과 |
| 소폭 파라미터 변경에 결과 급변 | 이평선 20→22일로 바꿨을 때 수익률이 크게 달라지면 과적합 |
| 특정 구간에서만 성과 집중 | 2020년 코로나 구간에서만 수익이 나고 나머지는 횡보 |
| Out-of-Sample 성과 급락 | 학습 기간 외 데이터에서 성과가 현저히 떨어짐 |
과적합 방지 기법 ① — Walk-Forward 분석
Walk-Forward 분석은 과적합을 방지하는 가장 신뢰도 높은 방법입니다. 전체 데이터를 여러 구간으로 나눠 순차적으로 최적화와 검증을 반복합니다.
예를 들어 2018~2025년 데이터가 있다면:
- 1차: 2018~2020 최적화 → 2021 검증
- 2차: 2019~2021 최적화 → 2022 검증
- 3차: 2020~2022 최적화 → 2023 검증
- 4차: 2021~2023 최적화 → 2024 검증
각 검증 구간의 성과가 일관되게 양호하면 전략의 견고성(Robustness)이 높다고 판단할 수 있습니다. Walk-Forward Efficiency(WFE)가 50% 이상이면 합격선으로 봅니다.
과적합 방지 기법 ② — 파라미터 최소화 원칙
퀀트 전략 설계의 황금률은 “단순할수록 강하다”입니다.
# 과적합 위험이 높은 전략 (파라미터 7개)
entry = (sma(close, 13) > sma(close, 48)) and (rsi(14) < 32) and (volume > sma(volume, 22))
# 견고한 전략 (파라미터 2개)
entry = sma(close, 20) > sma(close, 60)파라미터가 적을수록 과거 노이즈에 맞춰질 여지가 줄어듭니다. 파라미터 수 / 거래 횟수 비율을 항상 확인하세요. 파라미터 1개당 최소 거래 50회 이상의 샘플이 있어야 통계적 의미가 있습니다.
과적합 방지 기법 ③ — 몬테카를로 시뮬레이션
몬테카를로 시뮬레이션은 거래 순서를 무작위로 섞어 전략의 기대 성과 분포를 확인하는 기법입니다. 핵심은 단일 백테스트 결과가 아니라 수천 번의 시나리오에서 전략이 살아남는지를 검증하는 것입니다.
- 거래 결과(승/패)의 순서를 1,000~10,000회 무작위 재배열
- 각 시나리오의 최대 낙폭(MDD), 최종 수익률 분포 확인
- 95% 신뢰구간에서도 생존 가능한 전략인지 판단
만약 95% 신뢰구간의 MDD가 계좌의 감내 한도를 넘는다면, 그 전략은 실전에서 쓰기 어렵습니다.
과적합 방지 기법 ④ — 다중 시장 · 다중 시간대 검증
진정으로 유효한 전략은 하나의 시장, 하나의 시간대에만 작동하지 않습니다. 비트코인에서 개발한 전략이 이더리움이나 주식 시장에서도 유사한 패턴을 보인다면 과적합 가능성이 낮습니다.
검증 체크리스트:
- ✅ 다른 암호화폐(ETH, SOL 등)에서도 양의 기대값
- ✅ 다른 타임프레임(1H → 4H → 1D)에서도 방향 일치
- ✅ 다른 시장 국면(상승장, 하락장, 횡보장)에서 각각 테스트
이 과정에서 성과가 크게 달라진다면 전략이 특정 조건에 과적합되었을 수 있습니다. 관련해서 계좌 생존 규칙 7가지도 함께 참고하세요.
실전 적용 — 과적합 체크리스트
새 전략을 실전에 투입하기 전, 아래 체크리스트를 반드시 확인하세요.
| 항목 | 기준 | 통과 |
|---|---|---|
| 파라미터 수 | 4개 이하 | ☐ |
| 거래 샘플 수 | 파라미터당 50회 이상 | ☐ |
| Walk-Forward Efficiency | 50% 이상 | ☐ |
| 파라미터 민감도 | ±20% 변경 시 성과 유지 | ☐ |
| 몬테카를로 95% MDD | 계좌 한도 이내 | ☐ |
| 다중 시장 검증 | 2개 이상 시장에서 양의 기대값 | ☐ |
6개 중 5개 이상 통과해야 실전 투입을 고려할 수 있습니다. 복구매매 패턴처럼 과적합된 전략을 믿고 무리하게 베팅하면 계좌가 위험해집니다.
마무리 — 좋은 전략은 단순하고 견고하다
퀀트 투자에서 과적합은 가장 흔하면서도 가장 치명적인 실수입니다. 백테스트의 화려한 수익 곡선에 현혹되지 마세요. Walk-Forward 분석, 파라미터 최소화, 몬테카를로 시뮬레이션, 다중 시장 검증 — 이 네 가지만 꾸준히 적용해도 과적합 위험을 크게 줄일 수 있습니다.
기억하세요. 백테스트에서 2등인 전략이 실전에서 1등인 경우가 많습니다. 완벽한 과거 성과보다 견고한 미래 성과를 추구하는 것이 퀀트 투자의 핵심입니다.