백테스트 과적합 방지법 – 테오의 저장소

백테스트란 무엇인가?

퀀트 투자에서 백테스트(Backtest)는 과거 데이터를 활용해 전략의 수익성을 검증하는 과정입니다. 자동매매 시스템을 구축하기 전, 반드시 거쳐야 할 핵심 단계죠. 하지만 많은 트레이더가 백테스트 결과를 맹신하다가 실전에서 큰 손실을 겪습니다. 그 이유는 바로 과적합(Overfitting) 때문입니다.

과적합이란, 전략이 과거 데이터의 노이즈(noise)까지 학습해버려 미래 데이터에서는 전혀 통하지 않는 현상을 말합니다. 백테스트에서 연 수익률 200%를 기록한 전략이 실전에서 -30%를 기록하는 일이 실제로 흔합니다.

과적합이 발생하는 5가지 원인

1. 파라미터 과다 최적화

이동평균선 기간, RSI 기간, 볼린저밴드 배수 등 파라미터를 지나치게 세밀하게 조정하면, 해당 기간에만 들어맞는 전략이 됩니다. 파라미터가 5개 이상이면 과적합 위험이 급격히 올라갑니다.

2. 데이터 기간이 너무 짧음

1~2년치 데이터만으로 백테스트를 돌리면, 특정 시장 국면(상승장 또는 하락장)에만 맞는 전략이 만들어집니다. 최소 5년 이상, 가능하면 상승·하락·횡보장을 모두 포함하는 기간이 필요합니다.

3. 미래 정보 유입(Look-ahead Bias)

백테스트 시점에서 아직 알 수 없는 정보가 전략에 반영되는 실수입니다. 예를 들어 당일 종가를 기준으로 당일 매매 신호를 만드는 경우가 대표적입니다. 실전에서는 종가를 미리 알 수 없기 때문에 이런 전략은 무의미합니다.

4. 생존자 편향(Survivorship Bias)

상장 폐지된 종목이나 사라진 코인을 데이터에서 제외하면, 살아남은 종목만으로 테스트하게 됩니다. 이는 결과를 과대평가하는 대표적인 편향입니다.

5. 거래 비용·슬리피지 미반영

수수료, 스프레드, 슬리피지를 무시한 백테스트는 환상에 불과합니다. 특히 고빈도 전략일수록 거래 비용의 영향이 커서, 이를 반영하면 수익이 완전히 사라지는 경우도 많습니다.

과적합을 방지하는 실전 기법

Walk-Forward 분석

전체 데이터를 여러 구간으로 나눠, 학습 구간(In-Sample)에서 전략을 최적화하고 검증 구간(Out-of-Sample)에서 성과를 확인하는 방법입니다. 이 과정을 시간순으로 반복하면서 전략의 일관성을 검증합니다.

// Walk-Forward 구간 분할 예시
전체 데이터: 2016 ~ 2025
Round 1: 학습 2016-2018 → 검증 2019
Round 2: 학습 2017-2019 → 검증 2020
Round 3: 학습 2018-2020 → 검증 2021
Round 4: 학습 2019-2021 → 검증 2022
...최종 OOS 성과 평균으로 전략 판단

파라미터 민감도 분석

최적 파라미터 값 주변에서 성과가 급변하면 과적합 신호입니다. 파라미터를 ±20% 변경해도 성과가 안정적이어야 실전에서도 작동할 가능성이 높습니다. 이를 “파라미터 안정성 평원(Parameter Plateau)”이라 부릅니다.

단순한 전략이 오래 간다

파라미터 수를 최소화하고, 전략 로직을 단순하게 유지하세요. 복잡한 전략은 과거에 잘 맞을 수 있지만, 시장 구조가 변하면 가장 먼저 무너집니다. 퀀트 업계에서는 “전략이 한 문장으로 설명되지 않으면 과적합이다”라는 격언이 있을 정도입니다.

몬테카를로 시뮬레이션

거래 순서를 무작위로 섞어 수천 번 반복 시뮬레이션하면, 전략의 기대 수익 분포와 최대 낙폭(MDD) 분포를 확인할 수 있습니다. 백테스트 한 번의 결과가 아닌, 통계적 분포로 전략을 평가하는 것이 핵심입니다.

실전 체크리스트: 내 백테스트는 안전한가?

✅ 파라미터 수가 3개 이하인가?
✅ 테스트 기간이 5년 이상인가?
✅ Out-of-Sample 검증을 했는가?
✅ 거래 비용(수수료 + 슬리피지)을 반영했는가?
✅ 파라미터 ±20% 변경 시에도 수익이 유지되는가?
✅ 상장 폐지 종목이 데이터에 포함되어 있는가?
✅ Look-ahead bias가 없는가?

이 중 하나라도 “아니오”라면, 해당 백테스트 결과는 신뢰하기 어렵습니다.

마무리

백테스트는 퀀트 투자의 출발점이지, 도착점이 아닙니다. 과적합에 빠진 전략은 과거의 환상을 보여줄 뿐, 미래의 수익을 보장하지 않습니다. Walk-Forward 분석, 파라미터 최소화, 거래 비용 반영 — 이 세 가지만 지켜도 백테스트의 함정 대부분을 피할 수 있습니다. 전략을 만드는 것보다 전략을 의심하는 습관이 퀀트 투자에서 살아남는 핵심입니다.