Як уникнути переоптимізації при бектестуванні

Анатомія переоптимізації: як це працює

Уявіть: ви тестуєте стратегію RSI + MACD на BTC за 2022–2024. Перебираєте 500 комбінацій параметрів. Знаходите: RSI(17) + MACD(11,26,9) + SL 2.7% + TP 4.3% = +280% за 2 роки, Profit Factor 4.5, Max Drawdown 8%. Виглядає ідеально.

Але це overfitting. Ви знайшли комбінацію, яка ідеально описує МИНУЛІ рухи BTC. Ринок не повторить ці рухи. На 2025 стратегія покаже −15% або гірше. Причина: 4 параметри, підігнані під конкретну послідовність свічок — це не торгова ідея, а криволінійна апроксимація минулих даних.

Правило: чим кращий результат бектесту, тим більше скепсису потрібно. PF 4.5 — підозрілий. PF 1.8 — реалістичний. PF > 3.0 на тривалому періоді (2+ років) — майже напевно overfitting.

5 ознак переоптимізації

1. Занадто багато параметрів: 5+ оптимізованих параметрів для простої стратегії. Кожен параметр — ступінь свободи для підгонки під конкретні минулі дані. Чим більше — тим легше «підігнати».
2. Нереалістичний результат: PF > 4.0, Sharpe > 3.0, Win Rate > 80% на тривалому періоді — це майже неможливо для реальної торгівлі. Навіть кращі хедж-фонди світу не досягають таких показників стабільно.
3. Чутливість до параметрів: зміна RSI з 17 на 16 або 18 різко погіршує результат. Це «пік», а не «плато». Робастна стратегія працює при ±15–20% зміни будь-якого параметру.
4. Катастрофічне падіння на out-of-sample: на тренувальних даних +200%, на тестових −10%. Класичний overfitting — стратегія «запам’ятала» минуле, але не навчилася торгувати.
5. Мало угод: 15 угод і PF 5.0 — це статистичний шум, а не торгова перевага (edge). Мінімум 50 угод для мінімально надійних висновків.

Метод 1: Out-of-Sample тестування

Розділіть дані: 70% — тренувальні (in-sample), 30% — тестові (out-of-sample). Оптимізуйте ТІЛЬКИ на тренувальних даних. Перевіряйте результат на тестових. Ніколи не повертайтесь до оптимізації після перевірки — це знищить цінність тесту.

Приклад: дані 2021–2025. In-sample: 2021–2024. Out-of-sample: 2025. Якщо PF in-sample = 2.0, а out-of-sample = 1.4 — нормальна деградація (30% падіння — прийнятно). Якщо 2.0 → 0.8 — стратегія переоптимізована та непридатна для реальної торгівлі.

Правило: PF на out-of-sample повинен бути ≥ 50% від PF на in-sample. Все що нижче — ознака overfitting.

Метод 2: Walk-Forward аналіз

Ковзна оптимізація: оптимізуєте на 12 місяцях → тестуєте на наступних 3 → зсуваєте вікно на 3 місяці → повторюєте. Результат — серія з 8–12 out-of-sample тестів, що покривають весь період.

Walk-forward — золотий стандарт перевірки робастності. Якщо стратегія прибуткова у більшості «вікон» (7+ з 10) — вона дійсно адаптивна. Якщо прибуткова лише у 3–4 вікнах — це curve fitting, що випадково спрацювало на частині даних.

Метод 3: Простота (Occam’s Razor)

Occam’s Razor для трейдингу: найпростіша стратегія, що працює — найкраща. 2–3 параметри — максимум для оптимізації. Кожен додатковий параметр повинен ЗНАЧНО покращувати результат (не на 5%, а на 30%+), інакше він не варт ризику додаткової підгонки.

Стратегія з 2 параметрами і PF 1.8 надійніша за стратегію з 8 параметрами і PF 3.5. Перша працюватиме в реальності, бо її перевага базується на простій закономірності ринку. Друга — майже напевно ні, бо її «перевага» — це складна підгонка під конкретні минулі дані.

Метод 4: Тест на інших інструментах

Стратегія працює на BTC/USDT? Обов’язково перевірте на ETH/USDT, SOL/USDT, навіть EUR/USD. Якщо працює прибутково на кількох різних інструментах — це загальна ринкова закономірність. Якщо прибуткова тільки на одному — це, з високою ймовірністю, підгонка під специфіку конкретного активу.

StratBase.ai підтримує 1500+ крипто-пар, 27 форекс та 130+ акцій — ідеально для крос-інструментального тестування на широкому спектрі ринків.

Правило «плато» vs «пік»

Після оптимізації шукайте параметри, де сусідні значення дають схожий результат:

Плато (добре): RSI(12) = PF 1.4, RSI(13) = PF 1.45, RSI(14) = PF 1.5, RSI(15) = PF 1.45, RSI(16) = PF 1.4. Результат стабільний у діапазоні — стратегія не залежить від одного «магічного» числа.

Пік (погано): RSI(14) = PF 3.0, а RSI(13) та RSI(15) = PF 1.0. Одне випадкове число, що збіглося з конкретною послідовністю минулих даних. Не довіряйте «пікам» — обирайте «плато».

Чеклист перед реальною торгівлею

1. Кількість оптимізованих параметрів ≤ 3?
2. Out-of-sample PF ≥ 50% від in-sample PF?
3. Стратегія працює при ±15% зміни параметрів?
4. Прибуткова хоча б на 2 різних інструментах?
5. Кількість угод ≥ 50 для статистичної значущості?
6. PF ≤ 3.0 (реалістичний результат)?

Якщо всі 6 пунктів виконані — стратегія, ймовірно, робастна і готова до paper-trading. Якщо ≥ 2 не виконані — є серйозний ризик переоптимізації. Повертайтесь до спрощення та перевірки.

Додаткові ресурси

• RSI — Investopedia
• MACD — Investopedia