10 помилок бектестування, що знищують вашу перевагу

Помилка 1: Look-ahead bias

Look-ahead bias — це використання інформації, яка ще не існувала на момент прийняття рішення. Приклади: індикатор, що використовує майбутні свічки для згладжування; стоп-лосс, розрахований на основі мінімуму дня, який ще не завершився; фільтр тренду, побудований на даних усього періоду.

Цю помилку надзвичайно складно виявити, бо вона часто прихована в коді. Класичний випадок: використання close ціни поточної свічки для прийняття рішення всередині тієї ж свічки. Правильний підхід — сигнал формується на закритті попередньої свічки, а вхід відбувається на відкритті наступної.

StratBase.ai автоматично запобігає look-ahead bias: сигнали формуються тільки на завершених свічках, а вхід виконується за ціною наступної. Це вбудований захист, який неможливо обійти.

Помилка 2: Нереалістичне виконання ордерів

Бектест припускає, що ордер виконується миттєво за точною ціною. У реальності:

Ці фактори можуть зменшити прибутковість на 15–40% порівняно з бектестом. Особливо критично для високочастотних стратегій, де середній прибуток на угоду невеликий. Завжди закладайте slippage 0.05–0.1% у налаштуваннях бектесту.

Помилка 3: Overfitting параметрів

Оптимізація — корисний інструмент, але без контролю вона перетворюється на curve fitting. Ознаки overfitting:

• Стратегія має більше 5 параметрів для оптимізації
• Невелика зміна параметра (наприклад, EMA 20 замість EMA 21) радикально змінює результат
• Результат на out-of-sample даних значно гірший за in-sample
• PF > 3.0 на невеликій кількості угод (менше 100)

Правило: якщо стратегія «зламується» при зміні параметра на 10–20%, це overfitting. Робастна стратегія показує стабільний результат у широкому діапазоні параметрів. Тестуйте EMA 18, 20 і 22 — якщо всі три прибуткові, параметр робастний.

Помилка 4: Ігнорування ринкових режимів

Загальний PF 1.6 за три роки може складатися з PF 3.0 у тренді та PF 0.5 у боковику. Трейдер бачить «хороший загальний результат» і запускає стратегію — саме коли ринок входить у боковик. Результат: місяці збитків.

Рішення: аналізуйте результати по кварталах та ринкових режимах окремо. Стратегія має бути прибутковою (або хоча б беззбитковою) у більшості кварталів. Якщо є квартали з PF < 0.8 — потрібен фільтр режиму або адаптивні параметри.

Помилка 5: Недостатня кількість угод

30 угод за рік — це статистично незначима вибірка. PF 2.0 на 30 угодах може бути чистим збігом. Мінімум для надійних висновків: 100–200 угод. Для статистичної значимості з p-value < 0.05 потрібно щонайменше 50 угод, але рекомендовано 200+ для врахування різних ринкових умов.

Якщо стратегія торгує рідко (5–10 угод на рік), збільшуйте тестовий період до 5–10 років або тестуйте на кількох інструментах паралельно. StratBase.ai дозволяє тестувати на сотнях інструментів — це найшвидший спосіб набрати статистику.

Помилка 6: Survivorship bias у крипто

Survivorship bias (помилка виживших) — тестування тільки на активах, які «дожили» до сьогодні. У криптовалютному світі ця помилка особливо гостра: за 2020–2025 роки з великих бірж було делістнуто сотні токенів. LUNA, FTT, UST — це лише найгучніші приклади. Десятки менших проектів просто зникли з торгових пар.

Коли ви тестуєте стратегію на «топ-50 монет за ринковою капіталізацією», ви працюєте з тими, що вижили. Монети, які були у топ-50 два роки тому, але впали на 99% і зникли з рейтингу, не потрапляють у вашу вибірку. Це системно завищує результати long-стратегій і занижує результати short-стратегій. Стратегія, що показує PF 1.8 на «виживших» активах, може давати PF 1.2–1.4 на повній вибірці, що включає делістнуті токени.

Як мінімізувати: тестуйте на фіксованому списку інструментів, складеному на дату початку бектесту, а не на поточному списку. Для BTC і ETH survivorship bias мінімальний — ці активи існують протягом усього тестового періоду. Для альткоінів проблема суттєва.

Помилка 7: Неочевидні форми lookahead bias

Окрім класичного lookahead (використання майбутніх цін), існують приховані форми. Фільтрація інструментів post-hoc: «тестую тільки на BTC, ETH та SOL, бо вони ліквідні» — але SOL стала ліквідною після 2021, і це знання з майбутнього. Вибір параметрів: «EMA(21) та EMA(55) добре працюють на BTC» — ви це знаєте із тестування на тих самих даних (circular reasoning). Вибір тестового періоду: рішення тестувати «з 2023, бо раніше ринок був інший» прийняте з позиції 2025 року.

Помилка 8: Selection bias та reporting bias

Selection bias виникає при тестуванні десятків варіацій стратегії. Із 100 випадкових стратегій ~5 покажуть «значущий» результат (p < 0.05) випадково. Корекція Бонферроні: якщо протестовано N варіацій, поріг значущості ділиться на N. Для 20 комбінацій — замість p < 0.05 вимагайте p < 0.0025.

Reporting bias — показувати тільки найкращі результати. Стратегія тестується на 10 інструментах, прибуток на 3, збитки на 7 — у звіті фігурують лише прибуткові. Антидот: вести журнал усіх тестів, включаючи невдалі. Стратегія з 30% success rate — це не «робоча стратегія з вибірковим застосуванням», а стратегія, що потребує переробки.

Як провести аудит власного бектесту

1. Чи включає період тестування і бичачий, і ведмежий ринок?
2. Чи враховані комісії та slippage?
3. Чи є мінімум 100 угод на тестовому періоді?
4. Чи стабільний результат при зміні параметрів на 15–20%?
5. Чи перевірена стратегія на out-of-sample даних?
6. Чи немає look-ahead bias у логіці входу та виходу?
7. Чи тестувалися делістнуті активи (survivorship bias)?
8. Чи задокументовано загальну кількість протестованих варіацій (selection bias)?
9. Чи показано результати на ВСІХ інструментах, включаючи збиткові (reporting bias)?

Якщо хоча б дві відповіді «ні» — результат бектесту ненадійний і потребує доопрацювання.

Висновок

Бектестування — потужний інструмент, але тільки при правильному використанні. Survivorship bias у крипто, неочевидні форми lookahead, selection bias при оптимізації та reporting bias при інтерпретації — це пастки, в які потрапляє більшість трейдерів. Ведіть журнал усіх тестів, застосовуйте корекцію Бонферроні після масової оптимізації та тестуйте на повних вибірках інструментів. StratBase.ai допомагає уникнути більшості технічних помилок автоматично, але критичне мислення та чесність перед собою — ваша відповідальність.