
10 помилок бектестування, що знищують вашу перевагу
Бектестування — це фундамент алгоритмічної торгівлі. Але більшість трейдерів припускаються одних і тих самих помилок при тестуванні, що перетворює бектест із інструменту перевірки на генератор хибної впевненості. Давайте розберемо найпоширеніші помилки та навчимося їх уникати.
Помилка 1: Look-ahead bias
Look-ahead bias — це використання інформації, яка ще не існувала на момент прийняття рішення. Приклади: індикатор, що використовує майбутні свічки для згладжування; стоп-лосс, розрахований на основі мінімуму дня, який ще не завершився; фільтр тренду, побудований на даних усього періоду.
Цю помилку надзвичайно складно виявити, бо вона часто прихована в коді. Класичний випадок: використання close ціни поточної свічки для прийняття рішення всередині тієї ж свічки. Правильний підхід — сигнал формується на закритті попередньої свічки, а вхід відбувається на відкритті наступної.
StratBase.ai автоматично запобігає look-ahead bias: сигнали формуються тільки на завершених свічках, а вхід виконується за ціною наступної. Це вбудований захист, який неможливо обійти.
Помилка 2: Нереалістичне виконання ордерів
Бектест припускає, що ордер виконується миттєво за точною ціною. У реальності:
| Фактор | Бектест | Реальність |
|---|---|---|
| Slippage | 0% | 0.01–0.5% залежно від ліквідності |
| Час виконання | 0 мс | 50–500 мс на біржі |
| Часткове заповнення | Ніколи | Регулярно для великих ордерів |
| Requotes | Ніколи | Під час високої волатильності |
Ці фактори можуть зменшити прибутковість на 15–40% порівняно з бектестом. Особливо критично для високочастотних стратегій, де середній прибуток на угоду невеликий. Завжди закладайте slippage 0.05–0.1% у налаштуваннях бектесту.
Помилка 3: Overfitting параметрів
Оптимізація — корисний інструмент, але без контролю вона перетворюється на curve fitting. Ознаки overfitting:
- Стратегія має більше 5 параметрів для оптимізації
- Невелика зміна параметра (наприклад, EMA 20 замість EMA 21) радикально змінює результат
- Результат на out-of-sample даних значно гірший за in-sample
- PF > 3.0 на невеликій кількості угод (менше 100)
Правило: якщо стратегія «зламується» при зміні параметра на 10–20%, це overfitting. Робастна стратегія показує стабільний результат у широкому діапазоні параметрів. Тестуйте EMA 18, 20 і 22 — якщо всі три прибуткові, параметр робастний.
Помилка 4: Ігнорування ринкових режимів
Загальний PF 1.6 за три роки може складатися з PF 3.0 у тренді та PF 0.5 у боковику. Трейдер бачить «хороший загальний результат» і запускає стратегію — саме коли ринок входить у боковик. Результат: місяці збитків.
Рішення: аналізуйте результати по кварталах та ринкових режимах окремо. Стратегія має бути прибутковою (або хоча б беззбитковою) у більшості кварталів. Якщо є квартали з PF < 0.8 — потрібен фільтр режиму або адаптивні параметри.
Помилка 5: Недостатня кількість угод
30 угод за рік — це статистично незначима вибірка. PF 2.0 на 30 угодах може бути чистим збігом. Мінімум для надійних висновків: 100–200 угод. Для статистичної значимості з p-value < 0.05 потрібно щонайменше 50 угод, але рекомендовано 200+ для врахування різних ринкових умов.
Якщо стратегія торгує рідко (5–10 угод на рік), збільшуйте тестовий період до 5–10 років або тестуйте на кількох інструментах паралельно. StratBase.ai дозволяє тестувати на сотнях інструментів — це найшвидший спосіб набрати статистику.
Помилка 6: Survivorship bias у крипто
Survivorship bias (помилка виживших) — тестування тільки на активах, які «дожили» до сьогодні. У криптовалютному світі ця помилка особливо гостра: за 2020–2025 роки з великих бірж було делістнуто сотні токенів. LUNA, FTT, UST — це лише найгучніші приклади. Десятки менших проектів просто зникли з торгових пар.
Коли ви тестуєте стратегію на «топ-50 монет за ринковою капіталізацією», ви працюєте з тими, що вижили. Монети, які були у топ-50 два роки тому, але впали на 99% і зникли з рейтингу, не потрапляють у вашу вибірку. Це системно завищує результати long-стратегій і занижує результати short-стратегій. Стратегія, що показує PF 1.8 на «виживших» активах, може давати PF 1.2–1.4 на повній вибірці, що включає делістнуті токени.
Як мінімізувати: тестуйте на фіксованому списку інструментів, складеному на дату початку бектесту, а не на поточному списку. Для BTC і ETH survivorship bias мінімальний — ці активи існують протягом усього тестового періоду. Для альткоінів проблема суттєва.
Помилка 7: Неочевидні форми lookahead bias
Окрім класичного lookahead (використання майбутніх цін), існують приховані форми. Фільтрація інструментів post-hoc: «тестую тільки на BTC, ETH та SOL, бо вони ліквідні» — але SOL стала ліквідною після 2021, і це знання з майбутнього. Вибір параметрів: «EMA(21) та EMA(55) добре працюють на BTC» — ви це знаєте із тестування на тих самих даних (circular reasoning). Вибір тестового періоду: рішення тестувати «з 2023, бо раніше ринок був інший» прийняте з позиції 2025 року.
Помилка 8: Selection bias та reporting bias
Selection bias виникає при тестуванні десятків варіацій стратегії. Із 100 випадкових стратегій ~5 покажуть «значущий» результат (p < 0.05) випадково. Корекція Бонферроні: якщо протестовано N варіацій, поріг значущості ділиться на N. Для 20 комбінацій — замість p < 0.05 вимагайте p < 0.0025.
Reporting bias — показувати тільки найкращі результати. Стратегія тестується на 10 інструментах, прибуток на 3, збитки на 7 — у звіті фігурують лише прибуткові. Антидот: вести журнал усіх тестів, включаючи невдалі. Стратегія з 30% success rate — це не «робоча стратегія з вибірковим застосуванням», а стратегія, що потребує переробки.
Як провести аудит власного бектесту
- Чи включає період тестування і бичачий, і ведмежий ринок?
- Чи враховані комісії та slippage?
- Чи є мінімум 100 угод на тестовому періоді?
- Чи стабільний результат при зміні параметрів на 15–20%?
- Чи перевірена стратегія на out-of-sample даних?
- Чи немає look-ahead bias у логіці входу та виходу?
- Чи тестувалися делістнуті активи (survivorship bias)?
- Чи задокументовано загальну кількість протестованих варіацій (selection bias)?
- Чи показано результати на ВСІХ інструментах, включаючи збиткові (reporting bias)?
Якщо хоча б дві відповіді «ні» — результат бектесту ненадійний і потребує доопрацювання.
Висновок
Бектестування — потужний інструмент, але тільки при правильному використанні. Survivorship bias у крипто, неочевидні форми lookahead, selection bias при оптимізації та reporting bias при інтерпретації — це пастки, в які потрапляє більшість трейдерів. Ведіть журнал усіх тестів, застосовуйте корекцію Бонферроні після масової оптимізації та тестуйте на повних вибірках інструментів. StratBase.ai допомагає уникнути більшості технічних помилок автоматично, але критичне мислення та чесність перед собою — ваша відповідальність.
Про автора
Фінансовий аналітик з 6+ роками досвіду в алгоритмічному трейдингу. Спеціалізується на технічному аналізі та бектестуванні торгових стратегій для криптовалютних ринків.
Часті запитання
Які найнебезпечніші помилки бектестування?▾
Top-3: 1) Переоптимізація — підгонка під історію. PF 4.0 на бектесті, 0.8 на реалі. 2) Look-ahead bias — стратегія «знає» майбутні дані (використовує High/Low свічки, що ще не завершились). 3) Ігнорування комісій і slippage — PF 1.3 без комісій = PF 0.9 з комісіями для активних стратегій. Ці три помилки відповідальні за 80% «прибуткових бектестів», що стають збитковими на реалі.
Як уникнути look-ahead bias?▾
Look-ahead bias = стратегія використовує інформацію, яка недоступна в момент рішення. Приклади: 1) Вхід по High свічки (ви не знаєте High, поки свічка не закрита). 2) Використання 'today's close' для рішення 'today' (ви не знаєте close до кінця дня). 3) Фільтр по макс/мін за день у реальному часі. Правило: стратегія може використовувати тільки ЗАВЕРШЕНІ свічки. Вхід — тільки на відкритті НАСТУПНОЇ свічки після сигналу.
Коментарі (0)
Loading comments...

