Размер выборки в бэктесте: сколько сделок нужно для достоверности

Почему 10 сделок недостаточно

Представьте подбрасывание монеты: при 10 бросках вероятность получить 8 орлов (80%) составляет 4.4% — достаточно высока. При 100 бросках вероятность 80 орлов (80%) — практически нулевая. Тот же принцип работает в бэктестировании:

При 10 сделках доверительный интервал настолько широк, что невозможно отличить прибыльную стратегию от случайности. Это фундаментальное ограничение любого статистического анализа — не специфика трейдинга.

Минимальные рекомендации

• Абсолютный минимум: 30 сделок — ниже этого бэктест не имеет статистической ценности
• Рекомендуемый минимум: 100 сделок — достаточно для базовых выводов
• Оптимальный: 200–500 сделок — позволяет анализировать подгруппы (по рыночным режимам, по дням недели)
• Идеальный: 1000+ сделок — высокая статистическая мощность для любых выводов

Размер выборки зависит от таймфрейма и стиля: скальпинговая стратегия на 5M может сгенерировать 1000 сделок за месяц. Свинг-стратегия на 1D — 50 сделок за год. Для свинга нужен тестовый период 3–5 лет.

Как увеличить размер выборки

1. Увеличьте период тестирования: вместо 1 года — 3–5 лет. Подписки Pro и Premium в StratBase.ai предоставляют до 5 лет исторических данных
2. Понизьте таймфрейм: если стратегия работает на 1D, попробуйте 4H — в 6 раз больше свечей и потенциальных сигналов
3. Тестируйте на нескольких инструментах: BTC + ETH + SOL — три независимых набора данных
4. Смягчите условия: если 5 условий дают 15 сделок, уберите наименее значимое — возможно, получите 40 сделок с приемлемым качеством

Ловушка множественных сравнений

Чем больше вариантов стратегии вы тестируете, тем выше вероятность найти «прибыльную» случайно. Если вы протестировали 100 комбинаций параметров, 5 из них покажут «статистически значимый» результат просто по теории вероятностей (при 5% уровне значимости).

Защита от этой ловушки:

• Out-of-sample тест: разделите данные на две части. Оптимизируйте на первой, проверяйте на второй. Если стратегия прибыльна только на данных оптимизации — это переподгонка
• Поправка Бонферрони: при N сравнениях уровень значимости делится на N. При 100 тестах «значимый» результат — не p < 0.05, а p < 0.0005
• Walkforward-анализ: последовательное тестирование на скользящих окнах — наиболее строгий метод валидации

Качество vs количество

Не всегда нужно максимизировать количество сделок. 200 качественных сделок ценнее 1000 шумных. Баланс определяется профит-фактором: если при увеличении количества сделок (смягчении условий) профит-фактор падает ниже 1.5, лучше остаться с меньшим количеством более качественных сигналов. Ван Тарп сформулировал это как «expectancy times opportunity» — математическое ожидание одной сделки, умноженное на количество сделок. Максимизируйте произведение, а не отдельные множители.

Практический пример: когда 50 сделок достаточно

Допустим, ваша свинг-стратегия на BTC/USDT (1D) сгенерировала 52 сделки за 3 года. Винрейт 54%, Profit Factor 2.1, Sharpe 1.4. Достаточно ли 52 сделок для выводов?

Рассчитаем 95% доверительный интервал для винрейта: при n=52 и p=0.54 интервал составляет примерно 40%–68%. Нижняя граница (40%) всё ещё ниже 50% — значит, мы не можем с 95% уверенностью утверждать, что стратегия лучше подбрасывания монеты по одному лишь винрейту.

Но винрейт — не единственная метрика. Profit Factor 2.1 при 52 сделках статистически значим с вероятностью выше 99%. Средний размер прибыльной сделки в 2.1 раза больше средней убыточной — это гораздо информативнее, чем просто винрейт. Мораль: при небольшом количестве сделок анализируйте профит-фактор и средний R:R, а не только винрейт.

Закон больших чисел и трейдинг

Закон больших чисел гарантирует: чем больше сделок, тем ближе фактический результат к математическому ожиданию. Если истинный винрейт стратегии 55%, то при 30 сделках вы можете увидеть и 40%, и 70%. При 500 сделках — результат будет в диапазоне 52–58%. Это работает и в обратную сторону: если стратегия убыточна, малый размер выборки может временно скрыть это.

Формула стандартной ошибки для пропорции: SE = sqrt(p × (1-p) / n), где p — винрейт, n — число сделок. При p=0.55 и n=50: SE = 7%. При n=200: SE = 3.5%. При n=500: SE = 2.2%. Каждое четырёхкратное увеличение выборки вдвое сужает доверительный интервал — это фундаментальный закон статистики.

Размер выборки для разных стилей

Позиционные стратегии с 10–15 сделками в год — самая сложная категория для бэктестирования. Чтобы набрать 100 сделок, нужно 7–10 лет данных. А за 10 лет рыночная структура может кардинально измениться. Это не имеет простого решения — только диверсификация по инструментам и мультитаймфрейм-валидация.

Один из приёмов — тестирование одной стратегии на портфеле из 5–10 некоррелированных инструментов. Если стратегия даёт 20 сделок в год на каждом из 8 инструментов, общий размер выборки — 160 сделок в год. Это статистически достаточно для базовых выводов, даже если по каждому инструменту в отдельности выборка мала.

Анализ в StratBase.ai

Результаты бэктеста в StratBase.ai включают количество сделок и все ключевые метрики. AI-анализ учитывает размер выборки при формулировке выводов — если сделок мало, AI укажет на ограниченную статистическую значимость и порекомендует увеличить период или смягчить условия. Используйте режим оптимизации для автоматического поиска баланса между количеством и качеством сделок.