Блог

Мы прогнали восемь движков для бэктестов через один и тот же перебор параметров — 150 тысяч баров, 80 комбинаций HMA-пересечения, паритет по числу сделок закреплен на 2707. Два самых популярных событийно-ориентированных фреймворка оказались медленнее, чем написанный вручную цикл на pandas, а векторизованный/компилируемый движок выполнил ту же работу примерно в 13 000 раз быстрее. Исследование накладных расходов на каждый бар, которые популярные библиотеки никогда не были рассчитаны амортизировать.

Deflated Sharpe Ratio оценивает победившую стратегию; PBO оценивает сам поиск, который ее выбрал. Combinatorially Symmetric Cross-Validation прогоняет C(16,8) = 12,870 train/test-разбиений по матрице результатов 1000x200 и спрашивает: попадает ли in-sample победитель в нижнюю половину out of sample? Ловушка, которую почти все упускают, — ноль PBO равен 0.5, а не 1. На 200 стратегиях с нулевым edge лучший in-sample годовой Sharpe 1.98 схлопывается до 0.06 out of sample, а PBO = 0.476: подбрасывание монеты, полный оверфит. Заложите реальный edge (годовой Sharpe 2.38) — и PBO падает до 0.001, а in-sample 3.73 сохраняется до out-of-sample 2.34. У сетки moving average на чистом случайном блуждании тоже нет out-of-sample мастерства — PBO 0.463 в среднем по 60 матрицам, статистически неотличимо от нуля, — а на одной представительной матрице мираж особенно нагляден: лучший in-sample Sharpe 2.33 схлопывается до медианного out-of-sample -0.22, PBO 0.573, 63% шанс убытка.

Мы перенесли numba-ядро бэктеста построчно на Rust и вызывали его через границу процесса четырьмя способами, а проверка эквивалентности подтвердила идентичный PnL вплоть до последней сделки. Передача всего ценового ряда в 1.2 MB через Unix-сокет стоит ~2 мс — около 0.1% всей работы. JSON-кодирование того же payload стоит 1348x дороже, чем сырые байты, болтливые вызовы на каждую комбинацию пересылают данные заново 80 раз, а паттерн вызова на каждый бар обошелся бы в 2.1 с чистого IPC на задаче длиной 2.0 с. Граница дешева; налог — в том, как вы ее пересекаете.

Поиск параметров — это машина по производству удачи. На чистом шуме — 1,000 стратегий с нулевым истинным edge — лучший годовой Sharpe в среднем составляет 1.63, а наивный тест значимости фиксирует открытие в 100% случаев. Мы строим контролируемую истину и показываем, что Deflated Sharpe Ratio, haircut Harvey-Liu и Reality Check Уайта восстанавливают честность: доля ложных открытий падает с 1.000 до 0.001-0.057, настоящие edge выше потолка шума сохраняются с power ~1 — и одна реальная ловушка (коррелированные сетки), где сырой DSR передефлирует, а вердикт нужно читать по всей полосе оценок эффективного числа испытаний, а не по одной цифре.

Чтобы искать "лучшую" стратегию, нужно сначала определить "лучшее" — и этот скаляр тайно выбирает победителя. На синтетических данных с известным edge (600 seeds, T=2000, 80 порогов) наивный per-trade Sharpe коронует лотерею: он выбирает победителя с exposure ниже 5% в 56% seeds и вырождается в 57% случаев — на самом ярком seed 8 сделок дают in-sample Sharpe 21.09, который схлопывается до 0.13 out of sample. Честное исправление почти скучно: измерять на полном таймлайне, который никогда не вырождается (out-of-sample 1.71). Trade-count shrinkage (conf_k) и exposure floor способны доработать per-trade метрику, но даже полностью исправленные они лишь сравниваются с full-timeline Sharpe (1.70 против 1.71) — никогда не превосходят его. Закон Гудхарта в бэктесте, с контролируемой истиной.

Контролируемое исследование скрытых look-ahead утечек, которые незаметно раздувают бэктесты. При полном отсутствии реального edge исполнение на баре сигнала фабрикует годовой Sharpe +14.8 из чистого шума; подглядывание индикатора на один бар вперед — +4.8. Таксономия, измеренные величины и как обнаружить каждую утечку до того, как она обойдется вам в деньги.

Пять реализаций одного и того же перебора 80 комбинаций параметров, каждая проверена на идентичность PnL: pandas rolling.apply занимает 69.9 секунды, numpy — 3.1, numba — 2.0, параллельная numba — 0.23 — измеренное ускорение 298x на Apple M2 Max без единого изменения в железе, и все еще ~13x против добротной векторизованной базовой реализации. Что дает каждая ступень, почему GPU — не то недостающее звено, и где на самом деле находится узкое место в массовом переборе параметров.