Блог

Мультитаймфреймовые бэктесты пропускают будущее через формирующийся бар старшего таймфрейма, чей финальный close еще не существует. Уверенность нельзя получить одним лишь ревью кода — это надо тестировать. Мы воспроизводим правило closed-bar живого бота один в один, а затем доказываем отсутствие утечки с помощью пробы со сдвинутым будущим: возмущаем каждый будущий бар и проверяем, что каждый прошлый сигнал и сделка побитово не изменились. 25 из 25 проверок паритета, и проба не беззубая.

Отрыв GPU от CPU растет с размером батча — от 54.5x при одной комбинации на вызов до 359.6x при 61 на нашем мультитаймфреймовом предрасчете индикаторов, — потому что маленький перебор не может амортизировать накладные расходы на запуск ядер и пересылку данных. Мы раскладываем заголовочные 167x на алгоритмический выигрыш 27x, который ускоряет и CPU, и аппаратный выигрыш 6.2x, показываем, что истинный отрыв GPU от лучшего CPU — лишь 3.2x на одном таймфрейме и 6.2x на нескольких, и даем руководство к решению: насколько широким должен быть перебор, чтобы GPU стоил вложений.

GPU Apple Metal не имеет float64. Наивно перенесите на него векторизованный бэктест — и соблазнительная WMA на префиксных суммах переполняет fp32: максимальная относительная ошибка 211× — но при этом все отрабатывает и выдает правдоподобные числа. Решение — не в дополнительной точности, а в другой формуле: прямая оконная свертка, безопасная для fp32 с точностью до 8×10⁻⁷ и быстрее однопоточной numba в 55.9 раза. Ловушка, арифметика и как доказать, что вы в нее не попали.

Drill-down / мультификсиделити-поиск (ASHA, successive halving, Hyperband) дешево отсеивает тысячи конфигураций и продвигает к дорогой полной оценке только выживших. Это настоящее ускорение — но оно тихо ломается, если ранжирование на низкой фиделити расходится с ранжированием на высокой. Мы измерили корреляцию рангов по фолдам: на одном фолде спирменовское ρ может быть 0.03 (ранги почти случайны), поднимаясь до 0.43, 0.67, 0.78, 0.91 по мере накопления фолдов. Решение — один обязательный гейт: сначала измерить ρ(дешевое, полное), а затем автоматически поднять минимальную фиделити до первой ступени, где ρ ≥ 0.5.

Когда один бэктест дешев, тупой скремблированный Sobol выигрывает по чистой пропускной способности — умные сэмплеры (TPE, CMA-ES, ASHA) платят Python-налог на ask/tell, который замедляет их в 20 раз, поэтому при равном wall-clock они оценивают намного меньше точек и проигрывают. Сделайте каждую оценку дорогой (multi-TF + walk-forward фолды) — и точка пересечения переворачивается. Мы измерили оба режима и разобрались, почему fold-rank fidelity (ρ@1 растет с 0.03 до 0.43) — необходимое условие, чтобы прунинг окупался.

Не все параметры одинаково дорого перебирать. Параметры стратегии делятся на дорогую ось (индикаторы — пересчитываются по всему ряду) и дешевую ось (пороги принятия решений — проход O(n) по уже посчитанным сигналам). Поскольку индикаторы не зависят от порогов, их можно посчитать один раз и перебрать тысячи конфигураций порогов на скорости ~5600 конфиг/с — примерно в 1600 раз дешевле, чем пересчитывать на каждую конфигурацию. Переоценка проклятия размерности.

Мы прогнали восемь движков для бэктестов через один и тот же перебор параметров — 150 тысяч баров, 80 комбинаций HMA-пересечения, паритет по числу сделок закреплен на 2707. Два самых популярных событийно-ориентированных фреймворка оказались медленнее, чем написанный вручную цикл на pandas, а векторизованный/компилируемый движок выполнил ту же работу примерно в 13 000 раз быстрее. Исследование накладных расходов на каждый бар, которые популярные библиотеки никогда не были рассчитаны амортизировать.