Блог

Биз сегиз backtest кыймылдаткычын бирдей параметр свипинде салыштырдык — 150k бар, 80 HMA-cross комбинациясы, сооданын саны 2707де бирдей кулпуланган. Эң популярдуу эки окуяга негизделген фреймворк колдо жазылган pandas циклинен да жайыраак чыкты, ал эми векторлоштурулган/компиляцияланган кыймылдаткыч ошол эле ишти ~13,000× тезирээк аткарды. Популярдуу китепканалар эч качан амортизациялоого арналбаган ар бир бар үчүн жүктөмдүн изилдөөсү.

The Deflated Sharpe Ratio prices the winning strategy; PBO prices the search that picked it. Combinatorially Symmetric Cross-Validation runs C(16,8) = 12,870 train/test splits over a 1000x200 performance matrix and asks: does the in-sample winner land in the bottom half out of sample? The catch almost everyone misses — PBO's null is 0.5, not 1. On 200 zero-edge strategies the best in-sample annualized Sharpe of 1.98 collapses to 0.06 out of sample and PBO = 0.476: a coin flip, fully overfit. Plant a real edge (annualized Sharpe 2.38) and PBO drops to 0.001, the in-sample 3.73 surviving to an out-of-sample 2.34. A moving-average grid on a pure random walk has no out-of-sample skill either — PBO 0.463 averaged over 60 matrices, statistically indistinguishable from the null — and on one representative matrix the mirage is vivid: a best in-sample Sharpe of 2.33 collapses to a median out-of-sample -0.22, PBO 0.573, a 63% chance of a loss.

Биз numba бэктест ядросун сап-сабы менен Rust тилине которуп, аны процесс чек арасы аркылуу төрт ыкма менен чакырдык, акыркы бүтүмгө чейин бирдей PnL ырастаган эквиваленттик дарбаза менен. 1.2 МБ баа сериясынын баарын Unix сокети аркылуу жиберүү ~2 мс кетет — тапшырманын болжол менен 0.1%. Ошол эле жүктөмдү JSON форматында коддоо чийки байттардан 1348 эсе кымбат турат, комбинация сайын "chatty" чакыруулар маалыматтарды 80 жолу кайра жиберет, ал бар сайынкы чакыруу үлгүсү 2.0 с тапшырмада 2.1 с таза IPC-ге акы төлөйт. Чек ара арзан; салык аны кантип кесип өтүүдө турат.

Параметрлерди издөө — бул ийгиликти жасалма түрдө өндүрүүчү машина. Таза шумдан (шумдан) — чыныгы артыкчылыгы нөл болгон 1000 стратегиядан — эң жакшы жылдык Шарп орточо эсеп менен 1.63ке жетет, ал эми элементардык маанилүүлүк тести 100% учурда 'ачылыш' деп белгилейт. Биз көзөмөлдөнгөн чындык түзүп, Дефляцияланган Шарп коэффициенти, Harvey-Liu 'чач кыркуусу' жана White's Reality Check адилеттикти калыбына келтирерин көрсөтөбүз: жалган ачылыштар 1.000ден 0.001-0.057ге чейин түшөт, шум чегинен жогорку чыныгы артыкчылыктар дээрлик 1 күч менен сакталып калат — жана бир чыныгы тузак (корреляцияланган торлор) бар, анда чийки DSR ашыкча дефляцияланат жана жыйынтыкты бир эмес, бир нече эффективдүү-сыноо баасынын бүтүндөй диапазонунан окуу керек.

"Эң жакшы" стратегияны издөө үчүн алгач "эң жакшыны" аныктоо керек — ошол скаляр жеңүүчүнү үнсүз тандайт. Белгилүү edge бар синтетикалык маалыматтарда (600 seed, T=2000, 80 босого) жөнөкөй per-trade Sharpe лотереяны таажы кийгизет: ал 56% seed'де 5%дан төмөн экспозициясы бар жеңүүчүнү тандайт жана 57%да деградацияга учурайт — эң курч seed'де 8 бүтүм in-sample Sharpe 21.09 көрсөтөт, ал out of sample учурунда 0.13гө чейин кулайт. Ак ниет чечим дээрлик көңүл ачпайт: толук убакыт огунда өлчөө, ал эч качан деградацияга учурабайт (out-of-sample 1.71). Бүтүм санына негизделген shrinkage (conf_k) жана экспозиция босогосу per-trade метрикасын оңдой алат, бирок толугу менен түзөтүлсө да алар full-timeline Sharpe менен гана теңелет (1.70 vs 1.71) — эч качан андан ашпайт. Гудхарт мыйзамы, бэктестте, көзөмөлдөнгөн негизги чындык менен.

Бэктесттерди байкатпай шиширткен назик look-ahead агып кетүүлөрдүн көзөмөлдөнгөн изилдөөсү. Чыныгы edge такыр жок болсо да, бир бардагы аткаруу таза үндөн +14.8 жылдык Sharpe жасайт; индикатордун бир барга алдын ала карашы — +4.8. Таксономия, өлчөнгөн чоңдуктар жана акчаңызга тийер алдында ар бир агып кетүүнү кантип аныктоо керек.

Бир эле 80-комбинациялуу параметр сканирүүсүнүн беш ишке ашыруусу, баары бирдей PnL берерин текшерилген: pandas'тагы rolling.apply 69.9 секунд алат, numpy — 3.1, numba — 2.0, параллель numba — 0.23 — Apple M2 Max'та аппараттык өзгөртүүсүз өлчөнгөн 298x ылдамдоо, жана дагы деле натыйжалуу вектордоштурулган база менен салыштырганда ~13x. Ар бир шаты эмне берет, эмне үчүн GPU жетишпеген звено эмес, жана массалык параметр издөөдөгү чыныгы тыгыздык кайда жашырылган.