Blog

Biz sakkizta backtest dvigatelini bitta bir xil parametr sweepida solishtirdik — 150k bar, 80 ta HMA-cross kombinatsiyasi, savdolar soni 2707 da bir xil qulflangan. Eng mashhur ikkita hodisaga asoslangan freymvork qo'lda yozilgan pandas siklidan ham sekinroq chiqdi, vektorlashtirilgan/kompilyatsiya qilingan dvigatel esa xuddi shu ishni ~13,000× tezroq bajardi. Mashhur kutubxonalar hech qachon amortizatsiya qilishga mo'ljallanmagan har bir bar uchun yuklama tadqiqoti.

The Deflated Sharpe Ratio prices the winning strategy; PBO prices the search that picked it. Combinatorially Symmetric Cross-Validation runs C(16,8) = 12,870 train/test splits over a 1000x200 performance matrix and asks: does the in-sample winner land in the bottom half out of sample? The catch almost everyone misses — PBO's null is 0.5, not 1. On 200 zero-edge strategies the best in-sample annualized Sharpe of 1.98 collapses to 0.06 out of sample and PBO = 0.476: a coin flip, fully overfit. Plant a real edge (annualized Sharpe 2.38) and PBO drops to 0.001, the in-sample 3.73 surviving to an out-of-sample 2.34. A moving-average grid on a pure random walk has no out-of-sample skill either — PBO 0.463 averaged over 60 matrices, statistically indistinguishable from the null — and on one representative matrix the mirage is vivid: a best in-sample Sharpe of 2.33 collapses to a median out-of-sample -0.22, PBO 0.573, a 63% chance of a loss.

Biz numba backtest yadrosini qatorma-qator Rust tiliga ko'chirdik va uni jarayon chegarasi orqali to'rt xil usulda chaqirdik, so'nggi savdogacha bir xil PnL ni tasdiqlovchi ekvivalentlik darvozasi bilan. 1,2 MB narx seriyasining barchasini Unix soketi orqali yuborish ~2 ms turadi — vazifaning taxminan 0,1%. Xuddi shu yukni JSON formatida kodlash xom baytlardan 1348 marta qimmatga tushadi, kombinatsiya boshiga gaplashuvchi chaqiruvlar ma'lumotlarni 80 marta qayta yuboradi, va bar boshiga chaqiruv namunasi 2,0 s vazifada 2,1 s sof IPC to'laydi. Chegara arzon; soliq uni qanday kesib o'tishingizda.

Parametrlarni qidirish — bu omadni ishlab chiqarish mashinasi. Sof shovqinda — haqiqiy edge (ustunlik) nolga teng bo'lgan 1000 ta strategiyada — eng yaxshi yillik Sharpe o'rtacha 1.63 ni tashkil qiladi va sodda ahamiyatlilik testi 100% holatlarda 'kashfiyot'ni belgilaydi. Biz nazorat qilinadigan haqiqiy asosni quramiz va Deflatsiyalangan Sharpe Koeffitsienti, Harvey-Liu 'soch olish' tuzatmasi va Uaytning Reality Check testi halollikni qanday tiklashini ko'rsatamiz: soxta kashfiyotlar 1.000 dan 0.001-0.057 gacha tushadi, shovqin chegarasidan yuqori bo'lgan haqiqiy edge'lar ~1 quvvat bilan saqlanib qoladi — va bitta haqiqiy tuzoq (korrelyatsiyalangan setkalar) borki, unda xom DSR ortiqcha deflatsiya qiladi va xulosani bitta emas, balki samarali sinovlar sonining butun bahosi diapazoni bo'yicha o'qish kerak.

"Eng yaxshi" strategiyani izlash uchun avval "eng yaxshi"ni aniqlash kerak — va o'sha skalyar g'olibni jimgina tanlaydi. Ma'lum edge'ga ega sintetik ma'lumotlarda (600 seed, T=2000, 80 chegara), sodda per-trade Sharpe lotereyani toj kiydiradi: u 56% seed'larda 5%dan past ekspozitsiyaga ega g'olibni tanlaydi va 57%da degeneratsiyaga uchraydi — eng yorqin seed'da 8 bitim in-sample Sharpe 21.09 ko'rsatadi, u out of sample paytida 0.13gacha qulaydi. Halol yechim deyarli zerikarli: butun vaqt o'qi bo'yicha o'lchash, u hech qachon degeneratsiyaga uchramaydi (out-of-sample 1.71). Bitimlar soniga asoslangan shrinkage (conf_k) va ekspozitsiya pol chegarasi per-trade metrikasini tuzatishi mumkin, lekin to'liq tuzatilgan holda ham ular faqat full-timeline Sharpe bilan tenglashadi (1.70 ga qarshi 1.71) — hech qachon undan oshmaydi. Bektestda, nazorat qilinadigan asosiy haqiqat bilan Goodhart qonuni.

Bektestlarni sezdirmasdan shishiradigan nozik look-ahead sizib chiqishlarining nazorat qilinadigan tadqiqoti. Hech qanday haqiqiy edge bo'lmasa ham, bitta bardagi ijro sof shovqindan +14.8 yillik Sharpe yasaydi; indikatorning bir bar oldinga qarashi — +4.8. Taksonomiya, o'lchangan miqdorlar va har bir sizib chiqishni pulingizga zarar yetkazishidan oldin qanday aniqlash kerak.

Bir xil 80 kombinatsiyali parametr sweep'ining beshta implementatsiyasi, barchasi bir xil PnL ishlab chiqarishi tasdiqlangan: pandas rolling.apply 69.9 soniya, numpy 3.1, numba 2.0, parallel numba 0.23 — Apple M2 Max'da hech qanday apparat o'zgarishisiz o'lchangan 298x tezlashuv, va layoqatli vektorlashtirilgan bazaviy variantdan ham ~13x ustun. Har bir pog'ona nima beradi, nega GPU yetishmayotgan bo'lak emas, va ommaviy parametr qidiruvida haqiqiy bo'g'ilish qayerda yashaydi.