مدونة

قِسنا أداء ثمانية محركات اختبار رجعي على عملية مسح معاملات واحدة متطابقة — 150k شمعة، و80 توليفة من تقاطعات HMA، مع تثبيت تكافؤ عدد الصفقات عند 2707. اثنان من أشهر الأطر المدفوعة بالأحداث جاءا أبطأ من حلقة pandas مكتوبة يدويا، بينما شغّل محرك متجهي/مُصرَّف العمل نفسه أسرع بنحو 13,000×. دراسة للعبء لكل شمعة الذي لم تُبنَ المكتبات الشائعة لتوزيعه على مدى الحساب.

نسبة Sharpe المخفّضة تُسعِّر الاستراتيجية الفائزة؛ وPBO تُسعِّر البحث الذي اختارها. يُشغّل التحقق المتقاطع المتماثل تركيبياً (CSCV) C(16,8) = 12,870 تقسيمة تدريب/اختبار عبر مصفوفة أداء 1000x200 ويسأل: هل يهبط الفائز داخل العينة إلى النصف السفلي خارج العينة؟ الفخ الذي يُخطئه الجميع تقريباً — قيمة العدم لـPBO هي 0.5، لا 1. على 200 استراتيجية بلا ميزة، ينهار أفضل Sharpe سنوية داخل العينة البالغة 1.98 إلى 0.06 خارج العينة وPBO = 0.476: رمية عملة، إفراط كامل في التخصيص. ازرع ميزة حقيقية (Sharpe سنوية 2.38) وتهبط PBO إلى 0.001، مع نجاة الـ3.73 داخل العينة إلى 2.34 خارج العينة. شبكة تقاطع متوسط متحرك على مسير عشوائي خالص لا تملك مهارة خارج العينة أيضاً — PBO تبلغ 0.463 بالمتوسط عبر 60 مصفوفة، لا تُميَّز إحصائياً عن حالة العدم — وعلى مصفوفة تمثيلية واحدة يكون السراب صارخاً: أفضل Sharpe داخل العينة تبلغ 2.33 تنهار إلى وسيط Sharpe خارج العينة قدره -0.22، PBO تبلغ 0.573، واحتمال خسارة 63%.

نقلنا نواة اختبار رجعي بلغة numba سطراً بسطر إلى Rust واستدعيناها عبر حدود العملية بأربع طرق مختلفة، مع بوابة تكافؤ تُؤكد تطابق PnL حتى آخر صفقة. شحن سلسلة الأسعار الكاملة (1.2 ميجابايت) عبر مقبس Unix يكلف ~2 مللي ثانية — حوالي 0.1% من المهمة. ترميز نفس الحمولة بصيغة JSON يكلف 1348x أكثر من البايتات الخام، والاستدعاءات الثرثارة لكل توليفة تُعيد شحن البيانات 80 مرة، ونمط استدعاء لكل شمعة سيدفع 2.1 ثانية من IPC خالص على مهمة مدتها 2.0 ثانية. الحد رخيص؛ الضريبة في كيفية عبوره.

البحث عن المعلمات آلة لتصنيع الحظ. على ضوضاء خالصة — 1,000 استراتيجية بلا أي ميزة حقيقية — يبلغ متوسط أفضل Sharpe سنوية 1.63، ويُبلغ اختبار الدلالة الساذج عن اكتشاف بنسبة 100% من الوقت. نبني حقيقة أساسية مضبوطة ونُظهر أن نسبة Sharpe المخفّضة، وتشذيب Harvey-Liu، وReality Check لـWhite تستعيد الصدق: تنخفض الاكتشافات الكاذبة من 1.000 إلى 0.001-0.057، وتُحفظ الميزات الحقيقية فوق سقف الضوضاء بقوة اكتشاف ~1 — وفخ حقيقي واحد (الشبكات المترابطة) حيث تُفرط نسخة DSR الخام في التخفيض ويجب قراءة الحكم عبر نطاق كامل من مقدّرات عدد التجارب الفعّال، وليس مقدّراً واحداً.

للبحث عن الاستراتيجية 'الأفضل' يجب أولاً تعريف 'الأفضل' — وذلك الرقم القياسي يختار الفائز خفية. على بيانات اصطناعية بميزة معروفة (600 بذرة، T=2000، 80 عتبة)، تُتوّج نسبة Sharpe الساذجة لكل صفقة فائزاً قماريا: تختار فائزاً بتعرض سوقي أقل من 5% في 56% من البذور وتتحلل في 57% منها — وفي أوضح بذرة، 8 صفقات تُسجّل نسبة Sharpe داخل العينة قدرها 21.09 تنهار إلى 0.13 خارج العينة. الإصلاح الصادق يكاد يكون مملاً: القياس على كامل الخط الزمني، الذي لا يتحلل أبداً (خارج العينة 1.71). يمكن لتقليص عدد الصفقات (conf_k) وحد أدنى للتعرض إصلاح مقياس لكل صفقة بأثر رجعي، لكن حتى بعد الإصلاح الكامل فإنهما فقط يُطابقان Sharpe كامل الخط الزمني (1.70 مقابل 1.71) — ولا يتفوقان عليه أبداً. قانون Goodhart، في اختبار رجعي، بحقيقة أساسية مضبوطة.

دراسة مضبوطة لتسريبات النظر المستقبلي الدقيقة التي تُضخّم الاختبارات الرجعية بصمت. بدون أي ميزة حقيقية على الإطلاق، ينتج التنفيذ على نفس الشمعة نسبة Sharpe سنوية تبلغ +14.8 من ضوضاء خالصة؛ بينما تنتج نظرة مؤشر مستقبلية بشمعة واحدة +4.8. التصنيف، الأحجام المقاسة لكل تسريب، وكيفية اكتشاف كل تسريب قبل أن يكلفك المال.

خمسة تطبيقات لنفس مسح 80 توليفة من المعلمات، جميعها مُتحقق من أنها تُنتج نفس PnL تماماً: pandas rolling.apply يستغرق 69.9 ثانية، numpy 3.1، numba 2.0، numba المتوازي 0.23 — تسريع مقيس بمقدار 298 ضعفاً على Apple M2 Max بدون أي تغيير في العتاد، وما زال ~13 ضعفاً أسرع من خط أساس مُتّجه (vectorized) كفؤ. ماذا تشتري كل درجة، ولماذا ليست وحدة معالجة الرسوميات (GPU) هي القطعة المفقودة، وأين يكمن الاختناق الحقيقي في البحث الجماعي عن المعلمات.