バックテスト過学習の確率:あなたのサーチはコイン投げに勝ったか?
デフレーテッド・シャープレシオは勝利した戦略の値段を付ける。PBOはその戦略を選んだサーチの値段を付ける。Combinatorially Symmetric Cross-Validationは1000x200のパフォーマンス行列に対してC(16,8) = 12,870通りの訓練/テスト分割を実行し、こう問う:インサンプルの勝者はアウトオブサンプルで下位半分に落ちるか?ほとんどの人が見逃す落とし穴——PBOの帰無仮説は1ではなく0.5だ。200個のゼロエッジ戦略において、インサンプルの最良年率シャープレシオ1.98はアウトオブサンプルで0.06まで崩壊し、PBO = 0.476:コイン投げであり、完全な過学習だ。本物のエッジ(年率シャープレシオ2.38)を仕込むとPBOは0.001まで下がり、インサンプルの3.73はアウトオブサンプルの2.34まで生き残る。純粋なランダムウォーク上の移動平均グリッドにもアウトオブサンプルのスキルはない——60個の行列にわたって平均したPBOは0.463で、統計的に帰無仮説と区別がつかない——そして1つの代表的な行列では、その蜃気楼が鮮やかに現れる:最良インサンプルシャープレシオ2.33は、アウトオブサンプルの中央値-0.22まで崩壊し、PBO 0.573、63%の確率で損失となる。