なぜ完全なバックテストの前にクイックスクリーニングを行うのか
あなたが個人的な要件に合致すると思われるいくつかの戦略を見つけたとします。誰かがすでにそれらをバックテストし、高い過去リターンを報告しています。本格的なバックテストにコミットする前に—ましてやライブトレーディングに資金を投入する前に—いくつかのクイックテストを実行することは理にかなっています。これらのテストは、戦略が良いことを証明するために設計されたものではありません。その目的は、明らかな弱点を早期に暴露し、時間とコストを節約することです。本格的なバックテストは真剣なプロジェクトです。クリーンなデータの取得、コードの作成または設定、エラーのチェック、複数の市場条件でのテストが含まれます。そのプロセスには数日から数週間かかることがあります。戦略に致命的な欠陥がある場合、そのすべての作業が無駄になります。クイックスクリーンはフィルターとして機能します。単純な質問をします：サンプルは十分に大きいか？結果は小さな変更に耐えるか？ランダムエントリーを上回るか？コストは現実的か？これらのいずれかの答えが「いいえ」であれば、戦略はさらなる努力なしに脇に置くことができます。このアプローチの背後にある考え方は、懐疑的で証拠に基づいています。高い過去リターンは、持続可能なエッジの証拠ではありません。それはデータマイニング、過剰適合、または幸運な期間の結果である可能性があります。紙の上では実行可能に見える多くの戦略は、実際には過去のノイズの記述です。この記事で説明するクイックテストは、有望なアイデアと錯覚を区別する実用的な方法です。それらは完全なバックテストを置き換えるものではありませんが、時間をどこに費やすかを決定するのに役立ちます。クイックスクリーンを通過することは低いハードルであり、保証ではありません。しかし、失敗することは先に進むべき強いシグナルです。
紙の上で戦略を実行可能に見せるものは何か？
戦略はしばしば印象的な指標のセットとともに提示されます。高い複合年間リターン、滑らかなエクイティカーブ、高い勝率、大きなプロフィットファクター、小さな最大ドローダウンは、戦略を魅力的に見せることができます。これらの数値は本物である可能性がありますが、製造されることもあります。クイックテストが存在するのは、表面的な指標が誤読されやすいためです。錯覚の1つの源は過剰適合です。戦略のルールが過去の結果が良く見えるまで何度も調整された場合、パフォーマンスは過去のデータに特異的である可能性が高いです。戦略が持つパラメータが多いほど、開発者がノイズに適合させる自由度が高まります。2つのルールを持つ単純なシステムは、10のルールを持つ複雑なシステムよりもカーブフィットされにくいです。もう1つの源は小さなサンプルです。70%の勝率で20取引を行った戦略は統計的に印象的ではありません。ランダムな偶然がその結果を生み出す可能性があります。3番目の源は選択バイアスです。誰かが何百もの戦略をテストし、最良のものだけを見せた場合、報告されたリターンは無意味です。多くのランダム戦略の中で最良のものは常に良く見えます。バックテストレポートはまた、重要な仮定をしばしば省略します。手数料、スリッページ、流動性を無視するかもしれません。終値での完璧な執行を使用するかもしれません。異常に有利な期間でテストするかもしれません。紙の上では実行可能に見える戦略は、単にこれらの明示されていない選択の反映である可能性があります。クイックテストは、主張されたエッジの構造的完全性を調査するように設計されており、単にその見出しのリターンだけではありません。
クイックテスト1：サンプルサイズと統計的有意性
戦略をスクリーニングする最速の方法の1つは、取引または観測の数を調べることです。非常に少ない取引のバックテストは統計的信頼性を提供できません。戦略が15取引で、取引あたりの平均利益が2%だとします。それらの取引の標準偏差は5%かもしれません。その場合、平均はゼロの1標準偏差以内に十分収まり、結果は簡単にランダムである可能性があります。大まかな経験則として、戦略で使用されるパラメータごとに少なくとも30〜50取引が望ましいですが、これは厳密なルールではありません。重要なアイデアは、シグナルがノイズに対して大きくなければならないということです。もう1つのクイックチェックは、最良の取引を削除して戦略がまだ機能するかどうかを確認することです。単一の取引または少数の取引のクラスターが利益の大部分を占める場合、エッジは脆弱です。たとえば、上位5%の取引を削除すると収益性のあるシステムが損失を出すシステムになる場合、戦略は外れ値に依存している可能性が高いです。関連するテストは、独立した賭けの数を比較することです。重複する取引は有効サンプルサイズを減少させます。戦略がすべて相関している10のポジションを保持している場合、10の独立した観測はありません。統計的有意性はt統計量で推定できます：取引の平均リターンを取引リターンの標準偏差で割り、取引数の平方根を掛けたものです。t統計量が2を超えるとしばしば意味があると見なされますが、これは独立で正規分布するリターンを仮定しており、トレーディングではめったに真実ではありません。モンテカルロシミュレーションはより堅牢なチェックを提供できます。取引の順序をシャッフルするか、同じ分布でランダムなリターンを生成することにより、同様の結果が偶然に現れる頻度を確認できます。ランダムデータが同じパフォーマンスを頻繁に生み出す場合、戦略のエッジは疑わしいです。
