問い：

• 資産のパフォーマンスが一貫して悪化してきた月にシグナルを除外することで、全体のパフォーマンスを改善できるでしょうか。
• コモディティには価格、ボラティリティ、供給、需要などに関して顕著な季節パターンが多様に見られることから、これは妥当な仮説です。

アプローチ：

• AiLAの資産シグナルが一貫してアンダーパフォームしているように見える暦月を特定します。
• 当該資産について生成された売買シグナルが、アンダーパフォームする月に生成されたものであれば、そのシグナルを遮断します。
• この「悪い月」の選別を行った場合と行わない場合のAiLAインデックスのパフォーマンスを比較します。

• 悪い月を定量的に定義します。すなわち、恣意的な選択です。
• 外れ値を簡便に特定し処理するため、リターンをボラティリティで割ります。
• 10年分のヒストリカルデータがあっても、特定の月に該当する日次データ点は限られたサンプルにすぎません。
• 特定の月における一貫して悪いパフォーマンスは、観測された平均月次リターンの統計誤差と比べて、意味のある大きさであるべきです。
• ここでは、悪い月次パフォーマンスを次のように定義します。
  • 月平均リターン/ボラティリティ < -0.1
  • 月平均リターン/ボラティリティ < 他の上位8か月の平均リターンから1.5 STD
• 悪い月の特定は、最も流動性の高い102資産で構成されるAiLAロング・ショート・インデックスの資産に適用しました。

• 同じ期間のデータから得た悪い月に生成されたAiLAシグナルを除外すると、結果は劇的に改善します。
• 2011年から2016年の期間で悪い月を特定し、2017年から2021年のシグナルに適用すると、結果に改善は見られません。
• 2011年から2016年のシグナルを用い、同じ期間またはそれ以降の期間で特定した悪い月を適用して同じ検証を行うと、同様の改善パターンが得られます。
• パフォーマンス評価と同じ期間の悪い月を用いることによる過学習の事例は明白ですが、売買戦略のシグナル対ノイズ比が非常に低いという性質のため、潜在的な影響が大きいことを示しています。
• 意図せぬ、目に見えにくい過学習の要因というリスクがあるため、厳格なリサーチプロセスの重要性を強調します。

• AiLAの資産シグナルが一貫してパフォーマンスが悪かったように見える月にシグナルを除外するという仮説について、改善は観測されませんでした。
• しかし、この検証は、シグナル対ノイズ比が非常に低いために、過学習が売買戦略のパフォーマンスに大きな影響を及ぼし得ることを示しています。
• ここで示した過学習の事例は意図的に明白なものにしていますが、同種の問題は、例えば機械学習のサイクルにおける学習用/検証用データの繰り返し使用など、さまざまな目に見えにくい形で意図せず容易に発生し得ます。
• したがって、この結果は、信頼できる結果を得るためには厳格なリサーチ手法が重要であることを改めて示すものです。