問題：

• 若在資產表現一貫較差的月份排除訊號，能否改善整體績效？
• 鑑於商品在價格、波動率、供給、需求等方面呈現多種明顯的季節性型態，這是一個合理的假設。

方法：

• 找出 AiLA 資產訊號似乎一貫表現不佳的日曆月份。
• 若該資產的交易訊號產生於表現不佳的月份，即予以封鎖。
• 比較採用與不採用此「不良月份」篩選時的 AiLA 指數績效。

• 以量化方式定義不良月份，亦即一項任意的選擇。
• 將報酬除以波動率，以便簡單辨識並處理離群值。
• 即使有 10 年的歷史資料，特定月份所對應的每日資料點也只是有限的樣本。
• 特定月份一貫不佳的表現，其幅度相對於所觀察到的平均月報酬統計誤差，應具有相當的規模。
• 此處將不良月份績效定義為：
  • 月平均報酬/波動率 < -0.1
  • 月平均報酬/波動率比其他表現最佳之 8 個月份的平均報酬低 1.5 STD 以上（< 1.5 STD）。
• 將不良月份的辨識套用於一檔 AiLA 多空指數的資產，該指數涵蓋流動性最高的 102 項資產。

• 若剔除在不良月份產生的 AiLA 訊號，且不良月份是以同一期間的資料求得，結果會大幅改善。
• 以 2011 年至 2016 年期間辨識出的不良月份，套用於 2017 年至 2021 年期間的訊號，結果顯示並無改善。
• 若以 2011 年至 2016 年期間的訊號進行相同的檢驗，並以同一期間或之後期間辨識出的不良月份進行篩選，則呈現相同的改善型態。
• 使用與績效評估同一期間的不良月份而造成過度擬合，這種情況十分明顯；然而，由於交易策略的訊號雜訊比極低，此例顯示其潛在影響可能相當大。
• 由於存在非預期且不易察覺的過度擬合來源，這凸顯了嚴謹研究流程的重要性！

• 對於「在 AiLA 資產訊號似乎一貫表現較差的月份剔除訊號」這項假設，並未觀察到任何改善。
• 然而，此檢驗顯示，由於訊號雜訊比極低，過度擬合可能對交易策略績效造成很大的影響。
• 本文所呈現的過度擬合案例刻意設計得十分明顯；然而，同類問題很容易以許多不易察覺的方式在無意間發生，例如在機器學習循環中重複使用訓練/驗證資料。
• 因此，這些結果提醒我們，若要產生可靠的結果，嚴謹的研究方法至關重要。