过拟合风险

译自英文。以英文原文为准。 阅读英文版

研究问题

问题:

  • 在资产表现持续较差的月份剔除信号,能否提升整体表现?
  • 鉴于大宗商品在价格、波动率、供给、需求等方面存在多种显著的季节性规律,这是一个合理的假设。

方法:

  • 识别 AiLA 资产信号表现似乎持续欠佳的日历月份。
  • 若某资产的交易信号产生于其表现欠佳的月份,则屏蔽该信号。
  • 比较采用与不采用这一“不良月份”筛选时 AiLA 指数的表现。

何为“不良”?

  • 以量化方式定义不良月份,即一种人为设定的选择。
  • 将收益率除以波动率,以便简单识别和处理异常值。
  • 即使拥有 10 年历史数据,某一特定月份所对应的日度数据点样本也相当有限。
  • 某一特定月份持续的不良表现,其幅度应与所观测到的月均收益率的统计误差相比具有显著意义。
  • 本文将不良月度表现定义为:
    • 月平均收益率/波动率 < -0.1
    • 月平均收益率/波动率 < 较其余表现最好的 8 个月的平均收益率低 1.5 STD(标准差)。
  • 不良月份识别应用于一个 AiLA 多空指数中的资产,该指数由 102 个流动性最强的资产构成。

虚假的改善

  • 若剔除在不良月份产生的 AiLA 信号,而不良月份取自同一时期的数据,结果会显著改善。
  • 以 2011 年至 2016 年期间识别出的不良月份,应用于 2017 年至 2021 年期间的信号,结果并无改善。
  • 使用 2011 年至 2016 年期间的信号,并以同一时期或之后时期识别出的不良月份进行相同测试,得到同样的改善规律。
  • 使用与业绩评估同一时期的不良月份所导致的过拟合是显而易见的,但这说明,由于交易策略的信噪比极低,其潜在影响可能非常大。
  • 鉴于存在非预期且隐蔽的过拟合来源,必须强调严谨研究流程的重要性!

结论

  • 对于“在 AiLA 资产信号似乎持续表现较差的月份剔除信号”这一假设,未观察到任何改善。
  • 然而,该测试表明,由于信噪比极低,过拟合可能对交易策略表现产生巨大影响。
  • 本文所展示的过拟合案例是刻意设计得显而易见的;然而,同类问题很容易以许多隐蔽的方式在无意中出现,例如在机器学习周期中反复使用训练/验证数据。
  • 因此,这些结果提醒我们,为获得可靠的结果,严谨的研究方法至关重要。
分享您的观点