Fragestellungen:

• Lässt sich die Gesamtperformance verbessern, wenn man Signale in Monaten ausschließt, in denen Assets durchweg schlechter abgeschnitten haben?
• Angesichts der vielfältigen ausgeprägten saisonalen Muster bei Rohstoffen, etwa bei Preis, Volatilität, Angebot oder Nachfrage, ist dies eine berechtigte Hypothese.

Vorgehen:

• Kalendermonate ermitteln, in denen das Signal eines AiLA-Assets offenbar durchweg unterdurchschnittlich abschneidet.
• Handelssignale für dieses Asset sperren, wenn sie in dem schwachen Monat erzeugt werden.
• Die Performance des AiLA-Index mit und ohne diese Auswahl schlechter Monate vergleichen.

• Einen schlechten Monat quantitativ definieren, d. h. eine willkürliche Festlegung treffen.
• Renditen durch die Volatilität teilen, um Ausreißer einfach zu erkennen und zu behandeln.
• Selbst bei 10 Jahren historischer Daten umfasst ein bestimmter Monat nur eine begrenzte Stichprobe täglicher Datenpunkte.
• Eine durchweg schlechte Performance in einem bestimmten Monat sollte im Vergleich zum statistischen Fehler der beobachteten durchschnittlichen Monatsrendite eine relevante Größenordnung haben.
• Wir definieren eine schlechte Monatsperformance hier wie folgt:
  • Durchschnittliche Monatsrendite/Volatilität < -0.1
  • Durchschnittliche Monatsrendite/Volatilität liegt mehr als 1.5 Standardabweichungen unter der durchschnittlichen Rendite der 8 besten übrigen Monate.
• Die Ermittlung schlechter Monate wird auf die Assets eines AiLA-Long/Short-Index angewandt, der die 102 liquidesten Assets umfasst.

• Werden AiLA-Signale verworfen, die in schlechten Monaten erzeugt wurden, und stammen diese schlechten Monate aus Daten desselben Zeitraums, verbessern sich die Ergebnisse dramatisch.
• Werden schlechte Monate im Zeitraum 2011 bis 2016 ermittelt und auf Signale der Jahre 2017 bis 2021 angewandt, zeigt sich keine Verbesserung der Ergebnisse.
• Dieselbe Übung mit Signalen aus 2011 bis 2016 und schlechten Monaten, die im selben oder einem späteren Zeitraum ermittelt wurden, ergibt dasselbe Verbesserungsmuster.
• Der Fall von Overfitting durch schlechte Monate aus demselben Zeitraum wie die Performancebewertung ist offensichtlich, zeigt aber die potenziell große Wirkung, die sich aus dem sehr niedrigen Signal-Rausch-Verhältnis von Handelsstrategien ergibt.
• Dies unterstreicht, wie wichtig ein rigoroser Forschungsprozess ist, denn es besteht das Risiko unbeabsichtigter und subtiler Quellen von Overfitting!

• Für die Hypothese, Signale in Monaten zu verwerfen, in denen das Signal eines AiLA-Assets offenbar durchweg schlechter abgeschnitten hat, war keine Verbesserung festzustellen.
• Die Übung zeigt jedoch, wie stark sich Overfitting wegen des sehr niedrigen Signal-Rausch-Verhältnisses auf die Performance einer Handelsstrategie auswirken kann.
• Der hier gezeigte Fall von Overfitting ist bewusst offensichtlich gewählt; dasselbe Problem kann jedoch leicht und unbeabsichtigt auf viele subtile Weisen auftreten, etwa durch die wiederholte Nutzung von Trainings- und Validierungsdaten in einem Zyklus des maschinellen Lernens.
• Die Ergebnisse erinnern daher daran, wie wichtig ein rigoroser Forschungsansatz ist, um verlässliche Ergebnisse zu erzielen.