Questions :

• Peut-on améliorer la performance globale en excluant les signaux pendant les mois où les actifs ont systématiquement obtenu de moins bons résultats ?
• L’hypothèse est fondée compte tenu de la diversité des saisonnalités marquées propres aux matières premières, par exemple en matière de prix, de volatilité, d’offre, de demande, etc.

Démarche :

• Identifier les mois calendaires où le signal d’un actif AiLA semble sous-performer de manière systématique.
• Bloquer les signaux de transaction générés pour cet actif lorsqu’ils le sont pendant le mois de sous-performance.
• Comparer la performance de l’indice AiLA avec et sans cette sélection des mauvais mois.

• Définir quantitativement un mauvais mois, ce qui relève d’un choix arbitraire.
• Diviser les rendements par la volatilité pour identifier et traiter simplement les valeurs aberrantes.
• Même avec 10 ans d’historique, un mois donné ne correspond qu’à un échantillon limité de données quotidiennes.
• Une contre-performance systématique sur un mois donné doit être d’une ampleur significative au regard de l’erreur statistique du rendement mensuel moyen observé.
• Nous définissons ici une mauvaise performance mensuelle comme suit :
  • Rendement moyen du mois/volatilité < -0.1
  • Rendement moyen du mois/volatilité < 1.5 écart-type (STD) en dessous du rendement moyen des 8 meilleurs autres mois.
• L’identification des mauvais mois est appliquée aux actifs d’un indice long/short AiLA comprenant les 102 actifs les plus liquides.

• Rejeter les signaux AiLA générés pendant les mauvais mois, identifiés à partir des données de la même période, améliore spectaculairement les résultats.
• Identifier les mauvais mois sur la période 2011 à 2016 et appliquer ce filtre aux signaux de la période 2017 à 2021 n’apporte en revanche aucune amélioration des résultats.
• Le même exercice, réalisé avec les signaux de la période 2011 à 2016 et des mauvais mois identifiés sur la même période ou sur une période ultérieure, produit le même schéma d’amélioration.
• Le surapprentissage lié à l’utilisation de mauvais mois identifiés sur la période même de l’évaluation de la performance est évident ; il illustre néanmoins l’effet potentiellement considérable dû au très faible rapport signal/bruit des stratégies de trading.
• D’où l’importance d’un processus de recherche rigoureux, compte tenu du risque de sources de surapprentissage involontaires et subtiles !

• Aucune amélioration n’a été observée avec l’hypothèse consistant à rejeter les signaux pendant les mois où le signal d’un actif AiLA semble avoir systématiquement obtenu de moins bons résultats.
• L’exercice montre toutefois l’effet considérable que le surapprentissage peut avoir sur la performance d’une stratégie de trading, en raison du très faible rapport signal/bruit.
• Le cas de surapprentissage présenté ici se veut évident ; le même type de problème peut toutefois facilement survenir de façon involontaire et de multiples manières subtiles, par exemple par l’utilisation répétée des données d’entraînement et de validation au cours d’un cycle d’apprentissage automatique.
• Les résultats rappellent donc l’importance d’une démarche de recherche rigoureuse pour produire des résultats fiables.