Perguntas:

• É possível melhorar o desempenho geral excluindo sinais nos meses em que os ativos apresentaram, de forma consistente, desempenho pior?
• Trata-se de uma hipótese válida, dada a variedade de padrões sazonais pronunciados associados às commodities, por exemplo, em preço, volatilidade, oferta, demanda etc.

Abordagem:

• Identificar os meses do calendário em que o sinal de um ativo da AiLA parece ter desempenho inferior de forma consistente.
• Bloquear os sinais de negociação gerados para esse ativo, caso sejam gerados durante o mês de desempenho inferior.
• Comparar o desempenho do índice AiLA com e sem essa seleção de meses ruins.

• Definir quantitativamente um mês ruim, ou seja, uma escolha arbitrária.
• Dividir os retornos pela volatilidade para simplificar a identificação e o tratamento de outliers.
• Mesmo com 10 anos de dados históricos, um determinado mês corresponde apenas a uma amostra limitada de observações diárias.
• Um desempenho consistentemente ruim em um determinado mês deve ter magnitude relevante em comparação com o erro estatístico do retorno médio mensal observado.
• Aqui, definimos desempenho mensal ruim como:
  • Retorno médio/volatilidade do mês < -0.1
  • Retorno médio/volatilidade do mês < 1.5 STD em relação ao retorno médio dos 8 melhores meses restantes.
• A identificação de meses ruins foi aplicada aos ativos de um índice long/short da AiLA, composto pelos 102 ativos mais líquidos.

• Rejeitar os sinais da AiLA gerados durante os meses ruins, obtidos a partir de dados do mesmo período, melhora drasticamente os resultados.
• Identificar os meses ruins no período de 2011 a 2016 e aplicá-los aos sinais de 2017 a 2021 não indica nenhuma melhora dos resultados.
• O mesmo exercício, realizado com sinais de 2011 a 2016 e meses ruins identificados no mesmo período ou em período posterior, produz o mesmo padrão de melhora.
• O caso de overfitting ao usar meses ruins do mesmo período da avaliação de desempenho é óbvio; no entanto, ilustra o grande impacto potencial decorrente da relação sinal-ruído muito baixa das estratégias de negociação.
• Isso reforça a importância de um processo de pesquisa rigoroso, dado o risco de fontes não intencionais e sutis de overfitting!

• Não se observou nenhuma melhora associada à hipótese de rejeitar sinais nos meses em que o sinal de um ativo da AiLA parece ter apresentado, de forma consistente, desempenho pior.
• No entanto, o exercício demonstra o grande impacto que o overfitting pode ter sobre o desempenho de uma estratégia de negociação, em razão da relação sinal-ruído muito baixa.
• O caso de overfitting apresentado aqui é intencionalmente óbvio; no entanto, o mesmo tipo de problema pode ocorrer facilmente de forma não intencional e de muitas maneiras sutis, por exemplo, pelo uso repetido de dados de treinamento/validação em um ciclo de Machine Learning.
• Os resultados servem, portanto, como um lembrete da importância de uma abordagem de pesquisa rigorosa para produzir resultados confiáveis.