Riesgo de sobreajuste

Traducido del inglés. El texto en inglés es la referencia. Leer en inglés

Preguntas

Preguntas:

  • ¿Podemos mejorar el rendimiento global excluyendo las señales durante los meses en que los activos han obtenido sistemáticamente peores resultados?
  • Es una hipótesis válida, dada la variedad de patrones estacionales marcados asociados a las materias primas, p. ej., en precio, volatilidad, oferta, demanda, etc.

Enfoque:

  • Identificar los meses del calendario en que la señal de un activo de AiLA parece obtener sistemáticamente resultados inferiores.
  • Bloquear las señales de negociación generadas para ese activo si se generan durante el mes de bajo rendimiento.
  • Comparar el rendimiento del índice AiLA con y sin esta selección de meses malos.

¿Qué es un mes malo?

  • Definir cuantitativamente un mes malo, lo que es una elección arbitraria.
  • Dividir las rentabilidades por la volatilidad para identificar y tratar de forma sencilla los valores atípicos.
  • Incluso con 10 años de datos históricos, un mes concreto solo corresponde a una muestra limitada de observaciones diarias.
  • Un rendimiento sistemáticamente malo durante un mes concreto debería tener una magnitud relevante en comparación con el error estadístico de la rentabilidad media mensual observada.
  • Aquí definimos un rendimiento mensual malo como:
    • rentabilidad media/volatilidad del mes < -0.1
    • rentabilidad media/volatilidad del mes < 1.5 STD respecto a la rentabilidad media de los 8 mejores meses restantes.
  • La identificación de meses malos se aplicó a los activos de un índice long/short de AiLA compuesto por los 102 activos más líquidos.

Mejoras espurias

  • Rechazar las señales de AiLA generadas durante los meses malos, identificados con datos del mismo periodo, mejora drásticamente los resultados.
  • Identificar los meses malos en el periodo de 2011 a 2016 y aplicarlos a las señales de 2017 a 2021 no muestra ninguna mejora de los resultados.
  • El mismo ejercicio, realizado con señales de 2011 a 2016 y meses malos identificados en el mismo periodo o en uno posterior, produce el mismo patrón de mejora.
  • El sobreajuste que supone utilizar meses malos del mismo periodo que el de la evaluación del rendimiento es evidente; sin embargo, ilustra el gran efecto potencial que tiene la muy baja relación señal-ruido de las estrategias de negociación.
  • ¡Esto subraya la importancia de un proceso de investigación riguroso, dado el riesgo de fuentes de sobreajuste involuntarias y sutiles!

Conclusiones

  • No se observó ninguna mejora asociada a la hipótesis de rechazar las señales durante los meses en que la señal de un activo de AiLA parece haber obtenido sistemáticamente peores resultados.
  • Sin embargo, el ejercicio demuestra el gran efecto que el sobreajuste puede tener en el rendimiento de una estrategia de negociación, debido a su muy baja relación señal-ruido.
  • El caso de sobreajuste presentado aquí es deliberadamente evidente; sin embargo, el mismo tipo de problema puede producirse fácilmente de forma involuntaria de muchas maneras sutiles, p. ej., por el uso repetido de los datos de entrenamiento/validación en un ciclo de aprendizaje automático.
  • Por ello, los resultados sirven para recordar la importancia de un enfoque de investigación riguroso para obtener resultados fiables.
Comparta sus perspectivas