Riesgo de sobreajuste
Traducido del inglés. El texto en inglés es la referencia. Leer en inglés
Preguntas
Preguntas:
- ¿Podemos mejorar el rendimiento global excluyendo las señales durante los meses en que los activos han obtenido sistemáticamente peores resultados?
- Es una hipótesis válida, dada la variedad de patrones estacionales marcados asociados a las materias primas, p. ej., en precio, volatilidad, oferta, demanda, etc.
Enfoque:
- Identificar los meses del calendario en que la señal de un activo de AiLA parece obtener sistemáticamente resultados inferiores.
- Bloquear las señales de negociación generadas para ese activo si se generan durante el mes de bajo rendimiento.
- Comparar el rendimiento del índice AiLA con y sin esta selección de meses malos.

¿Qué es un mes malo?
- Definir cuantitativamente un mes malo, lo que es una elección arbitraria.
- Dividir las rentabilidades por la volatilidad para identificar y tratar de forma sencilla los valores atípicos.
- Incluso con 10 años de datos históricos, un mes concreto solo corresponde a una muestra limitada de observaciones diarias.
- Un rendimiento sistemáticamente malo durante un mes concreto debería tener una magnitud relevante en comparación con el error estadístico de la rentabilidad media mensual observada.
- Aquí definimos un rendimiento mensual malo como:
- rentabilidad media/volatilidad del mes < -0.1
- rentabilidad media/volatilidad del mes < 1.5 STD respecto a la rentabilidad media de los 8 mejores meses restantes.
- La identificación de meses malos se aplicó a los activos de un índice long/short de AiLA compuesto por los 102 activos más líquidos.

Mejoras espurias
- Rechazar las señales de AiLA generadas durante los meses malos, identificados con datos del mismo periodo, mejora drásticamente los resultados.
- Identificar los meses malos en el periodo de 2011 a 2016 y aplicarlos a las señales de 2017 a 2021 no muestra ninguna mejora de los resultados.
- El mismo ejercicio, realizado con señales de 2011 a 2016 y meses malos identificados en el mismo periodo o en uno posterior, produce el mismo patrón de mejora.
- El sobreajuste que supone utilizar meses malos del mismo periodo que el de la evaluación del rendimiento es evidente; sin embargo, ilustra el gran efecto potencial que tiene la muy baja relación señal-ruido de las estrategias de negociación.
- ¡Esto subraya la importancia de un proceso de investigación riguroso, dado el riesgo de fuentes de sobreajuste involuntarias y sutiles!


Conclusiones
- No se observó ninguna mejora asociada a la hipótesis de rechazar las señales durante los meses en que la señal de un activo de AiLA parece haber obtenido sistemáticamente peores resultados.
- Sin embargo, el ejercicio demuestra el gran efecto que el sobreajuste puede tener en el rendimiento de una estrategia de negociación, debido a su muy baja relación señal-ruido.
- El caso de sobreajuste presentado aquí es deliberadamente evidente; sin embargo, el mismo tipo de problema puede producirse fácilmente de forma involuntaria de muchas maneras sutiles, p. ej., por el uso repetido de los datos de entrenamiento/validación en un ciclo de aprendizaje automático.
- Por ello, los resultados sirven para recordar la importancia de un enfoque de investigación riguroso para obtener resultados fiables.
