Transformación de características: conjunto de árboles frente a SVM
Traducido del inglés. El texto en inglés es la referencia. Leer en inglés
Preguntas
Preguntas:
- La estrategia CML de AiLA incluye un paso de transformación de características mediante clasificación, destinado a ayudar con las relaciones no lineales y con la regularización ante un número potencialmente grande de características [detalles en la sección de modelización CML].
- ¿Qué beneficio aporta la transformación de características?
- ¿Qué ocurre si sustituimos un método de conjunto de árboles (tree ensemble) por una SVM?
Enfoque:
- Centrarse en la precisión del modelo y en el número de días clasificados como positivos, como métricas relevantes para el rendimiento de la estrategia.
- Controlar la comparación utilizando las mismas muestras de datos y la misma arquitectura, que solo difieren en el paso de transformación de características.
Precisión superior:
- Proporción de instancias con etiqueta verdadera en la muestra predicha por la estrategia CML, menos la proporción en toda la muestra de datos.
- La mayoría de los activos obtienen una mayor proporción de instancias verdaderas, y los resultados son coherentes entre los datos de validación y los de reserva (holdout).

Comprobaciones de coherencia
- El estudio presenta ligeras diferencias respecto al análisis de la [sección de modelización CML], como la inclusión de los datos de 2021 y un conjunto fijo de hiperparámetros.
- No obstante, en general se observó una buena coherencia entre los resultados de predicción, dadas estas ligeras diferencias.


Rendimiento de la predicción
- Los resultados de predicción son similares con la transformación de características (FT) basada en árboles y sin FT: por ejemplo, menor varianza frente a una media ligeramente mayor.
- La mayor varianza observada sin ninguna FT se debe a la tendencia a clasificar menos días como positivos (véase la diapositiva siguiente).

Impacto de la transformación de características
- La transformación de características (FT) basada en el modelo de conjunto de árboles:
- Reduce el número de características (proporcional al número de árboles) en al menos un orden de magnitud.
- Ofrece una precisión/un rendimiento de predicción de la estrategia CML completa similar al que se obtiene sin ninguna transformación de características.
- Sin embargo, con una proporción sistemáticamente mayor de días clasificados como positivos por el modelo.
- Dada la pequeña ventaja predictiva, se necesita un gran número de «días de negociación» para que el rendimiento de la estrategia sea relevante, por lo que la mayor proporción de días positivos favorece el uso de la FT basada en árboles frente a no usar FT.
- La transformación de características basada en el modelo SVM:
- Normalmente, el número de vectores de soporte (SV) es algo superior a la mitad del número de puntos de datos utilizados.
- El número de características, construidas con los SV junto con el kernel y los coeficientes duales, superaba a menudo el número de características originales.
- No se observó ningún aspecto de mejora con la versión SVM respecto a la FT basada en árboles.

Conclusiones
- Se estudiaron las implicaciones de utilizar una transformación de características en la estrategia CML, que actualmente se basa en un modelo de conjunto de árboles.
- El estudio se realizó a nivel de predicción del modelo para evitar las diferencias que introducen los aspectos posteriores (downstream) de la estrategia, aunque se centró en las métricas que se espera que sean más relevantes para el rendimiento final de la estrategia.
- La FT actual, basada en un modelo de conjunto de árboles, reduce drásticamente el número de características y dio lugar a un rendimiento del modelo similar al obtenido sin FT, pero con un mayor número de días clasificados como positivos.
- Esto se considera una ventaja, dado que la pequeña ventaja predictiva requiere muchos «días de negociación» para que el rendimiento de la estrategia sea relevante.
- La comparación también incluyó una FT basada en un modelo SVM; sin embargo, no se observó ningún aspecto de mejora frente a la FT basada en árboles.
