Análisis de aprendizaje automático de una cartera diversificada de mercado neutral
Traducido del inglés. El texto en inglés es la referencia. Leer en inglés
La cartera
Composición de la cartera:
- Un total de 149 activos que pueden agruparse en 4 sectores
- Desglose por sectores:
- Agrícolas y ganado: 53
- Metales: 23
- Petróleo: 60
- Electricidad y gas: 13
- Cada activo tiene dos conjuntos de datos (1 de compra y 1 de venta)
- Clase de señal: desequilibrada (< 0.30) frente a equilibrada (>= 0.30)
- En todos los sectores, la mayoría de los conjuntos de datos están desequilibrados.
- Incluso entre los conjuntos de datos de señales de compra y de venta, la distribución del desequilibrio de señales es homogénea
- En todos los sectores, la mayoría de los conjuntos de datos están desequilibrados.
Enfoque del análisis
- Para cada conjunto de datos de activo, modelizamos 6 algoritmos con ajuste de hiperparámetros, utilizando 0.5 como umbral predeterminado para las predicciones positivas.
- Tipos de modelo:
- Extreme Gradient Boosting (XGBoost)
- LightGBM (LGBM)
- CatBoost (CAT)
- Bosques aleatorios (Random Forests, RF)
- Árboles extremadamente aleatorios (Extra Trees, ET)
- Árbol de decisión (Decision Tree, DT)
- Métricas:
- Minimizar los falsos positivos (FP)
- Minimizar los falsos negativos (FN)
- Nos centramos en clasificar cada modelo mediante una media ponderada
- Minimizar los falsos positivos tiene un peso de 2 unidades en la clasificación
- Minimizar los falsos negativos tiene un peso de 1 unidad en la clasificación
- Dado que cada conjunto de datos tiene una distribución propia de señales binarias, clasificamos todos los modelos en cada conjunto de datos con ambas métricas.
- Para cada combinación de sector y tipo de señal, calculamos la clasificación media ponderada de esos conjuntos de datos y establecemos la clasificación final de los modelos.
Observaciones sobre el lado largo
Observaciones generales:
- CAT aparece entre los 3 primeros puestos en los 4 sectores
- Agrícolas y ganado (puesto 2)
- Metales (puesto 1)
- Petróleo (puesto 3)
- Electricidad y gas (1)
- RF y LGBM aparecen entre los 3 primeros en 3 sectores
- RF:
- Agrícolas y ganado (puesto 1)
- Petróleo (puesto 2)
- Electricidad y gas (2)
- LGBM
- Agrícolas y ganado (puesto 3)
- Metales (puesto 3)
- Electricidad y gas (3)
- RF:
- XGB y DT tienden a ser más agresivos en sus predicciones y son mejores minimizando los FN. Sin embargo, debido al mayor peso que se da a minimizar los FP, obtienen una peor clasificación ponderada global.
- Véanse los resultados detallados a continuación
| Sector | Modelo | Puesto final | Puesto medio ponderado |
|---|---|---|---|
| Agrícolas y ganado | RF | 1 | 2.9057 |
| CAT | 2 | 3.2925 | |
| LGBM | 3 | 3.5031 | |
| ET | 4 | 3.6101 | |
| XGB | 5 | 3.6258 | |
| DT | 6 | 4.0629 | |
| Metales | CAT | 1 | 3.0797 |
| ET | 2 | 3.0870 | |
| LGBM | 3 | 3.4855 | |
| XGB | 4 | 3.6377 | |
| RF | 5 | 3.6957 | |
| DT | 6 | 4.0145 | |
| Petróleo | ET | 1 | 3.3079 |
| RF | 2 | 3.3139 | |
| CAT | 3 | 3.3194 | |
| LGBM | 4 | 3.5667 | |
| XGB | 5 | 3.6750 | |
| DT | 6 | 3.7722 | |
| Electricidad y gas | CAT | 1 | 2.7949 |
| RF | 2 | 3.0513 | |
| LGBM | 3 | 3.5000 | |
| ET | 4 | 3.7692 | |
| XGB | 5 | 3.8333 | |
| DT | 6 | 4.0513 |
Asignaciones largas (resultados detallados de la clasificación)
| Sector | Modelo | Puesto final | Puesto medio ponderado | Puesto en falsos positivos | Peso del puesto en falsos positivos | Puesto ponderado en falsos positivos | Puesto en falsos negativos | Peso del puesto en falsos negativos | Puesto ponderado en falsos negativos |
|---|---|---|---|---|---|---|---|---|---|
| Agrícolas y ganado | RF | 1 | 2.9057 | 1.811320755 | 2 | 3.6226 | 5.094339623 | 1 | 5.0943 |
| CAT | 2 | 3.2925 | 2.537735849 | 2 | 5.0755 | 4.801886792 | 1 | 4.8019 | |
| LGBM | 3 | 3.5031 | 3.716981132 | 2 | 7.4340 | 3.075471698 | 1 | 3.0755 | |
| ET | 4 | 3.6101 | 3.773584906 | 2 | 7.5472 | 3.283018868 | 1 | 3.2830 | |
| XGB | 5 | 3.6258 | 3.933962264 | 2 | 7.8679 | 3.009433962 | 1 | 3.0094 | |
| DT | 6 | 4.0629 | 5.226415094 | 2 | 10.4528 | 1.735849057 | 1 | 1.7358 | |
| Metales | CAT | 1 | 3.0797 | 2.652173913 | 2 | 5.3043 | 3.934782609 | 1 | 3.9348 |
| ET | 2 | 3.0870 | 2.173913043 | 2 | 4.3478 | 4.913043478 | 1 | 4.9130 | |
| LGBM | 3 | 3.4855 | 3.826086957 | 2 | 7.6522 | 2.804347826 | 1 | 2.8043 | |
| XGB | 4 | 3.6377 | 3.956521739 | 2 | 7.9130 | 3 | 1 | 3.0000 | |
| RF | 5 | 3.6957 | 3.130434783 | 2 | 6.2609 | 4.826086957 | 1 | 4.8261 | |
| DT | 6 | 4.0145 | 5.260869565 | 2 | 10.5217 | 1.52173913 | 1 | 1.5217 | |
| Petróleo | ET | 1 | 3.3079 | 2.491525424 | 2 | 4.9831 | 4.940677966 | 1 | 4.9407 |
| RF | 2 | 3.3139 | 2.908333333 | 2 | 5.8167 | 4.125 | 1 | 4.1250 | |
| CAT | 3 | 3.3194 | 2.916666667 | 2 | 5.8333 | 4.125 | 1 | 4.1250 | |
| LGBM | 4 | 3.5667 | 3.858333333 | 2 | 7.7167 | 2.983333333 | 1 | 2.9833 | |
| XGB | 5 | 3.6750 | 4.316666667 | 2 | 8.6333 | 2.391666667 | 1 | 2.3917 | |
| DT | 6 | 3.7722 | 4.45 | 2 | 8.9000 | 2.416666667 | 1 | 2.4167 | |
| Electricidad y gas | CAT | 1 | 2.7949 | 1.538461538 | 2 | 3.0769 | 5.307692308 | 1 | 5.3077 |
| RF | 2 | 3.0513 | 2.153846154 | 2 | 4.3077 | 4.846153846 | 1 | 4.8462 | |
| LGBM | 3 | 3.5000 | 3.461538462 | 2 | 6.9231 | 3.576923077 | 1 | 3.5769 | |
| ET | 4 | 3.7692 | 4.384615385 | 2 | 8.7692 | 2.538461538 | 1 | 2.5385 | |
| XGB | 5 | 3.8333 | 4.230769231 | 2 | 8.4615 | 3.038461538 | 1 | 3.0385 | |
| DT | 6 | 4.0513 | 5.230769231 | 2 | 10.4615 | 1.692307692 | 1 | 1.6923 |
Observaciones sobre el lado corto
Observaciones generales:
- RF y CAT aparecen entre los 3 primeros puestos en los 4 sectores
- RF:
- Agrícolas y ganado (puesto 1)
- Metales (puesto 2)
- Petróleo (puesto 2)
- Electricidad y gas (2)
- CAT
- Agrícolas y ganado (puesto 3)
- Metales (puesto 3)
- Petróleo (puesto 3)
- Electricidad y gas (3)
- RF:
- ET aparece entre los 3 primeros en 3 sectores. Sin embargo, observamos que ET tiende a ser relativamente conservador a la hora de predecir señales positivas. Esto encaja con nuestro objetivo de minimizar los falsos positivos, pero también implica que sus señales positivas son escasas o insuficientes.
- Agrícolas y ganado (puesto 3)
- Metales (puesto 1)
- Petróleo (puesto 1)
- LGBM ocupa sistemáticamente el 4.º puesto (justo fuera de los 3 primeros) en 3 sectores, y solo alcanzó el puesto 3 en Electricidad y gas.
- XGB y DT tienden a ser más agresivos en sus predicciones y son mejores minimizando los FN. Sin embargo, debido al mayor peso que se da a minimizar los FP, obtienen una peor clasificación ponderada global.
- Véanse los resultados detallados a continuación
| Sector | Modelo | Puesto final | Puesto medio ponderado |
|---|---|---|---|
| Agrícolas y ganado | RF | 1 | 2.9937 |
| CAT | 2 | 3.1698 | |
| ET | 3 | 3.3805 | |
| LGBM | 4 | 3.5881 | |
| XGB | 5 | 3.7170 | |
| DT | 6 | 4.1509 | |
| Metales | ET | 1 | 2.6667 |
| RF | 2 | 2.9855 | |
| CAT | 3 | 3.3478 | |
| LGBM | 4 | 3.6812 | |
| XGB | 5 | 4.0000 | |
| DT | 6 | 4.3188 | |
| Petróleo | ET | 1 | 2.6667 |
| RF | 2 | 2.9889 | |
| CAT | 3 | 3.3611 | |
| LGBM | 4 | 3.6861 | |
| XGB | 5 | 4.0750 | |
| DT | 6 | 4.1667 | |
| Electricidad y gas | RF | 1 | 2.6410 |
| CAT | 2 | 3.2821 | |
| LGBM | 3 | 3.4615 | |
| XGB | 4 | 3.5641 | |
| ET | 5 | 3.9487 | |
| DT | 6 | 4.1026 |
Asignaciones cortas (resultados detallados de la clasificación)
| Sector | Modelo | Puesto final | Puesto medio ponderado | Puesto en falsos positivos | Peso del puesto en falsos positivos | Puesto ponderado en falsos positivos | Puesto en falsos negativos | Peso del puesto en falsos negativos | Puesto ponderado en falsos negativos |
|---|---|---|---|---|---|---|---|---|---|
| Agrícolas y ganado | RF | 1 | 2.9937 | 1.9434 | 2 | 3.8868 | 5.0943 | 1 | 5.0943 |
| CAT | 2 | 3.1698 | 2.4623 | 2 | 4.9245 | 4.5849 | 1 | 4.5849 | |
| ET | 3 | 3.3805 | 3.0472 | 2 | 6.0943 | 4.0472 | 1 | 4.0472 | |
| LGBM | 4 | 3.5881 | 3.9057 | 2 | 7.8113 | 2.9528 | 1 | 2.9528 | |
| XGB | 5 | 3.7170 | 4.1321 | 2 | 8.2642 | 2.8868 | 1 | 2.8868 | |
| DT | 6 | 4.1509 | 5.5094 | 2 | 11.0189 | 1.4340 | 1 | 1.4340 | |
| Metales | ET | 1 | 2.6667 | 1.0000 | 2 | 2.0000 | 6.0000 | 1 | 6.0000 |
| RF | 2 | 2.9855 | 2.0000 | 2 | 4.0000 | 4.9565 | 1 | 4.9565 | |
| CAT | 3 | 3.3478 | 3.1304 | 2 | 6.2609 | 3.7826 | 1 | 3.7826 | |
| LGBM | 4 | 3.6812 | 3.9130 | 2 | 7.8261 | 3.2174 | 1 | 3.2174 | |
| XGB | 5 | 4.0000 | 5.0000 | 2 | 10.0000 | 2.0000 | 1 | 2.0000 | |
| DT | 6 | 4.3188 | 5.9565 | 2 | 11.9130 | 1.0435 | 1 | 1.0435 | |
| Petróleo | ET | 1 | 2.6667 | 1.0000 | 2 | 2.0000 | 6.0000 | 1 | 6.0000 |
| RF | 2 | 2.9889 | 2.0000 | 2 | 4.0000 | 4.9667 | 1 | 4.9667 | |
| CAT | 3 | 3.3611 | 3.1000 | 2 | 6.2000 | 3.8833 | 1 | 3.8833 | |
| LGBM | 4 | 3.6861 | 4.1833 | 2 | 8.3667 | 2.6917 | 1 | 2.6917 | |
| XGB | 5 | 4.0750 | 5.0833 | 2 | 10.1667 | 2.0583 | 1 | 2.0583 | |
| DT | 6 | 4.1667 | 5.5500 | 2 | 11.1000 | 1.4000 | 1 | 1.4000 | |
| Electricidad y gas | RF | 1 | 2.6410 | 1.3077 | 2 | 2.61538 | 5.30769 | 1 | 5.3077 |
| CAT | 2 | 3.2821 | 2.3077 | 2 | 4.61538 | 5.23077 | 1 | 5.2308 | |
| LGBM | 3 | 3.4615 | 3.5385 | 2 | 7.07692 | 3.30769 | 1 | 3.3077 | |
| XGB | 4 | 3.5641 | 3.7692 | 2 | 7.53846 | 3.15385 | 1 | 3.1538 | |
| ET | 5 | 3.9487 | 4.8462 | 2 | 9.69231 | 2.15385 | 1 | 2.1538 | |
| DT | 6 | 4.1026 | 5.2308 | 2 | 10.4615 | 1.84615 | 1 | 1.8462 |
Conclusiones
- Basamos nuestra clasificación en dos métricas principales, combinadas en una clasificación ponderada
- Minimizar los falsos positivos (2 unidades de clasificación)
- Minimizar los falsos negativos (1 unidad de clasificación)
- Según el procedimiento de clasificación, en general no hay ningún algoritmo que supere sistemáticamente a los demás.
- No obstante, CAT, RF y LGBM tienden a obtener mejores resultados que los demás
- XGBoost y DT tienden a ser más agresivos en sus predicciones. Esto suele minimizar los FN, pero hace más probable que aumenten los FP.
- Se ha observado que ET es, por naturaleza, demasiado «conservador». Aunque puede superar a otros modelos en la minimización de los FP, no genera suficientes señales positivas.