Análise de machine learning em uma carteira diversificada neutra em relação ao mercado
Traduzido do inglês. O texto em inglês é a referência. Ler em inglês
A carteira
Composição da carteira:
- Total de 149 ativos, que podem ser agregados em 4 setores
- Divisão por setor:
- Agrícolas e pecuária: 53
- Metais: 23
- Petróleo: 60
- Energia elétrica e gás: 13
- Cada ativo tem dois conjuntos de dados (1 para compra, 1 para venda)
- Classe de sinal: desbalanceada (< 0.30) vs. balanceada (>= 0.30)
- Em todos os setores, a maioria dos conjuntos de dados é desbalanceada.
- Mesmo entre os conjuntos de dados de sinais de compra vs. venda, a distribuição do desbalanceamento dos sinais é consistente
- Em todos os setores, a maioria dos conjuntos de dados é desbalanceada.
Abordagem da análise
- Para cada conjunto de dados de ativo, modelamos 6 algoritmos com ajuste de hiperparâmetros, usando 0.5 como limiar padrão para as previsões positivas.
- Tipos de modelo:
- Extreme Gradient Boosting (XGBoost)
- LightGBM (LGBM)
- CatBoost (CAT)
- Random Forests (RF)
- Extra Trees (ET)
- Árvore de decisão (DT)
- Métricas:
- Minimização de falsos positivos (FP)
- Minimização de falsos negativos (FN)
- Classificamos cada modelo por meio de uma média ponderada:
- A minimização de falsos positivos tem peso de 2 unidades na classificação
- A minimização de falsos negativos tem peso de 1 unidade na classificação
- Como cada conjunto de dados tem uma distribuição única de sinais binários, fazemos a classificação de todos os modelos para cada conjunto de dados com ambas as métricas.
- Para cada combinação de setor e tipo de sinal, calculamos a classificação média ponderada nesses conjuntos de dados e definimos a classificação final dos modelos.
Observações sobre o lado comprado
Observações gerais:
- CAT aparece entre os 3 primeiros da classificação nos 4 setores:
- Agrícolas e pecuária (posição 2)
- Metais (posição 1)
- Petróleo (posição 3)
- Energia elétrica e gás (1)
- RF e LGBM aparecem entre os 3 primeiros em 3 setores:
- RF:
- Agrícolas e pecuária (posição 1)
- Petróleo (posição 2)
- Energia elétrica e gás (2)
- LGBM
- Agrícolas e pecuária (posição 3)
- Metais (posição 3)
- Energia elétrica e gás (3)
- RF:
- XGB e DT tendem a ser mais agressivos nas previsões e são melhores na minimização de FN. No entanto, devido ao peso maior atribuído à minimização de FP, têm uma classificação ponderada geral pior.
- Ver os resultados detalhados no próximo slide
| Setor | Modelo | Posição final | Posição média ponderada |
|---|---|---|---|
| Agrícolas e pecuária | RF | 1 | 2.9057 |
| CAT | 2 | 3.2925 | |
| LGBM | 3 | 3.5031 | |
| ET | 4 | 3.6101 | |
| XGB | 5 | 3.6258 | |
| DT | 6 | 4.0629 | |
| Metais | CAT | 1 | 3.0797 |
| ET | 2 | 3.0870 | |
| LGBM | 3 | 3.4855 | |
| XGB | 4 | 3.6377 | |
| RF | 5 | 3.6957 | |
| DT | 6 | 4.0145 | |
| Petróleo | ET | 1 | 3.3079 |
| RF | 2 | 3.3139 | |
| CAT | 3 | 3.3194 | |
| LGBM | 4 | 3.5667 | |
| XGB | 5 | 3.6750 | |
| DT | 6 | 3.7722 | |
| Energia elétrica e gás | CAT | 1 | 2.7949 |
| RF | 2 | 3.0513 | |
| LGBM | 3 | 3.5000 | |
| ET | 4 | 3.7692 | |
| XGB | 5 | 3.8333 | |
| DT | 6 | 4.0513 |
Alocações compradas (resultados detalhados da classificação)
| Setor | Modelo | Posição final | Posição média ponderada | Posição em falsos positivos | Peso da posição em falsos positivos | Posição ponderada em falsos positivos | Posição em falsos negativos | Peso da posição em falsos negativos | Posição ponderada em falsos negativos |
|---|---|---|---|---|---|---|---|---|---|
| Agrícolas e pecuária | RF | 1 | 2.9057 | 1.811320755 | 2 | 3.6226 | 5.094339623 | 1 | 5.0943 |
| CAT | 2 | 3.2925 | 2.537735849 | 2 | 5.0755 | 4.801886792 | 1 | 4.8019 | |
| LGBM | 3 | 3.5031 | 3.716981132 | 2 | 7.4340 | 3.075471698 | 1 | 3.0755 | |
| ET | 4 | 3.6101 | 3.773584906 | 2 | 7.5472 | 3.283018868 | 1 | 3.2830 | |
| XGB | 5 | 3.6258 | 3.933962264 | 2 | 7.8679 | 3.009433962 | 1 | 3.0094 | |
| DT | 6 | 4.0629 | 5.226415094 | 2 | 10.4528 | 1.735849057 | 1 | 1.7358 | |
| Metais | CAT | 1 | 3.0797 | 2.652173913 | 2 | 5.3043 | 3.934782609 | 1 | 3.9348 |
| ET | 2 | 3.0870 | 2.173913043 | 2 | 4.3478 | 4.913043478 | 1 | 4.9130 | |
| LGBM | 3 | 3.4855 | 3.826086957 | 2 | 7.6522 | 2.804347826 | 1 | 2.8043 | |
| XGB | 4 | 3.6377 | 3.956521739 | 2 | 7.9130 | 3 | 1 | 3.0000 | |
| RF | 5 | 3.6957 | 3.130434783 | 2 | 6.2609 | 4.826086957 | 1 | 4.8261 | |
| DT | 6 | 4.0145 | 5.260869565 | 2 | 10.5217 | 1.52173913 | 1 | 1.5217 | |
| Petróleo | ET | 1 | 3.3079 | 2.491525424 | 2 | 4.9831 | 4.940677966 | 1 | 4.9407 |
| RF | 2 | 3.3139 | 2.908333333 | 2 | 5.8167 | 4.125 | 1 | 4.1250 | |
| CAT | 3 | 3.3194 | 2.916666667 | 2 | 5.8333 | 4.125 | 1 | 4.1250 | |
| LGBM | 4 | 3.5667 | 3.858333333 | 2 | 7.7167 | 2.983333333 | 1 | 2.9833 | |
| XGB | 5 | 3.6750 | 4.316666667 | 2 | 8.6333 | 2.391666667 | 1 | 2.3917 | |
| DT | 6 | 3.7722 | 4.45 | 2 | 8.9000 | 2.416666667 | 1 | 2.4167 | |
| Energia elétrica e gás | CAT | 1 | 2.7949 | 1.538461538 | 2 | 3.0769 | 5.307692308 | 1 | 5.3077 |
| RF | 2 | 3.0513 | 2.153846154 | 2 | 4.3077 | 4.846153846 | 1 | 4.8462 | |
| LGBM | 3 | 3.5000 | 3.461538462 | 2 | 6.9231 | 3.576923077 | 1 | 3.5769 | |
| ET | 4 | 3.7692 | 4.384615385 | 2 | 8.7692 | 2.538461538 | 1 | 2.5385 | |
| XGB | 5 | 3.8333 | 4.230769231 | 2 | 8.4615 | 3.038461538 | 1 | 3.0385 | |
| DT | 6 | 4.0513 | 5.230769231 | 2 | 10.4615 | 1.692307692 | 1 | 1.6923 |
Observações sobre o lado vendido
Observações gerais:
- RF e CAT aparecem entre os 3 primeiros da classificação nos 4 setores:
- RF:
- Agrícolas e pecuária (posição 1)
- Metais (posição 2)
- Petróleo (posição 2)
- Energia elétrica e gás (2)
- CAT
- Agrícolas e pecuária (posição 3)
- Metais (posição 3)
- Petróleo (posição 3)
- Energia elétrica e gás (3)
- RF:
- ET aparece entre os 3 primeiros em 3 setores. No entanto, observamos que o ET tende a ser relativamente conservador na previsão de sinais positivos. Isso está alinhado com o nosso foco na minimização de falsos positivos, mas também significa que gera sinais positivos esparsos/insuficientes.
- Agrícolas e pecuária (posição 3)
- Metais (posição 1)
- Petróleo (posição 1)
- LGBM fica consistentemente em 4º lugar (logo fora dos 3 primeiros) em 3 setores e só obteve a posição 3 em Energia elétrica e gás.
- XGB e DT tendem a ser mais agressivos nas previsões e são melhores na minimização de FN. No entanto, devido ao peso maior atribuído à minimização de FP, têm uma classificação ponderada geral pior.
- Ver os resultados detalhados no próximo slide
| Setor | Modelo | Posição final | Posição média ponderada |
|---|---|---|---|
| Agrícolas e pecuária | RF | 1 | 2.9937 |
| CAT | 2 | 3.1698 | |
| ET | 3 | 3.3805 | |
| LGBM | 4 | 3.5881 | |
| XGB | 5 | 3.7170 | |
| DT | 6 | 4.1509 | |
| Metais | ET | 1 | 2.6667 |
| RF | 2 | 2.9855 | |
| CAT | 3 | 3.3478 | |
| LGBM | 4 | 3.6812 | |
| XGB | 5 | 4.0000 | |
| DT | 6 | 4.3188 | |
| Petróleo | ET | 1 | 2.6667 |
| RF | 2 | 2.9889 | |
| CAT | 3 | 3.3611 | |
| LGBM | 4 | 3.6861 | |
| XGB | 5 | 4.0750 | |
| DT | 6 | 4.1667 | |
| Energia elétrica e gás | RF | 1 | 2.6410 |
| CAT | 2 | 3.2821 | |
| LGBM | 3 | 3.4615 | |
| XGB | 4 | 3.5641 | |
| ET | 5 | 3.9487 | |
| DT | 6 | 4.1026 |
Alocações vendidas (resultados detalhados da classificação)
| Setor | Modelo | Posição final | Posição média ponderada | Posição em falsos positivos | Peso da posição em falsos positivos | Posição ponderada em falsos positivos | Posição em falsos negativos | Peso da posição em falsos negativos | Posição ponderada em falsos negativos |
|---|---|---|---|---|---|---|---|---|---|
| Agrícolas e pecuária | RF | 1 | 2.9937 | 1.9434 | 2 | 3.8868 | 5.0943 | 1 | 5.0943 |
| CAT | 2 | 3.1698 | 2.4623 | 2 | 4.9245 | 4.5849 | 1 | 4.5849 | |
| ET | 3 | 3.3805 | 3.0472 | 2 | 6.0943 | 4.0472 | 1 | 4.0472 | |
| LGBM | 4 | 3.5881 | 3.9057 | 2 | 7.8113 | 2.9528 | 1 | 2.9528 | |
| XGB | 5 | 3.7170 | 4.1321 | 2 | 8.2642 | 2.8868 | 1 | 2.8868 | |
| DT | 6 | 4.1509 | 5.5094 | 2 | 11.0189 | 1.4340 | 1 | 1.4340 | |
| Metais | ET | 1 | 2.6667 | 1.0000 | 2 | 2.0000 | 6.0000 | 1 | 6.0000 |
| RF | 2 | 2.9855 | 2.0000 | 2 | 4.0000 | 4.9565 | 1 | 4.9565 | |
| CAT | 3 | 3.3478 | 3.1304 | 2 | 6.2609 | 3.7826 | 1 | 3.7826 | |
| LGBM | 4 | 3.6812 | 3.9130 | 2 | 7.8261 | 3.2174 | 1 | 3.2174 | |
| XGB | 5 | 4.0000 | 5.0000 | 2 | 10.0000 | 2.0000 | 1 | 2.0000 | |
| DT | 6 | 4.3188 | 5.9565 | 2 | 11.9130 | 1.0435 | 1 | 1.0435 | |
| Petróleo | ET | 1 | 2.6667 | 1.0000 | 2 | 2.0000 | 6.0000 | 1 | 6.0000 |
| RF | 2 | 2.9889 | 2.0000 | 2 | 4.0000 | 4.9667 | 1 | 4.9667 | |
| CAT | 3 | 3.3611 | 3.1000 | 2 | 6.2000 | 3.8833 | 1 | 3.8833 | |
| LGBM | 4 | 3.6861 | 4.1833 | 2 | 8.3667 | 2.6917 | 1 | 2.6917 | |
| XGB | 5 | 4.0750 | 5.0833 | 2 | 10.1667 | 2.0583 | 1 | 2.0583 | |
| DT | 6 | 4.1667 | 5.5500 | 2 | 11.1000 | 1.4000 | 1 | 1.4000 | |
| Energia elétrica e gás | RF | 1 | 2.6410 | 1.3077 | 2 | 2.61538 | 5.30769 | 1 | 5.3077 |
| CAT | 2 | 3.2821 | 2.3077 | 2 | 4.61538 | 5.23077 | 1 | 5.2308 | |
| LGBM | 3 | 3.4615 | 3.5385 | 2 | 7.07692 | 3.30769 | 1 | 3.3077 | |
| XGB | 4 | 3.5641 | 3.7692 | 2 | 7.53846 | 3.15385 | 1 | 3.1538 | |
| ET | 5 | 3.9487 | 4.8462 | 2 | 9.69231 | 2.15385 | 1 | 2.1538 | |
| DT | 6 | 4.1026 | 5.2308 | 2 | 10.4615 | 1.84615 | 1 | 1.8462 |
Conclusões
- Baseamos a nossa classificação em duas métricas principais, com classificação ponderada:
- Minimização de falsos positivos (2 unidades de classificação)
- Minimização de falsos negativos (1 unidade de classificação)
- Com base no procedimento de classificação, em geral, nenhum algoritmo de modelo supera os demais de forma consistente.
- No entanto, CAT, RF e LGBM tendem a ter desempenho melhor do que os demais
- XGBoost e DT tendem a ser mais agressivos ao fazer previsões. Isso tende a minimizar FN, mas torna mais provável o aumento de FP.
- Observou-se que o ET é “conservador” demais por natureza. Embora possa superar outros modelos na minimização de FP, não produz sinais positivos suficientes.