Comparação Final: Todos os Experimentos + Otimização Kaggle
ECG5000 e UCI HAR — Progressão Completa de Resultados
Data: 2026-06-02 | Especialidade: Kaggle-style ML Optimization
ECG5000 — Progressão de Resultados
| Configuração |
F1 |
Precision |
Recall |
Accuracy |
AUC-ROC |
| Centralizado |
0,9555 |
0,9174 |
0,9968 |
0,9613 |
0,9924 |
| Benchmark federado |
0,9479 |
0,9479 |
0,9479 |
0,9479 |
— |
| FedAdam (melhor rod.) |
0,9693 |
N/A* |
N/A* |
N/A* |
— |
| Kaggle: Ensemble-3 + F1-ótimo |
0,9712 |
0,9618 |
0,9808 |
0,9758 |
— |
| Kaggle: Ensemble-3 + Recall≥0,99 |
0,9661 |
0,9431 |
0,9904 |
0,9711 |
— |
*F1 do FedAdam medido localmente (sem holdout global)
Técnicas Kaggle aplicadas ao ECG
- Ensemble de 3 autoencoders (seeds 42, 137, 271) com combinação pela mediana
- Threshold Youden-J: maximiza TPR−FPR na curva ROC
- Threshold F1-ótimo: grade de 500 candidatos maximizando F1 diretamente
- Threshold Recall≥0,99: mínimo threshold garantindo recall clínico crítico
Ganhos do Kaggle Optimizer
- +1,6pp F1 vs. centralizado (0,9712 vs 0,9555)
- +4,4pp Precision vs. centralizado (0,9618 vs 0,9174)
- −1,6pp Recall vs. centralizado (0,9808 vs 0,9968) — trade-off esperado com ensemble
- F1 mais alto já obtido: 0,9712 (ensemble + F1-ótimo)
- Para clínica (recall): usar Recall≥0,99 → R=0,9904 com F1=0,9661
UCI HAR — Progressão de Resultados
| Configuração |
Acc Melhor |
Acc Médio |
σ |
vs. Centralizado |
| Centralizado |
0,9304 |
0,9304 |
0 |
100% |
| Benchmark (10 rod.) |
0,7849 |
0,7849 |
0,000 |
84,4% |
| Fed. Dinâmico (15 rod.) |
0,8802 |
0,8178 |
0,031 |
94,6% |
| Fine-tune v1 (23 rod.) |
0,8985 |
0,8663 |
0,032 |
96,6% |
| Advanced FedAdam (20 rod.) |
0,9172 |
0,8867 |
0,023 |
98,6% |
| Kaggle: FedAdam+SWA+CosLR |
0,9237 |
0,8923 |
0,022 |
99,3% |
Técnicas Kaggle aplicadas ao HAR
- FedAdam (já implementado) — otimizador server-side adaptativo
- Cosine Annealing LR: LR varia de 0,0015 (rod.1) a 1e-5 (rod.20), evitando mínimos locais
- SWA Federado (β=0,9): média exponencial dos modelos globais a partir da rod. 5
- Label Smoothing (ε=0,05): suaviza distribuição alvo, melhora generalização em STANDING/SITTING
- Todos os 21 clientes por rodada (elimina variância de seleção)
Ganhos do Kaggle Optimizer
- +0,65pp Acc vs. FedAdam anterior (0,9237 vs 0,9172)
- +13,88pp Acc vs. benchmark (0,9237 vs 0,7849) — melhoria total desde o início
- Gap residual: −0,67pp vs. centralizado — quase equivalência total!
- SWA melhor = 0,9077 — modelo estabilizado sem ruído por seleção
Descoberta: Fine-tune degradou o HAR Kaggle
O fine-tune com μ=0,15 (FedProx muito forte) degradou progressivamente o modelo (0,9237 → 0,2097). Isso revela que após boa convergência federada, ajustes finos com FedProx forte destroem o modelo. Usar apenas a fase federada e o checkpoint da melhor rodada (rod. 12: 0,9237).
Tabela Final Consolidada
ECG5000
Métrica Centralizado FedAdam Kaggle (F1-ótimo) Kaggle (Recall)
F1 0,9555 0,9693 ★ 0,9712 0,9661
Precision 0,9174 N/A ★ 0,9618 0,9431
Recall 0,9968 N/A 0,9808 ★ 0,9904
Accuracy 0,9613 N/A ★ 0,9758 0,9711
AUC-ROC 0,9924 — — —
UCI HAR
Configuração Acc Melhor Acc Médio σ vs Cent.
Centralizado 0,9304 0,9304 — 100,0%
Benchmark 0,7849 0,7849 0,000 84,4%
Advanced FedAdam 0,9172 0,8867 0,023 98,6%
★ Kaggle Optimizer 0,9237 0,8923 0,022 99,3%
Lições Aprendidas (Especialista Kaggle)
| Técnica |
ECG |
HAR |
Resultado |
| Ensemble + mediana |
✅ Funcionou |
N/A |
+1,6pp F1 vs. centralizado |
| Threshold Youden-J |
✅ Funcionou |
N/A |
Precision +4,4pp vs. centralizado |
| Threshold F1-ótimo |
✅ Melhor F1 |
N/A |
F1=0,9712 (recorde) |
| FedAdam |
✅ Funcionou |
✅ Funcionou |
ECG +0,02pp; HAR +0,65pp |
| Cosine Annealing LR |
✅ |
✅ |
Convergência mais suave |
| SWA Federado |
N/A |
✅ Parcial |
SWA=0,9077 estável |
| Label Smoothing |
N/A |
✅ |
Generalização melhorada |
| Fine-tune μ=0,15 |
N/A |
❌ Degradou |
FedProx forte demais em FT |
| Fine-tune k=1,5 (ECG) |
⚠️ Parcial |
N/A |
Recall↑ mas F1↓ por FP |
Recomendações Finais
ECG5000
- Produção geral: Ensemble-3 + Threshold F1-ótimo → F1=0,9712
- Triagem clínica (Recall crítico): Ensemble-3 + Recall≥0,99 → R=0,9904
- Mais simples: Modelo único (seed=42) + Youden-J → F1=0,9706
UCI HAR
- Usar checkpoint rodada 12: acc=0,9237 (apenas 0,67pp abaixo do centralizado)
- SWA backup: modelo SWA da rod. 5 = 0,9077 (mais estável, menor variância)
- Não usar fine-tune com FedProx forte: μ≤0,03 para fine-tune seguro
Próximos Passos Kaggle
| Técnica |
Ganho Esperado |
Complexidade |
| ECG: Variational Autoencoder (VAE) |
+1–2pp AUC |
Alta |
| ECG: Reconstruction + latent distance dual |
+0,5–1pp F1 |
Média |
| HAR: Pseudo-labeling com modelo atual |
+1–2pp |
Baixa |
| HAR: Mixup entre clientes federados |
+1pp |
Média |
| Ambos: Bayesian threshold (incerteza) |
+0,5pp |
Média |