Ir para o conteúdo

Comparação Final: Todos os Experimentos + Otimização Kaggle

ECG5000 e UCI HAR — Progressão Completa de Resultados

Data: 2026-06-02 | Especialidade: Kaggle-style ML Optimization


ECG5000 — Progressão de Resultados

Configuração F1 Precision Recall Accuracy AUC-ROC
Centralizado 0,9555 0,9174 0,9968 0,9613 0,9924
Benchmark federado 0,9479 0,9479 0,9479 0,9479 —
FedAdam (melhor rod.) 0,9693 N/A* N/A* N/A* —
Kaggle: Ensemble-3 + F1-ótimo 0,9712 0,9618 0,9808 0,9758 —
Kaggle: Ensemble-3 + Recall≥0,99 0,9661 0,9431 0,9904 0,9711 —

*F1 do FedAdam medido localmente (sem holdout global)

Técnicas Kaggle aplicadas ao ECG

  1. Ensemble de 3 autoencoders (seeds 42, 137, 271) com combinação pela mediana
  2. Threshold Youden-J: maximiza TPR−FPR na curva ROC
  3. Threshold F1-ótimo: grade de 500 candidatos maximizando F1 diretamente
  4. Threshold Recall≥0,99: mínimo threshold garantindo recall clínico crítico

Ganhos do Kaggle Optimizer

  • +1,6pp F1 vs. centralizado (0,9712 vs 0,9555)
  • +4,4pp Precision vs. centralizado (0,9618 vs 0,9174)
  • −1,6pp Recall vs. centralizado (0,9808 vs 0,9968) — trade-off esperado com ensemble
  • F1 mais alto já obtido: 0,9712 (ensemble + F1-ótimo)
  • Para clínica (recall): usar Recall≥0,99 → R=0,9904 com F1=0,9661

UCI HAR — Progressão de Resultados

Configuração Acc Melhor Acc Médio σ vs. Centralizado
Centralizado 0,9304 0,9304 0 100%
Benchmark (10 rod.) 0,7849 0,7849 0,000 84,4%
Fed. Dinâmico (15 rod.) 0,8802 0,8178 0,031 94,6%
Fine-tune v1 (23 rod.) 0,8985 0,8663 0,032 96,6%
Advanced FedAdam (20 rod.) 0,9172 0,8867 0,023 98,6%
Kaggle: FedAdam+SWA+CosLR 0,9237 0,8923 0,022 99,3%

Técnicas Kaggle aplicadas ao HAR

  1. FedAdam (já implementado) — otimizador server-side adaptativo
  2. Cosine Annealing LR: LR varia de 0,0015 (rod.1) a 1e-5 (rod.20), evitando mínimos locais
  3. SWA Federado (β=0,9): média exponencial dos modelos globais a partir da rod. 5
  4. Label Smoothing (ε=0,05): suaviza distribuição alvo, melhora generalização em STANDING/SITTING
  5. Todos os 21 clientes por rodada (elimina variância de seleção)

Ganhos do Kaggle Optimizer

  • +0,65pp Acc vs. FedAdam anterior (0,9237 vs 0,9172)
  • +13,88pp Acc vs. benchmark (0,9237 vs 0,7849) — melhoria total desde o início
  • Gap residual: −0,67pp vs. centralizado — quase equivalência total!
  • SWA melhor = 0,9077 — modelo estabilizado sem ruído por seleção

Descoberta: Fine-tune degradou o HAR Kaggle

O fine-tune com μ=0,15 (FedProx muito forte) degradou progressivamente o modelo (0,9237 → 0,2097). Isso revela que após boa convergência federada, ajustes finos com FedProx forte destroem o modelo. Usar apenas a fase federada e o checkpoint da melhor rodada (rod. 12: 0,9237).


Tabela Final Consolidada

ECG5000

Métrica   Centralizado  FedAdam  Kaggle (F1-ótimo)  Kaggle (Recall)
F1         0,9555        0,9693   ★ 0,9712           0,9661
Precision  0,9174        N/A      ★ 0,9618           0,9431
Recall     0,9968        N/A        0,9808         ★ 0,9904
Accuracy   0,9613        N/A      ★ 0,9758           0,9711
AUC-ROC    0,9924        —          —                 —

UCI HAR

Configuração         Acc Melhor  Acc Médio  σ      vs Cent.
Centralizado         0,9304      0,9304     —      100,0%
Benchmark            0,7849      0,7849     0,000   84,4%
Advanced FedAdam     0,9172      0,8867     0,023   98,6%
★ Kaggle Optimizer   0,9237      0,8923     0,022   99,3%

Lições Aprendidas (Especialista Kaggle)

Técnica ECG HAR Resultado
Ensemble + mediana ✅ Funcionou N/A +1,6pp F1 vs. centralizado
Threshold Youden-J ✅ Funcionou N/A Precision +4,4pp vs. centralizado
Threshold F1-ótimo ✅ Melhor F1 N/A F1=0,9712 (recorde)
FedAdam ✅ Funcionou ✅ Funcionou ECG +0,02pp; HAR +0,65pp
Cosine Annealing LR ✅ ✅ Convergência mais suave
SWA Federado N/A ✅ Parcial SWA=0,9077 estável
Label Smoothing N/A ✅ Generalização melhorada
Fine-tune μ=0,15 N/A ❌ Degradou FedProx forte demais em FT
Fine-tune k=1,5 (ECG) ⚠️ Parcial N/A Recall↑ mas F1↓ por FP

Recomendações Finais

ECG5000

  • Produção geral: Ensemble-3 + Threshold F1-ótimo → F1=0,9712
  • Triagem clínica (Recall crítico): Ensemble-3 + Recall≥0,99 → R=0,9904
  • Mais simples: Modelo único (seed=42) + Youden-J → F1=0,9706

UCI HAR

  • Usar checkpoint rodada 12: acc=0,9237 (apenas 0,67pp abaixo do centralizado)
  • SWA backup: modelo SWA da rod. 5 = 0,9077 (mais estável, menor variância)
  • Não usar fine-tune com FedProx forte: μ≤0,03 para fine-tune seguro

Próximos Passos Kaggle

Técnica Ganho Esperado Complexidade
ECG: Variational Autoencoder (VAE) +1–2pp AUC Alta
ECG: Reconstruction + latent distance dual +0,5–1pp F1 Média
HAR: Pseudo-labeling com modelo atual +1–2pp Baixa
HAR: Mixup entre clientes federados +1pp Média
Ambos: Bayesian threshold (incerteza) +0,5pp Média