research/datasets/ — um diretório por dataset¶
Cada subdiretório é o cache local de um dataset, resolvido em código por
ExperimentRuntimePaths.datasetCacheRoot("{datasetId}") — ou seja, o nome do diretório é o
datasetId e não pode ser alterado sem mudar o código do experimento correspondente.
Conteúdo de cada diretório¶
| Arquivo | Obrigatório | Papel |
|---|---|---|
dataset-package.conf |
sim | Configuração declarativa do empacotamento (.hdtsim.zip) |
README.md |
sim | Origem do dado, arquivo esperado e como obtê-lo |
| arquivo(s) de dados | não¹ | O dataset em si |
¹ Datasets de acesso restrito (MIMIC) ou grandes demais para versionar (MNIST) não ficam no
repositório. O dataset-package.conf e o README.md ficam versionados de qualquer forma, para que
o empacotamento seja reprodutível assim que o arquivo de dados estiver presente.
Mapa dataset → experimento¶
datasetId |
Experimento | Arquivo esperado | Dado no repositório |
|---|---|---|---|
uci-har |
exp-har-smartphones-001 |
UCI HAR Dataset/ (diretório) |
sim |
ecg5000 |
exp-ecg5000-anomaly-001 |
ECG5000_TRAIN.txt |
sim |
ergonomic-risk |
exp-ergonomic-risk-001 |
ergonomic_risk.csv |
sim (amostra) |
mnist |
exp-mnist-digits-001 |
mnist_train.csv |
não |
mimic-v31 |
exp-mimic-v31-icu-mortality-001 |
cohort.csv |
não (acesso credenciado) |
Empacotar um dataset¶
O empacotamento lê o dataset-package.conf do diretório — sem perguntas interativas:
Saída: target/packages/{experimentId}.hdtsim.zip.
Para implantar na plataforma com o monitor rodando:
O modo interativo/posicional antigo continua funcionando:
sh scripts/package-simulation-data.sh {experimentId} {arquivo.csv} {numClients} {numRounds} [estrategia]
Sobre o dataset-package.conf¶
É um arquivo KEY="valor" lido pelo shell (POSIX, sem dependência de parser JSON). Campos:
| Campo | Descrição |
|---|---|
DATASET_ID |
Nome do diretório; precisa bater com datasetCacheRoot(...) no código |
EXPERIMENT_ID |
Experimento que consome o dataset |
DATASET_FILE |
Caminho do arquivo de dados, relativo ao diretório do dataset |
DATASET_DESCRIPTION |
O que o dataset contém (vai para o descritor do pacote) |
PARTITION_STRATEGY |
by_existing_column, random_shuffle_seed, sequential_chunk ou stratified_by_label |
PARTITION_DESCRIPTION |
Como os clientes são divididos |
NUM_CLIENTS, NUM_ROUNDS |
Dimensões da simulação |
SAMPLES_PER_CLIENT |
-1 para variável |
WITH_CSV_SCHEMA |
1 grava dataset-schema.json (torna o pacote simulável pelo motor genérico CSV, sem adapter Java) |
TARGET_COLUMN, FEATURE_COLUMNS_SPEC, CLIENT_ID_COLUMN, RECORD_ID_COLUMN |
Esquema CSV; FEATURE_COLUMNS_SPEC aceita intervalo prefixo_0..prefixo_N |