Ir para o conteúdo

research/datasets/ — um diretório por dataset

Cada subdiretório é o cache local de um dataset, resolvido em código por ExperimentRuntimePaths.datasetCacheRoot("{datasetId}") — ou seja, o nome do diretório é o datasetId e não pode ser alterado sem mudar o código do experimento correspondente.

Conteúdo de cada diretório

Arquivo Obrigatório Papel
dataset-package.conf sim Configuração declarativa do empacotamento (.hdtsim.zip)
README.md sim Origem do dado, arquivo esperado e como obtê-lo
arquivo(s) de dados não¹ O dataset em si

¹ Datasets de acesso restrito (MIMIC) ou grandes demais para versionar (MNIST) não ficam no repositório. O dataset-package.conf e o README.md ficam versionados de qualquer forma, para que o empacotamento seja reprodutível assim que o arquivo de dados estiver presente.

Mapa dataset → experimento

datasetId Experimento Arquivo esperado Dado no repositório
uci-har exp-har-smartphones-001 UCI HAR Dataset/ (diretório) sim
ecg5000 exp-ecg5000-anomaly-001 ECG5000_TRAIN.txt sim
ergonomic-risk exp-ergonomic-risk-001 ergonomic_risk.csv sim (amostra)
mnist exp-mnist-digits-001 mnist_train.csv não
mimic-v31 exp-mimic-v31-icu-mortality-001 cohort.csv não (acesso credenciado)

Empacotar um dataset

O empacotamento lê o dataset-package.conf do diretório — sem perguntas interativas:

sh scripts/package-simulation-data.sh --dataset ecg5000

Saída: target/packages/{experimentId}.hdtsim.zip.

Para implantar na plataforma com o monitor rodando:

sh scripts/package-simulation-data.sh --dataset ecg5000 --submit

O modo interativo/posicional antigo continua funcionando:

sh scripts/package-simulation-data.sh {experimentId} {arquivo.csv} {numClients} {numRounds} [estrategia]

Sobre o dataset-package.conf

É um arquivo KEY="valor" lido pelo shell (POSIX, sem dependência de parser JSON). Campos:

Campo Descrição
DATASET_ID Nome do diretório; precisa bater com datasetCacheRoot(...) no código
EXPERIMENT_ID Experimento que consome o dataset
DATASET_FILE Caminho do arquivo de dados, relativo ao diretório do dataset
DATASET_DESCRIPTION O que o dataset contém (vai para o descritor do pacote)
PARTITION_STRATEGY by_existing_column, random_shuffle_seed, sequential_chunk ou stratified_by_label
PARTITION_DESCRIPTION Como os clientes são divididos
NUM_CLIENTS, NUM_ROUNDS Dimensões da simulação
SAMPLES_PER_CLIENT -1 para variável
WITH_CSV_SCHEMA 1 grava dataset-schema.json (torna o pacote simulável pelo motor genérico CSV, sem adapter Java)
TARGET_COLUMN, FEATURE_COLUMNS_SPEC, CLIENT_ID_COLUMN, RECORD_ID_COLUMN Esquema CSV; FEATURE_COLUMNS_SPEC aceita intervalo prefixo_0..prefixo_N