Ir para o conteúdo

Docker

Esta pasta contém imagens de execução para experimentos e clientes federados.

Imagens

Imagem local Dockerfile Finalidade
hdt-af-client:local docker/client/Dockerfile Executa um cliente federado isolado, usado pela simulação DT
hdt-af-experiment:local docker/experiment/Dockerfile Executa uma aplicação de experimento completa dentro de container
hdt-af:latest docker/Dockerfile.app Imagem da plataforma completa HDT-AF (Admin Web, Orchestrator, Fabric Gateway e módulos reactor)

Implantação em Servidor / VM Remota (docker-compose.vm.yml)

Para implantação completa em ambiente de servidor/VM remota (ex.: VM 192.168.10.198), utilize o arquivo de orquestração docker/docker-compose.vm.yml:

  • Serviços provisionados:
  • hdt-af-admin (hdt-af:latest): Monitor web, API REST e integração com Hyperledger Fabric na porta 8088.
  • mosquitto (eclipse-mosquitto:2): Broker MQTT 5 com TLS 1.3 / mTLS na porta 8883, TCP plain na porta 1883 e WebSocket na 9001.
  • postgres (postgres:16-alpine): Persistência relacional do CDM na porta host 15432:5432 (isolada da porta 5432 padrão).
  • Redes Docker (Dual-Network):
  • hdt-net: Rede bridge interna do compose.
  • fabric_test: Rede bridge externa do test-network da Fabric, permitindo resolução DNS direta de peer0.org1.example.com:7051.

Documentação detalhada e diagramas: - Guia de Implantação em VM - Topologia de Implantação em VM

Layout de volumes

Volume do host Montagem no container Modo Finalidade
target/classes /app/classes ro Classes Java compiladas
data/{client_id}/{experiment_id} /app/data/{client_id}/{experiment_id} ro Dataset de um cliente específico
data /app/data rw Materialização de datasets por uma aplicação de experimento
target/artifacts /app/artifacts rw Updates, métricas, relatórios e modelos off-chain
target/docker-runtime/... /app/runtime rw Arquivos temporários de execução do cliente
target/docker-sim/.../clients/{client_id} /app/output rw Resultado do container do cliente
research /app/research rw ou ro Especificações, manifests e cache de datasets

Variáveis de runtime

Variável Valor no Docker Descrição
HDT_AF_DATA_ROOT /app/data Raiz dos dados locais
HDT_AF_ARTIFACT_ROOT /app/artifacts Raiz de artefatos off-chain
HDT_AF_RUNTIME_ROOT /app/runtime Raiz de arquivos temporários
HDT_AF_RESEARCH_ROOT /app/research Raiz de especificações e datasets de pesquisa

Os aliases DATA_ROOT, ARTIFACT_ROOT, CLIENT_RUNTIME_ROOT e RESEARCH_ROOT também são aceitos para compatibilidade operacional.

Scripts

sh scripts/run-simulator-docker.sh

Executa a simulação DT com um container por cliente.

HAR_MAX_CLIENTS=5 sh scripts/run-har-experiment-docker.sh

Executa o experimento HAR completo dentro de um container de experimento.

Observabilidade (BL-183/BL-185/BL-186)

Stack Node Exporter + cAdvisor + Prometheus + Promtail + Loki + Grafana, em arquivo compose dedicado (docker-compose.observability.yml na raiz — mesmo projeto hdt-af do docker-compose.yml principal, mas standalone, sem depender de mosquitto/postgres/ hdt-af-admin estarem no ar). docker compose up (arquivo principal) não sobe nenhum destes 6 serviços — é preciso o comando abaixo. scripts/run-admin-web.sh já sobe essa stack automaticamente (best-effort — se o Docker não estiver disponível, o monitor sobe normalmente sem observabilidade).

docker compose -f docker-compose.observability.yml up -d
# Grafana: http://localhost:${GRAFANA_PORT:-3000}  (usuário/senha: admin/admin por padrão)
# Prometheus: http://localhost:${PROMETHEUS_PORT:-9090}

Os datasources Prometheus (uid: prometheus-ds) e Loki (uid: loki-ds) já vêm provisionados no Grafana (ver docker/grafana/provisioning/datasources/); dashboards adicionados em docker/grafana/dashboards/*.json aparecem automaticamente na pasta "HDT-AF".

Portas configuráveis via .env (NODE_EXPORTER_PORT, CADVISOR_PORT, PROMETHEUS_PORT, LOKI_PORT, GRAFANA_PORT) — os padrões (9100/8080/9090/3100/3000) colidem facilmente com outros projetos que já usam essa mesma stack na máquina do desenvolvedor.

Dashboards provisionados (BL-186)

Dashboard Arquivo O que mostra
HDT-AF — Containers docker/grafana/dashboards/containers.json CPU/memória/rede/disco por container (cAdvisor) + CPU/memória/disco do host (node-exporter)
HDT-AF — Requisições HTTP docker/grafana/dashboards/http-requests.json Requisições/s por status, duração média e p95, distribuição por rota/status e log ao vivo das requisições — via LogQL sobre as linhas [HTTP] já emitidas pelo AdminWebServer (BL-183)

cAdvisor e nomes de container em Docker Desktop (macOS/Windows): cAdvisor tenta se conectar ao daemon Docker/containerd para enriquecer as métricas com o nome do container (docker run --name hdt-af-admin → label name="hdt-af-admin"). Em Docker Desktop essa conexão falha (Cannot connect to ... containerd.sock), porque o socket real do containerd só existe dentro da VM Linux do Docker Desktop, não é exposto ao host de forma montável — mesma classe de limitação da coleta de logs via docker_sd_configs do Promtail (documentada acima). As métricas continuam corretas (cAdvisor lê cgroupfs diretamente), só ficam identificadas pelo id (caminho cgroup / ID longo do container) em vez do nome legível — funciona perfeitamente em Docker Engine nativo (Linux), onde o socket é um arquivo real do host.

Duas origens de logs (ver docker/promtail/promtail-config.yml):

  1. Containers Docker (job=docker), descobertos via socket do Docker (docker_sd_configs). Funciona em hosts Linux com Docker Engine nativo. Não funciona em Docker Desktop (macOS/Windows) — os containers rodam numa VM Linux isolada e /var/lib/docker não existe no host, então o Promtail não encontra nada para ler. Para coletar logs de containers em Docker Desktop, instale o Loki Docker Logging Driver no daemon (docker plugin install grafana/loki-docker-driver:latest --alias loki --grant-all-permissions) e configure logging: driver: loki nos serviços do compose.
  2. Execuções locais fora do Docker (job=hdt-af-local) — mvn test, scripts/run-*.sh — que escrevem em logs/hdt-af.log e logs/hdt-af-error.log na raiz do repositório (ver modules/federated-common/src/main/resources/logback.xml). Este caminho funciona independente de plataforma, inclusive em macOS/Windows, porque lê um diretório do host normal, não o storage interno do Docker.

O pipeline foi validado ponta a ponta nesta entrega: node-exporter → Prometheus (scrape up), e logs/hdt-af.log → Promtail → Loki, consultável via {job="hdt-af-local"} com os labels level e logger extraídos automaticamente do padrão do Logback.