Hermes Agent e GDPR: come installarlo on-premise per la conformità dei dati aziendali

Una delle domande più frequenti che riceviamo in Hermes Agent Experts è: “I miei dati lasciano l’azienda?”. La risposta breve è no, se installi Hermes Agent on-premise. In questo articolo vediamo come configurare Hermes Agent per la compliance GDPR, NIS2, e per i settori regolamentati (sanità, finanza, PA, difesa), con un focus pratico su cosa serve davvero in produzione.

Il problema: dati aziendali e modelli cloud

L’adozione di AI generativa nelle aziende europee è frenata da un problema preciso: i dati aziendali sono un patrimonio, e mandarli a un’API americana (OpenAI, Anthropic, Google) o cinese (DeepSeek, Qwen) crea rischi di:

• Violazione del GDPR (trasferimento verso paesi terzi senza adeguate garanzie, dopo Schrems II)
• Violazione di NDA con clienti e fornitori
• Perdita di vantaggio competitivo (i prompt e i dati possono essere usati per training, anche quando i vendor dicono il contrario)
• Mancata conformità settoriale (sanità, finanza, PA, difesa hanno regole proprie)

Hermes Agent nasce proprio per risolvere questo: è un agente open-source che gira dove vuoi tu, parla con qualsiasi modello (locale o API), e ti permette di costruire un’infrastruttura AI interamente sotto il tuo controllo.

Cosa significa “on-premise” per Hermes Agent

“On-premise” nel contesto di Hermes Agent significa tre cose concrete:

1. L’agente gira su un server tuo (fisico, VPS, cloud privato, ibrido). Nessuna chiamata a servizi di orchestrazione proprietari.
2. Il modello gira sul tuo hardware (o sul tuo cloud privato). Self-hosted con vLLM, Ollama, llama.cpp, TGI.
3. I dati restano nei tuoi storage (PostgreSQL, Qdrant, file system locale, S3 compatibile on-prem come MinIO).

Nessun componente “phone home” di default. Nessuna telemetria nascosta. Il codice è open-source (licenza MIT-like) e auditabile.

Architettura di riferimento on-premise

[ PC utente ] ←HTTPS→ [ Reverse proxy (Caddy/Traefik) ]
                              ↓
              [ Hermes Agent Core (Docker/K8s) ]
                              ↓
       ┌──────────┬──────────┬──────────┬──────────┐
       ↓          ↓          ↓          ↓          ↓
   [ LLM    ]  [ Vector ]  [ SQL DB ]  [ Tools ]  [ MCP    ]
   [ self-h.]  [ Store  ]  [          ]  [        ]  [ servers]
       ↓          ↓          ↓          ↓          ↓
   [ GPU     ]  [ /data  ]  [ /db    ]  [ /tmp  ]  [        ]
   [ server  ]  [        ]  [        ]  [        ]  [        ]

Tutto dentro il perimetro aziendale. Il reverse proxy gestisce TLS, autenticazione (SSO/LDAP/OAuth), rate limiting. Hermes Agent parla con i modelli self-hosted via API locale (OpenAI-compatible), con il vector store via API privata, con i tool aziendali via API/MCP.

Requisiti minimi di un’installazione on-premise

Hardware

Componente	Minimo	Consigliato per produzione
CPU	8 vCPU (modelli piccoli)	32+ vCPU
RAM	32 GB	128+ GB
GPU	opzionale (modelli quantizzati su CPU)	1-4× NVIDIA L40S / A100 / H100
Storage	500 GB SSD	2-10 TB NVMe (per vector store e log)
Rete	1 Gbps	10 Gbps

Software

• OS: Ubuntu 22.04 LTS o 24.04 LTS, RHEL 9, Rocky Linux 9
• Container: Docker + Docker Compose, oppure Kubernetes (Rancher, OpenShift, K3s)
• LLM serving: vLLM (consigliato), Ollama (dev), TGI (HuggingFace), llama.cpp (edge)
• Vector store: Qdrant (consigliato), Weaviate, pgvector
• Database: PostgreSQL 15+
• Observability: Prometheus + Grafana + Loki (o Elastic Stack)
• Auth: Keycloak, Authentik, o il vostro IdP aziendale
• TLS: Let’s Encrypt interno, oppure PKI aziendale

Modelli AI consigliati per on-premise (2026)

Modello	Parametri	Use case	VRAM minima
Llama 3.3 70B Instruct	70B (Q4)	Generico, qualità top	48 GB
Qwen 2.5 72B Instruct	72B (Q4)	Multilingua (IT/EN/FR/ES/DE/CN)	48 GB
Mistral Large 2 (123B)	123B (Q4)	Ragionamento, code	80 GB
DeepSeek-V3	67B MoE	Code + ragionamento, costo basso	48 GB
Mixtral 8x22B	141B (MoE attivo 39B)	Bilanciato qualità/costo	48 GB
Llama 3.1 8B Instruct	8B (Q4)	Edge, task semplici, bassa VRAM	8 GB
Phi-3 Medium	14B	Compatto, qualità sorprendente	12 GB

Per il mercato italiano ed europeo, Qwen 2.5 72B è spesso la scelta migliore: eccellente qualità in italiano, francese, spagnolo, tedesco, paragonabile a Llama 3 70B su benchmark MMLU e molto più economico da hostare.

Checklist GDPR per l’installazione

Ecco la checklist operativa che seguiamo in ogni deployment:

1. Mappatura dei trattamenti

• Cosa fa l’agente: elenco delle finalità (customer support, analisi dati, RAG, ecc.)
• Quali dati tratta: tipologie (anagrafici, sanitari, finanziari, codice, documenti interni)
• Base giuridica: esecuzione contratto, legittimo interesse, consenso
• Conservazione: tempi di retention per log, vector store, backup
• Aggiornamento del Registro dei Trattamenti (art. 30 GDPR)

2. Misure tecniche (art. 32 GDPR)

• Cifratura at rest di dischi, database, vector store, backup (LUKS, AES-256)
• Cifratura in transit (TLS 1.3, mTLS interno)
• Segregazione dei dati per team/progetto
• Access control: RBAC, principio del minimo privilegio, MFA per gli admin
• Audit log completi, firmati, conservati per il tempo richiesto
• Backup cifrati, testati regolarmente, off-site
• Penetration test annuale
• Vulnerability scanning continuo (Trivy, Snyk, OpenSCAP)

3. Misure organizzative

• Nomina del DPO (se obbligatorio per il settore)
• DPA (Data Processing Agreement) con tutti i subprocessor (es. hosting provider, vendor di LLM se usati)
• Formazione del personale sull’uso dell’agente
• Policy di uso accettabile firmata da tutti gli utenti
• Procedura di gestione DSR (diritto di accesso, rettifica, cancellazione, portabilità)
• Procedura di notifica data breach entro 72h (art. 33 GDPR)

4. Governance del modello

• Quale modello usiamo: lista dei modelli autorizzati, con motivazione
• Chi può cambiare modello: processo di change management
• Versionamento: tracciamento di quale modello ha generato quale output (importante per audit)
• Output review: sampling umano degli output per qualità e compliance
• Red teaming periodico contro jailbreak e prompt injection

Implementazione pratica: docker-compose minimo

Ecco un docker-compose.yml di partenza per un’installazione on-premise conforme:

version: '3.8'

services:
  # LLM self-hosted (vLLM con Qwen 2.5 72B quantizzato)
  llm:
    image: vllm/vllm-openai:latest
    runtime: nvidia
    environment:
      - MODEL=Qwen/Qwen2.5-72B-Instruct-AWQ
    volumes:
      - /opt/models:/models
    ports:
      - "8000:8000"
    deploy:
      resources:
        reservations:
          devices:
            - capabilities: [gpu]

  # Hermes Agent
  hermes:
    image: nousresearch/hermes-agent:latest
    environment:
      - HERMES_LLM_BASE_URL=http://llm:8000/v1
      - HERMES_VECTOR_STORE=qdrant
      - HERMES_QDRANT_URL=http://qdrant:6333
      - HERMES_DB_URL=postgresql://hermes:${DB_PASS}@db:5432/hermes
    volumes:
      - /opt/hermes/data:/data
      - /opt/hermes/skills:/skills
    ports:
      - "8080:8080"
    depends_on:
      - llm
      - qdrant
      - db

  # Vector store
  qdrant:
    image: qdrant/qdrant:latest
    volumes:
      - /opt/qdrant:/qdrant/storage
    ports:
      - "6333:6333"

  # Database
  db:
    image: postgres:15
    environment:
      - POSTGRES_DB=hermes
      - POSTGRES_USER=hermes
      - POSTGRES_PASSWORD=${DB_PASS}
    volumes:
      - /opt/pgdata:/var/lib/postgresql/data

  # Reverse proxy con TLS
  proxy:
    image: caddy:2
    volumes:
      - /opt/caddy/Caddyfile:/etc/caddy/Caddyfile
      - /opt/caddy/data:/data
    ports:
      - "443:443"

Tutto il traffico resta nella rete interna dei container. Solo il reverse proxy è esposto, con TLS e autenticazione SSO.

Audit log: cosa loggare

Hermes Agent può essere configurato per loggare in modo granulare. Ecco gli eventi che devono essere tracciati:

• User identity: chi ha fatto cosa (ID utente, IP, timestamp, user agent)
• Input: prompt dell’utente (con eventuali DLP - data loss prevention)
• Tool calls: quali tool ha chiamato, con quali argomenti
• Output: cosa ha risposto l’agente
• Modello usato: quale versione del modello, con hash dei pesi
• Latenza: quanto tempo ha impiegato
• Esito: successo, errore, fallback, escalation a umano
• Costi: token consumati, costo stimato

Questi log vanno inviati a un SIEM (Splunk, Elastic, Datadog) per correlazione con altri eventi di sicurezza.

Gestione del Diritto all’oblio (DSR)

Quando un utente esercita il diritto alla cancellazione (art. 17 GDPR), dobbiamo poter rimuovere tutti i suoi dati da:

1. Sistema di autenticazione (rimozione dell’account, revoca token)
2. Vector store (rimozione dei chunk associati all’utente)
3. Database conversazioni (cancellazione delle chat history)
4. Log applicativi (pseudonimizzazione delle entry che lo riguardano)
5. Backup (le cancellazioni si propagano secondo la policy di retention dei backup)

Configuriamo script automatici che eseguono queste operazioni in modo idempotente e tracciabile, con conferma dell’avvenuta cancellazione.

NIS2 e settori regolamentati

Per i settori coperti da NIS2 (energia, trasporti, sanità, infrastrutture digitali, PA, ecc.), Hermes Agent può essere configurato per soddisfare:

• Notifica incidenti entro 24h (early warning) e 72h (notifica completa) alle autorità competenti
• Gestione del rischio cyber: l’agente è un asset critico, va trattato come tale
• Continuità operativa: alta disponibilità, disaster recovery, RTO/RPO definiti
• Sicurezza della catena di fornitura: tutti i componenti (LLM, dipendenze, container) vanno valutati

Quando ha senso il cloud (ibrido) e quando no

On-premise puro è la scelta giusta per:

• Sanità, finanza, difesa, PA
• Aziende con obblighi di sovranità nazionale del dato
• Workflow che toccano segreti industriali o IP critico

Ibrido (alcuni modelli self-hosted, altri via API) è la scelta giusta per:

• PMI che vogliono minimizzare l’investimento iniziale
• Task che richiedono modelli di frontiera (ragionamento complesso, multimodalità avanzata)
• Workload non sensibili (analisi di mercato, ricerca pubblica, generazione contenuti marketing)

Cloud puro con API commerciali è accettabile solo per:

• Task su dati pubblici o anonimizzati
• Proof-of-concept, sperimentazione
• Aziende con policy di non-training esplicite del vendor e in paesi con decisione di adeguatezza

Quanto costa

L’installazione on-premise non è gratis: ha un costo iniziale (hardware o VM dedicate) e un costo di manutenzione. Tuttavia il TCO a 3 anni è spesso competitivo rispetto alle subscription cloud, soprattutto se l’azienda ha volumi elevati.

Ogni progetto viene valutato e quotato singolarmente per adattarsi esattamente all’infrastruttura di destinazione e ai flussi di dati necessari.

Studio Synapse propone una sessione di consulenza e assessment tecnico gratuito di 30 minuti senza alcun impegno, tesa a definire fattibilità, architettura idonea e costi custom. Scrivici a contatti@hermesagentexperts.com.

Domande frequenti

Hermes Agent è conforme al GDPR?

Hermes Agent è GDPR-friendly per design: può essere installato completamente on-premise con modelli self-hosted, quindi i dati personali non lasciano mai l'infrastruttura del cliente. La compliance completa dipende dalla configurazione: mappatura dei flussi di dati, controlli di accesso, retention, DSR procedures, registro dei trattamenti. Noi curiamo tutta la parte tecnica.

Posso usare Hermes Agent con dati sanitari?

Sì, in modalità on-premise con modelli self-hosted. Per dati sanitari (cartelle cliniche, referti) il requisito è ancora più stretto: i dati non devono uscire dal perimetro aziendale e i modelli non possono essere API esterne. Hermes Agent supporta nativamente questa modalità.

Hermes Agent può essere installato in una VPS o solo on-premise fisico?

Hermes Agent è agnostico rispetto all'infrastruttura: VPS, cloud privato, server fisico on-premise, ibrido. La scelta dipende dai requisiti di compliance: per sanità/finanza/difesa di solito si va on-premise fisico; per PMI è accettabile un VPS in EU (Hetzner, OVH) con backup cifrati.

Quali modelli AI posso usare on-premise con Hermes Agent?

Qualsiasi modello open-source che gira su hardware standard: Llama 3 (Meta), Mistral, Mixtral, Qwen 2.5 (Alibaba), DeepSeek-V3, Gemma (Google), Phi-3 (Microsoft). La qualità è comparabile a GPT-4 per la maggior parte dei task aziendali. Per task che richiedono un modello di frontiera possiamo usare un'API in modalità 'no data retention' di OpenAI, Anthropic o Google (verificare i termini del provider).

Come si gestisce la retention dei dati in Hermes Agent?

Hermes Agent non conserva dati per default: le conversazioni sono effimere a meno che non si abiliti esplicitamente la memoria. La retention dipende dalla configurazione del vector store (per il RAG) e dai log: consigliamo 30-90 giorni per i log operativi, retention configurabile per i documenti indicizzati, conformità al principio di minimizzazione del GDPR.

Hermes Agent supporta il diritto all'oblio (DSR)?

Sì, tramite procedure standard: rimozione dell'utente dal sistema di autenticazione, cancellazione dei suoi dati dal vector store, rimozione dai log (con procedure di pseudonimizzazione). Configuriamo script automatici per gestire le DSR in modo tracciabile e auditabile.

Che tipo di audit log produce Hermes Agent?

Hermes Agent può loggare ogni azione: input utente, tool chiamati, file letti/scritti, API esterne contattate, modello usato, latenza, costo. I log sono firmati e conservati secondo le policy aziendali. Integrazione con SIEM (Splunk, Elastic, Datadog) opzionale.

Hermes Agent può essere usato per dati di settori regolamentati (banca, assicurazioni, PA)?

Sì, con le opportune configurazioni. Per il settore bancario valgono le regole Banca d'Italia su esternalizzazione (circolare 285) e DORA; per le assicurazioni IVASS; per la PA AgID e il Cloud Italia. Hermes Agent on-premise con modelli self-hosted, audit log completi e cifratura end-to-end soddisfa i requisiti tipici.

Quanto costa una installazione on-premise enterprise di Hermes Agent?

Ogni progetto viene quotato su misura in base alla complessità d'integrazione, ai sistemi legacy, ai vincoli di sicurezza e al tipo di SLA richiesto. Studio Synapse fornisce stime dettagliate solo a valle di un'analisi tecnica iniziale. Offriamo una prima sessione di consulenza e assessment tecnico gratuito di 30 minuti per mappare i tuoi requisiti.

Quali certificazioni ha Studio Synapse per la compliance?

Studio Synapse opera con processi conformi a ISO/IEC 27001 (sicurezza informazioni) e segue le best practice OWASP, NIST CSF. Siamo disponibili a firmare NDA, DPA (Data Processing Agreement) e a supportare audit di terze parti. Per progetti in settori specifici collaboriamo con studi legali specializzati in privacy e protezione dati.

Conclusione

Hermes Agent è, ad oggi, una delle migliori risposte tecniche al problema della sovranità dei dati nell’era dell’AI generativa. On-premise, self-hosted, open-source, model-agnostic: tutte le proprietà che servono a un’azienda europea per adottare l’AI senza compromessi sulla compliance.

In Hermes Agent Experts (brand di Studio Synapse) installiamo e configuriamo Hermes Agent on-premise per aziende italiane ed europee, con un approccio orientato alla compliance by design. Se vuoi una valutazione onesta del tuo caso, scrivici: contatti@hermesagentexperts.com, rispondiamo entro un giorno lavorativo.