🌐 ITENFRESDE

Hermes Agent und DSGVO: So installieren Sie ihn On-Premise für die Compliance von Unternehmensdaten

· Hermes Agent Experts

Eine der am häufigsten gestellten Fragen, die wir bei den Hermes Agent Experts erhalten, lautet: „Verlassen meine Daten das Unternehmen?“. Die kurze Antwort ist Nein, wenn Sie Hermes Agent On-Premise installieren. In diesem Artikel zeigen wir Ihnen, wie Sie Hermes Agent so konfigurieren, dass er konform mit der DSGVO, NIS2 und den Anforderungen regulierter Sektoren (Gesundheitswesen, Finanzen, Behörden, Verteidigung) ist, mit einem praktischen Fokus darauf, was in der Produktion wirklich erforderlich ist.

Das Problem: Unternehmensdaten und Cloud-Modelle

Die Einführung generativer KI in europäischen Unternehmen wird durch ein konkretes Hindernis gebremst: Unternehmensdaten sind ein wertvolles Gut. Das Senden dieser Daten an eine US-amerikanische API (OpenAI, Anthropic, Google) oder eine chinesische API (DeepSeek, Qwen) birgt erhebliche Risiken:

  • Verstoß gegen die DSGVO (Datenübermittlung in Drittländer ohne angemessene Garantien, insbesondere nach dem Schrems-II-Urteil)
  • Verletzung von NDAs (Geheimhaltungsvereinbarungen) mit Kunden und Lieferanten
  • Verlust von Wettbewerbsvorteilen (Prompts und eingegebene Daten können für das Modell-Training verwendet werden, selbst wenn Anbieter das Gegenteil behaupten)
  • Mangelnde branchenspezifische Compliance (Gesundheitswesen, Finanzsektor, Behörden und Verteidigungsbereich haben eigene, extrem strenge Regeln)

Hermes Agent wurde genau dafür geschaffen: Er ist ein produktionsreifer Open-Source-Agent, der dort läuft, wo Sie es wollen, mit jedem beliebigen Modell (lokal oder über API) kommuniziert und es Ihnen ermöglicht, eine KI-Infrastruktur aufzubauen, die vollständig unter Ihrer Kontrolle steht.

Was bedeutet „On-Premise“ für den Hermes Agent

„On-Premise“ bedeutet im Kontext des Hermes Agents drei konkrete Dinge:

  1. Der Agent läuft auf Ihrem eigenen Server (physischer Server, VPS, Private Cloud, Hybrid-Setup). Es finden keine Aufrufe externer, proprietärer Orchestrierungsdienste statt.
  2. Das Modell läuft auf Ihrer eigenen Hardware (oder in Ihrer Private Cloud) – selbstgehostet über vLLM, Ollama, llama.cpp oder TGI.
  3. Die Daten verbleiben in Ihren eigenen Speichersystemen (PostgreSQL, Qdrant, lokales Dateisystem, On-Premise S3-kompatibler Speicher wie MinIO).

Es gibt standardmäßig keine „Phone Home“-Komponenten. Keine versteckte Telemetrie oder Datenübertragung. Der gesamte Code ist Open Source (MIT-ähnliche Lizenz) und vollständig auditierbar.

On-Premise-Referenzarchitektur

[ Benutzer-PC ] ←HTTPS→ [ Reverse-Proxy (Caddy/Traefik) ]

                    [ Hermes Agent Core (Docker/K8s) ]

             ┌──────────┬──────────┬──────────┬──────────┐
             ↓          ↓          ↓          ↓          ↓
         [ LLM    ]  [ Vector ]  [ SQL DB ]  [ Tools ]  [ MCP    ]
         [ self-h.]  [ Store  ]  [          ]  [        ]  [ Server ]
             ↓          ↓          ↓          ↓          ↓
         [ GPU-    ]  [ /data  ]  [ /db    ]  [ /tmp  ]  [        ]
         [ Server  ]  [        ]  [        ]  [        ]  [        ]

Alles verbleibt innerhalb des Unternehmensnetzwerks. Der Reverse-Proxy verwaltet TLS-Verschlüsselung, Authentifizierung (SSO/LDAP/OAuth) und Rate-Limiting. Der Hermes Agent kommuniziert mit den selbstgehosteten Modellen über eine lokale OpenAI-kompatible API, mit dem Vector Store über eine private API und mit den internen Systemen und Werkzeugen über APIs oder das Model Context Protocol (MCP).

Mindestanforderungen für eine On-Premise-Installation

Hardware

KomponenteMinimumEmpfohlen für Produktion
CPU8 vCPUs (für kleinere Modelle)32+ vCPUs
RAM32 GB128+ GB
GPUOptional (quantisierte Modelle auf CPU)1–4× NVIDIA L40S / A100 / H100
Speicher500 GB SSD2–10 TB NVMe (für Vector Store und Logs)
Netzwerk1 Gbit/s10 Gbit/s

Software

  • Betriebssystem: Ubuntu 22.04 LTS oder 24.04 LTS, RHEL 9, Rocky Linux 9
  • Containisierung: Docker + Docker Compose oder Kubernetes (Rancher, OpenShift, K3s)
  • LLM-Serving: vLLM (empfohlen), Ollama (Entwicklung), TGI (HuggingFace), llama.cpp (Edge)
  • Vector Store: Qdrant (empfohlen), Weaviate, pgvector
  • Datenbank: PostgreSQL 15+
  • Observierbarkeit: Prometheus + Grafana + Loki (oder Elastic Stack)
  • Authentifizierung: Keycloak, Authentik oder Ihr bestehender Identity Provider (IdP)
  • TLS: Internes Let’s Encrypt oder firmeninterne PKI

Empfohlene KI-Modelle für den On-Premise-Betrieb (2026)

ModellParameterAnwendungsfallMinimale VRAM
Llama 3.3 70B Instruct70B (Q4)Universeller Einsatz, Spitzenqualität48 GB
Qwen 2.5 72B Instruct72B (Q4)Mehrsprachig (DE/EN/IT/FR/ES/CN)48 GB
Mistral Large 2 (123B)123B (Q4)Logisches Denken (Reasoning), Coding80 GB
DeepSeek-V367B MoECoding + Reasoning, kosteneffizient48 GB
Mixtral 8x22B141B (MoE aktiv 39B)Ausgewogene Qualität/Kosten48 GB
Llama 3.1 8B Instruct8B (Q4)Edge-Szenarien, einfache Aufgaben, geringe VRAM8 GB
Phi-3 Medium14BKompakt, überraschend hohe Qualität12 GB

Für den europäischen Markt ist Qwen 2.5 72B oft die beste Wahl: Er bietet eine hervorragende Qualität in Deutsch, Englisch, Französisch, Spanisch und Italienisch, ist auf MMLU-Benchmarks direkt mit Llama 3 70B vergleichbar und lässt sich zudem sehr kosteneffizient betreiben.

DSGVO-Checkliste für die Installation

Hier ist die operative Checkliste, der wir bei jeder Systembereitstellung folgen:

1. Kartierung der Verarbeitungstätigkeiten

  • Was der Agent tut: Auflistung der Zwecke (Kundenservice, Datenanalyse, RAG, etc.)
  • Welche Daten verarbeitet werden: Datenkategorien (Stammdaten, Gesundheitsdaten, Finanzdaten, Code, interne Dokumente)
  • Rechtsgrundlage: Vertragserfüllung, berechtigtes Interesse, Einwilligung
  • Speicherung: Aufbewahrungsfristen (Retention) für Logs, Vector Store und Backups
  • Aktualisierung des Verzeichnisses von Verarbeitungstätigkeiten (Art. 30 DSGVO)

2. Technische Maßnahmen (Art. 32 DSGVO)

  • Verschlüsselung im Ruhezustand (at rest): Festplatten, Datenbanken, Vector Store und Backups (LUKS, AES-256)
  • Verschlüsselung bei der Übertragung (in transit): TLS 1.3, internes mTLS
  • Datentrennung (Segregation): logische oder physische Trennung der Daten nach Team/Projekt
  • Zugriffskontrolle: rollenbasierte Zugriffskontrolle (RBAC), Prinzip der minimalen Rechtevergabe (Least Privilege), Multi-Faktor-Authentifizierung (MFA) für Administratoren
  • Vollständige Audit-Logs: lückenlose, signierte Protokolle, die über den erforderlichen Zeitraum aufbewahrt werden
  • Backups: verschlüsselt, regelmäßig getestet und an externen Orten (off-site) gespeichert
  • Regelmäßige Penetrationstests (jährlich empfohlen)
  • Kontinuierliches Schwachstellen-Scanning (z. B. mit Trivy, Snyk, OpenSCAP)

3. Organisatorische Maßnahmen

  • Benennung eines Datenschutzbeauftragten (DPO), sofern gesetzlich oder branchenspezifisch vorgeschrieben
  • Auftragsverarbeitungsverträge (AVV / DPA) mit allen Subunternehmern (z. B. Cloud-/Hosting-Providern, Drittanbietern von LLM-APIs, falls genutzt)
  • Schulung und Sensibilisierung des Personals im Umgang mit dem KI-Agenten
  • Nutzungsrichtlinie (Acceptable Use Policy), die von allen berechtigten Benutzern unterzeichnet wird
  • Verfahren zur Erfüllung von Betroffenenrechten (DSR-Prozess): z. B. Recht auf Auskunft, Berichtigung, Löschung und Datenübertragbarkeit
  • Prozess zur Meldung von Datenschutzverletzungen (Data Breach) innerhalb von 72 Stunden (Art. 33 DSGVO)

4. Governance des KI-Modells

  • Modellauswahl: Dokumentation der zugelassenen Modelle inklusive entsprechender Begründung
  • Änderungsmanagement: klarer Freigabeprozess für Modellwechsel oder -aktualisierungen
  • Versionierung: Nachverfolgbarkeit, welches Modell exakt welche Antwort generiert hat (essenziell für Auditing)
  • Qualitätskontrolle (Output Review): stichprobenhafte menschliche Überprüfung der KI-Antworten auf Qualität und Richtlinienkonformität
  • Regelmäßiges Red Teaming zum Schutz vor Jailbreaks und Prompt-Injections

Praktische Umsetzung: Minimales docker-compose

Hier ist eine beispielhafte docker-compose.yml für den Einstieg in ein datenschutzkonformes On-Premise-Setup:

version: '3.8'

services:
  # Self-hosted LLM (vLLM mit quantisiertem Qwen 2.5 72B)
  llm:
    image: vllm/vllm-openai:latest
    runtime: nvidia
    environment:
      - MODEL=Qwen/Qwen2.5-72B-Instruct-AWQ
    volumes:
      - /opt/models:/models
    ports:
      - "8000:8000"
    deploy:
      resources:
        reservations:
          devices:
            - capabilities: [gpu]

  # Hermes Agent
  hermes:
    image: nousresearch/hermes-agent:latest
    environment:
      - HERMES_LLM_BASE_URL=http://llm:8000/v1
      - HERMES_VECTOR_STORE=qdrant
      - HERMES_QDRANT_URL=http://qdrant:6333
      - HERMES_DB_URL=postgresql://hermes:***@db:5432/hermes
    volumes:
      - /opt/hermes/data:/data
      - /opt/hermes/skills:/skills
    ports:
      - "8080:8080"
    depends_on:
      - llm
      - qdrant
      - db

  # Vector Store
  qdrant:
    image: qdrant/qdrant:latest
    volumes:
      - /opt/qdrant:/qdrant/storage
    ports:
      - "6333:6333"

  # Datenbank
  db:
    image: postgres:15
    environment:
      - POSTGRES_DB=hermes
      - POSTGRES_USER=hermes
      - POSTGRES_PASSWORD=${DB_PASS}
    volumes:
      - /opt/pgdata:/var/lib/postgresql/data

  # Reverse-Proxy mit TLS
  proxy:
    image: caddy:2
    volumes:
      - /opt/caddy/Caddyfile:/etc/caddy/Caddyfile
      - /opt/caddy/data:/data
    ports:
      - "443:443"

Der gesamte Datenverkehr verbleibt im isolierten internen Netzwerk der Container. Ausschließlich der Reverse-Proxy ist nach außen hin geöffnet und sichert den Zugang mittels TLS und SSO-Authentifizierung ab.

Audit-Logs: Was protokolliert werden sollte

Hermes Agent lässt sich extrem feingranular konfigurieren. Folgende Ereignisse sollten lückenlos nachvollziehbar protokolliert werden:

  • Benutzeridentität (User Identity): Wer hat was getan (Benutzer-ID, IP-Adresse, Timestamp, User-Agent)
  • Eingabe (Input): Der Prompt des Benutzers (ggf. gefiltert durch Data-Loss-Prevention-Mechanismen / DLP)
  • Tool-Aufrufe (Tool Calls): Welche internen oder externen Werkzeuge wurden mit welchen Argumenten aufgerufen
  • Ausgabe (Output): Die exakte Antwort des Agenten
  • Verwendetes Modell: Genaue Modellversion inklusive Hash-Wert der Modellgewichte
  • Latenz: Verarbeitungsdauer der jeweiligen Anfrage
  • Ergebnis (Status): Erfolg, Fehler, automatisches Fallback oder Eskalation an einen menschlichen Support-Mitarbeiter
  • Kosten: Anzahl der verbrauchten Token zusammen mit den geschätzten Kosten

Diese Protokollierungsdaten (Logs) werden idealerweise direkt an ein zentrales SIEM-System (wie Splunk, Elastic, Datadog) zur Korrelation mit weiteren Sicherheitsereignissen übermittelt.

Verwaltung des Rechts auf Vergessenwerden (DSR-Prozesse)

Macht ein Betroffener sein Recht auf Löschung (Art. 17 DSGVO) geltend, müssen sämtliche personenbezogenen Daten lückenlos entfernt werden aus:

  1. Authentifizierungssystem: Löschung des Accounts und Entzug aller erteilten Autorisierungs-Token.
  2. Vector Store: Bereinigung und Löschung aller mit dem Benutzer verknüpften Vektor-Daten (Chunks).
  3. Konversations-Datenbank: Dauerhafte Löschung des gesamten Chat-Verlaufs.
  4. Anwendungsprotokolle (Logs): Pseudonymisierung oder vollständige Bereinigung der den Benutzer betreffenden Log-Einträge.
  5. Backups: Die Löschungen spiegeln sich sukzessive nach Ablauf der definierten Backup-Aufbewahrungszyklen (Retention Policy) wider.

Wir konfigurieren automatisierte Skripte, die diese sensiblen Löschvorgänge idempotent, nachvollziehbar und mit einem lückenlosen Nachweis über die erfolgreiche Bereinigung durchführen.

NIS2 und regulierte Sektoren

In Branchen, die unter die NIS-2-Richtlinie fallen (Energie, Transport, Gesundheitswesen, digitale Infrastrukturen, öffentliche Verwaltung etc.), kann der Hermes Agent so konfiguriert werden, dass folgende Anforderungen direkt erfüllt werden:

  • Sicherheitsvorfallmeldungen: Unterstützung bei der Einhaltung von Meldefristen (Frühwarnung innerhalb von 24h, vollständige Meldung innerhalb von 72h) an die zuständigen Behörden.
  • Cyber-Risikomanagement: Der KI-Agent wird im Rahmen des Risikomanagements als geschäftskritischer IT-Asset behandelt und entsprechend überwacht.
  • Betriebskontinuität (Business Continuity): Gewährleistung von Hochverfügbarkeit, Erstellung von Disaster-Recovery-Plänen sowie die Definition präziser Kennzahlen (RTO/RPO).
  • Sicherheit der Lieferkette (Supply Chain Security): Automatisiertes Audit aller Softwarekomponenten (Open-Source-Lizenzen, Modellgewicht-Hashes, Docker-Container-Schwachstellen).

Wann eine (hybride) Cloud sinnvoll ist – und wann nicht

On-Premise-Betrieb (rein lokal) ist die richtige Wahl für:

  • Das Gesundheitswesen, den Finanzsektor, den Verteidigungsbereich sowie Behörden und Ministerien.
  • Unternehmen mit strengen regulatorischen Auflagen zur nationalen Datensouveränität.
  • Workflows, bei denen Betriebs- oder Geschäftsgeheimnisse sowie geschäftskritisches geistiges Eigentum (IP) verarbeitet werden.

Ein hybrider Ansatz (Kombination aus lokal gehosteten Modellen und externen APIs) eignet sich ideal für:

  • KMUs, die die anfänglichen Hardware-Investitionen möglichst gering halten wollen.
  • Aufgaben, die zwingend modernste Spitzenmodelle erfordern (z. B. extrem komplexes Reasoning oder hochentwickelte Multimodalität).
  • Unkritische Workflows (wie Marktanalysen, Auswertungen öffentlich zugänglicher Quellen, Content-Marketing).

Ein reiner Cloud-Betrieb mit kommerziellen APIs ist ausschließlich tragbar für:

  • Aufgaben mit bereits öffentlich zugänglichen oder vollständig anonymisierten Daten.
  • Erste Pilotprojekte oder experimentelle Testphasen.
  • Unternehmen, die explizite Vereinbarungen mit Anbietern über den Ausschluss des Modell-Trainings abgeschlossen haben und in Ländern agieren, für die ein Angemessenheitsbeschluss der EU vorliegt.

Was kostet das Ganze?

Die Bereitstellung einer On-Premise-Installation wird exakt auf Ihre Anforderungen und die vorhandene Infrastruktur abgestimmt. Wir bieten Ihnen hierzu ein transparentes Modell an, das genau auf den tatsächlichen Projektumfang zugeschnitten ist.

Im Vergleich zu Cloud-Abonnements mit unvorhersehbarem Datenvolumen bieten wir Ihnen planbare, stabile Rahmenbedingungen. Jedes Kooperationsprojekt wird von uns individuell auf Basis Ihrer Anforderungen kalkuliert.

Wir bieten Ihnen ein kostenfreies, unverbindliches 30- bis 45-minütiges Erstgespräch für eine technische Ersteinschätzung an. Schreiben Sie uns einfach an kontakt@hermesagentexperts.com.

Häufig gestellte Fragen

Ist Hermes Agent DSGVO-konform? Hermes Agent ist standardmäßig auf Datenschutz ("Privacy by Design") ausgelegt: Er kann vollständig On-Premise mit selbstgehosteten Modellen betrieben werden, sodass personenbezogene Daten die Infrastruktur des Kunden niemals verlassen. Die vollständige Compliance hängt von der Konfiguration ab: Datenfluss-Mapping, Zugriffskontrollen, Aufbewahrungsfristen (Retention), DSR-Prozesse, Verzeichnis von Verarbeitungstätigkeiten. Wir kümmern uns um den gesamten technischen Teil.
Kann ich Hermes Agent mit Patientendaten verwenden? Ja, im On-Premise-Modus mit selbstgehosteten Modellen. Für Gesundheitsdaten (Patientenakten, Befunde) sind die Anforderungen besonders streng: Daten dürfen das Unternehmensnetzwerk nicht verlassen und die Modelle dürfen nicht extern über APIs angebunden sein. Hermes Agent unterstützt diesen Modus nativ.
Kann Hermes Agent auf einem VPS oder nur auf physischen On-Premise-Servern installiert werden? Hermes Agent ist infrastrukturagnostisch: Er läuft auf VPS, in privaten Clouds, auf physischen On-Premise-Servern oder in hybriden Setups. Die Wahl hängt von den Compliance-Anforderungen ab: Für das Gesundheitswesen, Finanzsektor oder Verteidigungsbereich wird meist ein physischer On-Premise-Server gewählt; für KMU ist ein VPS in der EU (z. B. Hetzner, OVH) mit verschlüsselten Backups oft absolut ausreichend.
Welche KI-Modelle kann ich On-Premise mit Hermes Agent nutzen? Jedes beliebige Open-Source-Modell, das auf Standardhardware läuft: Llama 3 (Meta), Mistral, Mixtral, Qwen 2.5 (Alibaba), DeepSeek-V3, Gemma (Google), Phi-3 (Microsoft). Die Leistung ist für die meisten Business-Aufgaben absolut vergleichbar mit GPT-4. Für Aufgaben, die ein absolutes Spitzenmodell (Frontier-Modell) erfordern, können wir APIs im 'No Data Retention'-Modus von OpenAI, Anthropic oder Google anbinden (Details sind in den Geschäftsbedingungen des jeweiligen Providers zu prüfen).
Wie wird die Datenaufbewahrung (Retention) in Hermes Agent verwaltet? Hermes Agent speichert standardmäßig keine Daten: Konversationen sind flüchtig, es sei denn, das Gedächmiste (Memory) wird explizit aktiviert. Die Aufbewahrungsdauer hängt von der Konfiguration des Vector Stores (für RAG) und den Logs ab: Wir empfehlen 30–90 Tage für Betriebsprotokolle (Logs) sowie eine konfigurierbare Aufbewahrung für indexierte Dokumente im Einklang mit dem Grundsatz der Datenminimierung der DSGVO.
Unterstützt Hermes Agent das Recht auf Vergessenwerden (DSR)? Ja, durch standardisierte Verfahren: Löschung des Benutzers aus dem Authentifizierungssystem, Löschung seiner Daten aus dem Vector Store und Entfernung aus den Logs (durch Pseudonymisierungsverfahren). Wir richten automatisierte Skripte ein, um diese Datenlöschungsanfragen (DSRs) nachvollziehbar und auditierbar zu bearbeiten.
Welche Art von Audit-Logs erstellt Hermes Agent? Hermes Agent kann jede Aktion protokollieren: Benutzereingaben, aufgerufene Tools, gelesene/geschriebene Dateien, kontaktierte externe APIs, verwendetes Modell, Latenz und Kosten. Die Logs werden signiert und gemäß den Unternehmensrichtlinien aufbewahrt. Die Integration in SIEM-Systeme (Splunk, Elastic, Datadog) ist optional möglich.
Kann Hermes Agent für regulierte Branchen (Banken, Versicherungen, öffentliche Hand) eingesetzt werden? Ja, mit den entsprechenden Konfigurationen. Im Bankensektor gelten beispielsweise die nationalen Vorgaben zur Auslagerung sowie die DORA-Verordnung, für Versicherungen spezifische Aufsichtsregeln, und für Behörden nationale Cloud-Richtlinien. Hermes Agent erfüllt diese typischen Anforderungen durch seinen On-Premise-Betrieb mit selbstgehosteten Modellen, lückenlosen Audit-Logs und Ende-zu-Ende-Verschlüsselung.
Wie viel kostet eine On-Premise-Enterprise-Installation von Hermes Agent? Die genauen Kosten hängen stark vom Projektumfang, der Anzahl der gewünschten Systemintegrationen und Ihrer Infrastruktur ab. Studio Synapse erstellt für Sie ein maßgeschneidertes, individuelles Angebot. Wir bieten Ihnen eine kostenfreie 30-minütige Erstberatung / technische Ersteinschätzung an, um Ihren Bedarf zu ermitteln und ein faires Angebot für Ihr Unternehmen zu kalkulieren.
Welche Zertifizierungen besitzt Studio Synapse für Compliance? Studio Synapse arbeitet nach Prozessen, die konform zur ISO/IEC 27001 (Informationssicherheit) sind, und folgt den Best Practices von OWASP und dem NIST CSF. Wir stehen für die Unterzeichnung von NDAs, DPAs (Auftragsverarbeitungsverträgen) zur Verfügung und unterstützen Audits durch Dritte. Für Projekte in hochregulierten Bereichen arbeiten wir zudem mit spezialisierten Kanzleien für Datenschutz- und IT-Recht zusammen.

Fazit

Hermes Agent ist heute eine der besten technologischen Antworten auf die so wichtige Frage der Datensouveränität im Zeitalter der generativen KI. On-Premise, selbstgehostet, Open Source, modellagnostisch: Er bietet genau die Eigenschaften, die europäische Unternehmen benötigen, um KI-Systeme ohne jegliche Kompromisse bei der gesetzlichen Compliance einzuführen.

Als Hermes Agent Experts (eine Marke von Studio Synapse) installieren, konfigurieren und warten wir Hermes Agent On-Premise für europäische Unternehmen – mit einem klaren Fokus auf „Compliance by Design“. Wenn Sie eine ehrliche und fundierte Bewertung für Ihr Unternehmen wünschen, schreiben Sie uns einfach an: kontakt@hermesagentexperts.com. Wir antworten Ihnen verlässlich innerhalb eines Werktages.


Richiedi una consulenza gratuita →

← Torna al blog