Wie betreiben Sie ein kundenspezifisches Open-LLM auf EU-Infrastruktur
- vor 5 Stunden
- 6 Min. Lesezeit
In sechs Schritten laesst sich ein kundenspezifisch trainiertes Uebersetzungsmodell auf Hardware aufbauen, die Sie selbst kontrollieren, und das Ganze steht und faellt mit Entscheidungen, die Sie treffen, bevor ein einziges Wort uebersetzt wird. Waehlen Sie die falsche Lizenz, muss die Rechtsabteilung ein Produktivsystem wieder auseinandernehmen. Schicken Sie eine einzige kontrollierte technische Datei an eine gemeinsam genutzte oeffentliche API, haben Sie unter Umstaenden eine nicht genehmigte Weitergabe nach EU-Recht vorgenommen. Richten Sie es korrekt ein, besitzen Sie etwas, das den meisten Uebersetzungseinkaeufern fehlt: eine KI-Uebersetzungspipeline, bei der Kundendaten eine Umgebung nie verlassen, die Sie auf einer Karte zeigen koennen.
So sieht der Workflow aus, den wir bei AD VERBUM als unseren Standard-AI+HUMAN-Hybrid betreiben, aufbereitet, damit ein internes Lokalisierungs- oder Compliance-Team ihn nachvollziehen kann.
Die Pipeline in sechs Schritten
Die Reihenfolge zaehlt. Jeder Schritt liefert die Pruefnachweise, auf die der naechste angewiesen ist.
Waehlen Sie ein Open-Weight-Modell mit einer sauberen Lizenz. DeepSeek V4 erscheint unter MIT, Qwen 3.6 und Mistral Large 3 unter Apache 2.0. Alle drei sind selbst hostbar und feinabstimmbar, sodass nichts Ihre Inhalte durch eine Anbieter-API zwingt.
Richten Sie eine isolierte, EU-gehostete Umgebung ein. Betreiben Sie sie auf eigener Hardware oder in einer Single-Tenant-Enterprise-Cloud in der EU, ohne einen Weg, auf dem Kundendaten diese Grenze verlassen.
Trainieren Sie fein auf dem Translation Memory und der Terminologiedatenbank des Kunden innerhalb dieser Umgebung. Die Trainingsdaten bleiben dort, wo das Modell laeuft, und die trainierten Gewichte werden zu einem kundenspezifischen Wert statt zu einer geteilten Engine.
Beschraenken Sie die Generierung zur Laufzeit mit demselben TM und derselben Terminologiedatenbank. Das Modell schlaegt vor, Ihre Terminologie entscheidet, sodass freigegebene Begriffe und fruehere Segmente eine fluessige, aber falsche Vermutung ueberschreiben.
Ergaenzen Sie zertifiziertes menschliches Post-Editing. Eine qualifizierte Fachuebersetzerin oder ein Fachuebersetzer prueft die Ausgabe nach ISO 17100 und ISO 18587 und uebernimmt die Verantwortung fuer den endgueltigen Text.
Protokollieren Sie jeden Schritt. Erfassen Sie Modellversion, Trainingsdaten, Prompts und Pruefhandlungen als Nachweis fuer ISO 42001 und ISO 27001.
Die Schritte 1, 2 und 6 sind die Stellen, an denen die meisten internen Projekte still scheitern, deshalb folgen unten die Details.
Schritt 1, Lizenz und Rechtsraum pruefen
Eine freizuegige Lizenz und ein unbedenklicher Rechtsraum sind zwei getrennte Pruefungen, und Sie brauchen beide.
MIT und Apache 2.0 erlauben Ihnen, kommerziell zu deployen, zu veraendern und feinabzustimmen, ohne jemanden zu fragen. Deshalb sind DeepSeek V4, Qwen 3.6 und Mistral Large 3 die sauberen Ausgangspunkte. Achten Sie auf "Community"- oder "modifizierte" Lizenzen, die Nutzungsklauseln oder Nutzerzahl-Schwellen hinzufuegen, denn diese erfordern eine rechtliche Pruefung vor dem grossflaechigen Einsatz.
Der Rechtsraum ist die zweite Pruefung. Das Selbst-Hosting der Gewichte auf EU-Hardware neutralisiert die Frage der Datenresidenz, da die Inferenz die Server des Modellanbieters nie beruehrt. Fuer Kunden aus Verteidigung und Life Sciences beseitigt ein in Europa gebautes Modell wie Mistral Large 3 das Argument vollstaendig. Ueber die Abwaegungen im aktuellen Feld haben wir in unserem Ueberblick ueber die besten offenen LLM-Modelle fuer regulierte Uebersetzung geschrieben.
Schritt 2, die Umgebung isolieren
Der Sinn eines eigenen Modells ist, dass Inhalte nie eine gemeinsam genutzte oeffentliche API erreichen. Dieses Versprechen haelt nur, wenn das Deployment wirklich Single-Tenant ist.
Fuer uns bedeutet das EU-gehostete Infrastruktur nach ISO 27001 und ISO 42001, ohne Rueckgriff auf Public-Cloud-Werkzeuge fuer die Kernverarbeitung. Das TM, die Terminologiedatenbank und die Quelldateien eines Kunden liegen innerhalb einer Grenze, und das trainierte Modell liegt dort bei ihnen. Der Unterschied zwischen dem und einem SaaS-Uebersetzungstool, das zufaellig in Frankfurt hostet, ist Kontrolle: Sie bestimmen die Aufbewahrung, das Zugriffsprotokoll und die Loeschung. Genau an diesem Punkt haben wir Anbieter in unserem Beitrag dazu verglichen, welche Uebersetzungsunternehmen kundenspezifische LLMs auf EU-gehosteter Infrastruktur betreiben.
Schritte 3 bis 5, trainieren, beschraenken, dann einen Menschen abzeichnen lassen
Das Feintuning auf dem eigenen TM und der Terminologiedatenbank eines Kunden macht aus einem allgemeinen Modell einen Uebersetzungswert, der die Produktnamen, die regulatorische Formulierung und den Hausstil des Kunden spricht. Die trainierten Gewichte tragen dieses Wissen, und die Terminologiedatenbank erzwingt es zur Laufzeit, sodass eine fluessige Vermutung einen freigegebenen Begriff nicht ueberschreiben kann.
Der menschliche Schritt ist bei reguliertem Inhalt nicht optional. Ein allgemeines LLM erzeugt selbstsichere, gut lesbare Ausgabe, die dennoch auf eine Weise falsch sein kann, die eine fachfremde Person nicht bemerkt, weshalb sowohl klassische segmentbasierte neuronale MT als auch rohe LLM-Ausgabe eine zertifizierte Pruefung fuer auditfaehige Arbeit brauchen. Dieses Argument fuehren wir vollstaendig in unserem Beitrag zu NMT versus LLM-Uebersetzung aus. Nach ISO 18587 ist die post-editierende Person eine qualifizierte Fachkraft, die die endgueltige Uebersetzung verantwortet, kein Rechtschreibpruefer.
Schritt 6, fuer das Audit protokollieren, das Ihnen bevorsteht
Eine KI-Uebersetzungspipeline ohne Aufzeichnung dessen, was sie getan hat, ist bei einer Pruefung durch eine Datenschutzbehoerde oder einem Kundenaudit ein Risiko. ISO 42001 erwartet ein KI-Managementsystem mit Risikobewertung, Folgenabschaetzung und nachvollziehbaren Entscheidungen, und ISO 27001 erwartet eine Zugriffs- und Aenderungsaufzeichnung. Erfassen Sie die Modellversion und ihre Lizenz, die Trainingsdaten und ihre Herkunft, die Prompts und Terminologiebeschraenkungen sowie jede Pruefhandlung. Dieses Protokoll belegt auch Ihre Dual-Use-Position, um die es als Naechstes geht.
Wo es schiefgeht
Die meisten Fehler lassen sich auf eine Abkuerzung zurueckfuehren, die genommen wurde, um eine Woche Einrichtung zu sparen. Achten Sie auf diese.
Die Lizenzpruefung ueberspringen. Eine "modifizierte" oder Community-Lizenz kann genau das Deployment einschraenken, das Sie gebaut haben, und es im Produktivbetrieb herauszufinden bedeutet, ein laufendes System auseinanderzunehmen.
Inhalte ueber eine gemeinsam genutzte oeffentliche API leiten. In dem Moment, in dem die kontrollierte Datei eines Kunden einen Consumer-KI-Endpunkt erreicht, ist Ihr Versprechen der Datenisolierung dahin, und der Pruefpfad ebenso.
Die Dual-Use-Exposition ignorieren. Nach Verordnung 2021/821 Artikel 2 gilt die Weitergabe von Arbeitswissen im Zusammenhang mit kontrollierten Guetern nach Anhang I oder Anhang IV als technische Unterstuetzung, sodass das Feintuning eines Modells auf kontrollierten technischen Daten oder die Uebergabe an eine ungepruefte uebersetzende Person eine nicht genehmigte Weitergabe sein kann. Gepruefte Uebersetzerinnen und Uebersetzer und eine EU-gehostete Umgebung beantworten das, eine Geheimhaltungsvereinbarung nicht.
Protokollierung als nachtraeglichen Gedanken behandeln. Wird der Nachweis nicht erfasst, waehrend die Arbeit geschieht, koennen Sie ihn spaeter fuer BAFA, DGA oder eine benannte Stelle nicht rekonstruieren.
Beheben Sie diese vier Punkte, und die Pipeline haelt der Pruefung stand, fuer die sie gebaut wurde. AD VERBUM betreibt dies als unseren Standard-Workflow statt als Sonderprojekt, und das ist der Unterschied zwischen einer Demo und einer konformen Produktionslinie. Einen breiteren Blick darauf, welche Governance der EU AI Act nun von KI-Uebersetzung verlangt, gibt was ISO 42001 von einem KI-gesteuerten Uebersetzungsunternehmen verlangt.
Unsere KI-Uebersetzungsdienstleistungen
Unsere Uebersetzungsdienstleistungen fuer regulierte Branchen laufen auf ISO 27001- und ISO 42001-zertifizierter, EU-gehosteter Infrastruktur, ohne Rueckgriff auf Public-Cloud-Werkzeuge fuer die Kernverarbeitung. Jedes Projekt durchlaeuft unseren AI+HUMAN-Hybrid-Workflow: Wir uebernehmen zuerst die Translation Memories und Terminologiedatenbanken des Kunden, unser proprietaeres LLM-basiertes LangOps-System erzeugt Ausgabe, die durch die Kundenterminologie auf kundenspezifisch trainierten Open-Weight-Modellen beschraenkt wird, und unsere zertifizierten Fachexpertinnen und Fachexperten pruefen auf technische Genauigkeit und regulatorische Konformitaet. Unsere QA ist an ISO 17100 und ISO 18587 ausgerichtet, mit branchenspezifischen Anforderungen wie dem EU AI Act (Verordnung 2024/1689) und der Handhabung kontrollierter Daten nach der Dual-Use-Verordnung 2021/821, wo relevant. Wir betreuen Kunden aus Life Sciences, Recht, Finanzen, Verteidigung und Fertigung in ueber 150 Sprachen mit ueber 3.500 Fachuebersetzerinnen und Fachuebersetzern. Fuer Teams, die auditsensible Inhalte verwalten: kontaktieren Sie uns, um Ihre Sicherheits- und Compliance-Anforderungen direkt zu besprechen.
FAQ
Welche offenen LLMs haben eine saubere genug Lizenz fuer kommerzielles Selbst-Hosting?
DeepSeek V4 (MIT), Qwen 3.6 und Mistral Large 3 (beide Apache 2.0) erlauben alle kommerzielle Nutzung, Veraenderung und Feintuning ohne Anbietervertrag. MIT und Apache 2.0 sind die beiden freizuegigen Lizenzen ohne Nutzerzahl- oder Nutzungsklauseln. Community- oder "modifizierte" Lizenzen erfordern eine rechtliche Pruefung vor dem grossflaechigen Einsatz.
Schafft das Selbst-Hosting eines Modells chinesischen Ursprungs ein Datenresidenz-Problem?
Das Selbst-Hosting der offenen Gewichte auf EU-Hardware bedeutet, dass die Inferenz die Server des Anbieters nie erreicht, sodass die Frage der Datenresidenz dadurch beantwortet wird, wo Sie das Modell betreiben, nicht wo es gebaut wurde. Die Lizenzbedingungen binden Sie unabhaengig vom Rechtsraum. Fuer Kaeufer, die das Argument vollstaendig ausraeumen wollen, ist ein in Europa gebautes Modell wie Mistral Large 3 die klare Wahl.
Worin unterscheidet sich das Feintuning auf einem Translation Memory vom Prompting?
Das Feintuning passt die Gewichte des Modells auf dem eigenen TM und der Terminologiedatenbank des Kunden an, sodass das Modell die Hausterminologie und Formulierung verinnerlicht. Die Beschraenkung der Generierung zur Laufzeit mit derselben Terminologiedatenbank erzwingt dann freigegebene Begriffe Segment fuer Segment. Zusammen erzeugen sie Ausgabe, die an der regulatorischen Sprache des Kunden ausgerichtet ist, statt an einem generischen Register.
Ist eine menschliche Pruefung weiterhin erforderlich, wenn das Modell auf Kundendaten trainiert ist?
Ja. ISO 18587 verlangt eine qualifizierte post-editierende Person, die die Verantwortung fuer die endgueltige Uebersetzung uebernimmt, und bei reguliertem Inhalt faengt diese Pruefung Fehler ab, die ein fluessiges Modell weiterhin macht. Ein trainiertes Modell verringert den Editieraufwand, entfernt aber nicht den Verantwortungsschritt.
Was erwartet ISO 42001 von einer KI-Uebersetzungspipeline?
ISO 42001 ist die Norm fuer KI-Managementsysteme und erwartet eine Risikobewertung, eine Folgenabschaetzung des KI-Systems und nachvollziehbare Aufzeichnungen darueber, wie das System gebaut und betrieben wird. Fuer eine Uebersetzungspipeline bedeutet das, Modellversion, Trainingsdaten, Prompts, Terminologiebeschraenkungen und Pruefhandlungen zu protokollieren. Dieser Nachweis ist es, der bei einer Pruefung durch eine Datenschutzbehoerde oder einem Kundenaudit standhaelt.
Wann loest der Einsatz einer uebersetzenden Person die EU-Dual-Use-Regeln aus?
Verordnung 2021/821 Artikel 2 definiert technische Unterstuetzung so, dass sie die Weitergabe von Arbeitswissen einschliesst, und Anhang I und Anhang IV listen kontrollierte Gueter. Das Teilen kontrollierter technischer Daten mit einer ungepruefte uebersetzenden Person oder das Feintuning eines Modells darauf ohne Kontrollen kann eine nicht genehmigte Weitergabe sein, durchgesetzt von Behoerden wie BAFA, DGA und UAMA. Gepruefte Uebersetzerinnen und Uebersetzer und eine EU-gehostete Umgebung geben Ihnen eine vertretbare Position, die eine Geheimhaltungsvereinbarung allein nicht bietet.