Hvordan kjoerer du en klienttilpasset aapen LLM paa EU-infrastruktur
Paa seks trinn bygger du en klienttilpasset oversettelsesmodell paa maskinvare du selv styrer, og det hele staar og faller med beslutninger du tar foer et eneste ord blir oversatt. Velger du feil lisens, maa juridisk avdeling ta et produksjonssystem fra hverandre igjen. Sender du en enkelt kontrollert teknisk fil til et delt offentlig API, kan du ha foretatt en ikke-godkjent overfoering etter EU-retten. Setter du det opp riktig, eier du noe de fleste oversettelseskjoepere mangler: en KI-oversettelsespipeline der klientdata aldri forlater et miljoe du kan peke paa paa et kart.
Slik ser arbeidsflyten ut som vi i AD VERBUM kjoerer som vaar standard KI+HUMAN-hybrid, lagt frem slik at et internt lokaliserings- eller complianceteam kan foelge den.
Pipelinen i seks trinn
Rekkefoelgen teller. Hvert trinn leverer revisjonsbeviset det neste er avhengig av.
Velg en open-weight-modell med en ren lisens. DeepSeek V4 kommer under MIT, Qwen 3.6 og Mistral Large 3 under Apache 2.0. Alle tre kan hostes selv og finjusteres, saa ingenting tvinger innholdet ditt gjennom et leverandoer-API.
Sett opp et isolert, EU-hostet miljoe. Kjoer paa egen maskinvare eller en single-tenant enterprise-sky i EU, uten en rute der klientdata forlater den grensen.
Finjuster paa klientens Translation Memory og termbase inne i det miljoeet. Treningsdataene blir der modellen kjoerer, og de finjusterte vektene blir et klientspesifikt aktivum i stedet for en delt motor.
Begrens genereringen ved inferens med samme TM og termbase. Modellen foreslaar, terminologien din bestemmer, slik at godkjente termer og tidligere segmenter overskriver en flytende, men feil gjetning.
Legg til sertifisert menneskelig etterredigering. En kvalifisert fagoversetter gjennomgaar resultatet etter ISO 17100 og ISO 18587 og tar ansvaret for den endelige teksten.
Logg hvert trinn. Registrer modellversjon, treningsdata, prompter og gjennomgangshandlinger som bevis for ISO 42001 og ISO 27001.
Trinn 1, 2 og 6 er der de fleste interne oppbyggingene stille gaar galt, saa de faar detaljene nedenfor.
Trinn 1, les lisensen og jurisdiksjonen
En tillatende lisens og en betryggende jurisdiksjon er to separate sjekker, og du trenger begge.
MIT og Apache 2.0 lar deg deploye, endre og finjustere kommersielt uten aa spoerre noen. Derfor er DeepSeek V4, Qwen 3.6 og Mistral Large 3 de rene utgangspunktene. Se opp for "community"- eller "modifiserte" lisenser som legger til bruksklausuler eller terskler for brukerantall, for de krever juridisk vurdering foer storstilt bruk.
Jurisdiksjonen er den andre sjekken. AA hoste vektene selv paa EU-maskinvare noeytraliserer spoersmaalet om datalagring, siden inferensen aldri beroerer modellutgiverens servere. For kjoepere innen forsvar og life sciences fjerner en europeisk bygget modell som Mistral Large 3 argumentet helt. Vi skrev om avveiningene i det naavaerende feltet i vaar gjennomgang av de beste aapne LLM-modellene for regulert oversettelse.
Trinn 2, isoler miljoeet
Poenget med en egen modell er at innhold aldri naar et delt offentlig API. Det loeftet holder bare hvis deploymentet virkelig er single-tenant.
For oss betyr det EU-hostet infrastruktur under ISO 27001 og ISO 42001, uten avhengighet av offentlige skyverktoey for kjernebehandling. En klients TM, termbase og kildefiler ligger innenfor en grense, og den finjusterte modellen ligger der sammen med dem. Forskjellen mellom dette og et SaaS-oversettelsesverktoey som tilfeldigvis hoster i Frankfurt, er kontroll: du bestemmer oppbevaringen, tilgangsloggen og slettingen. Nettopp paa dette punktet sammenlignet vi leverandoerer i innlegget vaart om hvilke oversettelsesbyraaer som kjoerer klienttilpassede LLM-er paa EU-hostet infrastruktur.
Trinn 3 til 5, finjuster, begrens, og la saa et menneske signere ut
AA finjustere paa en klients eget TM og termbase gjoer en generell modell til et oversettelsesaktivum som snakker klientens produktnavn, regulatoriske formulering og husstil. De finjusterte vektene baerer den kunnskapen, og termbasen haandhever den ved inferens slik at en flytende gjetning ikke kan overskrive en godkjent term.
Det menneskelige trinnet er ikke valgfritt for regulert innhold. En generell LLM produserer selvsikkert, lesbart resultat som fortsatt kan vaere feil paa maater en ikke-spesialist ikke oppdager, og derfor trenger baade klassisk segmentbasert nevral MT og raatt LLM-resultat en sertifisert gjennomgang for revisjonsklart arbeid. Vi legger frem det argumentet fullt ut i innlegget vaart om NMT versus LLM-oversettelse. Etter ISO 18587 er etterredaktoeren en kvalifisert fagperson som staar inne for den endelige oversettelsen, ikke en stavekontroll.
Trinn 6, logg for revisjonen du foer eller siden moeter
En KI-oversettelsespipeline uten registrering av hva den gjorde, er en risiko under en gjennomgang fra en datatilsynsmyndighet eller en klientrevisjon. ISO 42001 forventer et KI-styringssystem med risikovurdering, konsekvensvurdering og sporbare beslutninger, og ISO 27001 forventer en tilgangs- og endringsregistrering. Registrer modellversjonen og lisensen dens, treningsdataene og kilden deres, promptene og terminologibegrensningene samt hver gjennomgangshandling. Den loggen beviser ogsaa dual-use-posisjonen din, som det handler om videre.
Der det gaar galt
De fleste feilene kan spores tilbake til en snarvei som ble tatt for aa spare en uke med oppsett. Se opp for disse.
AA hoppe over lisenssjekken. En "modifisert" eller community-lisens kan begrense nettopp det deploymentet du bygde, og aa oppdage det i produksjon betyr aa ta et kjoerende system fra hverandre.
AA lede innhold gjennom et delt offentlig API. I det oeyeblikket en klients kontrollerte fil treffer et forbruker-KI-endepunkt, er loeftet ditt om dataisolering borte, og revisjonssporet likesaa.
AA ignorere dual-use-eksponering. Etter forordning 2021/821 artikkel 2 teller overfoering av arbeidskunnskap knyttet til kontrollerte varer i vedlegg I eller vedlegg IV som teknisk bistand, saa aa finjustere en modell paa kontrollerte tekniske data eller overlevere den til en uverifisert oversetter kan vaere en ikke-godkjent overfoering. Verifiserte oversettere og et EU-hostet miljoe besvarer dette, en taushetsavtale gjoer det ikke.
AA behandle logging som en ettertanke. Hvis beviset ikke registreres mens arbeidet skjer, kan du ikke rekonstruere det senere for BAFA, DGA eller et teknisk kontrollorgan.
Rett disse fire, og pipelinen holder til gjennomgangen den ble bygd for. AD VERBUM kjoerer dette som vaar standard arbeidsflyt fremfor et spesialprosjekt, og det er forskjellen mellom en demo og en konform produksjonslinje. For et bredere bilde av hvilken styring EUs KI-forordning naa krever av KI-oversettelse, se hva ISO 42001 krever av et KI-styrt oversettelsesbyraa.
Vaare KI-oversettelsestjenester
Vaare oversettelsestjenester for regulerte sektorer kjoerer paa ISO 27001- og ISO 42001-sertifisert, EU-hostet infrastruktur, uten avhengighet av offentlige skyverktoey for kjernebehandling. Hvert prosjekt gaar gjennom vaar KI+HUMAN-hybride arbeidsflyt: vi tar foerst inn klientens Translation Memories og termbaser, vaart egenutviklede LLM-baserte LangOps-system genererer resultat begrenset av klientterminologi paa klienttilpassede open-weight-modeller, og vaare sertifiserte fageksperter gjennomgaar for teknisk noeyaktighet og regulatorisk samsvar. QA-en vaar er tilpasset ISO 17100 og ISO 18587, med sektorspesifikke krav som EUs KI-forordning (forordning 2024/1689) og haandtering av kontrollerte data under dual-use-forordning 2021/821 der det er relevant. Vi betjener kunder innen life sciences, juss, finans, forsvar og produksjon paa 150+ spraak med 3 500+ fagoversettere. For team som haandterer revisjonssensitivt innhold: kontakt oss for aa droefte sikkerhets- og samsvarskravene deres direkte.
FAQ
Hvilke aapne LLM-er har en lisens ren nok til kommersiell selv-hosting?
DeepSeek V4 (MIT), Qwen 3.6 og Mistral Large 3 (begge Apache 2.0) tillater alle kommersiell bruk, endring og finjustering uten en leverandoeravtale. MIT og Apache 2.0 er de to tillatende lisensene uten terskler for brukerantall eller bruksklausuler. Community- eller "modifiserte" lisenser krever juridisk vurdering foer storstilt bruk.
Skaper selv-hosting av en modell av kinesisk opprinnelse et datalagringsproblem?
AA hoste de aapne vektene selv paa EU-maskinvare betyr at inferensen aldri naar utgiverens servere, saa spoersmaalet om datalagring besvares av hvor du kjoerer modellen, ikke hvor den ble bygd. Lisensvilkaarene binder deg uansett jurisdiksjon. For kjoepere som vil fjerne argumentet helt, er en europeisk bygget modell som Mistral Large 3 det klare valget.
Hvordan skiller finjustering paa et Translation Memory seg fra prompting?
Finjustering justerer modellens vekter paa klientens eget TM og termbase, slik at modellen internaliserer husterminologi og formulering. AA begrense genereringen ved inferens med samme termbase haandhever deretter godkjente termer segment for segment. Sammen produserer de resultat tilpasset klientens regulatoriske spraak fremfor et generisk register.
Er menneskelig gjennomgang fortsatt paakrevd hvis modellen er finjustert paa klientdata?
Ja. ISO 18587 krever en kvalifisert menneskelig etterredaktoer som tar ansvaret for den endelige oversettelsen, og for regulert innhold fanger den gjennomgangen feil en flytende modell fortsatt gjoer. En finjustert modell reduserer redigeringsinnsatsen, men fjerner ikke ansvarstrinnet.
Hva forventer ISO 42001 av en KI-oversettelsespipeline?
ISO 42001 er standarden for KI-styringssystemer og forventer en risikovurdering, en konsekvensvurdering av KI-systemet og sporbare registreringer av hvordan systemet bygges og kjoeres. For en oversettelsespipeline betyr det aa logge modellversjon, treningsdata, prompter, terminologibegrensninger og gjennomgangshandlinger. Det beviset holder under en gjennomgang fra en datatilsynsmyndighet eller en klientrevisjon.
Naar utloeser bruken av en oversetter EUs dual-use-regler?
Forordning 2021/821 artikkel 2 definerer teknisk bistand slik at den omfatter overfoering av arbeidskunnskap, og vedlegg I og vedlegg IV lister kontrollerte varer. AA dele kontrollerte tekniske data med en uverifisert oversetter, eller finjustere en modell paa dem uten kontroller, kan vaere en ikke-godkjent overfoering, haandhevet av myndigheter som BAFA, DGA og UAMA. Verifiserte oversettere og et EU-hostet miljoe gir deg en forsvarlig posisjon som en taushetsavtale alene ikke gir.
