Hur kor du ett klientanpassat oppet LLM pa EU-infrastruktur
Pa sex steg bygger du en klientanpassad oversattningsmodell pa hardvara du sjalv styr, och det hela star och faller med beslut du fattar innan ett enda ord oversatts. Valjer du fel licens maste juristavdelningen montera ner ett produktionssystem igen. Skickar du en enda kontrollerad teknisk fil till ett delat offentligt API kan du ha gjort en icke-godkand overforing enligt EU-ratten. Staller du in det ratt ager du nagot de flesta oversattningskopare saknar: en AI-oversattningspipeline dar klientdata aldrig lamnar en miljo du kan peka ut pa en karta.
Sa har ser arbetsflodet ut som vi pa AD VERBUM kor som var standard-AI+HUMAN-hybrid, framlagt sa att ett internt lokaliserings- eller efterlevnadsteam kan folja det.
Pipelinen i sex steg
Ordningen spelar roll. Varje steg levererar det revisionsbevis som nasta ar beroende av.
Valj en open-weight-modell med en ren licens. DeepSeek V4 kommer under MIT, Qwen 3.6 och Mistral Large 3 under Apache 2.0. Alla tre kan hostas sjalv och finjusteras, sa ingenting tvingar ditt innehall genom ett leverantors-API.
Satt upp en isolerad, EU-hostad miljo. Kor pa egen hardvara eller en single-tenant enterprise-molninstans i EU, utan en vag dar klientdata lamnar den gransen.
Finjustera pa klientens Translation Memory och termbas inuti den miljon. Traningsdatan stannar dar modellen kors, och de finjusterade vikterna blir en klientspecifik tillgang i stallet for en delad motor.
Begransa genereringen vid inferens med samma TM och termbas. Modellen foreslar, din terminologi bestammer, sa att godkanda termer och tidigare segment skriver over en flytande men felaktig gissning.
Lagg till certifierad mansklig efterredigering. En kvalificerad fackoversattare granskar resultatet enligt ISO 17100 och ISO 18587 och tar ansvaret for den slutliga texten.
Logga varje steg. Registrera modellversion, traningsdata, prompter och granskningsatgarder som bevis for ISO 42001 och ISO 27001.
Steg 1, 2 och 6 ar dar de flesta interna byggen tyst gar fel, sa de far detaljerna nedan.
Steg 1, las licensen och jurisdiktionen
En tillatande licens och en betryggande jurisdiktion ar tva separata kontroller, och du behover bada.
MIT och Apache 2.0 later dig deploya, andra och finjustera kommersiellt utan att fraga nagon. Darfor ar DeepSeek V4, Qwen 3.6 och Mistral Large 3 de rena utgangspunkterna. Se upp for "community"- eller "modifierade" licenser som lagger till anvandningsklausuler eller trosklar for antal anvandare, for de kraver juridisk granskning fore storskalig anvandning.
Jurisdiktionen ar den andra kontrollen. Att hosta vikterna sjalv pa EU-hardvara neutraliserar fragan om datalagring, eftersom inferensen aldrig ror modellutgivarens servrar. For kopare inom forsvar och life sciences tar en europeiskt byggd modell som Mistral Large 3 bort argumentet helt. Vi skrev om avvagningarna i det nuvarande faltet i var genomgang av de basta oppna LLM-modellerna for reglerad oversattning.
Steg 2, isolera miljon
Poangen med en egen modell ar att innehall aldrig nar ett delat offentligt API. Det loftet haller bara om deploymentet verkligen ar single-tenant.
For oss betyder det EU-hostad infrastruktur under ISO 27001 och ISO 42001, utan beroende av publika molnverktyg for karnbearbetning. En klients TM, termbas och kallfiler ligger inom en grans, och den finjusterade modellen ligger dar tillsammans med dem. Skillnaden mellan detta och ett SaaS-oversattningsverktyg som rakar hosta i Frankfurt ar kontroll: du bestammer lagringen, atkomstloggen och raderingen. Just pa den har punkten jamforde vi leverantorer i vart inlagg om vilka oversattningsbyraer som kor klientanpassade LLM:er pa EU-hostad infrastruktur.
Steg 3 till 5, finjustera, begransa, och lat sedan en manniska signera
Att finjustera pa en klients eget TM och termbas gor en allman modell till en oversattningstillgang som talar klientens produktnamn, regulatoriska formulering och husstil. De finjusterade vikterna bar den kunskapen, och termbasen uppratthaller den vid inferens sa att en flytande gissning inte kan skriva over en godkand term.
Det manskliga steget ar inte valfritt for reglerat innehall. En allman LLM producerar sjalvsakert, lasbart resultat som anda kan vara fel pa satt som en icke-specialist inte upptacker, och darfor behover bade klassisk segmentbaserad neural MT och ratt LLM-resultat en certifierad granskning for revisionsklart arbete. Vi lagger fram det argumentet fullt ut i vart inlagg om NMT kontra LLM-oversattning. Enligt ISO 18587 ar efterredaktoren en kvalificerad fackperson som ansvarar for den slutliga oversattningen, inte en stavningskontroll.
Steg 6, logga for revisionen du forr eller senare moter
En AI-oversattningspipeline utan registrering av vad den gjorde ar en risk under en granskning fran en dataskyddsmyndighet eller en klientrevision. ISO 42001 forvantar sig ett AI-ledningssystem med riskbedomning, konsekvensbedomning och sparbara beslut, och ISO 27001 forvantar sig en atkomst- och andringsregistrering. Registrera modellversionen och dess licens, traningsdatan och dess kalla, prompterna och terminologibegransningarna samt varje granskningsatgard. Den loggen bevisar ocksa din dual-use-position, som det handlar om harnast.
Dar det gar fel
De flesta misslyckanden kan sparas till en genvag som togs for att spara en veckas uppsattning. Se upp for dessa.
Att hoppa over licenskontrollen. En "modifierad" eller community-licens kan begransa just det deployment du byggde, och att upptacka det i produktion innebar att montera ner ett korande system.
Att leda innehall genom ett delat offentligt API. I det ogonblick en klients kontrollerade fil nar en konsument-AI-endpoint ar ditt lofte om dataisolering borta, och revisionssparet likasa.
Att ignorera dual-use-exponering. Enligt forordning 2021/821 artikel 2 raknas overforing av arbetskunskap kopplad till kontrollerade varor i bilaga I eller bilaga IV som tekniskt bistand, sa att finjustera en modell pa kontrollerade tekniska data eller lamna over den till en icke-granskad oversattare kan vara en icke-godkand overforing. Granskade oversattare och en EU-hostad miljo besvarar detta, ett sekretessavtal gor det inte.
Att behandla loggning som en eftertanke. Om beviset inte registreras medan arbetet pagar kan du inte rekonstruera det senare for BAFA, DGA eller ett anmalt organ.
Atgarda dessa fyra, och pipelinen haller for den granskning den byggdes for. AD VERBUM kor detta som vart standardarbetsflode i stallet for ett sarskilt projekt, och det ar skillnaden mellan en demo och en regelenlig produktionslinje. For en bredare bild av vilken styrning EU:s AI-forordning nu kraver av AI-oversattning, se vad ISO 42001 kraver av en AI-styrd oversattningsbyra.
Vara AI-oversattningstjanster
Vara oversattningstjanster for reglerade sektorer kors pa ISO 27001- och ISO 42001-certifierad, EU-hostad infrastruktur, utan beroende av publika molnverktyg for karnbearbetning. Varje projekt gar genom vart AI+HUMAN-hybrida arbetsflode: vi tar forst in klientens Translation Memories och termbaser, vart egenutvecklade LLM-baserade LangOps-system genererar resultat begransat av klientterminologi pa klientanpassade open-weight-modeller, och vara certifierade fackexperter granskar for teknisk noggrannhet och regulatorisk efterlevnad. Var QA ar anpassad till ISO 17100 och ISO 18587, med sektorspecifika krav som EU:s AI-forordning (forordning 2024/1689) och hantering av kontrollerade data enligt dual-use-forordning 2021/821 dar det ar relevant. Vi betjanar kunder inom life sciences, juridik, finans, forsvar och tillverkning pa 150+ sprak med 3 500+ fackoversattare. For team som hanterar revisionskansligt innehall: kontakta oss for att diskutera era sakerhets- och efterlevnadskrav direkt.
FAQ
Vilka oppna LLM:er har en licens ren nog for kommersiell sjalvhosting?
DeepSeek V4 (MIT), Qwen 3.6 och Mistral Large 3 (bada Apache 2.0) tillater alla kommersiell anvandning, andring och finjustering utan ett leverantorsavtal. MIT och Apache 2.0 ar de tva tillatande licenserna utan trosklar for antal anvandare eller anvandningsklausuler. Community- eller "modifierade" licenser kraver juridisk granskning fore storskalig anvandning.
Skapar sjalvhosting av en modell av kinesiskt ursprung ett datalagringsproblem?
Att hosta de oppna vikterna sjalv pa EU-hardvara betyder att inferensen aldrig nar utgivarens servrar, sa fragan om datalagring besvaras av var du kor modellen, inte var den byggdes. Licensvillkoren binder dig oavsett jurisdiktion. For kopare som vill ta bort argumentet helt ar en europeiskt byggd modell som Mistral Large 3 det tydliga valet.
Hur skiljer sig finjustering pa ett Translation Memory fran prompting?
Finjustering justerar modellens vikter pa klientens eget TM och termbas, sa att modellen internaliserar husterminologi och formulering. Att begransa genereringen vid inferens med samma termbas uppratthaller sedan godkanda termer segment for segment. Tillsammans producerar de resultat anpassat till klientens regulatoriska sprak i stallet for ett generiskt register.
Kravs mansklig granskning fortfarande om modellen ar finjusterad pa klientdata?
Ja. ISO 18587 kraver en kvalificerad mansklig efterredaktor som tar ansvaret for den slutliga oversattningen, och for reglerat innehall fangar den granskningen fel som en flytande modell fortfarande gor. En finjusterad modell minskar redigeringsarbetet men tar inte bort ansvarssteget.
Vad forvantar sig ISO 42001 av en AI-oversattningspipeline?
ISO 42001 ar standarden for AI-ledningssystem och forvantar sig en riskbedomning, en konsekvensbedomning av AI-systemet och sparbara registreringar av hur systemet byggs och kors. For en oversattningspipeline betyder det att logga modellversion, traningsdata, prompter, terminologibegransningar och granskningsatgarder. Det beviset haller under en granskning fran en dataskyddsmyndighet eller en klientrevision.
Nar utloser anvandningen av en oversattare EU:s dual-use-regler?
Forordning 2021/821 artikel 2 definierar tekniskt bistand sa att det omfattar overforing av arbetskunskap, och bilaga I och bilaga IV listar kontrollerade varor. Att dela kontrollerade tekniska data med en icke-granskad oversattare, eller finjustera en modell pa dem utan kontroller, kan vara en icke-godkand overforing, uppratthallen av myndigheter som BAFA, DGA och UAMA. Granskade oversattare och en EU-hostad miljo ger dig en forsvarbar position som ett sekretessavtal ensamt inte gor.
