Vad händer när fem AI-verktyg får samma översättningsuppdrag?

Vi testade fem verktyg – ChatGPT, Claude, Perplexity, DeepL och gamlingen Google Translate – genom att låta de översätta texter inom marknadsföring, teknik, medicin, HR och finans. Översättningarna gjordes från engelska eller svenska till engelska, svenska, italienska, franska, ungerska och nederländska.

Därefter granskades översättningarna av professionella översättare, utan att de fick någon information om vilket verktyg som hade producerat vilken text. Bedömningen omfattade ett tjugotal kriterier där vi poängsatte hur bra de olika översättningarna var – vi tittade på allt ifrån terminologi, naturligt flyt och syntax till förståelse av kontext, hantering av egennamn, samt siffror och formatering.

Vi letade efter en vinnare. Det vi hittade var betydligt mer intressant.

Förvånansvärt varierande resultat beroende på ämne och språkkombination

Sett till hela testet presterade flera av verktygen relativt jämnt och fick liknande totalpoäng. Men när vi tittade närmare på resultaten för varje enskilt test försvann bilden av ett verktyg som levererade översättningar på en jämnhög nivå oavsett ämne och språkkombination.

Ett verktyg kunde leverera mycket bra resultat på en marknadsföringstext och betydligt sämre på en annan typ av innehåll. Samma variation syntes beroende på språk. DeepL var det verktyg som presterade bäst i de flesta fallen, men vad gäller vissa språk och ämnen visade sig Claude, ChatGPT eller Perplexity kunna leverera ett bättre resultat.

För oss blev därför inte totalpoängen det mest intressanta, utan insikten om hur viktigt det är att välja rätt verktyg beroende på vilket som lämpar sig bäst utifrån ämne och språkkombination.

Bara språklig förmåga räcker inte för att klara hela uppgiften

Det blev särskilt tydligt när verktygen fick översätta en finansiell text som innehöll tabeller och grafik. Ett av de verktyg som hade presterat mycket bra inom vissa ämnesområden klarade plötsligt uppgiften betydligt sämre med den finansiella texten. Problemet låg inte främst i språket, utan i hanteringen av själva dokumentet: delar av innehållet blev ofullständigt översatta eller uteblev helt. Vi testade om mer detaljerade instruktioner eller ett annat sätt att prompta på skulle förändra resultatet, men förbättringen blev marginell.

Att få fram ett slutresultat som helt och hållet motsvarar originalet kan vara svårare än man tror när man använder ett AI-verktyg. Det handlar alltså inte bara om verktygets förmåga att generera bra formuleringar och rätt terminologi i översättningen. Dokumentstruktur, format och att man kan lita på att exakt allt innehåll översätts är minst lika avgörande.

Korrekt översatt men ändå fel

Flera av verktygen producerade översättningar som vid en första anblick såg mycket bra ut. Men när våra professionella översättare granskade resultaten blev bilden en annan.

Det visade sig att en korrekt översatt mening inte nödvändigtvis kändes naturlig på det översatta språket. Vid andra fall kunde ett ord vara rätt översatt på ordnivå men ändå fel i sitt sammanhang. Terminologin kunde också variera genom texten och leda till inkonsekvens som försvårade förståelsen. En formulering kunde särskilja sig märkbart och därmed ge en förändrad nyans i ett visst budskap, utan att den i sig innehöll något egentligt fel.

Det är här språkexpertens roll blir central även i en AI-stödd process: att bedöma helheten, upptäcka sådant som inte fungerar och se till att den färdiga texten håller den kvalitet som kunden efterfrågar.

Hur länge håller dagens resultat?

För oss var testet inte enbart en rankning av fem AI-verktyg, utan en del av ett löpande arbete med att förstå hur tekniken bäst kan användas i olika översättningsuppdrag. Men AI-utvecklingen går snabbt. Språkmodeller och andra AI-verktyg uppdateras, nya versioner lanseras och funktioner tillkommer. Om vi upprepar testet igen om sex månader så kommer resultatet förmodligen att se annorlunda ut än det vi fått idag.

Att det inte finns ett AI-verktyg som är bäst i alla lägen är kanske detta tests viktigaste slutsats. Det är olika verktyg som lämpar sig olika bra utifrån språkkombination och textens ämnesområde – och ibland är det fortfarande bäst och mest effektivt om texten översätts av en professionell översättare. Oavsett metod behövs språklig kompetens för att bedöma resultatet och säkerställa att den färdiga texten fungerar för sitt syfte, sin målgrupp och sin marknad.