Wie man die Qualität maschineller Übersetzung im großen Maßstab misst und aufrechterhält

Die internationale Geschäftsstrategie erfordert heute, dass Inhalte mit Geschwindigkeiten über Sprachen hinweg bewegt werden, die Übersetzungsteams in einem früheren Jahrzehnt überfordert hätten.

Maschinelle Übersetzung (MT) ist heute ein zentraler Bestandteil der Skalierung von Unternehmensinhalten, aber die Übersetzungsqualität kann inkonsistent sein.

Die MT-Ausgabe variiert je nach Sprachpaar, Inhaltstyp und Workflow, selbst innerhalb eines einzelnen Projekts. Diese Varianz ist wichtiger als der durchschnittliche Qualitätswert, weil die Zeit, die mit der Korrektur einer inkonsistenten Strings über hochsichtbare Inhalte verbracht wird, die Effizienzgewinne auslöscht, die MT lohnenswert gemacht haben.

Jedes Lokalisierungsprogramm für Unternehmen steht vor denselben Abwägungen bei der Einführung von MT im großen Maßstab: Geschwindigkeit gegen Sprachflüssigkeit, Kosten gegen Qualität, Skalierung gegen Kontrolle.

Plattformen, die für MT-Qualitätsgovernance entwickelt wurden, verwandeln variable Ausgaben durch Terminologiekontrollen, automatisierte Überprüfungspfade und konsistente Messungen in zuverlässige Übersetzungen.

Smartling ist eine solche Plattform, und dieser Artikel erklärt, was MT-Qualität tatsächlich ist, wie man sie misst und wie man sie konstant hält, wenn das Inhaltsvolumen wächst.

Was ist die Qualität der maschinellen Übersetzung?

Die Qualität der maschinellen Übersetzung bezieht sich darauf, wie genau und natürlich übersetzte Inhalte die Bedeutung des Originaltexts widerspiegeln. Qualitätsmaße umfassen Genauigkeit, Flüssigkeit und Konsistenz.

Die Qualität der MT variiert je nach Sprachpaar, Inhaltstyp und wie gut der Übersetzungsworkflow um beide herum strukturiert ist.

Zum Beispiel:

• Marketing-Inhalte , die eine Tonanpassung erfordern, stellen andere Qualitätserwartungen als technische Dokumentation, die Terminologiepräzision erfordert.
• Ein Sprachpaar mit reichlich Trainingsdaten liefert andere Ausgangswerte als eines mit begrenzten Daten.

Was bestimmt die Qualität der maschinellen Übersetzung?

Fünf Faktoren bestimmen, ob eine MT-Engine für einen bestimmten Auftrag nutzbare Ausgaben liefert.

Sprachpaar-Komplexität. Einige Paare wie Englisch-Spanisch und Englisch-Französisch verfügen über jahrzehntelange hochwertige Trainingsdaten. Andere haben deutlich weniger, und die MT-Ausgabequalität spiegelt diese Lücke wider.

Inhaltstyp. Technische Dokumentation erfordert Terminologiepräzision. Marketingtexte benötigen eine tonale Anpassung. Rechtliche Inhalte brauchen beides plus wörtliche Treue. Die maschinelle Übersetzung, der die Fähigkeit zur Nuance fehlt, ist in allen drei Bereichen nicht gleichwertig.

Kontextverfügbarkeit. MT-Engines, die auf umliegende Segmente, Dokumentstruktur und visuellen Kontext zugreifen können, liefern bessere Ergebnisse als Engines , die Strings isoliert übersetzen .

Trainingsdaten Modelle, die auf domänenspezifischen und markenspezifischen Daten trainiert sind, übertreffen allgemeine Engines für spezialisierte Inhalte.

Motor- oder Modellauswahl. Sich ausschließlich auf allgemeine MT für jeden Inhaltstyp und jedes Sprachpaar zu verlassen, liefert keine einheitlichen, hochwertigen Ergebnisse. LLMs, fein abgestimmte neuronale Maschinenübersetzungs-Engines (NMT) und RAG-augmentierte Modelle handhaben jeweils unterschiedliche Inhaltstypen. Anstatt standardmäßig auf MT zurückzugreifen, sorgt die Wahl des richtigen Modells für jeden Auftrag für eine überlegene Übersetzungsqualität.

Schlüsseldimensionen der Qualität der maschinellen Übersetzung

MT-Qualität kann sich auf verschiedene Faktoren beziehen, je nachdem, wen man fragt und was schiefgelaufen ist. Diese vier Dimensionen decken das Gesamtbild ab, und jede von ihnen, wenn sie nicht verwaltet wird, wird zum Problem, das das Projekt definiert.

Genauigkeit

Die Genauigkeit misst, ob die Übersetzung die Bedeutung der Quelle bewahrt. Eine flüssige, aber ungenaue Übersetzung ist schwerer in der Wiederholung zu erkennen als eine klobige, aber genaue, was diese Fehler riskanter macht.

Geläufigkeit

Die Sprachflüssigkeit zeigt am häufigsten seine Schwächen in der MT. Grammatik und Wortwahl sind Tischfaktoren. Das schwierigere Problem ist Register: eine Engine, die korrekt übersetzt, aber wie ein Handbuch schreibt, wenn der Inhalt etwas Gesprächiges verlangt, oder umgekehrt.

Konsistenz

Konsistenz bricht leise und in großem Maßstab. Derselbe Begriff, der auf drei verschiedene Arten in einer Produkt-UI, einem Hilfeartikel und einer Marketingseite bezeichnet wird, untergräbt das Vertrauen der Nutzer und führt zu einer verstärkenden Überarbeitung des Teams.

Kontextbewusstsein

Kontextbewusstsein ist das, was eine Engine, die Wörter übersetzt, von einer unterscheidet, die Bedeutung übersetzt. Geschlechtsspezifische Pronomen im Deutschen, ein UI-Label, das je nach Bildschirm unterschiedlich gelesen wird, oder eine Phrase, die in einem Markt idiomatisch und in einem anderen unsinnig ist, erfordern, dass die Engine interpretiert, nicht nur konvertiert.

Wie Smartling Konsistenz stärkt

Glossar-Durchsetzung und Wiederverwendung von Übersetzungsspeicher (TM) halten genehmigte Terminologie und vorab genehmigte Formulierungen in jedem Auftrag fest. Sobald ein Begriff genehmigt ist, wendet Smartling ihn beim nächsten Erscheinen automatisch an, egal ob die Übersetzung durch MT, KI-Übersetzung oder KI-Menschenübersetzung (AIHT) erfolgt.

Smartlings AI Translation Toolkit geht noch weiter. Die Einfügung von KI-Glossarbegriffen stellt sicher, dass Substitutionen zum Kontext der Zeichenkette passen und grammatikalisch korrekt sind, anstatt den Begriff einfach zu ersetzen.

Grammatische Schutzmaßnahmen sind entscheidend für Sprachen, in denen ein Glossarbegriff je nach Position im Satz unterschiedlich flektiert werden muss. KI-adaptives Übersetzungsgedächtnis erhöht die TM-Verbreitung in MT-Workflows, indem es verfügbare Übereinstimmungen optimiert, sodass vorab genehmigte Formulierungen auch dann übernommen werden, wenn sich der umgebende Inhalt verändert hat.

Für Inhalte, bei denen Konsistenz mehr bedeutet als Terminologie (Betonung von Ton, Register oder Markensprache), hält das Smartling Transcreation Tool Transcreation Memory vom Übersetzungsgedächtnis getrennt. Daher fließen kreative Anpassungen nicht in Standard-Übersetzungsworkflows ein oder führen zu Inkonsistenz, wo buchstäbliche Genauigkeit erforderlich ist.

Wie die Qualität der maschinellen Übersetzung gemessen wird

Die Qualitätsmessung von MT kombiniert drei Ansätze. Die meisten Unternehmensprogramme verwenden alle drei Programme an verschiedenen Stellen im Workflow.

Menschliche Bewertung

Die menschliche Bewertung beruht darauf, dass ausgebildete Linguisten übersetzte Inhalte anhand objektiver Fehlerkategorien bewerten. Das Multidimensional Quality Metrics (MQM) Framework ist der Industriestandard für diese Arbeit.

Rezensenten protokollieren Fehler nach Typ, wie Genauigkeit, Sprachflüssigkeit, Terminologie, Stil und Ortskonventionen, sowie nach Schweregrad, wie neutral, minor, major oder kritisch. Das System berechnet einen Gesamtqualitätswert basierend auf Schweregewichten.

Linguistic Quality Assurance (LQA) vereinfacht die menschliche Überprüfung während der MQM-Bewertung. LQA basiert auf Stichproben, das heißt, Teams überprüfen einen repräsentativen Ausschnitt des übersetzten Inhalts, um eine Proxy-Messung der Gesamtqualität zu erstellen, anstatt jeden String zu inspizieren.

Automatisierte Kennzahlen

Automatisierte Metriken wie BLEU, COMET und TER vergleichen MT-Ausgaben algorithmisch mit Referenztranslationen. Sie laufen in Sekunden, skalieren über Millionen von Strings und liefern konsistente numerische Werte.

Sie korrelieren unvollständig mit menschlichem Urteil, weshalb automatisierte Kennzahlen am besten als Frühwarnsignale und nicht als endgültige Qualitätsurteile funktionieren.

Hybride Messung

Hybride Messung kombiniert menschliche Überprüfung von gemusterten Inhalten mit automatisierter Bewertung des gesamten Korpus. Hybride Ansätze sind in der Unternehmensproduktion am gebräuchlichsten, da sie die Messtiefe gegen die Messkosten ausbalancieren.

Wie Smartling hybride Messungen ermöglicht

Smartlings LQA Suite übernimmt strukturierte menschliche Evaluation. Linguisten bewerten Übersetzungen anhand anpassbarer MQM-kompatibler Schemata. LQA weist jedem Fehler eine Schweregradstufe zu, die in einen Gesamtqualitätswert einfließt.

Die Ergebnisse erscheinen im LQA-Dashboard nach Zeitrahmen, Ort, Projekt oder Auftrag und geben Lokalisierungsmanagern einen strukturierten, datenbasierten Überblick darüber, wo die Qualität steht und wo sie nachlässt.

Für Teams, die MT im großen Maßstab betreiben, reicht das Sampling allein nicht aus. Der Language Quality Estimation (LQE) Agent bewertet jeden MT-String automatisch und bezeichnet jeden High, Medium oder Low basierend auf dem prognostizierten Nachbearbeitungsaufwand.

Hohe Strings können die menschliche Überprüfung in einem dynamischen Workflow vollständig umgehen; Mittlere Strings werden für leichte Bearbeitungen markiert. Der Überprüfungsaufwand geht dorthin, wo er gebraucht wird.

Die beiden Werkzeuge decken beide Enden des Messproblems ab: das Full-Corpus-Signal auf jedem MT-String und strukturierte menschliche Bewertung auf gesampelten Inhalten. Beide fließen in Smartling Analytics ein und liefern Teams die Daten, um Arbeitsabläufe zu optimieren, Entscheidungen zu rechtfertigen und Qualitätsprogramme langfristig zur Verantwortung zu ziehen.

Häufige Qualitätsprobleme der maschinellen Übersetzung

Fünf Fehlerarten treten in Enterprise-MT-Programmen auf. Die meisten dieser Fehler sind Workflow-Probleme, keine Modellprobleme.

Wörtliche Übersetzungen. Idiome, bildhafte Sprache und kulturell spezifische Formulierungen geben Wort für Wort statt nach Bedeutung wieder. Ein "Home Run" wird in einer Sprache, in der Baseball kein kulturelles Gewicht hat, zum Baseball-Referenz.

Terminologie-Inkonsistenz. Der gleiche Markenbegriff erscheint als drei verschiedene Übersetzungen auf derselben Website. Ein Produktname wird auf einer Seite übersetzt und auf einer anderen auf Englisch gelassen.

Grammatikfehler. Geschlechtsübereinstimmung, Verbform und Wortstellung werden in Sprachen mit reicherer Morphologie als der Ursprung falsch dargestellt. Diese Fehler passieren, wenn MT-Engines keinen Kontext zum Subjekt oder Objekt eines Satzes haben.

Kontextfehler. Pronomen lösen sich auf das falsche Antezedent auf. Homographen bekommen den falschen Sinn. Ein Wort, das in einem juristischen Dokument eine Bedeutung hat, wird im Alltag so übersetzt, als ob es etwas anderes bedeute.

Kulturelle Missverhältnisse. Formalitätsstufen, Ehrentitel und kulturelle Anspielungen verfehlen das vom Publikum erwartete Register.

Maschinelle Übersetzung vs. menschliche Übersetzungsqualität

Maschinelle und menschliche Übersetzung sind nicht austauschbar. Sie bieten unterschiedliche Inhalte mit unterschiedlichen Kompromissen an.

Keine der beiden Ansätze ist universell besser. Die richtige Frage für Unternehmensprogramme ist, welche Inhalte auf welcher Strecke gehören und wie man sie automatisch weiterleitet, wenn das Volumen wächst.

Smartling AutoSelect löst das Routing-Problem, indem Inhalte zur Übersetzungszeit ausgewertet und an den am besten geeigneten MT-Engine, LLM oder Human Workflow-Schritt gesendet werden. Wenn die gewählte Engine keine qualitativ hochwertige Übersetzung liefern kann, versucht AutoSelect es erneut mit der nächstbesten Option und greift dann bei Bedarf auf einen menschlichen Workflow-Schritt zurück.

Für Teams, die noch mehr Kontrolle wollen, unterstützt AutoSelect maßgeschneiderte Engines in der Rotation neben Standard-MT-Anbietern. Das bedeutet, dass domänenspezifische Inhalte, wie rechtlich, medizinisch oder hochtechnisch, an eine dafür entwickelte Engine geleitet werden können, während allgemeine Inhalte den Standardweg nehmen. Das Ergebnis ist eine Routing-Schicht, die sich an die Inhaltskomplexität anpasst, anstatt auf alles eine einzige Engine anzuwenden.

Wie man die Qualität der maschinellen Übersetzung verbessert

Die MT-Qualität verbessert sich durch fünf Taktiken, die jeweils einen anderen Teil des Arbeitsablaufs abdecken.

Verwenden Sie Glossare. Genehmigte Terminologie ist konsistent über Strings und Jobs hinweg. Ohne Glossar gibt derselbe Markenbegriff drei verschiedene Arten innerhalb desselben Inhalts wieder.

Gebt Kontext. Metadaten auf Segmentebene, visueller Kontext und umgebende Inhalte verbessern die MT-Genauigkeit. Engines, die Zeichenketten isoliert übersetzen, verfügen nicht über die notwendigen Informationen, um Mehrdeutigkeiten korrekt aufzulösen.

Nutze hybride Arbeitsabläufe. Maschinelle Übersetzung Post-Editing (MTPE) kombiniert MT-Ergebnisse mit menschlicher Überprüfung. MTPE nutzt menschliche Linguisten, um den rohen MT-Output zu bereinigen. Vor diesem Überprüfungsschritt überprüft Smartlings KI-Post-Editing-Agent automatisch Grammatik, Ton und semantische Genauigkeit – sodass der Linguist das Verbliebene korrigiert, anstatt von Grund auf neu zu bauen.

Standardisiert die Prozesse. Teams, die Inhalte durch konsistente Workflows mit demselben Glossar, TM und Review-Schritten leiten, erhalten einheitliche Qualität. Teams, die jedes Projekt unterschiedlich bearbeiten, erhalten eine Qualität, die die Inkonsistenz widerspiegelt.

Überwachen Sie die Leistung. LQA-Stichproben, LQE-Bewertung und Fehlertrendberichterstattung zeigen, wo die Qualität schwankt, bevor sie zu einem kundenorientierten Problem wird. Ohne Überwachung treten Qualitätsprobleme erst auf, wenn jemand sie extern markiert.

Wie Smartling die MT-Qualität in der Praxis verbessert

Smartlings KI-Post-Editing-Agent arbeitet automatisch mit MT-Ausgaben, bevor sie einen menschlichen Gutachter erreicht, überprüft Grammatik-, Ton- und semantische Genauigkeit und bereichert Übersetzungen mit deinen linguistischen Assets, sodass die Ausgabe näher an der Veröffentlichungsfähigkeit ankommt.

Der Linguist korrigiert, was übrig bleibt, anstatt von Grund auf neu zu bauen. In Kombination mit dem Language Quality Estimation (LQE) Agent, der jede MT-Zeichenkette basierend auf dem vorhergesagten Nachbearbeitungsaufwand als Hoch, Mittel oder Niedrig bezeichnet.

Dadurch können Teams Strings, die Aufmerksamkeit benötigen, direkt zur Überprüfung und Veröffentlichung hochkonfidenter Strings routen, ohne jeden String unabhängig vom tatsächlichen Risiko gleich zu behandeln.

Wie man Qualität in großem Maßstab aufrechterhält

Die Skalierung der MT-Qualität ist ein anderes Problem als die Verbesserung einer einzelnen Übersetzung. Im großen Maßstab hängt Qualität davon ab, wie zuverlässig der Workflow Qualitätskontrollen über Tausende oder Millionen von Strings hinweg anwendet. Vier Prinzipien bestimmen, ob diese Zuverlässigkeit zutrifft.

Workflow-Standardisierung. Der gleiche Inhaltstyp durchläuft jedes Mal denselben Workflow. Marketinginhalte bewegen sich durch den Marketing-Workflow. Support-Inhalte bewegen sich durch den Support-Workflow. Die Qualität hängt davon ab, wem ein bestimmtes Projekt gehört.

Automatisierung Inhalte wechseln von Quellsystemen in Übersetzungs-Workflows ohne manuelle Übergaben. Genehmigungen werden automatisch geleitet. Übersetzte Inhalte liefern ohne Export-Import-Zyklen an das Quellsystem zurück. Wenn sich eine Zeichenkette ändert, erkennt der Workflow sie, nicht ein Projektmanager, der eine Tabelle überprüft.

Zentralisierte Qualitätsverfolgung. LQA-Werte, LQE-Verteilungen und Fehlertrends sind an einem Ort. Teams erkennen Inkonsistenzen zwischen Sprachen und Inhaltstypen, bevor sie sich auf Hunderte weiterer Strings ansammeln.

Kontinuierliche Verbesserung. Glossare, TMs und Prompt-Vorlagen werden aktualisiert, sobald neue Begriffe und Muster entstehen. Die Qualitäts-Basislinie steigt mit der Zeit, anstatt mit wachsendem Inhaltsvolumen stabil zu bleiben oder zu verschlechtern.

Ohne alle vier der oben genannten Prinzipien zusammenwirken, wird Qualität im großen Maßstab zu einem Durchschnittsproblem – insgesamt gut genug, aber in den konkreten Fällen kaputt.

Personio zeigt, wie dieser Wandel in der Praxis aussieht. Das Personalsoftwareunternehmen kopierte manuell Quellinhalte von Zendesk, schickte Dateien per E-Mail an eine Übersetzungsagentur und fügte Übersetzungen zurück. Dieser Prozess funktionierte mit geringem Volumen, konnte aber nicht auf zusätzliche Sprachen skalieren, ohne mehr Mitarbeiterzahl hinzuzufügen.

Nachdem das Lokalisierungsprogramm auf Smartling zentralisiert und maschinelle Übersetzung für Support-Inhalte eingeführt wurde, erwartet das Content-Education-Team von Personio, 40 % ihres aktuellen Übersetzungsbudgets einzusparen und die interne Überprüfungszeit um mindestens die Hälfte zu kürzen. MT übernimmt den hochvolumigen, standardisierten Hilfeinhalt, während Human Review das übernimmt, was tatsächlich benötigt wird. Personio investiert nun ihr Budget wieder in Sprachen, die das Unternehmen zuvor nicht unterstützen konnte.

Risiken schlechter Qualität der maschinellen Übersetzung

Wenn Teams die MT-Qualität nicht managen, zeigt sich der nachgelagerte Einfluss an vier vorhersehbaren Stellen.

Markeninkonsistenz. Produktnamen, Slogans und Kern-Markensprache variieren je nach Markt. Kunden sehen verschiedene Versionen derselben Marke, je nachdem, auf welcher Seite sie landen.

Kundenverwirrung. Produktbeschreibungen, Support-Artikel und Checkout-Flows erzeugen unklare Anweisungen in Zielsprachen. Kunden verlassen, missbrauchen oder eskalieren.

Compliance-Probleme. Regulierte Inhalte in juristischen, medizinischen und finanziellen Kategorien bergen Risiken, wenn Übersetzungen die erforderliche Sprache übersehen oder Ungenauigkeiten verursachen. Einige Branchen behandeln Übersetzungsfehler als Compliance-Verstöße.

Erhöhte Überarbeitung. Qualitätsprobleme treten nach der Veröffentlichung auf und erfordern manuelle Reinigung. Die Kosten für die Nachbearbeitung von Inhalten übersteigen die Kosten für die korrekte Übersetzung beim ersten Mal.

Was passiert ohne Qualitätssysteme

Lokalisierungsprogramme, die ohne strukturierte Qualitätssysteme arbeiten, folgen denselben vier Mustern.

Inkonsistente Ausgaben. Terminologie, Ton und Formulierungen variieren je nach Inhalt, da keine gemeinsamen Assets oder Regeln sie stabilisieren.

Manuelle QA-Verzögerungen. Die Qualität hängt davon ab, dass einzelne Gutachter jeweils Probleme aufdecken. QA wird zum Engpass, den der Rest des Arbeitsablaufs eigentlich beseitigen sollte.

Fehlende Sicht. Niemand beantwortet grundlegende Fragen zur Qualität, einschließlich der Punkte, wo sie stark ist, wo sie abdriftet und welche Sprachen oder Inhaltstypen das größte Risiko bergen.

Schlechte Skalierbarkeit. Das Hinzufügen von Sprachen und Inhaltsvolumen vervielfacht den Koordinationsaufwand statt wiederverwendbare Assets zu nutzen. Jeder neue Ort fühlt sich genauso herausfordernd an wie der erste.

Die Qualität der maschinellen Übersetzung ist ein Systemproblem

Die Qualität der MT ist von Natur aus variabel. Engine-Auswahl, Inhaltstyp, Sprachpaar und Workflow-Design prägen alle das Ergebnis, und keine einzelne Taktik liefert für sich genommen eine einheitliche Qualität.

Erfolgreiche Teams verlassen sich auf ein System, statt auf MT isoliert. Innerhalb dieses Systems wenden strukturierte Arbeitsabläufe konsistente Qualitätskontrollen in jedem Auftrag an. Automatisierung führt Inhalte durch diese Workflows ohne manuelle Übergaben. Und Qualitätsmessung zeigt, wo die Produktion stark ist und wo sie driftet.

Die meisten Enterprise-Teams verfügen über Teile dieser Infrastruktur, und dort verstecken sich Qualitätsprobleme. Smartling schließt diese Lücke, indem strukturierte Arbeitsabläufe, Automatisierung und Qualitätsmessung auf einer Plattform kombiniert werden, sodass Teams einen wiederholbaren Weg zur MT-Qualität erhalten, der mit dem Inhaltsvolumen und nicht mit der Personalstärke skaliert.

Wenn Sie sehen möchten, wie Smartling alles auf einer Plattform zusammenbringt, buchen Sie eine Demo.