Wie misst man die Übersetzungsqualität von GPT, Claude und DeepL?

Warum das Benchmarking von Übersetzungs-Engines nicht einfach ist

Die Leistung der Übersetzungs-Engine variiert erheblich je nach Sprachpaar, Inhaltstyp und Domäne. Eine Engine, die starke spanische Marketingtexte liefert, kann bei japanischer technischer Dokumentation schlechter abschneiden. Ein Benchmark, der ausschließlich auf öffentlichen Testsätzen basiert, spiegelt möglicherweise nicht den tatsächlichen Inhalt Ihrer Organisation wider, was bedeutet, dass der Gewinner einer standardisierten Bewertung möglicherweise nicht der Gewinner in der Produktion ist.

Die drei häufigsten Fehler beim Benchmarking von Übersetzungen sind die Verwendung eines zu kleinen Testdatensatzes, die Anwendung unterschiedlicher Bewertungskriterien auf verschiedene Engines und die Behandlung eines Benchmark-Laufs als einmalige Entscheidung anstatt als fortlaufende Messung. Die Übersetzungsqualität von LLM ändert sich mit jedem Modellupdate, was bedeutet, dass eine Engine, die vor sechs Monaten noch den dritten Platz belegte, den bisherigen Spitzenreiter inzwischen übertreffen kann.

Welche automatisierten Bewertungsmethoden messen tatsächlich

BLEU (Bilingual Evaluation Understudy)

BLEU-Scores messen die Überschneidung zwischen einem maschinell übersetzten Output und einer menschlichen Referenztranslation, ausgedrückt als Wert zwischen 0 und 1. BLEU ist schnell und weit verbreitet als Basis, belohnt aber oberflächliche Wortübereinstimmungen statt semantische Genauigkeit, was bedeutet, dass eine fließende Halluzination gut abschneiden kann, während eine korrekte, aber anders formulierte Übersetzung schlecht abschneidet. Für Enterprise-Benchmarking ist BLEU als First-Pass-Filter nützlich, aber als eigenständiges Qualitätssignal unzureichend.

MetricX und COMET

MetricX (Google) und COMET (Unbabel) sind neuronale Bewertungsmetriken, die Sprachmodelle verwenden, um die Übersetzungsqualität zu bewerten, indem sie Quelltext, maschinelle Ausgaben und Referenzübersetzungen über semantische Dimensionen hinweg vergleichen. Beide korrelieren stärker mit dem menschlichen Urteilsvermögen als BLEU, insbesondere bei der Erkennung von fließenden Fehlern und Bedeutungsverschiebungen. Für Unternehmensprogramme wiedie Bewertung der LLM-Übersetzung im großen Maßstab liefern MetricX und COMET ein zuverlässigeres Signal als BLEU allein.

Menschliche Bewertung als Validierungsschicht

Automatisierte Metriken messen die Übersetzungsqualität im Verhältnis zu einer Referenz. Menschliche Gutachter beurteilen, ob eine Übersetzung im Kontext funktioniert, die Markenstimme beibehält und sich für einen Muttersprachler natürlich liest. Bei besonders wichtigen Inhaltsarten wird durch automatisiertes Benchmarking die Auswahl eingegrenzt und durch menschliche Bewertung der Gewinner bestätigt, bevor eine Entscheidung über die Produktionsroute getroffen wird.

Wie man einen Übersetzungs-Benchmark durchführt, der umsetzbare Ergebnisse liefert

• Baue ein repräsentatives Testset. Wählen Sie 200 bis 500 Quellstrings aus Ihren eigentlichen Produktionsinhalten aus, die die Sprachpaare, Inhaltstypen und Domänen abdecken, die Ihnen am wichtigsten sind. Ein Benchmark, der auf generischen öffentlichen Testdaten basiert, sagt nicht vorher, wie eine Engine bei Ihrem Marketingtext, Hilfecenter-Artikeln oder Produkt-UI-Strings abschneidet.
• Führe identische Strings durch jeden Motor. Reichen Sie dieselben Quellcodes an GPT-4o, Claude 3.5 Sonnet, DeepL und alle anderen zu bewertenden Engines ein, ohne Unterschiede in der Vorverarbeitung zwischen ihnen. Kontrollierte Bedingungen sind der einzige Weg, die Motorleistung von anderen Variablen zu isolieren.
• Punkte mit MetricX oder COMET als primäre Kennzahlen. Wenden Sie auf alle Ausgaben identische Wertung an. Verfolgen Sie Werte nach Sprachpaar und Inhaltstyp, anstatt über alle Ergebnisse hinweg zu durchschnittlich zu machen, da aggregierte Werte signifikante Sprachvariationen verbergen können.
• Wenden Sie Ihr Übersetzungsgedächtnis und Ihr Glossar an, bevor Sie vergleichen. Die Qualität der Unternehmensübersetzung hängt teilweise davon ab, wie gut eine Engine mit Ihren bestehenden linguistischen Ressourcen integriert ist. Benchmarke Engines unter Bedingungen, die dein Glossar und TM einschließen, anstatt die rohe Engine-Leistung isoliert zu bewerten.
• Planen Sie eine kontinuierliche Messung ein. Die Übersetzungsmöglichkeiten von LLM ändern sich mit jeder neuen Modellversion. Ein Benchmark-Lauf ist eine Momentaufnahme zu einem bestimmten Zeitpunkt. Teams, die Aufträge auf Basis kontinuierlicher Leistungsdaten und nicht anhand einer einzelnen Benchmark-Entscheidung weiterleiten, erzielen langfristig eine bessere Qualität.

Wie handhabt Smartling Engine-Benchmarking und Routing?

Der AI Hub von Smartling bewertet die Übersetzungsqualität anhand von mehr als 20 LLMs und MT-Engines, darunter GPT-4o, Claude 3.5 Sonnet, DeepL, Amazon Bedrock, Google Vertex und andere. Das KI-Team von Smartling führt regelmäßig Benchmarking-Tests mit MetricX, COMET und BLEU durch, um die Leistung der Engine über verschiedene Inhaltstypen und Sprachpaare hinweg zu bewerten. Die Ergebnisse fließen in Smartlings Auto Select Routing ein, das jede Zeichenkette der leistungsstärksten Engine für das jeweilige Sprachpaar und den Inhaltstyp zuweist, anstatt eine einzige Engine universell anzuwenden.

Für Unternehmensteams, die eigene Vergleiche durchführen möchten, unterstützt Smartlings Plattform konfigurierbare LLM-Profile, mit denen Teams verschiedene Engine-Konfigurationen auf Produktionsinhalten testen können, bevor eine Standard-Routing-Regel festgelegt wird.

Hilfedokument: Smartling Auto Select MT

Hilfedokument: Smartling Auto Select LLM

Verwandte Fragen