Reality-Serie: Ep. 7 – MQM-Methodik und Übersetzungsqualität verstehen

Tauchen Sie ein in die Mythen und Realitäten der Einschätzung und Sicherung der Übersetzungsqualität aus der Sicht der MQM-Methode (Multidimensional Quality Metrics). MQM ist ein umfassendes System zur Bewertung und Überwachung der Qualität übersetzter Inhalte. MQM dient als standardisierter Rahmen für die linguistische Qualitätssicherung (LQA) zur Bewertung der Übersetzungsqualität in verschiedenen Kategorien. Durch die Bewertung von Übersetzungen im Rahmen von MQM können Sie Stärken Ihres Lokalisierungsprozesses sowie Verbesserungsmöglichkeiten erkennen.

In diesem Kamingespräch untersuchen wir die häufigsten Fehler und Best Practices, die eingesetzt werden, um erstklassige sprachliche Qualität zu gewährleisten. Erfahren Sie, wie die MQM-Methodik Lokalisierungsmanager und Linguisten gleichermaßen in die Lage versetzen kann, Fehler zu minimieren, Subjektivitäten zu beseitigen und ihre Übersetzungsleistung zu verbessern.

Unsere Experten für diese Sitzung sind:

• Olga Beregovaya | Vizepräsident für KI und maschinelle Übersetzung
• Valerie Dehant - Deutschland | Leitender Direktor, Sprachdienste
• Alex Yanishevsky | Direktor für KI- und maschinelle Übersetzungsimplementierungen

Übersetzungsqualität: Verständnis der MQM-Methodik

Wie jede andere auch, lebt die Übersetzungsbranche von Qualität. Aber wie bewerten Sie die Qualität von Übersetzungen? Die siebte Folge der "Reality-Serie" von Smartling lieferte wertvolle Einblicke in die Übersetzungsqualität. Wesentliche Aspekte, die von der maschinellen Übersetzung (MT) über die menschliche Übersetzung (HT) bis hin zum MQM-Framework (Multidimensional Quality Metrics) reichen, werden verwendet, um Licht in dieses komplexe Thema zu bringen.

Mythos: Ein Muttersprachler kann Qualität bewerten Die Referenten begannen damit, den hartnäckigen Mythos zu entlarven, dass jeder Muttersprachler die Qualität der Übersetzung beurteilen kann. Die Messung der "Übersetzungsqualität" ist in der Tat viel komplexer. Tatsächlich ist die Qualitätsbewertung sehr subjektiv und erfordert ein tiefes Verständnis des Kontexts und der Nuancen sowohl der Ausgangs- als auch der Zielsprache.

MQM-Rahmenwerk Das Hauptthema der Session war die Einführung des MQM-Frameworks (Multidimensional Quality Metrics). Dieses Modell weicht von der traditionellen Angemessenheits- und Geläufigkeitsbewertung ab und bietet eine objektivere Methode zur Bewertung der Übersetzungsqualität. Es berücksichtigt Faktoren wie Angemessenheit, Sprachgewandtheit und Handlungsfähigkeit und fördert gleichzeitig die blinde Bewertung. Die Referenten betonten die Bedeutung der blinden Evaluation in der MQM, bei der die Evaluatoren nicht wissen, ob die Übersetzung von einem Menschen oder einer Maschine durchgeführt wurde. Sie unterstrichen die entscheidende Rolle dieser Technik bei der Beseitigung von Verzerrungen bei der Bewertung.

Wie unterscheidet sich MQM von herkömmlichen Methoden? Olga Beregovaya erklärte, dass es vor allem um die Klassifizierung und Quantifizierung von "Übersetzungsfehlern" geht. Im MQM-Modell werden Fehler kategorisiert und Schweregradgewichte zugewiesen, um eine Gesamtqualitätsbewertung zu berechnen. Diese Methodik ermöglicht es uns, das Konzept der Übersetzungsqualität zu quantifizieren und in einen numerischen Wert umzuwandeln, der zur Verbesserung genutzt werden kann.

Die Referenten gingen auf andere relevante Branchenbewertungsmetriken wie BLEU, TER und Qualitätsschätzung mit großen Sprachmodellen (LLMs) ein. Diese Werkzeuge, kombiniert mit kontinuierlichen Experimenten mit LLMs zur Qualitätsschätzung und semantischen Bewertung, verbessern unser Verständnis des Motorverhaltens erheblich.

Olga Beregovaya brachte den Unterschied zwischen textueller und semantischer Vertonung ans Licht. Die textuelle Bewertung berücksichtigt in erster Linie den Unterschied in Zeichen oder Wörtern, die für eine Änderung erforderlich sind, während die semantische Bewertung die Assoziationen zwischen Wörtern und Konzepten in Sätzen untersucht. Sie betonte auch die Bedeutung der menschlichen Beteiligung bei der Identifizierung statistischer Ausreißer und Ausnahmen.

Alex Yanishevsky sprach das Thema Datenqualität im Zusammenhang mit der Bereitstellung von Large Language Models (LLMs) an. Er betonte, dass qualitativ hochwertige Daten von grundlegender Bedeutung seien und unterstrich die Notwendigkeit, Halluzinationen zu erfassen, wenn das Modell erheblich von der tatsächlichen Bedeutung abweicht.

Schlichtung und KPIs Valérie Dehant betonte die Rolle der Schlichtung bei der Lösung von Meinungsverschiedenheiten zwischen Linguisten und der Erzielung einer einheitlichen Kennzeichnung von Fehlern. Sie betonte die zentrale Rolle der MQM-Methodik bei der Erleichterung der Schlichtung in Szenarien, in denen widersprüchliche Bezeichnungen von Fehlerkategorien das Modelllernen beeinträchtigen. Die einzigartige Schlichtungsfunktion des MQM bietet eine klare Unterscheidung zwischen Fehlern und ermöglicht so einen nahtlosen Modelltrainingsprozess.

Alex Yanishevsky merkte an, dass Key Performance Indicators (KPIs) für maschinelle und menschliche Übersetzung inhaltlich spezifisch sind. Er weckte das Interesse, indem er emotionales Engagement, Benutzerzufriedenheit, Konversionen und die Lösung von Support-Tickets als potenzielle KPIs nannte, je nach Art des Inhalts und der Art und Weise, wie er bedient wurde (MT oder HT).

Valérie Dehant stellte das Toolkit von Smartling vor, das die Erstellung von Schemata rationalisiert, Fehler protokolliert und die Zusammenarbeit zwischen Evaluatoren über ein Dashboard fördert, das mit MQM-Scores ausgestattet ist und detaillierte Einblicke in Fehler und potenzielle Verbesserungsbereiche bietet. Diese detaillierte Fehleranalyse erleichtert die Ausarbeitung von Aktionsplänen zur Qualitätsverbesserung.

Das Urteil Durch das Verständnis der Wissenschaft hinter der Übersetzungsqualität und die Implementierung des MQM-Frameworks können wir die Qualitätsbewertung mit einer standardisierten, zuverlässigen Methode angehen. Darüber hinaus unterstreicht Episode sieben, dass die Kombination aus Automatisierung und menschlicher Analyse von entscheidender Bedeutung ist, um Modelle zu verbessern, Anomalien zu erkennen und die Skalierbarkeit des Bewertungsprozesses voranzutreiben. Sehen Sie sich die Episode oben in voller Länge an!