Wozu und wi kann man einen maschinellen Übersetzer bewerten? Es gibt tatsächlich ein Bewertungssystem, nach dem online-Übersetzungen nach ihrer Qualität eingestuft werden. Doch die Überprüfung ist von den jeweiligen Umständen abhängig. Zunächst muss das richtige System ausgewählt werden. Ausschlaggebend dafür sind z. B. die benötigten Sprachkombinationen sowie das Fachgebiet, in dem die Ausgangstexte weitestgehend geschrieben sind und übersetzt werden müssen. Nicht jedes System ist bspw. für die Übersetzung von E-Commerce-Texten vom Russischen ins Chinesische geeignet.
Danach kommt die Qualitätsbewertung, wenn man sich für ein System entschieden hat. Erst dann geht es ans Training und die stetige Verbesserung (Tuning) der sogenannten Engines. Maschinelle Übersetzungssysteme können auf unterschiedlichen Ansätzen basieren; zum Beispiel können sie regelbasiert, statistisch und neuronale maschinelle Übersetzungen sein. Für die Bewertung von statistischer maschineller Übersetzung (SMÜ) wurde bereits eigens eine statistische Qualitätsmetrik entwickelt: BLEU (Bilingual Evaluation Understudy). Bis heute erfreut sie sich großer Beliebtheit und wird nicht nur für SMÜ eingesetzt. Aktuell wird die neuronale maschinelle Übersetzung (NMÜ) ebenfalls anhand von BLEU-Scores bewertet. Aufgrund der unterschiedlichen Funktionsweise ist der BLEU-Score hier jedoch nur bedingt aussagekräftig, weshalb die Humanevaluation, insbesondere bei der NMÜ, vor die Systemauswahl geschaltet werden sollte.