Die Eval-Harness-Brücke

champollion und das MT Eval Harness sind zwei separate Werkzeuge, die ein Ökosystem bilden. Das Harness ist der Ort, an dem Übersetzungsmethoden erprobt werden. Champollion ist der Ort, an dem erprobte Methoden eingesetzt werden. Sie sind über ein gemeinsames Plugin-Format verbunden.

Der Ablauf: Forschung → Produktion

1. Erstellen Sie eine Methode im Harness

Jede Python-Klasse, die async translate(entries, config) → [{id, predicted}] implementiert, kann in das Harness eingebunden werden. Das Harness kümmert sich nicht darum, was intern geschieht — ein angesprochenes LLM, ein eigens trainiertes Modell, deterministische Regeln, alles ist möglich.

2. Benchmarken Sie sie

Das Harness bewertet Ihre Methode anhand eines standardisierten Korpus mit reproduzierbaren Metriken: chrF++, FST-Akzeptanz (für morphologisch reiche Sprachen), morphologische Genauigkeit und semantische Bewertung.

3. Exportieren Sie sie als Plugin

Wenn Ihre Methode eine akzeptable Qualität erreicht, verpacken Sie sie als champollion-Plugin — ein method.json-Manifest mit optionalen Coaching-Daten.

:::info Export-CLI ist geplant Derzeit erstellen Sie das method.json-Manifest manuell. Der Befehl mt-eval export wird dies automatisieren. Siehe die Method Interface für das vollständige Plugin-Format. :::

4. Installieren Sie sie in champollion

champollion plugin install ./my-method-plugin/

5. Übersetzen Sie echte Inhalte

champollion sync

Ihre gebenchmarkte Methode erzeugt nun echte Übersetzungen in der Produktion.

Der Ablauf: Produktion → Forschung

Eingesetzte Übersetzungen werden von zweisprachigen Sprechern überprüft. Ihr Feedback identifiziert systematische Fehler (falsche Zeitformenmuster, fehlendes Vokabular, unnatürliche Formulierungen). Der Forschende aktualisiert die Methode im Harness, benchmarkt sie erneut, exportiert sie erneut und setzt sie erneut ein. Das System lernt aus der Nutzung.

Das Plugin-Format

Das method.json-Manifest ist der Vertrag zwischen den beiden Werkzeugen:

{
  "name": "crk-coached-v3",
  "type": "llm-coached",
  "version": "3.0.0",
  "description": "Coached LLM translation for Plains Cree",
  "locales": ["crk"],
  "config": {
    "model": "google/gemini-3.5-flash",
    "temperature": 0.3
  },
  "benchmarks": {
    "crk": {
      "composite_score": 0.67,
      "fst_acceptance": 0.82,
      "corpus_size": 150
    }
  }
}

Siehe die Plugin-Spezifikation für das vollständige Format.

Was ist umgesetzt vs. geplant

Komponente	Status
TranslationMethod-Protokoll	✅ Umgesetzt
Harness-Benchmark-Runner	✅ Umgesetzt
method.json-Plugin-Format	✅ Umgesetzt
champollion plugin install/remove/list	✅ Umgesetzt
Laden von Coaching-Daten	✅ Umgesetzt
mt-eval export-CLI	🔲 Geplant
Community-Review-Schnittstelle	🔲 Geplant
Kryptografische Testset-Auswertung	🔲 Geplant

Weiterführende Literatur

• Translation Methods — alle verfügbaren Methoden und ihre Funktionsweise
• Plugin Specification — das method.json-Format
• Serving a Method via API — Hosting einer Methode serverseitig
• Data Sovereignty — OCAP, CARE und kryptografischer Schutz
• For MT Researchers — die Dokumentation des Eval Harness