Le Pont du Harness d'Évaluation MT
champollion et le MT Eval Harness sont deux outils distincts qui forment un seul écosystème. Le harness est l'endroit où les méthodes de traduction sont prouvées. Champollion est l'endroit où les méthodes prouvées sont déployées. Ils se connectent par un format de plugin partagé.
Le Flux : Recherche → Production
1. Construire une méthode dans le harness
Toute classe Python qui implémente async translate(entries, config) → [{id, predicted}] peut se brancher sur le harness. Le harness ne se soucie pas de ce qui se passe à l'intérieur — LLM avec invite, modèle entraîné personnalisé, règles déterministes, n'importe quoi.
2. L'évaluer
Le harness évalue votre méthode par rapport à un corpus standardisé avec des métriques reproductibles : chrF++, acceptation FST (pour les langues morphologiquement riches), précision morphologique et notation sémantique.
3. Exporter en tant que plugin
Lorsque votre méthode atteint une qualité acceptable, empaquetez-la en tant que plugin champollion — un manifeste method.json avec des données de coaching optionnelles.
:::info L'export CLI est prévu
Actuellement, vous créez le manifeste method.json manuellement. La commande mt-eval export automatisera cela. Consultez l'Interface de Méthode pour le format complet du plugin.
:::
4. Installer dans champollion
champollion plugin install ./my-method-plugin/
5. Traduire du contenu réel
champollion sync
Votre méthode évaluée produit maintenant des traductions réelles en production.
Le Flux : Production → Recherche
Les traductions déployées sont examinées par des locuteurs bilingues. Leurs commentaires identifient les erreurs systématiques (mauvais motifs de temps, vocabulaire manquant, formulation non naturelle). Le chercheur met à jour la méthode dans le harness, réévalue, réexporte et redéploie. Le système apprend de l'utilisation.
Le Format du Plugin
Le manifeste method.json est le contrat entre les deux outils :
{
"name": "crk-coached-v3",
"type": "llm-coached",
"version": "3.0.0",
"description": "Coached LLM translation for Plains Cree",
"locales": ["crk"],
"config": {
"model": "google/gemini-3.5-flash",
"temperature": 0.3
},
"benchmarks": {
"crk": {
"composite_score": 0.67,
"fst_acceptance": 0.82,
"corpus_size": 150
}
}
}
Consultez la Spécification du Plugin pour le format complet.
Ce qui est Construit vs. Prévu
| Composant | Statut |
|---|---|
| Protocole TranslationMethod | ✅ Construit |
| Exécuteur de benchmark du harness | ✅ Construit |
| Format de plugin method.json | ✅ Construit |
champollion plugin install/remove/list | ✅ Construit |
| Chargement des données de coaching | ✅ Construit |
CLI mt-eval export | 🔲 Prévu |
| Interface d'examen communautaire | 🔲 Prévu |
| Évaluation d'ensemble de test cryptographique | 🔲 Prévu |
Lectures Complémentaires
- Méthodes de Traduction — toutes les méthodes disponibles et leur fonctionnement
- Spécification du Plugin — le format method.json
- Servir une Méthode via API — héberger une méthode côté serveur
- Souveraineté des Données — OCAP, CARE et protection cryptographique
- Pour les Chercheurs en TA — la documentation du harness d'évaluation