Ang Tulay ng Eval Harness

Ang champollion at ang MT Eval Harness ay dalawang magkahiwalay na tool na bumubuo ng iisang ecosystem. Ang harness ang lugar kung saan napapatunayan ang mga translation method. Ang Champollion naman ang lugar kung saan idine-deploy ang mga napatunayang method. Nag-uugnay ang mga ito sa pamamagitan ng shared plugin format.

Ang Daloy: Pananaliksik → Production

1. Bumuo ng method sa harness

Anumang Python class na nag-i-implement ng async translate(entries, config) → [{id, predicted}] ay maaaring kumonekta sa harness. Walang pakialam ang harness sa kung ano ang nangyayari sa loob — prompted LLM, custom-trained model, deterministic rules, kahit ano.

2. I-benchmark ito

I-sco-score ng harness ang inyong method laban sa standardized corpus gamit ang reproducible metrics: chrF++, FST acceptance (para sa mga wikang may mayamang morpolohiya), morphological accuracy, at semantic scoring.

3. I-export bilang plugin

Kapag naabot ng inyong method ang katanggap-tanggap na kalidad, i-package ito bilang champollion plugin — isang method.json manifest na may opsyonal na coaching data.

:::info Nakaplano ang Export CLI Sa kasalukuyan, manu-mano ninyong ginagawa ang method.json manifest. Ia-automate ito ng mt-eval export command. Tingnan ang Method Interface para sa kumpletong plugin format. :::

4. I-install sa champollion

champollion plugin install ./my-method-plugin/

5. Magsalin ng totoong content

champollion sync

Gumagawa na ngayon ng totoong mga salin sa production ang inyong na-benchmark na method.

Ang Daloy: Production → Pananaliksik

Sinusuri ng mga bilingguwal na tagapagsalita ang mga na-deploy na salin. Natutukoy ng kanilang feedback ang mga sistematikong error (maling tense patterns, kulang na vocabulary, hindi natural na phrasing). Ina-update ng researcher ang method sa harness, muling nagbe-benchmark, muling nag-e-export, at muling nagde-deploy. Natututo ang system mula sa paggamit.

Ang Plugin Format

Ang method.json manifest ang kontrata sa pagitan ng dalawang tool:

{
  "name": "crk-coached-v3",
  "type": "llm-coached",
  "version": "3.0.0",
  "description": "Coached LLM translation for Plains Cree",
  "locales": ["crk"],
  "config": {
    "model": "google/gemini-3.5-flash",
    "temperature": 0.3
  },
  "benchmarks": {
    "crk": {
      "composite_score": 0.67,
      "fst_acceptance": 0.82,
      "corpus_size": 150
    }
  }
}

Tingnan ang Plugin Specification para sa kumpletong format.

Ano ang Built vs. Planned

Component	Status
TranslationMethod protocol	✅ Built
Harness benchmark runner	✅ Built
method.json plugin format	✅ Built
champollion plugin install/remove/list	✅ Built
Coaching data loading	✅ Built
mt-eval export CLI	🔲 Planned
Community review interface	🔲 Planned
Cryptographic test set evaluation	🔲 Planned

Karagdagang Babasahin

• Translation Methods — lahat ng available na method at kung paano gumagana ang mga ito
• Plugin Specification — ang method.json format
• Pag-serve ng Method sa pamamagitan ng API — pag-host ng method sa server-side
• Data Sovereignty — OCAP, CARE, at cryptographic protection
• Para sa MT Researchers — ang eval harness documentation