Avaluar qualitat del corpus de Wikimatrix

[jordimas]

Objectiu: Avaluar qualitat del corpus de Wikimatrix

El corpus de Wikimatrix va ser alineat automàticament per Facebook i contenia un 30% de frases en les quals el català no es corresponia amb el anglès o la traducció era de qualitat baixa.

Mètrica: % de frases incorrectes en una selecció de 300 frases aleatòria del corpus

Ara mateix el que fem és:

• Exportar el corpus del Wikimatrix les frases alineades amb una confiança de 1.04:
  https://github.com/Softcatala/nmt-softcatala/blob/master/training-sets/eng-cat/preprocess.sh#L11
• Aplicar un filtratge posterior: https://github.com/Softcatala/nmt-softcatala/blob/master/training-sets/eng-cat/preprocess.sh#L17 on bàsicament eliminem totes les frases que no estan en català o anglès, ja que algunes frases en Wikimatrix estaven en castellà o llengües asiàtiques.

Com:

• Agafar 300 frases aleatòriament del corpus ja processat de Wikimatrix. Fitxers: WikiMatrix.en-ca.txt.ca i WikiMatrix.en-ca.txt.en al directori /preprocessed
• Posar-les en un full de càlcul
• Avaluar amb el nostre ciriteri humà si la traducció és prou bona o no

Si el % que obtenim de frases incorrectes superior a un 5% vol dir que hem de pensar com continuar netejant el corpus