ATR étape 1 : Débuter avec la transcription automatique de texte

par Ariane Pinche et Pauline Spychala


Read this article in English: https://harmoniseatr.hypotheses.org/274
Diesen Artikel auf Deutsch lesen
: https://harmoniseatr.hypotheses.org/1283


Cet article présente le protocole complet d’utilisation de la transcription automatique de texte au sein de projets de recherche. Il propose un panorama des différentes étapes et pointe vers d’autres tutoriels qui expliquent chacune des étapes de manière plus détaillée.

Une feuille de route pour débuter avec l’ATR (Automatic Text recognition) est aussi disponible pour vous guider à travers les questions clés qui doivent être prises en compte avant de commencer une campagne d’ATR.

Qu’est-ce que la reconnaissance automatique de texte ?

La reconnaissance automatique de texte, ou ATR (Automatic Text Recognition) recouvre deux domaines : la reconnaissance optique de caractère (ou OCR pour Optical Character Recognition) utilisée pour extraire le texte issu de documents imprimés et la reconnaissance automatique d’écriture manuscrite (ou HTR pour Handwritten Text Recognition). L’un comme l’autre s’appuient sur les ressources de l’intelligence artificielle, et plus particulièrement de l’apprentissage machine, pour extraire le texte à partir d’images numérisées.

Le protocole complet d’un projet ATR comporte six étapes différentes :

  1. Acquisition des images
  2. Optimisation des images
  3. Analyse de la mise en page
  4. Reconnaissance de texte et entraînement de modèle
  5. Contrôle qualité et métriques
  6. Format de sortie et réutilisation

Pour chacune des étapes, notre équipe a créé des vidéos-tutoriels d’introductions présentant ces six étapes et expliquant les concepts de base de l’ATR.

Comment préparer mon corpus ?

La première étape est celle de l’acquisition des images qui comportent le texte à transcrire. La seconde étape est l’optimisation de ces dernières. Pour en savoir plus que la qualité requise pour les images et les étapes préparatoires avant leur chargement, voir l’article ou la vidéo : “Optimisation des images“.

Une fois que les images ont été optimisées, on les télécharge dans une plateforme de transcription. Dans cette série de tutoriels, nous utilisons la plateforme française eScriptorium. Toutefois, le procédé est le même sur les autres plateformes comme Transkribus ou OCR-D. En outre, il n’y a aucune différence entre transcrire des images issues de manuscrits ou d’imprimés.

Exemple de téléchargement d’image sur eScriptorium

Analyse de la mise en page

La troisième étape est l’étape d’analyse de la mise en page. Le programme reconnaît les zones de texte sur la page. Autrement dit, il distingue les zones avec ou sans contenu textuel. La segmentation est un processus au cours duquel l’image est divisée en différentes zones correspondant à la mise en page du document. La segmentation peut être subdivisée en deux tâches différentes : la reconnaissance des zones de texte et la reconnaissance des lignes de texte dans les zones. La phase d’analyse de la mise en page est essentielle pour identifier la disposition du texte et localiser les titres, les sous-titres, les marges et les annotations qui accompagnent le texte principal. Pour aller plus loin, voir l’article ou la vidéo : “Analyse de la mise en page“.

Exemple de segmentation issu du projet Gallic(orpor)a

Reconnaissance du texte et entraînement de modèles

Une fois que les zones et les lignes de texte ont été identifiées, l’étape suivante consiste à prédire le contenu textuel proprement dit. Il est important de comprendre que la machine ne lit pas le texte de la même manière qu’un œil humain. En réalité, l’ordinateur prédit la probabilité selon laquelle une combinaison de lettres et de mots sont susceptibles d’apparaître. Le temps nécessaire au processus de prédiction dépend de différents facteurs tels que le nombre d’images, les performances de l’appareil ou du serveur de calcul.

Exemple de transcription

L’entraînement des modèles est au cœur du processus de l’ATR. Un modèle est un fichier qui est créé, amélioré et entraîné à partir de données d’entraînement préexistantes. Les données d’entraînement sont aussi appelées “Ground Truth” ou “vérité de terrain”. Ce sont des pages de transcriptions alignées ligne à ligne avec les images. Ces transcriptions sont produites ou corrigées à la main par un humain. Ces transcriptions corrigées sont considérées comme établissant une “vérité”. L’intelligence artificielle s’appuie sur ces données pour apprendre à distinguer correctement les signes.

ATR training cycle

Pour entraîner un modèle, deux options sont possibles : soit créer un nouveau modèle depuis zéro, soit adapter un modèle générique en un modèle affiné sur ses propres sources.

Ces deux options présentent des avantages et inconvénients différents, qu’il s’agit d’anticiper :

  1. Construire un modèle depuis zéro demande un nombre important de données d’entraînement, qui peut représenter jusqu’à 100 pages de texte transcrit ou corrigé manuellement, surtout quand le corpus est hétérogène. Cela implique un investissement significatif en terme de temps, de ressources matérielles et d’expertise technique, en raison de la prise en charge complète de l’entraînement du modèle.
  2. Affiner un modèle demande d’incorporer ses propres données dans un modèle d’ATR générique, et donc de personnaliser le modèle générique pour l’adapter à son propre corpus. Il existe des sites et dépôts où on peut trouver des modèles déjà entraînés comme HTR-United et Zenodo.

Pour en savoir plus sur la reconnaissance du texte et l’entraînement de modèle, voir la vidéo ou l’article dédié au sujet.

Contrôle qualité et métriques

Une fois que le modèle a produit une transcription, il faut vérifier ses performances. C’est la cinquième étape, dite de “contrôle de la qualité et métrique“. Dans la transcription issue de l’ATR, différents types d’erreurs peuvent se produire, comme l’addition d’un signe, la suppression d’un signe, le remplacement d’un signe par un autre, etc.

Types d’erreurs dans une transcription

La capacité d’un modèle à produire une transcription est évaluée par plusieurs types de score. Les plus communs sont la précision (accuracy) et le taux d’erreur au caractère (CER pour Character Error Rate) qui comparent le nombre total de caractères du jeu de données test, espaces compris, à l’addition du nombre d’insertions, de substitutions, de suppressions nécessaires pour reproduire un texte identique à la vérité de terrain. Chaque erreur, même mineure, est une erreur. C’est-à-dire que chaque virgule manquante, confusion entre un “u” et un “v”, ajout d’espace ou transcription d’une majuscule à la place d’une minuscule compte dans le calcul du CER comme une erreur.

Formule de calcul du taux d’erreur au caractère

Formule de calcul du taux d’erreur au caractère. CC-BY 4.0.La précision est un bon indicateur de la performance d’un modèle, mais le score à atteindre dépend de l’objectif recherché.

Type d’utilisation en fonction du taux de précision

Pour une édition scientifique, une précision de 95% est nécessaire. Pour la mise à disposition de texte brut, une précision de 90% est suffisante, tandis que pour mener une analyse statistique, un modèle avec une précision de 85% est acceptable. 

Il est important de noter que ces scores n’ont pas toujours la même signification en fonction de la composition du corpus d’entraînement. Plus il y a de diversité dans les données d’entraînement du modèle, plus il faut de données pour gagner en précision. Toutefois, un modèle entraîné à partir d’un corpus diversifié est plus apte à transcrire des documents inconnus, même si sa précision est moindre que celle d’un modèle entraîné sur un seul manuscrit par exemple. 

Format de sortie et réutilisation

Une fois les transcriptions prédites par la machine et corrigées par un humain, l’étape finale est l’export des résultats depuis la plateforme de transcription. Plusieurs formats de sortie sont envisageables (texte brut, XML,…). Le choix dépend de la finalité du corpus : que veut-on faire des transcriptions ? Une vidéo est dédiée à ce sujet dans nos tutoriels et la feuille de route peut vous aider à choisir le format le plus adapté.

Conclusion

Commencez avec une stratégie… et notre feuille de route !

La reconnaissance automatique de texte offre un large éventail de possibilités. Cependant, vous devez déployer une véritable stratégie, préparée en amont, pour déterminer si cette technologie est adaptée à vos besoins. Nous avons conçu une feuille de route pour vous aider à identifier les questions importantes à vous poser dans la conception de votre projet en fonction de vos moyens financiers et des ressources techniques dont vous disposez. Elle vous guidera également dans la sélection d’un modèle existant adapté. Ce guide vous permettra également de suivre les bonnes pratiques scientifiques en matière de partage des données.

Et maintenant, c’est à vous de jouer, avec notre feuille de route !


Toutes les images : Ariane Pinche, CC-BY 4.0.
Image de cycle d’entraînement de : Ariane Pinche. Generic HTR Models for Medieval Manuscripts. The CREMMALab Project. Journal of Data Mining and Digital Humanities, 2023, Historical Documents and automatic text recognition, https://doi.org/10.46298/jdmdh.10252.


Ariane Pinche, Pauline Spychala, Débuter avec la transcription automatique de texte, dans : Anne Baillot, Mareike König (s.l.d.d.): Automatic Text Recognition. Harmonising ATR Workflows, 15.04.2024, https://harmoniseatr.hypotheses.org/686.

OpenEdition suggests that you cite this post as follows:
Pauline Spychala (April 15, 2024). ATR étape 1 : Débuter avec la transcription automatique de texte. Automatic Text Recognition. Retrieved July 13, 2024 from https://doi.org/10.58079/11npv


Pauline Spychala

Post-doctorante en Histoire numérique à l'Institut historique allemand de Paris. Docteure en Histoire médiévale.

You may also like...

1 Response

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

Search OpenEdition Search

You will be redirected to OpenEdition Search