ATR étape 5 : Reconnaissance de texte et correction post-ATR

De Floriane Chiffoleau et Sarah Ondraszek


Read this blog post in English: https://harmoniseatr.hypotheses.org/226
Diesen Beitrag auf Deutsch lesen: https://harmoniseatr.hypotheses.org/2145


Cet article présente le monde de la Reconnaissance Automatique de Texte (ATR) et ses diverses sous-parties. Découvrez comment les technologies de reconnaissance de texte se sont développées, comment elles fonctionnent et ce dont elles sont capables. Apprenez à quel point la création de vérités de terrain est essentiel à une reconnaissance précise et de bons résultats. Explorez comment corriger les sorties des pipelines ATR. Et enfin, plongez dans les options de logiciels disponibles pour faire de l’ATR.

Présentation de la Reconnaissance Automatique de Texte (ATR)

Au début, il n’y avait rien. Et l’Homme a dit : “Que la reconnaissance automatique de texte soit”. C’est ainsi que l’humanité a créé la capacité de convertir des documents physiques, qu’ils soient manuscrits ou imprimés, en copies numériques. La reconnaissance automatique de texte, en abrégé ATR, décrit l’utilisation convergente de la reconnaissance optique de caractères (OCR) et de la reconnaissance de texte manuscrit (HTR). Cependant, la convergence de ces technologies a mis du temps à se développer.

L’OCR vise à traiter les supports imprimés, tels que les livres. Cette technologie s’est beaucoup améliorée au fil du temps, et les systèmes actuels peuvent atteindre une précision de 99 % dans la reconnaissance de texte de documents imprimés. L’HTR, comme son nom l’indique, est utilisée pour les documents manuscrits, tels que les lettres. L’OCR et l’HTR permettent, tous deux, la numérisation et la conservation de documents historiques, améliorent leur accessibilité, et permettent de l’extraction de données efficace. L’écriture manuscrite constitue un défi, même pour la technologie moderne. Les manuscrits comprennent une gamme quasi infinie de styles d’écritures, produits par des mains différentes. Ils sont hors de portée des approches traditionnelles de reconnaissance de formes, ce qui est le point crucial de l’OCR.

En évoluant, les technologies ont permis de développer des systèmes de reconnaissance de texte qui procèdent simultanément à de l’HTR et de l’OCR. Les modèles modernes peuvent reconnaître du texte imprimé ou manuscrit. Ils peuvent traiter des segments de lignes ou des paragraphes entiers. Aujourd’hui, de tels systèmes sont intégrés aux smartphones, ce qui nous permet de scanner du texte à partir d’images. Ces technologies sont particulièrement attirantes pour les historiens, bibliothécaires, membres des archives, et chercheurs en général, qui veulent convertir, analyser, conserver et maintenir leurs documents d’une manière nouvelle, en adoptant les tendances numériques générales.

Trois projets importants utilisant l’ATR

Trois projects d’ATR : Gallica, ABO et Project Gutenberg

Pour commencer, explorons trois projets d’ATR significatifs qui ont eu un impact marquant. Ces projets sont Gallica, Austrian Books Online (ABO) et Project Gutenberg. Gallica est l’équivalent numérique de la Bibliothèque nationale de France (BnF) fondée en 1997. Austrian Books Online (ABO) est un projet de numérisation de masse toujours en cours, qui a été commencé par la Bibliothèque Nationale Autrichienne. Leurs fonds de livres historiques sont rendus disponibles à travers un partenariat public-privé avec Google. Le Projet Gutenberg est une bibliothèque numérique qui offre une large collection de textes culturels sous la forme de eBooks. Les archives incluent plus de 50 000 objets, tel que Faust de Johann Wolfgang von Goethe ou Germinal d’Émile Zola, c’est-à-dire de la littérature dans le domaine public, datant principalement du XIXème siècle et avant, en fonction de la loi sur les droits d’auteur du pays d’origine de l’ouvrage.

Reconnaissance de texte

Qu’est-ce que la reconnaissance de texte, et comment cela fonctionne ? Selon que l’on s’occupe de systèmes d’OCR ou d’HTR, les fonctionnalités de base de ces systèmes diffèrent. Pour résumer, la reconnaissance de texte est la procédure qui consiste à convertir des images de texte scannées en un format de texte lisible par une machine. Cette opération peut être effectuée manuellement, par transcription, ou (semi-)automatiquement, à l’aide de logiciels ATR et de modèles entraînés à cet effet. Ces modèles nécessitent des images de haute qualité. Une pipeline pour l’ATR, c’est-à-dire le schéma classique à suivre quand on gère de la donnée, incluerait le prétraitement des images, la phase de segmentation, le processus de reconnaissance de texte et une étape de post-correction. Les modèles actuels reconnaissent les lignes segmentées à l’aide d’algorithmes d’apprentissage automatique, ce qui leur permet de créer une représentation textuelle de la structure de l’image importée. Ces algorithmes apprenent les caractéristiques visuels de ces imports. Selon le projet, il est possible d’utiliser des modèles existants ou d’entraîner un nouveau modèle, spécifique à l’import. Ensuite, le processus de transcription, qu’il soit fait par ATR ou manuellement, produit un texte lisible par une machine.

Vérités de terrain et entraînement de modèles

Des plateformes de vérités de terrain et de modèles: HTR-United, GitHub et Zenodo

Comme mentionné précédemment dans notre carte de route ATR, des vérités de terrain et modèles variés peuvent déjà être trouvé sur des plateformes telles que HTR-United, Zenodo et GitHub. Ainsi, avant de se décider à entraîner un nouveau modèle, il est préférable de s’assurer que cela est bien nécessaire. En explorant des données d’entraînement existantes, vous pourriez éviter des étapes chronophages impliquant la production de vérités de terrain et l’entraînement de modèles.

Avant d’aborder les techniques d’ATR, il est essentiel de définir quelques mots clés : vérité de terrain, modèle et entraînement du modèle. La vérité de terrain fait référence à des informations que l’on sait être réelles ou vraies; il s’agit du résultat idéal, attendu. En transcription automatique, la vérité de terrain est la transcription exacte d’un ensemble de textes. Elle restitue parfaitement le contenu des images auxquelles elle est associée. Un modèle est un fichier qui a été entraîné à reconnaître certains schémas de transcription. Lorsqu’il est effectué par le biais de l’apprentissage automatique, l’entraînement de modèles caractérise le processus par lequel un algorithme d’apprentissage automatique est alimenté par suffisamment de données d’entraînement pour pouvoir apprendre à partir de celles-ci. 

L’entraînement de modèles est une tâche qui est constituée de plusieurs étapes. D’abord, il recquiert un input, c’est-à-dire des données avec lesquelles le logiciel apprendra pour produire un output. Pour le reconnaissance de texte, cet input inclut un set d’images et leurs transcriptions correspondantes (les vérités de terrain). Une fois que cela est obtenu, l’input sera envoyé dans le logiciel d’entraînement de modèles, un sujet que l’on discutera plus amplement ensuite. Durant cet entraînement, le logiciel s’entraînera sur les données et apprendra, à partir d’elles, développera quelques reconnaissances de formes, testera et validera les résultats de l’entraînement, puis cela sera répéter jusqu’à ce qu’un modèle satisfaisant soit atteint, ce qui constitue l’output.

Schéma d’un entraînement de modèle

La vérité de terrain étant utilisée pour l’apprentissage du modèle, il est impératif que la transcription proposée corresponde exactement aux images afin de ne pas générer de confusion pour le modèle au cours du processus d’apprentissage. Pour ce faire, il est nécessaire de produire des vérités de terrain entièrement à la main ou avec une prédiction automatisée de la transcription qui aura été soigneusement corrigée à la main. Il est essentiel de produire une quantité suffisante de vérités de terrain. Pour définir cette quantité, on ne peut pas vraiment généraliser à un nombre minimum de lignes ou de pages requis, car cela dépend de différents paramètres, tels que la qualité des images, la complexité de l’écriture et la structure des documents.

Il est important de préciser que la production de vérités de terrain et l’entraînement d’un modèle peuvent se faire progressivement. Il est toujours possible d’ajouter de nouvelles vérités de terrain jusqu’à ce que le modèle soit suffisamment précis. Enfin, lors de la production de la vérité de terrain, il est essentiel de rester cohérent·e dans les choix effectués pour la transcription, par exemple pour les caractères ou les glyphes spécifiques. En documentant ces choix, et en les respectant scrupuleusement, on facilite le travail du modèle. On facilite également par là la réutilisation de ces vérités de terrain par le reste de la communauté de recherche.

Logiciels pour la reconnaissance de texte

Si le processus et les méthodes pour la reconnaissance de texte sont certainement établis, il est important de noter que nous ne travaillons pas dans un domaine où un seul logiciel domine. Au fil du temps, plusieurs logiciels d’ATR ont été créés, pour différents types de documents et de langues. Il ne serait donc pas judicieux ou pratique de recommander un seul logiciel pour effectuer la reconnaissance de texte. Nous allons plutôt présenter les éléments à prendre en compte pour choisir le logiciel le plus adapté. Lors du choix d’un logiciel d’ATR, il importe de bien considérer les options disponibles, car changer de logiciel en cours de travail n’est pas toujours possible, ou peut entraîner des problèmes.

Voilà quelques éléments à considérer avec vos données et les paramètres des logiciels d’ATR afin de faire le bon choix. Tout d’abord, examinez bien le type de documents qui constituent vos données : sont-ils imprimés, manuscrits ou un peu des deux? On peut ainsi éliminer de nombreuses options, car les logiciels d’OCR ne fonctionnent généralement pas sur les documents manuscrits. De plus, si vous travailliez avec des documents imprimés dans une écriture à peu près standard, créer des vérités de terrain avec un logiciel HTR car aucun modèle n’existe, alors qu’il existe déjà un logiciel d’OCR avec des modèles adaptés serait une perte de temps pure et simple.Si plusieurs logiciels semblent adéquats, il serait sage de chercher les modèles disponibles, ou si aucun n’existe, les vérités de terrain pour, encore une fois, éviter d’avoir à faire plus de travail que nécessaire. En plus du type de documents, l’autre élément essentiel à vérifier avant de choisir le logiciel d’ATR est de déterminer le script qu’il peut traiter, c’est-à-dire les systèmes d’écriture sur lesquels il est en mesure de marcher. Par exemple, utiliser un logiciel uniquement conçu pour les scripts latins alors que vous travaillez sur des textes arabes serait inefficace et inutile.

Dans notre post de blog “ATR Étape 1 – Où et Comment Obtenir des Images”, le principe d’acquisition de l’image a été expliqué. Ici, vous récupérez vos images, qui peuvent être disponibles sous divers formats, tels que TIFF, JPG, PDF, sur votre machine locale ou déjà déposé sur un serveur IIIF. Ces images étant importés dans le logiciel d’ATR, il est nécessaire de vérifier auparavant que le format que vous avez est compatible avec le logiciel choisi.Enfin, dans le cas où plusieurs logiciels ATR sont encore disponibles, la présence d’une interface graphique peut être un choix décisif. Bien que cela n’aura généralement pas d’impact sur la reconnaissance de texte, une interface pourrait être avantageuse selon votre affinité avec les outils numériques.

Correction post-reconnaissance

La correction post-ATR est une étape qui vient après la prédiction faite par le modèle, qui aura été appliqué sur un corpus d’images. L’objectif de cette étape est de corriger les erreurs de prédiction, afin que cela corresponde parfaitement avec les images transcrites, faisant de cela des vérités de terrain. Les logiciels, l’entraînement des modèles et la quantité de ressources en ATR se sont considérablement améliorées au cours des dernières années, permettant la production de modèles de reconnaissance plus précis et plus efficaces. Cependant, la probabilité qu’une prédiction automatique produise un résultat parfait est ramement de 100% et, dans presque tous les cas, il sera nécessaire de corriger la prédiction après l’application du modèle.

Example of a post-ATR correction

Les erreurs de prédiction peuvent être le résultat de nombreux facteurs liés à l’image numérisée, au modèle ou à la segmentation, tels que le bruit (donc des informations non pertinentes), la mauvaise qualité du papier, l’illisibilité d’un texte, un modèle inadapté ou des masques et polygones erronés dans la segmentation. Face à de tels situations, si vous avez besoin de vérités de terrain, il sera nécessaire de faire une correction post-ATR afin d’obtenir un output correspondant parfaitement à son image associée.

Il existe deux façons de procéder à la correction post-ATR : la correction semi-automatique et la correction entièrement manuelle. SI une transcription parfaite est requise, une correction manuelle sera nécessaire. Le choix de l’une ou l’autre méthode dépend en fait de la quantité d’erreurs dans la prédiction. La correction semi-automatique peut faire gagner du temps lorsque les erreurs se produisent régulièrement, toutes les quelques lignes; en revanche, c’est une perte de temps si les erreurs sont occasionnelles. De plus, les techniques et les outils de correction semi-automatique varient. Son utilité dépend de l’affinité de l’utilisateur avec les outils numériques. Par conséquent, nous conseillons de n’utiliser la correction semi-automatique que si vous estimez qu’il y a là une réelle opportunité de gagner du temps. Si non, il est conseillé de faire une correction manuelle complète, c’est-à-dire vérifier la transcription pour trouver les erreurs et les modifier à la main.

Outils de correction semi-automatique

Et maintenant, continuez avec l’ « Assurance qualité et métriques » (article en préparation) ou directement avec l’étape six « Formats de sortie et réutilisation » – bonne chance !


Citer cet article : Floriane Chiffoleau, Sarah Ondraszek, “ATR Step 5 : Reconnaissance de texte et correction post-ATR.” In: Anne Baillot, Mareike König (s.l.d.d.): Automatic Text Recognition. Harmonising ATR Workflows, 09.05.2024, https://harmoniseatr.hypotheses.org/226.

OpenEdition suggests that you cite this post as follows:
Floriane Chiffoleau (May 9, 2024). ATR étape 5 : Reconnaissance de texte et correction post-ATR. Automatic Text Recognition. Retrieved July 13, 2024 from https://doi.org/10.58079/11nq1


Floriane Chiffoleau

I am a PhD candidate in digital humanities in the ALMAnaCH team at the French Institute for Research in Computer Science and Automation (INRIA) and in the 3.LAM at Le Mans Université.

You may also like...

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

Search OpenEdition Search

You will be redirected to OpenEdition Search