ATR Schritt 5: Texterkennung und Post-ATR-Korrektur
von Floriane Chiffoleau und Sarah Ondraszek
Read this blog post in English: https://harmoniseatr.hypotheses.org/226
Lire la version française de cet article :https://harmoniseatr.hypotheses.org/2866
Dieser Artikel führt Sie in die Welt der automatischen Texterkennung (ATR) und ihre verschiedenen Teilbereiche ein. Sie erfahren, wie sich die Texterkennungstechnologien entwickelt haben, wie sie funktionieren und was sie leisten können. Außerdem wird thematisiert, wie wichtig die Ermittlung der Grundwahrheit (ground truth) für eine genaue Texterkennung und gute Ergebnisse ist und wie sie Ergebnisse korrigieren können. Und schließlich geht es um die Welt der Tools und Software für die Anwendung von ATR.
Einführung Automatische Texterkennung
Am Anfang gab es nichts. Und die Menschen sagten: “Es werde die Automatische Texterkennung”. Und so schuf der Mensch die Möglichkeit, analogen Text, sei er handgeschrieben oder gedruckt, in digitale Kopien umzuwandeln. Automatische Texterkennung, kurz ATR, beschreibt die kombinierte Nutzung von optischer Zeichenerkennung (OCR) und handschriftlicher Texterkennung (HTR). Diese wichtige Entwicklung vollzog sich jedoch nicht in von einem Tag auf den anderen.
OCR ist für die Verarbeitung von gedruckten Medien, wie z. B. Büchern, gedacht. Diese Technologie hat sich im Laufe der Zeit immer weiter verbessert, so dass Systeme heute bei der Erkennung von Text aus gedruckten Dokumenten eine Genauigkeit von 99 % erreichen. HTR wird, wie der Name schon sagt, für handschriftliche Dokumente wie Briefe verwendet. Die menschliche Handschrift stellt selbst für moderne Technik eine Herausforderung dar. Handschriften umfassen eine nahezu unendliche Bandbreite an Schriftarten und Stilen. Herkömmliche Methoden des Musterabgleichs sind hier nicht anwendbar.
Die Weiterentwicklung der Technologien ermöglicht, dass Texterkennungssysteme nun beides, HTR und OCR, gleichzeitig durchführen können. Moderne Modelle können sowohl gedruckten als auch handschriftlichen Text erkennen und Segmente in Zeilen oder ganzen Absätzen verarbeiten. Heutzutage sind solche Systeme bereits in Smartphones integriert, so dass wir mit ihnen direkt Text von Bildern scannen können. Diese Technologien sind vor allem von Interesse für die Geschichtswissenschaft, Bibliotheken, Archive und alle Forschende, die ihre Dokumente auf neuartige Weise konvertieren, analysieren, speichern oder anreichern wollen unter Anknüpfung an globale digitale Trends.
Drei wichtige Projekte, die ATR einsetzen

Drei ATR-Projekte: Gallica, ABO und Project Gutenberg
Texterkennung
Je nachdem, ob es sich um OCR- oder HTR-Systeme handelt, unterscheiden sich die grundlegenden Funktionen dieser Systeme. Bei der Texterkennung werden gescannte Textbilder in ein maschinenlesbares Textformat umgewandelt. Dies kann manuell in einem “Double-Keying”-Verfahren geschehen oder (halb-)automatisch mit Hilfe von ATR-Systemen und trainierten Modellen. Solche Modelle benötigen dazu die Eingabe von Bildern mit hoher Qualität. Eine entsprechende Datenpipeline für ATR, d. h. der klassische Arbeitsablauf bei der Verarbeitung von Daten, umfasst die Vorverarbeitung von Bildern, die Segmentierungsphase, den eigentlichen Texterkennungsprozess und einen Nachkorrekturschritt. Moderne Modelle erkennen segmentierte Zeilen mit Hilfe von Deep-Learning-Algorithmen, die es ihnen ermöglichen, eine textuelle Darstellung der Bildeingabe zu erstellen. Diese Algorithmen lernen visuelle Merkmale aus solchen Eingaben. Je nach Projektziel und -hintergrund können Sie entweder bestehende Modelle verwenden oder ein neues Modell trainieren, das auf Ihren speziellen Fall zugeschnitten ist. Der Transkriptionsprozess – sei es durch ATR oder manuelle Transkription – erzeugt maschinenlesbaren Text als Ausgabe.
“Grundwahrheit” (ground truth) und Training von Modellen

Einige Plattformen für Ground truth und Modelle: HTR-United, GitHub und Zenodo
Bevor wir uns mit den ATR-Techniken befassen, sollten wir zunächst einige Schlüsselbegriffe definieren: ground truth, Modell und Modelltraining. Die ground truth (Grundwahrheit) bezieht sich auf Informationen, von denen bekannt ist, dass sie real oder wahr sind; sie ist das ideale Ergebnis. Bei der automatischen Transkription ist die Ground Truth die exakte Transkription von Texten. Sie gibt den Inhalt der Bilder fehlerfrei wieder. Ein Modell ist eine Datei, die darauf trainiert wurde, bestimmte Arten von Muster zu erkennen. Man beginnt mit der ground truth, die durch Training zu einem Modell wird.
Da die ground truth für das Modelltraining verwendet wird, muss die vorgegebene Transkription unbedingt genau mit den Bildern übereinstimmen, sonst wird das Modell während des Lernprozesses verwirrt. Dafür ist es wichtig, die ground truth vollständig von Hand oder mit einer vorhergesagten Transkription zu erstellen, die anschließend ganz genau manuell geprüft wird. Es ist zentral, eine ausreichende Menge an ground truth zu produzieren. Es gibt keine Mindestanzahl von Zeilen oder Seiten, da sie von verschiedenen Parametern abhängt, wie der Qualität der Bilder, der Komplexität der Schrift und der Struktur der Dokumente.
Die Erstellung von ground truth und das Training eines Modells können schrittweise erfolgen. Es ist immer möglich, neue ground truth hinzuzufügen, bis das Modell ausreichend genau ist. Schließlich ist es bei der Erstellung der ground truth von entscheidender Bedeutung, dass die für die Transkription getroffenen Entscheidungen, wie z. B. bestimmte Zeichen oder Symbole, konsistent bleiben. Die Dokumentation dieser Entscheidungen und ihre Einhaltung stellen sicher, dass das Modell nicht verfälscht wird. Dadurch kann die ground truth auch von der Digital Humanities-Gemeinschaft wiederverwendet und einfacher verstanden werden.
ATR-Software
Nun zur Software! Es herrscht in diesem Bereich nicht eine einzige Standard-Software vor. Im Laufe der Zeit wurden mehrere ATR-Programme für verschiedene Arten von Dokumenten und Sprachen entwickelt. Folglich ist es nicht ratsam, eine bestimmte Software für die Texterkennung zu empfehlen. Stattdessen werden wir einige Aspekte vorstellen, die bei der Auswahl der Software zu berücksichtigen sind. Bei der Auswahl einer ATR-Software sollte sorgfältig überlegt und einige Dinge berücksichtigt werden, denn ein Wechsel der Software während der Arbeit ist nicht immer möglich oder kann zu Problemen führen.
Hier sind einige Elemente, die Sie bei Ihren Daten und den Parametern der ATR-Software berücksichtigen sollten, um die beste Wahl zu treffen. Zunächst ist es wichtig, die Art der Dokumente des eigenen Korpus zu analysieren: Handelt es sich um gedruckte oder um handschriftliche Texte oder um beides? Danach können viele Optionen ausgeschlossen werden, denn OCR-Software funktioniert in der Regel nicht bei handschriftlichen Dokumenten, und die Verwendung von HTR-Software für gedruckte Texte wäre reine Zeitverschwendung, wenn es bereits OCR-Software mit passenden Modellen gibt.
Wenn mehrere Softwareprogramme geeignet erscheinen, sollte man die verfügbaren Modelle oder, falls es keine gibt, das Vorhandensein von ground truth prüfen, um auch hier Mehrarbeit zu vermeiden. Ebenso sollte man nachsehen, mit welchen Schriften die ATR-Software umgehen kann, d. h. mit welchen Schriftsystemen sie arbeiten kann. Denn es wäre ineffizient und nutzlos, eine Software zu verwenden, die für lateinische Schriften entwickelt wurde, wenn man mit arabischen Texten arbeitet.
In unserem Blogpost “ATR Schritt 1: Wo und wie man Bilder erhält” wurde das Prinzip der Bildbeschaffung erläutert. Dort haben Sie Ihre Bilder abgerufen, die in verschiedenen Formaten wie TIFF, JPG, PDF, auf Ihrem lokalen Rechner oder sogar schon auf einem IIIF-Server vorliegen. Da diese Bilder in die ATR-Software eingegeben werden, ist es notwendig, vorher zu überprüfen, ob das von Ihnen verwendete Format mit der gewählten Software kompatibel ist.
Schließlich könnte bei der Auswahl der passenden ATR-Software bei mehreren Möglichkeiten das Vorhandensein einer grafischen Benutzeroberfläche eine Überlegung wert sein. Auch wenn sie in der Regel keinen Einfluss auf die Texterkennung hat, könnte dies je nach Ihrer eigenen Affinität zu technischen Tools von Vorteil sein.
Korrektur nach der Texterkennung
Fehler bei der Vorhersage können das Ergebnis vieler Faktoren sein, die mit dem gescannten Bild, dem Modell oder der Segmentierung zusammenhängen, z. B. verrauschte Hintergründe, schlechte Papierqualität, Unlesbarkeit eines Textes, ein ungeeignetes Modell oder falsche Textzonen und Begrenzungslinien bei der Segmentierung.
Es gibt zwei Möglichkeiten für die Post-ATR-Korrektur: die halbautomatische Korrektur und die vollständige manuelle Korrektur. Ob man sich für die eine oder die andere entscheidet, hängt von der Anzahl der Fehler der Vorhersage ab. Die halbautomatische Korrektur kann zeitsparend sein, wenn alle paar Zeilen Fehler auftreten, wird aber zur Zeitverschwendung, wenn Fehler eher selten sind. Außerdem gibt es unterschiedliche Techniken und Werkzeuge für die halbautomatische Korrektur. Ihr Nutzen hängt von der Affinität des Benutzers oder der Benutzerin zu digitalen Werkzeugen ab. Wir raten daher, die halbautomatische Korrektur nur zu verwenden, wenn dadurch eine erhebliche Zeitersparnis wahrscheinlich wird. Wenn nicht, empfehlen wir eine vollständige manuelle Korrektur, d. h. die Überprüfung der Transkription auf Fehler und die Änderung von Hand.
Tools für die halbautomatische Korrektur
Python scripts und Regular Expressions (RegEx)
- Script: https://github.com/DiScholEd/pipeline-digital-scholarly-editions/tree/master/post_ocr_correction/scripts
- Dokumentation: https://github.com/DiScholEd/pipeline-digital-scholarly-editions/blob/master/post_ocr_correction/post-ocr_correction_for_text_files.md
Python scripts, RegEx und Kontext
- Scripts: https://github.com/sbiay/CdS-edition/blob/main/htr/py/spellcheckTexts.py und https://github.com/sbiay/CdS-edition/blob/main/htr/py/textCorrection.py
- Documentation: https://github.com/sbiay/CdS-edition/blob/main/htr/Corriger_une_prediction.ipynb
Korrektur mit neuronalen Methoden
- Project: https://github.com/GarfieldLyu/OCR_POST_DE
- Article: Neural OCR Post-Hoc Correction of Historical Corpora
Und jetzt geht es weiter mit “Qualitätssicherung und Metriken” (Beitrag in Vorbereitung), oder gleich mit Schritt sechs “Endformate und Wiederverwendung” – viel Erfolg!
Diesen Beitrag zitieren: Floriane Chiffoleau, Sarah Ondraszek, ATR Schritt 5 – Texterkennung und Post-ATR-Korrektur, in: Anne Baillot, Mareike König (Hg.): Automatic Text Recognition. Harmonising ATR Workflows, 09.05.2024, https://harmoniseatr.hypotheses.org/2145.
OpenEdition suggests that you cite this post as follows:
Sarah Rebecca Ondraszek (May 9, 2024). ATR Schritt 5: Texterkennung und Post-ATR-Korrektur. Automatic Text Recognition. Retrieved May 19, 2025 from https://doi.org/10.58079/11nq0