ATR Schritt 1: Erste Schritte bei der automatischen Texterkennung

von Ariane Pinche und Pauline Spychala


Read this article in English: https://harmoniseatr.hypotheses.org/274
Lire la version française de cet article :
https://harmoniseatr.hypotheses.org/686


Dieser Artikel stellt den gesamten Arbeitsablauf von Forschungsprojekten vor, die automatische Texterkennung (ATR) verwenden möchten. Er gibt einen Überblick über die verschiedenen Schritte des Prozesses und verweist auf die weiteren Tutorials, die diese Schritte im Detail erklären.

Eine Roadmap “Wie loslegen mit ATR?” führt Sie außerdem durch die wichtigsten Fragen, die vor dem Einsatz von ATR zu beachten sind, um ein umfassendes Verständnis der ATR-Anwendungen zu gewährleisten.

Was ist automatische Texterkennung (ATR)?

Die automatische Texterkennung (ATR) umfasst zwei Bereiche: die optische Zeichenerkennung (auch Optical Character Recognition – OCR genannt), mit der geschriebener Text aus gedruckten Dokumenten extrahiert wird, und die handschriftliche Texterkennung (Handwritten Text Recognition – HTR), mit der handgeschriebener Text aus Manuskripten extrahiert wird. Beide Verfahren nutzen künstliche Intelligenz, genauer gesagt maschinelles Lernen, um Text aus einem gescannten Bild zu extrahieren.

Der gesamte Arbeitsablauf eines ATR-basierten Projekts besteht aus sechs verschiedenen Arbeitsschritten:

  1. Bildbeschaffung
  2. Bildoptimierung
  3. Layoutanalyse
  4. Texterkennung und Modelltraining
  5. Qualitätssicherung und Metriken
  6. Endformat und Wiederverwendbarkeit.

Für jeden Schritt hat unser Team individuelle Video-Tutorials erstellt. Dieses Tutorial dient als Einführung. Es gibt einen Überblick über die sechs Schritte und erklärt grundlegende Konzepte im Zusammenhang mit ATR.

Wie bereite ich mein Korpus vor?

Der erste Schritt ist die Beschaffung von Bildern des Textes, den Sie transkribieren möchten. Der zweite Schritt besteht darin, die Bilder für die ATR-Anwendung zu optimieren. Weitere Informationen über die erforderliche Bildqualität und die Vorbereitung vor dem Hochladen finden Sie im Blogbeitrag und Video „Bildoptimierung“.

Sobald Ihre Bilder optimiert sind, laden Sie sie auf eine Transkriptionsplattform hoch. In dieser Tutorial-Serie verwenden wir die französische Plattform eScriptorium. Der Prozess ist jedoch derselbe, wenn Sie andere Plattformen wie Transkribus oder OCR-D verwenden.

Außerdem gibt es keinen Unterschied zwischen der Transkription von Bildern handschriftlicher Manuskripte oder von gedrucktem Text.

Beispiel für das Hochladen eines Bildes auf eScriptorium

Layoutanalyse

Der dritte Schritt ist die Layoutanalyse. Die Software erkennt Textzonen auf einer Seite. Anders gesagt: Sie unterscheidet zwischen Bereichen mit Text und Bereichen mit anderen, nicht textlichen Inhalten oder gar keinem Inhalt. Die Segmentierung ist der Prozess, bei dem ein digitales Bild in mehrere Zonen unterteilt wird, die dem Layout des Dokuments entsprechen. Die Segmentierung selbst kann in zwei verschiedene Schritte unterteilt werden: die Erkennung von Textzonen und die Erkennung der Textzeilen innerhalb der Zonen. Der Schritt der Layoutanalyse ist unbedingt erforderlich, um das Layout des Textes zu definieren und die Titel, Untertitel, Ränder oder Anmerkungen zu lokalisieren, die den Haupttext begleiten. Weitere Informationen finden Sie im Blogbeitrag und Video: „Layoutanalyse“.

Beispiel einer Segmentierung aus dem Projekt Gallic(orpor)a

Texterkennung und Modelltraining

Sobald die Textbereiche und -zeilen erkannt wurden, besteht der nächste Schritt darin, den Inhalt des Textes vorherzusagen. Es ist wichtig zu verstehen, dass die Maschine den Text nicht wirklich liest, wie es das menschliche Auge tut. Sie sagt vielmehr die Wahrscheinlichkeit voraus, dass eine Buchstabenkombination oder ein bestimmtes Wort vorkommt. Wie lange dieser Vorhersageprozess dauert, hängt von verschiedenen Faktoren ab, z. B. von der Anzahl der Bilder oder der Leistung Ihres Computers.

Beispiel für eine Texterkennung

Das Modelltraining ist das Kernstück des ATR-Prozesses. Ein Modell ist eine Datei, die auf der Grundlage bereits vorhandener Trainingsdaten erstellt, verbessert und trainiert wird. Diese Trainingsdaten werden auch als „Ground-Truth-Daten“ bezeichnet. Sie bestehen aus mehreren Seiten mit Transkriptionen, die zeilenweise auf die Bildern ausgerichtet sind. Diese Transkriptionen werden manuell erstellt und überprüft. Diese korrekte Transkription wird als „die Wahrheit“ betrachtet. Sie dient der künstlichen Intelligenz dazu, zu lernen, das richtige Zeichen zu erkennen.

ATR training cycle

Es gibt zwei Möglichkeiten, um ein Modell zu trainieren: Entweder man erstellt ein neues Modell von Grund auf oder man verbessert ein bestehendes Modell, indem man es auf die eigenen Quellen abstimmt und es in ein fein abgestimmtes Modell verwandelt.

  1. Um ein Modell von Grund auf neu zu erstellen, ist eine beträchtliche Menge an Trainingsdaten erforderlich, die sich auf über hundert Seiten manuell transkribierten Text belaufen können – insbesondere, wenn Ihr Korpus sehr heterogen ist. Dies bedeutet eine erhebliche Investition in Form von Zeit, Rechenleistung und technischem Fachwissen, da Sie alle Aspekte des Trainings berücksichtigen müssen.
  2. Bei der Feinabstimmung eines Modells werden Ihre eigenen Daten in ein generisches ATR-Modell integriert und dieses generische Modell an Ihren spezifischen Textkorpus angepasst. Es gibt mehrere verlässliche Websites und Datenbanken, auf denen Sie bereits trainierte Modelle finden können, z. B. HTR-United und Zenodo.

Wenn Sie mehr über „Texterkennung und Modelltraining“ erfahren möchten, schauen Sie sich das entsprechende Video und den Blogbeitrag dazu an.

Qualitätskontrolle und Metriken

Sobald das Modell die Transkription erstellt hat, müssen Sie seine Leistung überprüfen. Dies ist der fünfte Schritt: Qualitätssicherung und Metrik. Bei der ATR-Transkription können verschiedene Arten von Fehlern auftreten, z. B. das Hinzufügen eines Zeichens, das im Originaltext nicht vorhanden ist, das Löschen eines Zeichens, das Ersetzen eines Zeichens durch ein anderes, usw.

Arten der Fehler bei der Transkription

Die Leistung eines Modells bei der Vorhersage eines Textes wird in Form von Punktzahlen bewertet. Die gebräuchlichsten sind Genauigkeit und Zeichen- oder Wortfehlerrate. Die Zeichenfehlerrate (CER) vergleicht die Gesamtzahl der Zeichen des Testsatzes, einschließlich Leerzeichen, mit der Anzahl der Einfügungen, Ersetzungen und Löschungen von Zeichen, die erforderlich sind, um das Ergebnis der Grundwahrheit zu erhalten. Jeder kleine Transkriptionsfehler ist ein Fehler. Das bedeutet, dass jedes fehlende Komma, die Identifizierung eines “u” anstelle eines “v”, ein zusätzliches Leerzeichen oder sogar ein Großbuchstabe anstelle eines Kleinbuchstabens als Fehler in die CER aufgenommen werden.

Formel für die Zeichenfehlerrate

Die Genauigkeitsrate ist ein guter Indikator für die Leistung des verwendeten Modells, aber die zu erreichende Punktzahl hängt von dem gewünschten Ziel ab.

Verwendung nach Genauigkeitsrate in Prozent

Für eine wissenschaftliche Ausgabe ist eine Genauigkeitsrate von über 95 % erforderlich. Für die Bereitstellung von Rohtext ist eine Trefferquote von über 90 % ausreichend, während statistische Analysen mit einem Modell durchgeführt werden können, das eine Genauigkeit von 85 % bietet.

Es ist wichtig zu beachten, dass diese Werte je nach Vielfalt des Trainingskorpus nicht die gleiche Bedeutung haben. Je größer die Vielfalt im Trainingskorpus des Modells ist, desto mehr Daten benötigt es, um eine höhere Genauigkeit zu erreichen. Mit einem vielfältigen Trainingskorpus ist es jedoch wahrscheinlicher, dass sich das Modell erfolgreich an ein unbekanntes Dokument anpassen kann, auch wenn seine Genauigkeitsrate geringer ist als die eines Modells, das beispielsweise auf einem einzigen Manuskript trainiert wurde.

Endformat und Wiederverwendbarkeit

Sobald die Transkription von der Maschine vorhergesagt und von einem Menschen korrigiert wurde, besteht der letzte Schritt darin, das Ergebnis aus der Transkriptionsplattform zu exportieren. Hierfür gibt es mehrere mögliche Formate, z. B. Rohtext oder XML-Formate. Die Wahl hängt von der Zielsetzung ab: Wofür brauchen Sie die Transkription? Unser Blogbeitrag und Video „Endformat und Wiederverwendbarkeit” sowie unsere Roadmap können bei der Wahl des geeigneten Formats helfen.

Fazit

Beginnen Sie mit einer Strategie… und unserer Roadmap!

Die automatische Texterkennung bietet ein breites Spektrum an Möglichkeiten. Sie müssen jedoch vorher eine echte Strategie entwickeln, um festzustellen, ob diese Technik für Ihre Bedürfnisse geeignet ist. Wir haben eine Roadmap entwickelt, die Ihnen helfen soll, die wichtigsten Fragen zu Ihrem Forschungsdesign, Ihren finanziellen und technischen Mitteln sowie Ihrer Infrastruktur zu beantworten. Sie wird auch bei der Auswahl eines geeigneten bestehenden Modells unterstützen und dabei helfen, gute wissenschaftliche Praktiken für die gemeinsame Nutzung von Daten im Einklang mit den FAIR-Grundsätzen anzuwenden.

Und nun liegt es an Ihnen, mit unserer Roadmap loszulegen. Wir wünschen viel Erfolg!


Alle Bilder: Ariane Pinche, CC-BY 4.0.

Image Training cycle von: Ariane Pinche. Generic HTR Models for Medieval Manuscripts. The CREMMALab Project. Journal of Data Mining and Digital Humanities, 2023, Historical Documents and automatic text recognition, https://doi.org/10.46298/jdmdh.10252.

Diesen Artikel zitieren: Ariane Pinche, Pauline Spychala, Erste Schritte bei der automatischen Texterkennung, in: Anne Baillot, Mareike König (Hg.): Automatic Text Recognition. Harmonising ATR Workflows, 15.04.2024, https://harmoniseatr.hypotheses.org/1283.

OpenEdition suggests that you cite this post as follows:
Pauline Spychala (April 15, 2024). ATR Schritt 1: Erste Schritte bei der automatischen Texterkennung. Automatic Text Recognition. Retrieved July 13, 2024 from https://doi.org/10.58079/11npu


Pauline Spychala

Post-doctorante en Histoire numérique à l'Institut historique allemand de Paris. Docteure en Histoire médiévale.

You may also like...

2 Responses

  1. Diesem spannenden Beitrag wollten wir eine noch größere Reichweite verschaffen und haben ihn deshalb in den Slider auf unserer Startseite de.hypotheses.org und in den nächsten Newsletter aufgenommen.

    Ulrike Stockhausen (Community Management von de.hypotheses)

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

Search OpenEdition Search

You will be redirected to OpenEdition Search