ATR Schritt 4: Layoutanalyse
Lire la version française de cet article : https://harmoniseatr.hypotheses.org/3487
Read this article in English on DARIAH-Campus https://hdl.handle.net/21.11159/019595c5-1062-769a-aa81-caaa9ae837b7
1. Was ist Layoutanalyse?
Die Layoutanalyse bezieht sich auf zwei Prozesse: 1. Identifizierung der Struktur eines Dokuments und 2. Lokalisierung der Textzeilen. Diese Prozesse werden auch als Segmentierung, Dokumentenanalyse oder optische Layoutanalyse bezeichnet.
Die Layoutanalyse ist eine Bildbearbeitungsaufgabe, bei der wir eine Reihe von x- und y-Koordinaten erzeugen, die Textregionen (auch: Zonen, Bereiche) oder Linien entsprechen, die auf dem Bild eingezeichnet sind. Manchmal sind sie mit einem bestimmten Label versehen, das eine Unterscheidung zwischen verschiedenen Arten von Zonen oder Linien aufzeigt.

Die Layoutanalyse kann auch die Berechnung der Lesereihenfolge der Zeilen beinhalten. Wenn Sie z. B. eine Seite mit zwei Textspalten haben, möchten Sie vielleicht die erste Spalte von oben nach unten lesen, dann die zweite Spalte von oben nach unten. Bei einer falschen Lesereihenfolge würde man von der ersten Zeile der ersten Spalte zur ersten Zeile der zweiten Spalte springen, dann zurück zur zweiten Zeile der ersten Spalte usw.
2. Wie funktioniert Segmentierung?
Sehen wir uns zunächst an, wie die Segmentierung von Textregionen funktioniert. Die bei der Segmentierung zu identifizierenden Komponenten können Textblöcke, Bilder, Tabellen, Spalten, Fußzeilen usw. umfassen. Ziel ist es, das Dokument in sinnvolle Bereiche zu segmentieren, die weiterverarbeitet oder analysiert werden können.
Nehmen wir ein Beispiel: Wir haben hier das Gedicht “Le Pont Mirabeau” von Guillaume Apollinaire, geschrieben Anfang des 20. Jahrhunderts1. Wir haben alle Bereiche mit semantischen Inhalten mit Hilfe einer Annotationssoftware segmentiert und beschriftet. Das Layout ist relativ einfach, und wir haben die Seitenzahlen (in blau), den Titel (in lila) und die Strophen (in grün) mit Begrenzungsrahmen versehen. Alle diese Elemente sind nun als Textbereiche annotiert und haben eine ihrer Funktion entsprechende Bezeichnung.
Die Begrenzungsrahmen sind in der Regel rechteckig (etwa bei YOLO) oder polygonal (etwa bei Kraken).

3. Was ist eine Textzeile?
Um zu verstehen, wie das Erkennen von Textzeilen funktioniert, müssen wir erklären, was als Textzeile im Kontext von Layoutanalyse verstanden wird. Innerhalb segmentierter Bereiche gibt es Textzeilen. Wenn Sie eine Textzeile segmentieren, werden in den meisten Fällen zwei Elemente gleichzeitig extrahiert:
- Eine Grund- oder Oberlinie (rot), die eine virtuelle, durch mindestens zwei Punkte verlaufende Linie definiert, auf der der Text geschrieben ist oder von der er “hängt”;
- Eine Maske (violett) ist ein durch mindestens drei Punkte definiertes Polygon. Sie grenzt den Bereich der Pixel ab, der den Text der Linie enthält. Die Maske wird in der Regel automatisch vom ATR-System anhand der Koordinaten der oberen Zeile oder der Grundlinie berechnet.

4. Wie funktioniert die Segmentierung von Textzeilen?
Bei der Zeilensegmentierung geht es darum, Text in einem Bild präzise zu erkennen. Dies ist ganz entscheidend, da die meisten gegenwärtigen ATR-Modelle für maschinelles Lernen darauf angewiesen sind, Textzeilen korrekt zu extrahieren, bevor sie diese transkribieren.
Für die Segmentierung von Textzeilen gibt es zwei Ansätze, beide entweder manuell oder automatisch:
- Es wird eine Grundlinie (oder Oberlinie) gezeichnet, bevor die Software das entsprechende Polygon errechnet.
- Oder es wird ein Begrenzungsrahmen um die Textzeile gezeichnet, was bedeutet, dass wir nur eine rechteckige Maske haben, ohne notwendigerweise eine Grundlinie.
5. Was muss annotiert werden und was nicht?
Wie Sie Ihre Bilder segmentieren, hängt von Ihren redaktionellen und wissenschaftlichen Zielen ab. Wir hätten in unserem Beispiel z.B. beschließen können, alle Verse in Apollinaires Gedicht in den verschiedenen Strophen zu segmentieren. Außerdem haben wir bewusst einige Elemente weggelassen, die man hätte segmentieren und beschriften können, nämlich die gedruckten Folio-Nummern und die handschriftlich in Rot geschriebene Nummer. Für dieses Tutorials haben wir uns entschieden, auf der makro-strukturellen Ebene zu bleiben.
6. Muss man sich zwischen der Segmentierung von Zonen und Zeilen entscheiden?
Die Segmentierung von Zonen und die Segmentierung von Linien schließen sich nicht gegenseitig aus und sie müssen auch nicht gleichzeitig durchgeführt werden. Viele Segmentierungsmodelle können beides zugleich, während einige nur für eines von beiden trainiert sind. Wenn es nur um automatische Texterkennung geht, ist die Identifizierung von Regionen im Dokument optional, während die Erkennung von Textzeilen für die meisten Transkriptionsprogramme obligatorisch ist. Deshalb ist die Segmentierung des Textdokuments – vor der Transkription – der übliche Arbeitsablauf, der von den meisten ATR-Systemen durchgeführt wird. Allerdings entwickelt sich dieser Bereich derzeit rasant und es gibt bereits Systeme ohne Segmentierung.
7. Gibt es kontrollierte Vokabulare für die Beschriftung von Zonen und Zeilen?
In den meisten Programmen können segmentierten Zonen und Linien ein Etikett zugewiesen werden, um sie zu klassifizieren. Kontrollierte Vokabulare dienen zur Vereinheitlichung der Begriffe für die Klassifizierung: Sie enthalten eine vorgegebene Liste standardisierter Begriffe oder Phrasen, die zur Beschreibung und Kategorisierung von Daten verwendet werden.
Festgelegte Vokabulare stellen sicher, dass Ihre Daten:
- Konsistenz aufweisen (alle, die an einem Dokument arbeiten, verwenden die gleichen Begriffe zur Beschreibung von Textbereichen),
- durchsuchbar sind (die Suche und das Abrufen bestimmter Informationen wird durch annotierte Dokumente erleichtert),
- interoperabel sind (da die Annotation standardisiert ist, wird die gemeinsame Nutzung von Daten erleichtert)
- wiederverwendbar sind (die Ontologie ermöglicht die gemeinsame Nutzung von annotierten Daten).
Wir empfehlen die Verwendung der Ontologie SegmOnto. Es handelt sich um ein definiertes Vokabular zur “Beschreibung des Inhalts von Buch- oder Manuskriptseiten”. Mithilfe des von SegmOnto angebotenen Vokabulars können Sie die Annotation bei der Kommentierung des Layouts Ihrer Dokumente standardisieren.
8. Warum benötigen wir Layoutanalyse?
Zum Verständnis, warum Layoutanalysen wichtig sind, unterscheiden wir zwei Dinge:
- die Notwendigkeit der Layoutanalyse für die Texterkennung, und
- ihre Nützlichkeit für die Verarbeitung der Ergebnisse der Texterkennung.
Tatsächlich erzeugt ATR nur die Transkription, während die Layoutanalyse uns weitere Informationen für das Verständnis der Struktur des Textes liefert. Sie kann bei der Rekonstruktion von Absätzen, der Identifizierung von Titeln usw. behilflich sein.
9. Warum benötigen wir Layoutanalyse speziell für ATR?
Die Segmentierung von Textzeilen ist in den meisten ATR-Systemen zwingend erforderlich. Ohne eine gute Textzeilensegmentierung wird die Transkriptionsleistung nicht ausreichen, da Zeilen ausgelassen, in der falschen Reihenfolge gelesen oder in mehrere Zeilen aufgeteilt werden.
Allerdings haben neueste Entwicklungen im Bereich ATR zu einer segmentierungsfreien Texterkennung sowie zu einer Texterkennung geführt, die auf einer höheren Ebene als der der Zeilen erfolgt. Dabei werden z. B. Absätze oder sogar ganze Seiten erkannt.
10. Inwiefern ist es für nachgelagerte Aufgaben nützlich?
Annotation von Textregionen ist im Zusammenhang mit der Digitalisierung und der Erstellung digitaler Editionen nützlich. Sie ermöglicht die Extraktion von Informationen und das Verständnis von Dokumenten.
Roher Text ist im Gegensatz zu strukturiertem Text für die Extraktion und Verarbeitung von darin enthaltenen Informationen nur bedingt geeignet. Ohne fein strukturierte Inhalte geben wir der Maschine eine minderwertige Version des zu verarbeitenden Dokuments. Damit schränken wir die Möglichkeit zur Reproduktion der Informationsextraktion ein, zu der wir Menschen in der Lage wären. Ohne räumliche und logische Informationen ist der Inhalt nichts weiter als ein fortlaufender Text ohne Hierarchie, insbesondere wenn es sich um stark strukturierte Inhalte wie Glossare, Tabellen, Wörterbücher usw. handelt. Die Extraktion der Struktur ermöglicht den Erhalt der im Layout eingebetteten semantischen Bedeutung.
Die Layoutanalyse ist notwendig, um auf die Textebene, aber auch auf die Seiten- und Dokumentebene zu gelangen. Sie ermöglicht es uns, Informationen über das Dokument selbst zu erhalten, und zwar für nachgelagerte Aufgaben wie:
- die Erleichterung der Navigation innerhalb eines transkribierten Dokuments,
- die Reduzierung des Umfangs von Abfragen,
- das Ignorieren von Abschnitten,
- das Einbinden verschiedener Werkzeuge zur Verarbeitung von Zielregionen je nach Klasse und Inhalt,
- oder einfach um die logische Struktur eines Dokuments darzustellen.
11. Welche Software gibt es, um Layoutanalyse durchzuführen?
Layoutanalyse ist häufig in ATR-Expertensoftware wie etwa bei eScriptorium oder Transkribus enthalten. Es gibt aber auch Werkzeuge, die nur für die Layoutanalyse entwickelt wurden, wie z. B. dhsegment und LAREX. Darüber hinaus gibt es Umgebungen, die für jede Art von Bildkommentar, einschließlich Layoutanalyse, entwickelt wurden, wie z. B. Label Studio oder Roboflow.
Die Layoutanalyse kann manuell durch das Zeichnen von Begrenzungsrahmen und Textzeilen oder durch den Einsatz von Modellen für maschinelles Lernen erfolgen, die für diese Aufgabe trainiert wurden.
12. Welche Technologien verwendet Software zur Layoutanalyse?
Ein Segmentierungsmodell kann lernen, wie Textlinien und Regionen zu segmentieren sind und wie sie gemäß einer Ontologie zu beschriften sind.
Es gibt in der Regel vier Methoden, mit denen Sie eine automatische Layoutanalyse durchführen können:
- mit Convolutional Neural Networks,
- mit Transformatoren,
- mit Objekterkennungsmodellen,
- mit heuristischen oder regelbasierten Methoden.
13. Wie speichert man die Ergebnisse der Layoutanalyse?
Annotationen werden unter Verwendung spezieller XML-Standards wie ALTO XML und PAGE XML gespeichert (Analyzed Layout and Text Object (ALTO) 4.2 ist hier zugänglich: https://www.loc.gov/standards/alto/news.html#4-2-released) und PAGE XML hier: Pletschacher and Antonacopoulos 2010.
ALTO und PAGE verfügen über eigene Schemata, die dazu dienen, die Details des Layouts segmentierter Dokumente in Kombination mit dem aus der automatischen Erkennung resultierenden Text zu speichern. Sie arbeiten auf der Bildebene. Die Annotationsdateien werden automatisch von der ATR-Software erzeugt.
Schauen wir uns das ALTO-XML-Format an, das die vorhin erstellten Anmerkungen enthält.
Hier haben wir einen ganzen Textbereich, der im ALTO-Format dargestellt wird: den Titel des Gedichts. Zunächst haben wir das Element <textBlock> mit verschiedenen Attributen. Die ersten drei sind Angaben zu seiner Position im Bild. Es hat auch ein ID-Attribut und ein TAGREFS-Attribut. Letzteres ist wichtig, weil hier seine Beschriftung gespeichert ist. Beschriftungen werden im <Tags>-Element angegeben:

Das Label TitlePageZone hat die ID BT5041. Der Wert des TAGREFS-Attributs hat dieselbe ID, was bedeutet, dass der <textBlock> tatsächlich die Titelseitenzone ist.
Dann haben wir das <Shape>-Element , das dem annotierten Textbereich entspricht. Dann folgt die Textzeile selbst, hier nach ihrer Transkription. Zunächst erfasst das Element <TextLine> alle Koordinateninformationen und gibt der Grundlinie eine ID. Dann finden wir wieder das Element <Form>, das nun den Koordinaten der Maske der Grundlinie entspricht. Dann gibt es das <String>-Element, das Attribute zu den Koordinaten der Grundlinie enthält und dessen Inhalt nach der Transkription mit dem Attribut CONTENT erhalten wird.

Schauen wir uns nun das PAGE-XML-Format genauer an.

Hier speichert ein <TextRegion>-Element die Bezeichnung des Textbereichs und eine ID. Das darin verschachtelte <Coords>-Element enthält Informationen über die Koordinaten des Begrenzungsrahmens. Dann gibt es das Element <TextLine>, das ebenfalls ein Element <Coord> enthält, das der Maske der Grundlinie entspricht, und ein Element <Baseline>, das die Grundlinie selbst darstellt. Das Element <TextEquiv> dient der Speicherung des nach der Transkription erhaltenen Textknotens.
Es bleibt Ihnen überlassen, mit welchem Format Sie arbeiten möchten. Beachten Sie jedoch, dass ALTO XML im Vergleich zu PAGE XML weiter verbreitet ist. Auch TEI XML kann zur Speicherung von Layoutinformationen verwendet werden (Scheithauer, Chagué, and Romary 2022). Wählen Sie das Format, das für Ihre Ziele am besten geeignet ist, sei es zur Erstellung eines Datensatzes, einer digitalen Edition usw.
14. Fassen wir das in einem Flowchart zusammen
Händische Annotation
- Sie haben ein Korpus, das Sie vor der Transkription segmentieren müssen.
- Sie importieren Ihr Korpus in eine ATR-Software.
- Ihr Korpus ist klein und kann manuell annotiert werden.
- Sie brauchen die Textregionen nicht zu annotieren
- Sie annotieren die Textzeilen
- Sie entscheiden sich für eine Ontologie, die Sie zur Beschriftung der Textregionen verwenden wollen
- Sie beschriften Ihre Textzeilen
- Sie transkribieren die Textzeilen
- Anschließend können Sie Ihre Daten in ALTO XML oder PAGE XML exportieren.
- ODER Sie wollen die Textregionen annotieren
- Sie beschriften die Textregionen und die Textzeilen
- Sie entscheiden sich für die Ontologie, die Sie zur Beschriftung der Textregionen verwenden wollen
- Sie beschriften Ihre Textzeilen und Ihre Textregionen
- Sie transkribieren die Textzeilen
- Und dann können Sie Ihre Daten in ALTO XML oder PAGE XML exportieren.
Automatische Annotation
- Sie haben ein Korpus, das Sie vor der Transkription segmentieren müssen.
- Sie importieren Ihr Korpus in eine ATR-Software.
- Ihr Korpus ist zu umfangreich, Sie können ein Modell verwenden, um es zu annotieren
- Sie brauchen die Textregionen nicht zu annotieren
- Sie können ein Segmentierungsmodell verwenden, um die Textzeilen zu segmentieren
- Entscheiden Sie sich für die Ontologie, die Sie zur Kennzeichnung der Textregionen verwenden wollen.
- Wenn die segmentierten Textzeilen nicht gut genug sind, können Sie sie korrigieren und ein neues Modell mit ihnen als Trainingsdaten trainieren
- Beschriften Sie Ihre Textzeilen und trainieren Sie ein Modell mit Beschriftungsbeispielen, damit das Modell lernt, die Textzeilen und die Textregionen zu klassifizieren.
- Anschließend können Sie die segmentierten Textzeilen transkribieren.
- Und Sie können sie in ALTO XML oder PAGE XML exportieren
- ODER Sie möchten die Textregionen mit Anmerkungen versehen:
- Sie können ein Segmentierungsmodell verwenden, um die Textzeilen und die Textregionen zu segmentieren
- Wenn die segmentierten Textzeilen und/oder Textregionen nicht gut genug sind, können Sie die Daten korrigieren und ein neues Modell mit ihnen trainieren
- Beschriften Sie Ihre Textzeilen und trainieren Sie ein Modell mit Beschriftungsbeispielen, damit das Modell lernt, die Textzeilen und Textregionen zu klassifizieren.
- Anschließend können Sie die segmentierten Textzeilen transkribieren.
- Und Sie können sie in ALTO XML oder PAGE XML exportieren.
Und jetzt geht es weiter mit Schritt 5: Texterkennung und Post-ATR-Korrektur!
Zitierte Literatur
Coquenet, Denis, Clément Chatelain, and Thierry Paquet. 2023. “DAN: A Segmentation-Free Document Attention Network for Handwritten Document Recognition.” IEEE Transactions on Pattern Analysis and Machine Intelligence 1–17. doi: 10.1109/TPAMI.2023.3235826.
Pletschacher, Stefan, and Apostolos Antonacopoulos. 2010. “The PAGE (Page Analysis and Ground-Truth Elements) Format Framework.”, p. 257–60 in 2010 20th International Conference on Pattern Recognition. Istanbul, Turkey: IEEE.
Scheithauer, Hugo, Alix Chagué, and Laurent Romary. 2022. “Which TEI Representation for the Output of Automatic Transcriptions and Their Metadata? An Illustrated Proposition.
Diesen Artikel zitieren: Alix Chagué und Hugo Scheithauer, ATR Schritt 4 – Layoutanalyse, in: Anne Baillot, Mareike König (Hg.): Automatic Text Recognition. Harmonising ATR Workflows, 10.05.2024, https://harmoniseatr.hypotheses.org/2405.
- Guillaume Apollinaire, Le Pont Mirabeau, ca. 1912, Bibliothèque nationale de France (BnF). https://gallica.bnf.fr/ark:/12148/btv1b525056707/f33/ [↩]
OpenEdition suggests that you cite this post as follows:
Alix Chagué, Hugo Scheithauer (May 10, 2024). ATR Schritt 4: Layoutanalyse. Automatic Text Recognition. Retrieved February 10, 2026 from https://doi.org/10.58079/11nrr



1 Response
[…] ATR Schritt 4: Layoutanalyse, https://harmoniseatr.hypotheses.org/2450 […]