ATR Schritt 6: Endformate und Wiederverwendung

Von Floriane Chiffoleau und Sarah Ondraszek

Lire la version française de cet article : https://harmoniseatr.hypotheses.org/2996
Read this post in English: https://harmoniseatr.hypotheses.org/439


Klick, klick, klick… So viele Daten, so viele Möglichkeiten!
Bild von der Midjourney AI generiert.

Im letzten Schritt der Reise durchs ATR-versum geht es darum, die erarbeiteten Ergebnisse weiterzuverwenden. Zu diesem Zweck müssen die Transkriptionen exportiert werden. Die Wahl des Endformats hängt von der Art der Informationen ab, die beibehalten und exportiert werden sollen.

Wieso Transkriptionen exportieren?

Man könnte sich fragen, warum wir die Transkription exportieren? Hierfür gibt es verschiedene Gründe. Der Export ist jedoch nicht bei allen Transkriptionen notwendig. Der häufigste Grund für einen Export ist die Erstellung von Sicherungskopien der Daten, da digitale Werkzeuge und Server nicht hundertprozentig zuverlässig sind. Der Export kann auch bei unvollendeten Transkriptionen erfolgen, wenn das Projekt noch als work in progress gilt.

Im einleitenden Beitrag zu den Grundlagen der Texterkennung und in der “Erste Schritte”-Roadmap, haben wir erwähnt, dass man alle Softwareoptionen in Betracht ziehen sollte, bevor man sich für eine entscheidet. Denn nicht immer ist es möglich, während der laufenden Projektarbeit zu wechseln. In den Fällen, in denen ein Wechsel tatsächlich möglich ist, sollten die Daten von der aktuellen Software in diejenige übertragen werden, zu der die Migration geplant ist.
Das Exportieren kann auch dazu dienen, fertige Transkriptionen zu veröffentlichen, unabhängig davon, ob es sich um das gesamte Korpus oder nur um einen Auszug handelt. Für die Umwandlung des transkribierten Korpus ist zumeist ein Export erforderlich. Obwohl einige Exportarten bereits eine Transformation implizieren, ist es wichtig, dass die Endformate richtig gewählt wurden.

 

Welche Ergebnisse liefert der Transkriptionsprozess?

So viele Fragen, selbst die Maschine kennt die Antwort nicht. Output, outut… kann man das essen?
Bild von der Midjourney AI generiert.

Je nachdem, welche Software für die automatische Texterkennung im Einsatz ist, kann die entsprechende Ausgabeoption variieren. Die beiden Haupttypen des Exports, Plain Text und Layout, werden in der Regel in jedem Programm in einem oder mehreren Formaten angeboten. Reiner Text stellt den einfachsten Export einer Transkription dar, da er nur den manuell transkribierten oder vorhergesagten – und typischerweise korrigierten – Text liefert. Es gibt zwei Formate für reinen Text, nämlich einfache Textdateien (.txt) oder die DOCX-Version. Die andere Art des Exports, das Layout, umfasst alle Informationen, die während des gesamten Prozesses der automatischen Erkennung gesammelt wurden, seien es Metadaten, Zonen, Linien oder Masken aus der Segmentierung und dem Text, sowie einige zusätzliche Anmerkungen, wenn das Tool dies erlaubt. Der Layout-Export liefert eine kodierte Version der Transkription, aber je nach Format ist die Auszeichnungssprache nicht dieselbe. Es gibt zwei Arten: ein in HTML kodiertes Layout, hOCR genannt, und in XML kodierte Layouts mit spezifischen Vokabularen, PAGE XML und ALTO XML genannt. Manchmal findet man auch eine dritte Art des Exports, nämlich ein PDF-Format, das reinen Text darstellt, aber mit Ebenen, d. h. das Bild ist im PDF-Format verfügbar und die Segmentierung oder Texterkennung ist als Ebenen direkt in das PDF eingebettet.

Es gibt unzählige Exportformate für verschiedene Verwendungszwecke. Eventuell stellt man zu einem späteren Zeitpunkt fest, dass die ursprünglich getroffene Wahl nicht die richtige war, und hat jedoch keine Möglichkeit mehr, seine Transkription in der verwendeten Software wiederzufinden. Für solche Fälle haben Mitglieder der ATR-Community ein hilfreiches Repository erstellt, in dem alle Tools aufgelistet sind, die es zur Konvertierung eines Endformats in ein anderes gibt – das Repositorium ist hier zu finden.

Offene Daten und Wiederverwendung

Transkriptionen sind oft zur Wiederverwendung gedacht. Vielleicht möchte man privat daran arbeiten, ohne neugierige Zuschauer. Es ist jedoch wahrscheinlicher, dass die Arbeit an einer Transkription Teil eines (kollaborativen) Projekts ist, das auf die eine oder andere Weise verfügbar gemacht werden soll. In diesem Fall muss die Offenheit des Projekts gewährleistet werden und es muss klar sein, welche Open-Source-Tools für die Wiederverwendung der Daten genutzt werden können.

Wie garantiert man Offenheit von Forschungsprojekten und -ergebnissen?

Sobald die Daten vorliegen, benötigt man einige zusätzliche Informationen, um deren Offenheit zu gewährleisten. Dazu ist es wichtig, die FAIR-Grundsätze zu befolgen. FAIR steht für Findable, Accessible, Interoperable und Reusable. Es reicht nicht aus, die Dokumente einfach nur mit Layout-Informationen zu versehen, denn dann würden immer noch einige für die FAIRness entscheidende Inhalte fehlen.

Erstens sollten Metadaten vorhanden sein, etwa die Schlüsselinformationen des Korpus wie Titel, Autoren, Quellen usw. Auf diese Weise kann das Korpus überhaupft gefunden werden und Nutzende können es leichter verstehen.

Zweitens – das ist vielleicht einer der wichtigsten Schritte für die Offenheit – sollten die im Projekt verwendten Methoden und Werkzeuge dokumentiert werden. Damit die Daten interoperabel sind, muss vor allem die zur Erstellung der Transkription verwendete Software angegeben werden, da jede ihre eigenen Besonderheiten hat. Darüber hinaus sollten in der Dokumentation auch die projekteigenen Transkriptionsregeln beschrieben werden. Dies ist insbesondere für die Fälle zentral, bei denen Unregelmäßigkeiten aufgetreten sind.

Es ist wichtig, alle getroffenen Entscheidungen zu dokumentieren. Nur so können Personen, die die Daten weiterverwenden, wissen, was zu tun ist. Um sicherzustellen, dass ein Projekt offen und wiederverwendbar ist, sollte es in einem Open-Source-Format vorliegen. Achtung! Einige der oben genannten Endformate, wie DOCX, sind nicht quelloffen und sollten nicht zur Veröffentlichung verwendet werden.

Und dann?

Mit den neuen offenen Daten ergeben sich viele Möglichkeiten der Weiterverwendung. Diese Liste ist nicht erschöpfend und es sind auch andere Methoden möglich. Eine Möglichkeit besteht darin, die Daten zu archivieren und/oder weiterzugeben. Auf diese Weise ist gewährleistet, dass eine eigene, häufig online verfügbare Sicherungskopie vorhanden ist. Ebenso kann man die Daten mit anderen teilen, da sie für andere Forschende nützlich sein können. In diesem Fall bieten sich Repositories wie Zenodo oder die Plattform für kollaborative Softwareverwaltung GitHub an. Wenn es eher um das Teilen als um das Archivieren geht, ist der Katalog für ATR-Ground Truth HTR-United eine interessante Option.

Eine weitere Möglichkeit der Wiederverwendung ist die Analyse. ATR-isierte große Korpora können durch lexikalische Analyse, Textanalyse, Statistik, etc. untersucht werden. Dazu gibt es Open-Source-Tools und Software, sowie Programmiersprachen, die leicht heruntergeladen und/oder verwendet werden können, wie TXM oder R. Vielleicht möchte man die eigenen Daten auch noch weiter anreichern. Es gibt verschiedene Auszeichnungssprachen, die sich dafür eignen, z. B. die Text Encoding Initiative (TEI), damit das Korpus dem Standard für die Darstellung von Texten in digitaler Form entspricht, oder eine HTML-Transformation, um die Daten direkt für eine Veröffentlichung vorzubereiten.

Schließlich können die Daten auch im reinen Textformat oder in dem Format, das für die Transformation gewählt wurde, veröffentlicht werden. Hierfür gibt es verschiedene Open-Source-Tools wie Omeka oder TEI Publisher.

Also: Auf großartige Transkriptionen folgt großartige (Wieder-)Verwendbarkeit.

Kribbelt es Ihnen schon in den Fingerspitzen und Sie möchten direkt weiter an Ihrem ATR-Projekt arbeiten oder eines starten? Wir wünschen viel Erfolg! Und schauen Sie gerne in unser Glossar oder in unsere Link- und Literaturliste für weiterführende Informationen.

Diesen Beitrag zitieren: Floriane Chiffoleau, Sarah Rebecca Ondraszek, “ATR Step 6: End formats and Reusability”. In: Anne Baillot, Mareike König (Hg.): Automatic Text Recognition. Harmonising ATR Workflows, 06.05.2024, https://harmoniseatr.hypotheses.org/439.

OpenEdition suggests that you cite this post as follows:
Sarah Rebecca Ondraszek (May 6, 2024). ATR Schritt 6: Endformate und Wiederverwendung. Automatic Text Recognition. Retrieved July 13, 2024 from https://doi.org/10.58079/11npx


Sarah Rebecca Ondraszek

Sarah arbeitet seit November 2023 als Nachwuchswissenschaftlerin/Doktorandin in der Information Service Engineering Group am FIZ Karlsruhe / Karlsruher Institut für Technologie. Sie hat einen Bachelor-Abschluss in Computerlinguistik und französischer Philologie sowie einen Master-Abschluss in Digital Humanities der Universität Trier. Ihre Forschungsinteressen umfassen Semantic Web, Linked Open Data, Exploratory Search, Natural Language Processing und Machine Learning.

You may also like...

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

Search OpenEdition Search

You will be redirected to OpenEdition Search