Reflektierte Textanalyse

2.1 Korpuserstellung (vgl. Korpusbildung)

In einem ersten Schritt ist ein der Fragestellung angemessenes Korpus zu erstellen bzw. ein bereits existierendes zu adaptieren. In die Textauswahl fließen dabei fachwissenschaftliche, computerlinguistische, statistische, pragmatische und urheberrechtliche Überlegungen ein, die sich unter anderem an folgenden Fragen orientieren:

• Welche Texte repräsentieren die Fragestellung am besten?

• Welche dieser Texte sind in welchem Format verfügbar?

• Wie viele Daten werden benötigt, um statistisch relevante Aussagen tätigen zu können?

• Welche Texte dürfen in welchem Umfang digitalisiert werden? Welche Texte dürfen veröffentlicht werden?

In dem vorliegenden Anwendungsbeispiel ist es zunächst erforderlich, ein fachspezifisches Naturalismusverständnis auszuwählen bzw. zu bestimmen. Basierend auf diesem Verständnis sind zwei Korpora zu erstellen: a) ein Korpus mit Texten, die unter den ausgewählten Naturalismusbegriff fallen, und b) ein im Umfang dem ersten Korpus entsprechendes Vergleichskorpus, das Texte enthält, welche diejenigen Charakteristika nicht aufweisen, die nach dem leitenden Naturalismusbegriff diesen kennzeichnen.

2.2 Vorverarbeitung

Die Vorverarbeitung (eng. Preprocessing) umfasst mehrere Schritte zur Standardisierung und Bereinigung der Daten, deren Einsatz je nach verwendetem Computermodell variieren. Dazu gehören beispielsweise die Entfernung oder Hinzufügung von Metadaten, Normalisierung (z. B. Vereinheitlichung von Schreibweisen), Tokenisierung (Aufteilung in Phrasen, Wörter oder Subwörter) sowie die Filterung von Stoppwörtern, um häufig vorkommende, aber ggf. analytisch nicht relevante Wörter auszuschließen. Je nach Forschungsfrage können auch Lemmatisierung (Zurückführung auf Wortgrundformen) oder Part-of-Speech-Tagging (grammatische Annotation der Wortarten) sinnvoll sein, um weiterführende Analysen zu ermöglichen.

Weniger generisch und stärker von der jeweiligen Frage abhängig sind die Folgeschritte (3) der Operationalisierung relevanter Begriffe, (4) der Erstellung eines Annotationsschemas, (5) der kollaborativen Annotation, (6) des Trainierens und Testens von Computermodellen/der algorithmischen Textanalyse sowie (7) der Auswertung bzw. der Interpretation der Ergebnisse.

2.3 Operationalisierung der Begriffe

In Bezug auf das Anwendungsbeispiel erfolgt in diesem Schritt die Operationalisierung relevanter Begriffe/Prädikate wie ‚literarische Figur‘, ‚Die Figur X ist sozial determiniert‘, ‚Die Figur X ist sozial stärker determiniert als die Figur Y‘ (vgl. Pichler und Reiter 2021; Krautter, Pichler und Reiter 2023). Dabei werden den theoretischen Begriffen beobachtbare Sachverhalte zugeordnet. Falls es sich um latente Variablen handelt, also um Phänomene, die nicht direkt beobachtbar sind (z. B. „x ist sozial determiniert“), geschieht die Operationalisierung mithilfe geeigneter Indikatoren, die ggf. ihrerseits wiederum operationalisiert werden müssen. Dabei ist ein angemessenes Messniveau zu wählen (nominal-, ordinal-, intervall- oder ratioskaliert) (vgl. Burzan 2019). Der Indikatorenzuweisung geht eine Begriffsanalyse voraus, die sich auf bestehende Definitionen und/oder den literaturwissenschaftlichen Gebrauch der Begriffe stützt. Ziel der Operationalisierung ist es, (a) die Begriffe in eine eindeutige Erkenn- und Messvorschrift zu überführen – die gegebenfalls auch die Vagheit der literarischen Phänomene oder die Interpretationsabhängigkeit der literaturwissenschaftlichen Ausgangsbegriffe berücksichtigt (Jacke 2025) – und (b) den Prozess so transparent zu gestalten, dass die Messresultate im literaturwissenschaftlichen Diskurs anschlussfähig bleiben.

Für die Operationalisierung relevanter Begriffe des Anwendungsbeispiels bieten sich eine Vielzahl unterschiedlicher Theorien zur sozialen Determiniertheit an, z.B. Marx’ Basis-Überbau-Modell, Bourdieus Habitus-Konzept oder Foucaults Machtanalysen, die wiederum unterschiedliche Operationalisierungsmöglichkeiten bieten – vorausgesetzt, dass sie sich überhaupt in computergestützt erkennbare Indikatoren überführen lassen. Entscheidet man sich zum Beispiel dafür, auf das Marx’sche Basis-Überbau-Modell zurückzugreifen, wird man sowohl Indikatoren für die Klassenzugehörigkeit der Figuren, ihre ökonomischen Bedingungen sowie den Nachweis, dass diese ihr Handeln bestimmen, zu entwickeln versuchen.

2.4 Erstellung eines Annotationsschemas¹

Annotationsrichtlinien sollen ein zuvor theoretisch bestimmtes Konzept möglichst allgemein, aber zugleich präzise beschreiben, um eine einheitliche, zuverlässige und intersubjektive Annotation zu ermöglichen, wobei Mehrdeutigkeiten zumindest erkannt und dokumentiert werden sollten. Sie umfassen neben festellenden Definitionen bzw. Explikationen des Begriffs insbesondere auch Regeln und Hinweise zur einheitlichen Anwendung der Annotation. Ihre Erstellung verläuft iterativ: Erste Versionen werden durch Anwendung getestet, dabei identifizierte Unzulänglichkeiten überarbeitet und erneut geprüft, bis eine zufriedenstellende Fassung erreicht ist. Im Falle des Prädikates unseres Anwendungsbeispiels ‚x ist sozial determiniert‘ könnten die Annotationsrichtlinien bspw. die Annotation von Figuren, die Annotation ihrer Klassenzugehörigkeit und ihres Eigentums bzw. ihrer Ressourcen sowie minimale und maximale Annotationsspannen umfassen.

2.5 Kollaborative Annotation des Referenzkorpus²

Kollaborative Annotation bezeichnet eine kooperative Praxis, bei der mehrere Forschende dieselben Texte annotieren. Diese Form der Zusammenarbeit erfordert eine sorgfältige Koordination. Ein Standardverfahren zur Bestimmung der Qualität von kollaborativen Annotationen ist die Berechnung des sogenannten Inter-Annotator-Agreements (IAA), das auf unterschiedlichen Maßen für die Bestimmung der Übereinstimmung zwischen zwei oder mehr Annotationen fußt (vgl. Artstein 2017). Die solcherart annotierten Texte bezeichnen wir als Referenzdaten. Sie können im Anschluss zum Trainieren und Testen von Computermodellen eingesetzt werden.

2.6 Training/Fine-Tuning/Prompt-Tuning/Prompten eines Sprachmodells oder Anwendung von statistischen bzw. regelbasierten Methoden

Das Training und die Anpassung eines Sprachmodells für die digitale Textanalyse kann auf verschiedenen Wegen erfolgen, abhängig von der verfügbaren Stichprobengröße und dem Forschungsziel. Bei großen Datensätzen und/oder komplexen Konzepten ist ein vollständiges Fine-Tuning sinnvoll – d.i. das auf Referenzdaten basierende Nachtrainieren eines vortrainerten Modells –, um es gezielt an die Charakteristika literarischer Texte anzupassen. Bei begrenzten Datenmengen und/oder weniger komplexen Konzepten kann Prompt-Tuning oder gezieltes Prompten genutzt werden, um bestehende Modelle ohne aufwendiges Training für spezifische literaturwissenschaftliche Fragestellungen nutzbar zu machen.

Falls keine Sprachmodelle zum Einsatz kommen, erfolgt die algorithmische Textanalyse auf Grundlage traditioneller Machine-Learning-Verfahren (vgl. Hatzel u. a. 2023) oder regelbasierter bzw. statistischer Methoden. Dazu zählen Keyword-Analysen, n-gram-Analysen oder Part-of-Speech-Tagging, um lexikalische und syntaktische Muster zu identifizieren. Ebenso können netzwerkanalytische Verfahren zur Untersuchung von Figurenkonstellationen oder stilometrische Verfahren zur quantitativen Bestimmung stilistischer Eigenheiten verwendet werden.

Die Wahl der (Mess-)Methode hängt von der Forschungsfrage und der daraus entwickelten Operationalisierung der leitenden Begriffe ab. Im Anwendungsbeispiel ließe sich die Erhebung der Indikatoren Klassenzugehörigkeit, ökonomische Bedingungen und deren handlungsleitende Wirkung durch ein Modelltraining auf den vorher erstellten Referenzdaten realisieren, wobei die Teilaufgaben als Klassifikation oder Regression gestaltet werden können.

2.7 Auswertung/Interpretation der Befunde

Zur Analyse bzw. Interpretation der Befunde können sowohl quantitative als auch qualitative Verfahren, oder auch deren Kombination zum Einsatz kommen. Quantitative Verfahren machen dabei typischerweise Gebrauch von statistischen Tests, wobei die dem Test zugrundeliegenden Annahmen zu berücksichtigen sind. Insbesondere die Frage ihrer Repräsentativität ist hier regelmäßig nur schwer zu beantworten, so dass bei der Formulierung von Erkenntnissen insbesondere im Hinblick auf deren Generalisierbarkeit mit Bedacht zu formulieren ist. Bei qualitativen Verfahren haben sich sog. KWIC-Listen (keyword in context) als effizient erwiesen, bei denen die jeweiligen Fundstellen sowie der sie direkt umgebende Kontext tabellarisch dargestellt werden. Je nach Ziel müssen beide Verfahren durch Close Reading ergänzt werden.

Das Anwendungsbeispiel lässt erahnen, welcher Arbeitsaufwand bereits die Überprüfung einer – aus einer traditionell literaturwissenschaftlichen Perspektive – verhältnismäßig simplen Hypothese mit sich bringt. Vollständig durchgeführte reflektierte algorithmische Textanalysen stellen in der bisherigen Forschung daher noch eine Seltenheit dar. Der Fokus liegt gegenwärtig noch häufig auf der Operationalisierung der frage- bzw. hypotheseleitenden Begriffe.