Audiovisuelle Daten gehören zu den methodisch anspruchsvollsten Gegenständen forschungs- und sammlungsbezogener Arbeit. Ihre Multimodalität aus Bild, Ton, Sprache und Text verlangt einen interpretativen Zugriff, der zugleich systematisch und skalierbar bleiben muss und damit Herausforderungen birgt, die Archive, Bibliotheken und GLAM-Einrichtungen ebenso betreffen wie die Geistes- und Sozialwissenschaften. Bestehende Werkzeuge bieten meist entweder manuelle Annotation oder eine Selektion vollautomatisierter Verfahren zur audiovisuellen Analyse, die interpretative Einsicht und domänenspezifisches Wissen in den Hintergrund drängen. Darüber hinaus sind existierende Videoanalysetools häufig nicht interoperabel, was die Erstellung von Videoanalyse-Pipelines für die hohe Diversität an Anwendungsfällen erschwert.
Der Workshop stellt einen hybriden Analyseansatz vor, der zwei komplementäre Open-Source-Tools zusammenführt. VIAN bietet eine niedrigschwellige Annotationsumgebung zur Erkennung von Einstellungswechseln und zur manuellen Annotation mit Freitext und kontrollierten, fachspezifisch erweiterbaren Vokabularen. TIB AV-Analytics (TIB-AV-A) ist eine webbasierte Plattform zur KI-gestützten Videoanalyse, die Forschenden – unabhängig von technischen Vorkenntnissen oder eigener Hardware – Zugang zu aktuellen KI-Verfahren (darunter auch generative KI) beispielsweise zur automatischen Spracherkennung, Personenidentifikation sowie Szenen- und Konzepterkennung mit Bild-Sprach-Modellen bietet. Über gemeinsame Datenformate, sowie Import- und Exportfunktionen lassen sich beide Werkzeuge zu iterativen Workflows verbinden, die manuelle und (semi-)automatische Verfahren produktiv verschränken und annotierte Metadaten in verschiedenen Umgebungen interoperabel austauschbar halten.
Interpretative Schritte, Unschärfen und Unsicherheiten werden im Hands-on-Teil des Workshops durch die eigene Anwendung von VIAN und TIB-AV-A erfahr- und erfassbar, wodurch die Tools dazu einladen, Methoden und Workflows an epistemischen Zielen statt an Tool-Beschränkungen auszurichten. Dieserart unterläuft der vorgestellte Ansatz die verbreitete Annahme, dass zwischen hermeneutischer Tiefe und computationeller Breite gewählt werden müsse und ist folglich fachübergreifend anschlussfähig.
Wann: Montag, 23. November 2026, 13:00–17:00 Uhr und Dienstag, 24. November 2026, 9:00–17:00 Uhr
Wo: Montag, 23. November 2026: in der August-Bebel-Str. 28, Raum 10020 (PC-Pool, 10. Etage); Dienstag, 24. November 2026: im Konzilzimmer des Universitätshauptgebäudes, 1. Obergeschoss, Universitätsplatz 1
Anmeldung: dh.wkt@uni-rostock.de
Referent:innen:
Prof. Dr. Josephine Diecke ist Assistenzprofessorin für Filmwissenschaft an der Universität Zürich. Sie forscht an der Schnittstelle von Film- und Medienwissenschaft, Medienarchäologie und Digital Humanities, unter anderem zur Geschichte der Filmfarbe, zum Einsatz computergestützter Filmanalyse in der Gender- und Diversitätsforschung, zu weiblichen Handschriften in der DDR-Filmgeschichte und zur Filmkultur im Zeitalter digitaler Plattformen. Sie leitet die Weiterentwicklung der Videoannotationssoftware VIAN in Kooperation mit der TIB Hannover und leitet gemeinsam mit Prof. Dr. Alexander Künzli (Université de Genève) das SNF-Projekt «Swiss Film Subtitling: Historical, Archival and Computational Perspectives» (2026–2030). Sie hat die Audiovisual Research Initiative (AViRI) der Universität Zürich und der Universitätsbibliothek Zürich sowie den Verein Scholar-led Open Access Publishing in der Medienwissenschaft (SOAP e.V.) mitbegründet und ist Sprecherin der DHd-AG Film und Video.
Dr. Eric Müller-Budack leitet die Forschungsgruppe Visual Analytics an der TIB – Leibniz-Informationszentrum Technik und Naturwissenschaften. Er promovierte 2021 mit Auszeichnung im Bereich Informatik an der Leibniz Universität Hannover. Seine Forschungsschwerpunkte liegen in der multimodalen Inhaltsanalyse von Bild-, Audio- und Videodaten sowie in den Bereichen Information Retrieval, Multimedia und digitale Bibliotheken. Ein besonderes Interesse gilt der Entwicklung neuartiger Werkzeuge und Anwendungen, die Informatik mit interdisziplinärer Forschung verbinden, etwa in den Digital Humanities, der Film- und Medienwissenschaft, der Nachrichtenanalyse sowie der Analyse wissenschaftlicher und technischer Dokumente.
Im Workshop werden folgende Themen behandelt:
Einführung und Rahmung
- Multimodalität audiovisueller Daten (Bild, Ton, Sprache, Text) als methodische Herausforderung für Forschung aus unterschiedlichen Disziplinen und für GLAM-Einrichtungen
- Einordnung von VIAN und TIB-AV-A in die bestehende Tool-Landschaft der manuellen und (semi-)automatischen Videoanalyse (ELAN, Advene, VIAN, TIB-AV-A u. a.) und die fehlende Interoperabilität
- Vorstellung hybrider Ansätze als Überbrückung der Lücke zwischen hermeneutischer Tiefe und computationeller Breite
- Annotation als erkenntnisleitender Akt
VIAN
- Einrichtung, Benutzungsoberfläche und modulare Layouts
- Automatische Erkennung von Einstellungswechseln und manuelle Korrektur
- Automatische und manuelle Screenshots
- Freitextannotation und Annotation mit kontrollierten, fachspezifisch erweiterbaren Vokabularen
- Import von Annotationsdaten aus anderen Quellen
- Exportformate
TIB-AV-A
- Webbasierter Zugang zu KI-Verfahren ohne technische Vorkenntnisse oder eigene Hardware
- Vorstellung automatisierter Erkennung für Features wie Farbe, Helligkeit, Schnittrate, Einstellungsgrößen, Orte, Person und Emotionen
- Szenen- und Konzepterkennung mit Bild-Sprach-Modellen über Textprompts (CLIP, X-CLIP)
- Einsatz generativer KI in Kombination mit Large Language Models
- Audioanalyse und automatische Spracherkennung
- Visualisierung von Zeitleisten; Einsatz für größere Datenmengen
- Import- und Exportfunktionen
- Korpusanalyse, -exploration und Extraktion von filmischen Schnitt- und Erzählungsmustern
Interoperabilität und Weiterverarbeitung
- Gemeinsame Datenformate, Import und Export zwischen VIAN, TIB-AV-A, ELAN und anderen Tools und Methoden
- Entwicklung von Analyse-Pipelines für unterschiedliche Anwendungsfälle
- Iterativer Workflow: automatische Analyse in TIB-AV-A, Prüfung und Vertiefung in VIAN, Rückführung der Metadaten
- Visualisierung und Korpusanalyse mit Jupyter Notebooks
Hands-on und Reflexion
- Analyse eigener audiovisueller Materialien mit individuellem Feedback
- Interpretative Schritte, Unschärfen und Unsicherheiten in Annotation und KI-Output sichtbar machen und dokumentieren
- Workflows von den eigenen epistemischen Zielen her entwickeln und Tool-Grenzen kritisch einordnen
- Sammlung von Anforderungen an eine offene Infrastruktur für Bewegtbildanalyse