Filmmontage und das Erzählen von Geschichten sind Aufgaben, die wegen ihrer Komplexität und ihrer Anforderung an Kreativität schwer zu automatisieren sind. Sie erfordern ein tiefes Verständnis für menschliche Emotionen und Dynamiken, für innere Haltungen und Wirkweisen der Dramaturgie. Dennoch gibt es für algorithmische Komposition und Machine Learning in der Filmmontage ein weites Anwendungsfeld: Es reicht von der Unterstützung bei der Montage klassischer Filme über experimentell künstlerisches Arbeiten bis hin zu interaktiven Computerspielen.
Jonathan Frank beschäftigt sich mit den künstlerischen Anwendungsmöglichkeiten algorithmischer Komposition im Bereich der Filmmontage. Hierzu nutzt er Technologien des Machine Learning und entwickelt im praktischen Experiment einen Montageautomaten. Dieser setzt basierend auf gelerntem Material neues Material zu einem Film zusammen. Mit der Programmiersprache „Pure Data“, die Jonathan Frank für dieses Projekt eigens erlernt hat, setzt er sein Vorhaben um. Er schreibt Programme, die mit Hilfe von Markovketten - spezielle stochastische Prozesse - aus bestehenden Musikstücken neue Musik generieren. Die algorithmische Musikerzeugung bietet sich für ihn als Testfeld für Machine Learning in der Filmmontage an, da die Relationen zwischen Tönen einfacher zu formalisieren sind, als Relationen zwischen Bildern.
In seiner Bachelorarbeit hat er sich mit Improvisation in der Filmmontage auf Basis von diagrammatischen Partituren beschäftigt. Diese Partituren können als Vorstufe zu computergenerierter Erzeugung von künstlerischem Schaffen gesehen werden. Das Thema „Improvisation in der Filmmontage“ war für ihn ein erster Versuch, die Frage zu beantworten, wie man sich in der Montage verhält, wenn es kein vorgegebenes Regelwerk gibt. Mit dem Ansatz der algorithmischen Komposition betrachtet er diese Frage nun aus einer entgegengesetzten Perspektive.
Projektleitung: Jonathan Frank