8. 3D Szenenfluss – bildbasierte Schätzung dichter Bewegungsfelder

Der 3D Szenenfluss (scene flow) ist eine dichte Beschreibung der Geometrie und des Bewegungsfeldes einer dynamischen Szene. Entsprechend ist die Bestimmung des Szenenflusses aus binokularen Videosequenzen eine Generalisierung zweier klassischer Aufgaben der bildbasierten Messtechnik, der Schätzung von Stereokorrespondenz und optischem Fluss. Im folgenden wird ein Modell vorgestellt, in dem die dynamische 3D Szene durch eine Menge von planaren Segmenten repräsentiert wird, wobei jedes Segment eine Starrkörperbewegung (Translation und Rotation) ausführt. Die (Über-)Segmentierung in starre, ebene Segmente wird gemeinsam mit deren 3D Geometrie und 3D Bewegung geschätzt. Das beschriebene Modell ist wesentlich kompakter als die konventionelle pixelweise Repräsentation, verfügt aber dennoch über genügend Flexibilität, um reale Szenen mit mehreren unabhängigen Bewegungen zu beschreiben. Darüber hinaus erlaubt es, a-priori Annahmen über die Szene einzubinden und Verdeckungen zu berücksichtigen, und ermöglicht den Einsatz robuster diskreter Optimierungsmethoden. Weiters ist das Modell, in Kombination mit einem dynamischen Modell, direkt auf mehrere aufeinanderfolgende Zeitschritte anwendbar. Dazu wird für die einzelnen Bilder jeweils eine eigene Repräsentation instanziiert. Entsprechende Bedingungen stellen sicher, dass die Schätzung über verschiedene Ansichten und verschiedene Zeitpunkte konsistent ist. Das beschriebene Modell verbessert die Genauigkeit und Zuverlässigkeit der Szenenfluss-Schätzung speziell bei ungünstigen Aufnahmebedingungen.