International Archives of Photogrammetry and Remote Sensing. Vol. XXXII, Part 5. Hakodate 1998
Tensor-based Image Sequence Processing Techniques
for the Study of Dynamical Processes
Moti
lems
Horst HAUSSECKER, Hagen SPIES and Bernd JAHNE sible
ic
Interdisciplinary Center for Scientific Computing, IWR Lt
University of Heidelberg field
Im Neuenheimer Feld 368, D-69120 Heidelberg proc
GERMANY com]
E-mail: {horst.haussecker,hagen.spies,bernd.jaehne}@iwr.uni-heidelberg.de tion,
nam
Commission V, Working Group IC V/III the 2
furt!
age |
KEY WORDS: Image Sequence Analysis, Optical Flow, Structure Tensor, Filter Optimization N
titat
ABSTRACT D e
stan
Quantitative analysis of dynamical processes requires a precise estimation of the optical flow field from image dete
sequences. Most articles evaluating the performance of optical flow techniques focus on the initial formulation of pen
the minimization problem to solve the ill posed brightness change constraint equation. Performance differences m C
are attributed to slight differences in the formulation of the minimization and the numerical solution is taken que
for granted. It can be shown, however, that most differential techniques can be formulated in a generalized way dise:
and be solved by two major numerical estimation techniques: least squares and total least squares. We will HA
conclude that the least squares technique does only vary two of three parameters of the spatiotemporal optical QA
flow vector while the latter varies all three parameters which leads to a more precise solution. Total least squares tiret
estimation of optical flow is equivalent to a tensor representation of the spatiotemporal image structure. In dien
addition to the optical flow, measures of certainty and type of motion, quantifying the presence of an aperture -
problem are directly obtained by analyzing the eigenvalues of the so called structure tensor. These measures The
give a unified perspective of common quality measures proposed by various techniques. Another crucial factor art
influencing the accuracy of any differential technique is the choice of appropriate differential kernels. With D t
optimized differential filters, errors can be reduced by more than one order of magnitude. "e
out
ZUSAMMENFASSUNG tow.
tens
Die quantitative Analyse von dynamischen Prozessen erfordert eine prázise Schátzung des optischen Flusses This
in Bildsequenzen. Die meisten vergleichenden Übersichtsartikel zu verschiedenen Techniken beschränken sich low-
auf die Formulierung des Minimierungsproblems zur Lósung der unterbestimmten Kontinuitàtsgleichung des and
optischen Flusses. Genauigkeitsunterschiede der Verfahren werden den leicht unterschiedlichen Formulierungen ibra
des Minimierungsproblems zugeschrieben und die numerische Lósung des resultierenden Problems als gegeben It w
hingenommen. Es zeigt sich jedoch, daf sich eine verallgemeinerte Formulierung der meisten differentiellen Ver- unif
fahren finden läßt, die durch zwei grundlegende numerische Techniken gelöst werden kann: ‘least squares’ und choi
‘total least squares’. Während das Standard ‘least squares’ Verfahren nur zwei Parameter des raum-zeitlichen ican
optischen Flusses variiert, werden beim ‘total least squares’ Verfahren alle drei Komponenten variiert, was zu tion
einem praziseren Ergebnis fiihrt. Eine ‘total least squares’ Schitzung des optischen Flusses ist equivalent zu cons
einer Tensor-Repräsentation der raum-zeitlichen Grauwertstruktur. Zusätzlich zum optischen Fluß liefert eine cal «
Analyse der Eigenwerte des sogenannten Strukturtensors Maße der Zuverlässigkeit und der Ausgeprägtheit des weis
Blendenproblems, Diese Maße vereinheitlichen gebräuchliche Qualitätsmaße anderer Techniken. Ein weiterer by ]
kritischer Faktor, im Hinblick auf die Genauigkeit des Verfahrens, ist die Wahl geeigneter Ableitungsfilter. niqu
Durch optimierte Ableitungsfilter läßt sich ein e Reduktion der Fehler in der Bewegungsschätzung um mehr als esti)
eine Größenordnung erreichen. dire
tiot
ture
Hav
furt
can
704
