2b: Adaptive 
struction by 
uter Vision, 
t Wichmann 
EIN ANSATZ ZUR VEGETATIONSERKENNUNG AUS LUFTBILDERN 
MIT HILFE VON MARKOV-ZUFALLSFELDERN IN VERBINDUNG MIT DER OBERFLACHENREKONSTRUKTION 
B. Wrobel, A. Krauth, 
Technische Hochschule Darmstadt, Institut für Photogrammetrie und Kartographie (Germany) 
Internationale Gesellschaft für Photogrammetrie und Fernerkundung 
Kommission III, Arbeitsgruppe 3 
XVIII ISPRS Congress Vienna, Austria, 9-19 July 1996 
KEYWORDS: Vegetation, Recognition, Interpretation, Markov Random Fields, 3D-Surface Data, Multi-Spectral Image Data 
ABSTRACT: 
An approach is presented for automatic detection of vegetation out of lareg scale aerial images. The method is based on the Markov 
Random Field theorie. We combine both object recognition and object surface reconstruction by modelling form, colour and 
semantic information in the 3D object space. In the beginning the tasks segmentation and interpretation are seperated: As an low 
level task image segments are build by texture detection. These segments are then interpreted. A conjunction between image 
interpretation and object recognition is made by an exchange of information between these tasks. The theory of Markov Random 
Fields is extended to ,Dynamic Markov Random Fields“ which can be used to do both image segmentation and object recognition 
by the same MRF. 
KURZFASSUNG: 
Es wird ein Konzept zur differenzierten Vegetationserkennung aus grofhmafstübigen Luftbildern mit Hilfe von Markov- 
Zufallsfeldern (MRF) vorgestellt, welches die Verfahren der Objekterkennung und der Oberfláchenrekonstruktion miteinander über 
eine 3D-Modellierung von Form, Farbe und Semantik in Wechselwirkung bringt. Zunáchst soll die Objekterkennung zweistufig 
ablaufen. Auf der unteren Ebene werden aufgrund von Texturmerkmalen Segemente gebildet, welche dann durch die obere Ebene 
Interpretiert werden. Zwischen den Verfahren der Objekterkennung und Objektrekonstruktion soll ein Informations- und 
Ergebnisaustausch realisiert werden. Die Theorie der MRF wird gedanklich zu dynamischen Zufallsfeldern erweitert, um eine 
gleichzeitige Segmentierung und Objekterkennung zu ermóglichen. 
1. EINLEITUNG 
Bisher wurden die Computerverfahren zur Objekt- 
rekonstruktion und zur Objekterkennung meist getrennt 
voneinander betrachtet. Die Ergebnisse beider Verfahren 
kónnen jedoch entscheidend verbessert werden, wenn man sie 
miteinander kombiniert, d.h. die Verfahren werden über eine 
3D-Modellierung von Form, von Farbe und von Semantik in 
eine gegenseitige Wechselwirkung gebracht. 
Unsere Aufgabe ist die differenzierte Erkennung von 
Vegetation aus großmaßstäbigen Luftbildern für die 
automatisierte Daten- bzw. Informationserfassung: 
e zur Ableitung der Deutschen Grundkarte 1 : 5000 (DGK 5), 
e als Grundlage für GIS oder andere Informationssysteme, 
e als Hilfsmittel für die Ableitung des Digitalen 
Landschaftsmodells (DLM) aus dem Digitalen 
Topographiemodell (DTM) und schließlich 
e zur Bereitstellung einer Methode für die Beseitigung des 
Terrain-Noise. 
Die Grundlage unseres Verfahrens beruht auf dem Einsatz von 
Markov-Zufallsfeldern (Markov Random Fields, MRF) sowohl 
für die Bildsegmentierung als auch für die Objekterkennung, 
basierend auf einem Ansatz von MODESTINO/ZHANG 
[Modestino/Zhang, 1992], welcher von KOCH/KOSTER [Koster, 
1995] weiterentwickelt wurde. 
Eine Verbesserung der Interpretationsergebnisse soll dadurch 
erreicht werden, daB bereits erkannte Objekte als Kontext im 
Verfahren der Vegetationserkennung verwendet werden. 
Durch die Integration der Resultate aus der Objekterkennung in 
den Vorgang der Oberfláchenrekonstruktion sollen ihre bisher 
noch nicht zufriedenstellend gelósten Probleme, wie die 
965 
International Archives of Photogrammetry and Remote Sensing. Vol. XXXI, Part B3. Vienna 1996 
Modellierung von  Unstetigkeiten — (Bruchkanten) der 
Objektoberfläche oder Verdeckungen von Bildbereichen gelôst 
werden. Für bereits erkannte Objkete kann — sofern die 
Objekthôhe a priori bekannt ist — von der Objektoberfläche auf 
die Erdoberfläche geschlossen werden. Die verbesserten 
Rekonstruktionsergebnisse (Digitales ^ Oberfláchenmodell, 
Digitales Geländemodell und Orthophoto) stehen dann 
wiederum für die Bildinterpretation zur Verfügung. Dies führt 
letztlich zu einem iterativen Vorgang, in welchem sich 
Oberflächenrekonstruktion und Objekterkennung abwechseln 
und die Ergebnisse zwischen beiden Verfahren ausgetauscht 
werden. 
2. GRUNDLAGEN 
2.1. Markov Zufallsfelder 
Als mathematisch-stochastischer Ansatz werden Markov- 
Zufallsfelder für die Objekterkennung verwendet. Das 
Grundprinzip der Bildinterpretation mit MRF besteht darin, daß 
Bildsegmente mit symbolischen Zufallsvariablen verknüpft 
werden, welche auf einem Nachbarschaftsgraphen definiert 
sind. Die bedingten Wahrscheinlichkeiten an einem Knoten 
(Bildsegment) dieses Graphen hängen lediglich von dessen 
Nachbarknoten ab. 
Mit der Theorie der Markov-Zufallsfelder sind wir in der Lage, 
sowohl Informationen in Form von Merkmalen/Meßwerten 
(Features) flexibel zu verarbeiten, als auch Semantik in Form 
von Relationen zwischen benachbarten Objekten zu 
modellieren. Durch die Definition von Markov-Feldern auf 
Nachbarschaftsgraphen erhält man praktisch automatisch einen