era A 
‚conventional 
measurement. 
morized. The 
are by Using 
on Recreating 
ural Heritage- 
141-142. 
PHOTOREALISTIC OBJECT RECONSTRUCTION 
USING COLOR IMAGE MATCHING 
Yasemin Kuzu 
Photogrammetry and Cartography 
Technical University of Berlin 
Str. des 17 Juni 135, EB 9 
D-10623 Berlin, Germany 
kuzu@fpk.tu-berlin.de 
Commission V, WG V/2 
KEYWORDS: Photo-realism, Scene, Reconstruction, Color, Matching, Correlation, Calibration. 
ABSTRACT: 
In this paper we present a volumetric object reconstruction technique, based on voxel models. Our goal is to create a photorealistic 
model, keeping the system requirements as low as possible. We used a standard CCD-video-camera which can also capture still 
images in high resolution. A circular camera setup was done, which was actually accomplished by rotating the object itself, while the 
camera position was stationary. The object is reconstructed using several steps of processing. The first step results in an approximate 
model called the visual hull which is the bounding volume of the original object. However, before starting the reconstruction, the 
system configuration has to be defined. First of all, we need to do a camera calibration. Next, all the acquired images have to be 
oriented. Therefore, after computing some control points on the object in a local coordinate system, a bundle block adjustment was 
calculated, including all the images. Since the system setup is mathematically described, the actual model reconstruction can be done. 
Although the object's visual hull is a good approximation, it does not fully recover concavities of the object. One approach to refine 
the model, described in this paper uses the object's texture to find corresponding points in the images. With the previously calculated 
image orientation, the point's three dimensional coordinates can be described and non-surface voxels are carved away. A way to find 
corresponding points is to perform an area based image matching, i.e. with the normalized cross correlation. Experimental results 
show that the final set of voxels accurately represents the original object. 
KURZFASSUNG: 
In dieser Arbeit stellen wir eine Technik zur volumetrischen Objektrekonstruktion vor, die auf einem Voxel-Modell basiert. Das Ziel 
ist die Erstellung eines photorealistischen Modells mit móglichst geringen Systemanforderungen. Wir haben eine handelsübliche 
CCD-Videokamera verwendet, welche die Funktion bietet Einzelbilder mit hoher Auflósung zu erfassen. Eine Kreisfórmige 
Kameraanordnung wurde dadurch erreicht, dass das Modell selbst gedreht wurde, während die Kamera nicht bewegt wurde. Das 
Objekt wird in mehreren Schritten rekonstruiert. Der erste Schritt liefert dabei ein ungefähres Modell, die umgebende Hülle, die das 
umgebende Volumen des Ausgangsobjektes repräsentiert. Bevor jedoch die Rekonstruktion stattfinden kann, muss die 
Systemanordnung definiert werden. Dabei muss zuerst die Kamera kalibriert werden. Danach müssen alle aufgenommen Bilder 
orientiert werden. Nachdem auf dem Objekt einige Passpunkte in einem lokalen System definiert worden sind, wurden alle 
aufgenommenen Bilder einer Bündelblockausgleichung unterzogen. Da nun die Aufnahmeanordnung mathematisch beschrieben 
werden kann, wurde die eigentliche Objektrekonstruktion durchgeführt. Trotzdem die umgebende Hülle eine gute Näherung ist, wird 
sie konkave Regionen des Objektes nicht richtig erfassen. Eine Vorgehensweise das Modell zu verfeinern verwendet die Textur des 
Objektes um korrespondierende Punkte in den Bildern zu finden. Mit den zuvor berechneten Bildorientierungen können nun die 
Raumkoordinaten des Punktes beschrieben und nicht-Oberflächen Voxel entfernt werden. Ein Weg, korrespondierende Punkte zu 
finden ist die Durchführung einer normierten Kreuzkorrelation. Experimentelle Ergebnisse zeigen, dass das endgültige Modell das 
Ausgangsobjekt zuverlässig repräsentiert. 
1. INTRODUCTION which consume large amounts of memory, for example 256° 
bytes (16.77 mbytes) for a rather small cube (256 units in each 
A fundamental problem in photogrammetry and computer 
vision is the reconstructing of the shape of 3D objects from 
photographs. The manual creation of highly detailed real objects 
is complex and time consuming. In this paper, we describe an 
efficient image-based approach to compute volume models 
from color images. 
In many fields like automatic 3D model reconstruction, virtual 
reality, CAD/CAM, robotics and entertainment there is a need 
for developing photorealistic models of real environments that 
look and move realistically. 
Volumetric representations use voxels to model the scene, 
direction). However, with the rapid advances in hardware this 
becomes less of a problem and volumetric representations 
become more attractive. 
The model of the 3D object can be easily acquired by volume 
intersection methods. These methods are often referred to as 
shape from silhouette algorithms. The intersection of silhouette 
cones from multiple images defines estimate geometry of the 
object called the visual hull (Szeliski, 1991), (Niem, 1994), 
(Kutulakos and Seitz, 1998) (Vedula et al., 1998) and (Kuzu 
and Rodehorst, 2001). This technique gives a good 
approximation of the model. However, the concavities on an 
—169—