era A
‚conventional
measurement.
morized. The
are by Using
on Recreating
ural Heritage-
141-142.
PHOTOREALISTIC OBJECT RECONSTRUCTION
USING COLOR IMAGE MATCHING
Yasemin Kuzu
Photogrammetry and Cartography
Technical University of Berlin
Str. des 17 Juni 135, EB 9
D-10623 Berlin, Germany
kuzu@fpk.tu-berlin.de
Commission V, WG V/2
KEYWORDS: Photo-realism, Scene, Reconstruction, Color, Matching, Correlation, Calibration.
ABSTRACT:
In this paper we present a volumetric object reconstruction technique, based on voxel models. Our goal is to create a photorealistic
model, keeping the system requirements as low as possible. We used a standard CCD-video-camera which can also capture still
images in high resolution. A circular camera setup was done, which was actually accomplished by rotating the object itself, while the
camera position was stationary. The object is reconstructed using several steps of processing. The first step results in an approximate
model called the visual hull which is the bounding volume of the original object. However, before starting the reconstruction, the
system configuration has to be defined. First of all, we need to do a camera calibration. Next, all the acquired images have to be
oriented. Therefore, after computing some control points on the object in a local coordinate system, a bundle block adjustment was
calculated, including all the images. Since the system setup is mathematically described, the actual model reconstruction can be done.
Although the object's visual hull is a good approximation, it does not fully recover concavities of the object. One approach to refine
the model, described in this paper uses the object's texture to find corresponding points in the images. With the previously calculated
image orientation, the point's three dimensional coordinates can be described and non-surface voxels are carved away. A way to find
corresponding points is to perform an area based image matching, i.e. with the normalized cross correlation. Experimental results
show that the final set of voxels accurately represents the original object.
KURZFASSUNG:
In dieser Arbeit stellen wir eine Technik zur volumetrischen Objektrekonstruktion vor, die auf einem Voxel-Modell basiert. Das Ziel
ist die Erstellung eines photorealistischen Modells mit móglichst geringen Systemanforderungen. Wir haben eine handelsübliche
CCD-Videokamera verwendet, welche die Funktion bietet Einzelbilder mit hoher Auflósung zu erfassen. Eine Kreisfórmige
Kameraanordnung wurde dadurch erreicht, dass das Modell selbst gedreht wurde, während die Kamera nicht bewegt wurde. Das
Objekt wird in mehreren Schritten rekonstruiert. Der erste Schritt liefert dabei ein ungefähres Modell, die umgebende Hülle, die das
umgebende Volumen des Ausgangsobjektes repräsentiert. Bevor jedoch die Rekonstruktion stattfinden kann, muss die
Systemanordnung definiert werden. Dabei muss zuerst die Kamera kalibriert werden. Danach müssen alle aufgenommen Bilder
orientiert werden. Nachdem auf dem Objekt einige Passpunkte in einem lokalen System definiert worden sind, wurden alle
aufgenommenen Bilder einer Bündelblockausgleichung unterzogen. Da nun die Aufnahmeanordnung mathematisch beschrieben
werden kann, wurde die eigentliche Objektrekonstruktion durchgeführt. Trotzdem die umgebende Hülle eine gute Näherung ist, wird
sie konkave Regionen des Objektes nicht richtig erfassen. Eine Vorgehensweise das Modell zu verfeinern verwendet die Textur des
Objektes um korrespondierende Punkte in den Bildern zu finden. Mit den zuvor berechneten Bildorientierungen können nun die
Raumkoordinaten des Punktes beschrieben und nicht-Oberflächen Voxel entfernt werden. Ein Weg, korrespondierende Punkte zu
finden ist die Durchführung einer normierten Kreuzkorrelation. Experimentelle Ergebnisse zeigen, dass das endgültige Modell das
Ausgangsobjekt zuverlässig repräsentiert.
1. INTRODUCTION which consume large amounts of memory, for example 256°
bytes (16.77 mbytes) for a rather small cube (256 units in each
A fundamental problem in photogrammetry and computer
vision is the reconstructing of the shape of 3D objects from
photographs. The manual creation of highly detailed real objects
is complex and time consuming. In this paper, we describe an
efficient image-based approach to compute volume models
from color images.
In many fields like automatic 3D model reconstruction, virtual
reality, CAD/CAM, robotics and entertainment there is a need
for developing photorealistic models of real environments that
look and move realistically.
Volumetric representations use voxels to model the scene,
direction). However, with the rapid advances in hardware this
becomes less of a problem and volumetric representations
become more attractive.
The model of the 3D object can be easily acquired by volume
intersection methods. These methods are often referred to as
shape from silhouette algorithms. The intersection of silhouette
cones from multiple images defines estimate geometry of the
object called the visual hull (Szeliski, 1991), (Niem, 1994),
(Kutulakos and Seitz, 1998) (Vedula et al., 1998) and (Kuzu
and Rodehorst, 2001). This technique gives a good
approximation of the model. However, the concavities on an
—169—
