rrain plat,
aux), qui
ètres de
ividuel de
ent a de
un temps
méthodes
| modéles
méthodes
d Jamet,
levé pour
de, tandis
métriques,
1995) ne
'opérateur
mbre trop
aisie
yrrection
NN
+
me
ssus semi-
nplexité de
ux d'erreur
luer deux
it la resti-
du réseau
e échelle
expérience
ans l'esti-
portés par
ssentatifs
js évalua-
itique pour
duites par
es ont été
nage mini-
, vallonné,
du couvert
es perfor-
relation et
ol, lissage,
une telle
de réalisa-
l'ensemble
our autant,
lix couples
de photographies représentent 0,0576 de la surface
du territoire. Compte tenu de la variabilité des
paysages, cet échantillon ne peut étre considéré
comme statistiquement suffisant. Les expériences
conduites ne sont exploitables que si elles confir-
ment un modéle de comportement théorique des
algorithmes utilisés. Dans le cas présent, nous
avons vérifié que l'exactitude des MNT produits
était suffisante dans tous les cas, en l'absence de
végétation — conformément à l'attente que la
couverture forestiére constitue l'obstacle majeur
à l'utilisation de la corrélation. Dans un cas aussi
simple, on peut oser une extrapolation à l'ensemble
.du territoire, sur la base d'information sur les
surfaces boisées. || reste toutefois difficile
d'annoncer un intervalle de confiance sur les gains
de productivité moyens ainsi estimés.
L'évaluation des outils d'aide à l'extraction du
réseau routier en cours actuellement à l'IGN-F
posera probablement plus de problémes. Si les
conditions générales de fonctionnement de l’algo-
rithme choisi sont assez bien modélisées
(chaussées dépourvues de marquage au sol,
absence d’éléments masquant le réseau sur les
images), les données statistiques nationales les
concernant ne sont pas toutes disponibles.
L’influence de l'opérateur est le second
facteur important de variabilité des résultats
d'évaluation des méthodes semi-automatiques. Il
est notoire que le temps de saisie d'une méme
quantité de données peut varier — en mode manuel
— du simple au double suivant les opérateurs. Cette
observation a été faite par Hsieh (Hsieh, 1995)
lors de la comparaison entre deux méthodes de
saisie de modéles tridimensionnels de bátiments
dans l'environnement SIMCITY. Hsieh conduit une
expérience avec 12 sujets et constate que selon le
site saisi, les images traitées, et les individus, la
méthode semi-automatique proposée peut se révé-
ler plus ou moins productive que la méthode
manuelle (même si elle reste en moyenne plus effi-
cace).
De même que pour le choix des sites de test, la
détermination d’un ensemble représentatif
d’opérateurs est mal maîtrisée, et les contraintes
de coûts et de délai conduisent à opter pour des
solutions empiriques (expérimentation avec
quelques opérateurs soigneusement choisis).
Le facteur humain est également sensible pour ce
qui concerne la maîtrise des outils à évaluer.
Lorsqu’on propose une nouvelle technique de
production, les données qui font référence portent
sur l'efficacité des chaines de production exis-
tantes, pour lesquelles les opérateurs sont formés
de longue date. Un nouvel environnement de travail
sera généralement moins efficace dans les
International Archives of Photogrammetry and Remote Sensing. Vol. XXXI, Part B3. Vienna 1996
premiers temps d'utilisation pour cette seule
raison.
Hsieh insiste sur ces difficultés et préconise la
comparaison de saisies identiques (quant aux
données produites) effectuées deux fois par le
méme opérateur — une fois par la méthode de
référence, et une fois par la méthode à évaluer.
Le protocole expérimental qu'il propose est inté-
ressant à ce titre. Effectuant son évaluation sur
deux sites, Hsieh divise les 12 opérateurs sujets
de l'expérience en quatre groupes, chaque groupe
étant caractérisé par un ordre de traitement des
sites (site A puis B ou l'inverse), et un ordre
d'utilisation des méthodes de saisie (manuel puis
semi-automatique, ou l'inverse). Ceci permet de
compléter les évaluations de temps de saisie moyen
par des mesures du gain de productivité entre la
premiére et la deuxiéme saisie de chaque site, ce
gain de productivité traduisant simultanément les
gains éventuels dus à l'outil de saisie (manuel ou
semi-automatique), l'apprentissage de la plate-
forme (la plate-forme de saisie manuelle est la
méme que la plate-forme de saisie semi-automa-
tique), et l'apprentissage du site (un opérateur
travaille généralement plus vite lors de la seconde
saisie). Les observations croisées de toutes les
configurations permettent de mettre en évidence
l'effet réel de l'outil semi-automatique.
Dans un environnement opérationnel, de telles
précautions opératoires ne sont toutefois par tou-
jours possibles, par exemple lorsque l'évaluation
porte sur la comparaison de deux plates-formes de
travail différentes (l'introduction d'une technique
d'automatisation pouvant conduire à réorganiser la
chaine de production). C'est en particulier le cas
lorsqu'il faut comparer les techniques de restitu-
tion numérique (et les outils automatiques dont
elles bénéficient aujourd'hui) aux techniques de
restitution analytiques. La prise en compte du
facteur d'apprentissage de l'outil de travail ne peut
alors étre faite que par un facteur correctif empi-
rique sur la productivité atteinte sur le nouveau
matériel (pouvant conduire à une réévaluation de
l'ordre de 10 à 20%).
La plate-forme de saisie joue donc aussi un
róle central dans l'évaluation des méthodes de
saisie interactive. Hsieh préconise une comparaison
entre saisie manuelle et saisie semi-automatique
dans le méme environnement de travail, la saisie
manuelle étant effectuée en désactivant les
fonctions semi-automatiques du logiciel. C'est
également la méthodologie qui a été suivi par
Airault (Airault and Jamet, 1995) pour l’évalua-
tion d’une méthode de restitution semi-automatique
du réseau routier.
373