Localization, Reconstruction and Mosaicing Applied on Painting on Straight Generalized Cylinders in Monocular Vision
Localisation, reconstruction et mosaïque appliquées aux peintures sur cylindres généralisés à axe droit en vision monoculaire
Résumé
In these works, we present methods to localize and to reconstruct cylindrical surfaces. A depicted scene may be mapped or painted on these cylindrical surfaces. In the case of monocular vision, we need to use it a priori knowledge. We assume cross-sections of Straight Homogeneous Generalized Cylinders (SHGC) are projected in the image plane in curves. The proposed methods are applied on works of art and the results can be used for painting restoration. In order to obtain a better resolution, we also present the problem of mosaicing. In a first time we provide some definitions concerning the camera model, cylindrical surfaces, it a priori knowledge and we give some connexions between image processing and works of art. We present two methods of projected axis detection in the image plane and we describe how to detect a second axis in the image. After detecting these two axes, we are able to localize a Straight Uniform Generalized Cylinder (SUGC) in the camera coordinate system. We show a method of 3D reconstruction of SUGC. This method can be used for SHGC with closed cross-sections (circle, ellipse) or opened cross-sections (parabola, ellipse). We show a linear relationship between the altitude of a SUGC cross-section and its projection in the image plane. We propose an automatic mosaicing method based on region matching. The image regions with large distortions, caused by perspective projection, are excluded from matching. We evaluate the bounds of the necessary number of views in order to represent the entire scene from a SUGC. We illustrate these works on synthetic examples and real paintings.
Ces travaux concernent la localisation et la reconstruction de surfaces cylindriques sur lesquelles sont projetées ou plaquées des scènes que le capteur perçoit comme des images. Du fait d'une étude limitée à la vision monoculaire, l'utilisation de connaissances a priori est nécessaire. On se propose d'approfondir des méthodes intégrant des contours contenus dans l'image, qui sont supposés être des projections de sections de Cylindres Généralisés Homogènes à axe Droit (CGHD). Les résultats sont appliqués principalement au domaine des oeuvres d'art comme les peintures sur voutes ou les fresques sur colonnes. Compte tenu de la limitation du champ d'observation des capteurs, nous sommes aussi amenés à aborder le problème de mosaïque de surfaces. Dans un premier temps nous présentons un ensemble de définitions concernant le modèle d'une caméra et les surfaces cylindriques généralisées, nous développons les connaissances a priori utilisées et le contexte d'application reliant le traitement d'images et les oeuvres d'art. Nous décrivons alors des mèthodes de localisation de Cylindres Généralisés Uniformes à axe Droit (CGUD) dans le repère de la caméra. Nous présentons deux mèthodes de détection de la projection de l'axe d'un CGUD, puis nous décrivons comment obtenir un deuxième axe dans l'image. Nous interprétons alors la signification de ces deux axes. Nous décrivons ensuite une méthode de reconstruction 3D de CGUD pouvant être étendue aux CGHD de sections fermées circulaires ou elliptiques, ou de sections ouvertes paraboliques ou elliptiques. Dans un premier temps, nous démontrons que l'évolution des courbures des ellipses dans l'image, projections de sections du CGUD de sections circulaires, est fonction linéaire de l'altitude de la section dans l'espace 3D. Nous étendons ces travaux aux problèmes de mosaïques de surfaces cylindriques. Nous analysons les distorsions dues à la projection perspective sur le plan image d'une scène issue d'une surface cylindrique. Nous présentons aussi une estimation du nombre de vues d'un CGUD nécessaire pour obtenir une scène complète. Tout au long de ces travaux, des résultats issus d'images synthètiques ou de peintures illustrent les méthodes développées.