Projet de spécialité

Tuteurs : Pierre G Bénard, Joëlle Thollot, Adrien Bousseau

La décomposition d'images multi-échelles est de plus en plus répandue, car elle permet des traitements complexes différents pour chaque échelle. Ces dernières années ont vu l'apparition et l'utilisation massive de filtres gaussiens non linéaires (Non-Linear Gaussian Filters Performing Edge Preserving Diffusion, V. Aurich and J. Weule, Proceedings of the DAGM Symposium, 1995). Notamment, de nombreuses recherches ont été menées sur le filtre bilatéral (Bilateral Filtering for Gray and Color Images, C. Tomasi and R. Manduchi, Proceedings of the international Conference on Computer Vision, 1998). Cependant, si les qualités du filtre bilatéral sont indéniables, notamment sa capacité à préserver les discontinuités de l'image, il crée des artefacts, principalement des halos autour des zones discontinues.

Nous allons ici étudier un nouveau filtre non-linéaire préservant les bords, introduit par Farbman et. al en 2007, qui pallie à certains défauts du filtre bilatéral, tout en étant également très performant. Le travail a d'abord consisté en une implémentation C++ du filtre. Nous l'avons alors expérimenté sur plusieurs applications importantes, notamment le tone-management pour un travail photographique, ou encore la stylisation d'images et de vidéo.

Principe du filtre weighted least squares (WLS)

Filtre WLS

Il s'agit de transformer l'image d'entrée en une image proche, la plus lisse possible sauf autour de valeurs significatives du gradient. Soit l'image d'entrée g, on va donc calculer l'image u qui minimise la quantité :

$\displaystyle \sum_p(u_p-g_p)^2+\lambda \left[q_{x,p}(u,g)+q_{y,p}(u,g)\right]$

, où les termes $q_{x,p}$ et $q_{y,p}$ sont quadratiques en u, et prennent en compte les dérivées de u et g selon l'axe des x et des y. Le filtre WLS pose :

$\displaystyle q_{x,p}(u,g) = \frac{\left(\frac{\partial u}{\partial x} \right)^2_p}{ \left\vert \frac{\partial l}{\partial x} \right\vert ^\alpha _p + \epsilon}$

l étant la log-luminance de l'image g. $\lambda$ et $\alpha$ sont les paramètres du filtre, nous allons voir leur influence.

On voit donc que l'importance donnée au terme de discontinuité en x est inversement proportionnel à la discontinuité de la log-luminance (qui se rapproche de notre perception visuelle des contours d'une image). Pour les pixels p où l'image est lisse, ce dernier terme devient prépondérant. Inversement, autour d'un contours, ce terme devient négligeable, et u se rapprochera très fortement de g. Le paramètre epsilon évite d'avoir des valeurs infinies pour une portion d'image constante, sa valeur est typiquement 0.00001.

$\displaystyle q_{y,p}(u,g) = \frac{\left(\frac{\partial u}{\partial y} \right)^2_p}{ \left\vert \frac{\partial l}{\partial y} \right\vert ^\alpha _p + \epsilon}$

En notations matricielles, notant Dx et Dy des opérateurs différentiels, on obtient l'écriture suivante :

$\displaystyle (u-g)^T(u-g)+\lambda \left( u^TD_x^TAD_xu+u^TD_y^TAD_yu \right)_{ }$

Où

sont des opérateurs différentiels discrets (matrices bi-diagonales). Enfin, en posant

, il s'agit de résoudre le système suivant :

On est donc ramené à résoudre un système linéaire creux, puisque la matrice

est penta-diagonale. Pour l'implémentation, on aura utilisé la formule suivante, plus simple :

Décomposition multi-échelle

L'idée ici est de construire une pyramide d'images de plus en plus lisses, ce qui donnera une décomposition multi-échelle. En considérant l'image à peu près constante, l'opérateur

devient un Laplacien homogène, à une constante près. Dès lors, lorsqu'on multiplie $\lambda$ par une constante

, on monte d'un facteur

dans le domaine des fréquences.

Pour obtenir une pyramide, on va donc itérer le filtre sur l'image, en multipliant à chaque fois $\lambda$ par un facteur

. On obtiendra alors les versions de plus en plus filtrées

, où

et :

On obtient parallèlement les couches successives de détail $d_i = u_{i-1}-u_i$ .

Exemples

Les figures suivantes montre deux décompositions de la même image, pour des paramètres différents.

Image originale et ses deux premières décompositions, faible lissage

Image originale et ses deux premières décompositions, faible lissage

Applications

Tone Management

Grâce à cette décomposition, on peut aisément augmenter les détails à n'importe quelle échelle. Il suffit, dans notre décomposition $g = u_K \sum_{i=1}^K d_i$ , de pondérer les échelles

. Nous avons principalement travaillé sur des décompositions 2 échelles, nous allons présenter ici nos principaux résultats.

La figure qui suit montre plusieurs reconstructions de l'image originale à partir de la pyramide des décompositions. Les détails sont fortement exagérés et peuvent paraitre artificiels, mais cela montre le très bon comportement du filtre WLS : on n'obtient pas d'artefacts comme des halos lumineux.

De gauche à droite : image originale, accentuations des détails fins, accentuations des détails moyens, et combinaison des deux.

Les paramètres ont ici aussi toute leur importance : on présente ici leur influence, en montrant la même image recombinée obtenue à partir de pyramides de décomposition différentes. On observe que pour des paramètres trop élevés, le filtrage est grossier, et les détails augmentés sont de moins en moins fin. Par ailleurs, on observe un halo lumineux parasite. --> $(\alpha,\lambda)$ , le paramètre

valant toujours

Recomposition des images en accentuant les détails, pour différents paramètres de filtrage. De haut en bas et de gauche à droite, Le filtrage WLS est de plus en plus fort.

Cette reconstruction est une des plus simples possible, il existe de nombreuses façons de l'améliorer, pour un rendu plus réaliste notamment. Une de ces façons consiste à augmenter les détails en fonction de l'éloignement à la prise de vue : les éléments du premier plan seront bien plus détaillés, ce qui améliore la perception de la profondeur, et donne une image plus réaliste; Notons que l'inverse est possible également, pour des effets stylistiques.

La figure suivante montre l'utilisation de ce procédé. On a utilisé une décomposition deux échelles, en forçant les détails fins au premier plan, et les détails grossier à l'arrière-plan. Concrètement, cela revient à multiplier le mode

par la carte de profondeur, et le mode

par son inverse. La différence est surtout nette entre les deux dernières images : dans la recomposition inversée, on accentue les détails grossiers, ce qui crée des artefacts autour des feuilles, alors que les briques, au fond, sont très détaillées.

De gauche à droite : image originale, recomposition simple, recomposition avec profondeur, recomposition inversée

On peut accentuer cet effet stylistique en quantifiant la carte de profondeur au lieu d'utiliser une profondeur continue. Dans le filtrage WLS, on modifie alors les paramètres selon le plan de l'image considéré. Cette technique est plus aprofondie dans la partie suivante, on donne néanmoins un exemple d'utilisation :

De gauche à droite : image originale, filtrage WLS par paliers en utilisant une carte de profondeur quantifiée, et résultat de la recomposition en augmentant les détails

Comparaison avec le filtre bilatéral

A gauche, l'image originale. Au centre, la recomposition obtenue par le filtre WLS. A droite, celle obtenue par le filtre bilatéral.

Stylisation d'images et vidéos

L'un des principaux avantages du fitre WLS est de respecter les bords avec soin. L'idée qui en vient est d'utiliser les filtre WLS pour styliser des photos, en aplanissant les couleurs et ne gardant que les contours principaux.

Exemple sur un village : l'architecture est très bien respectée

Ici nous travaillons sur une image préalablement filtrée par l'algorithme WLS. Nous commençons par convertir l'image à un autre format que RGB : le format Lab, qui est supposé respecter davantage la sensibilité de l'oeil humain. En effet nous sommes plus sensibles aux changements de luminosité que des couleurs RGB.

Detection des contours
Nous appliquons à l'image l'algorithme de sobel : les gradians horizontaux sont detetés par convolutions de l'image par la matrice Dx :

Quantification des couleurs
En parallèle nous quantifions sur l'image la luminance, pous un effet plus cartoon.

Dans l'ordre : Photo, contours, quantification des couleurs, image finale.

Utilisation des cartes de profondeurs
Nous pouvons aussi utiliser les cartes de profondeur afin de permettre un effet cartoon plus fidèle. En effet, il est courant que les dessinateurs dessinent le premier plan en détail, alors que l'arrière plan est dessiné grossièrement. L'idée est d'appliquer diffentes valeures du filtre WLS sur une image, selon la profondeur estimée des éléments.

Dans nos exemples nous utilisons 3 échelles, ou la première ne subit qu'un léger filtrage alors que la dernière ne garde que les formes générales. Pour pouvoir distinguer ces 3 zones nous quantifions la carte de profondeur. Nous appliquons 3 filtrages sucessifs à l'image et calculons deux masques qui correspondent à la différence entre le premier filtre et les deux autres. Nous multiplions ensuite ces masques par la zone correspondante (1 si le pixel appartiens à la zone, 0 sinon). Enfin nous calculons la somme de l'image avec les 2 masques.

**Figure :** De gauche à droite : photo, carte de profondeur, quantification, application à l'image.

Nous pouvons aussi créer la carte de manière artificielle : soit pour pallier à une absence de carte, soit pour créer un effet de style. On voudra par exemple mettre en valeur un objet au milieu de l'image, en omettant le premier plan.

**Figure :** De gauche à droite : photo et WLS uniforme, deux exemples de carte de profondeur et le résultat.

**Figure :** WLS uniforme à droite et montagne mise en arrière-plan à gauche.

On a présenté ici la décomposition modale empirique, ses motivations, ses qualités, en insistant sur son gros inconvénient : l'absence de formalisme et un temps de calcul important.

Projet de spécialité

Table des matières