Aller au contenu
IT

Hit the Lens : vision artificielle pour la sélection des photos

Un plugin pour Adobe Lightroom Classic et pour Capture One qui regarde des centaines de photos à la place du photographe et marque les bonnes : sujet net et regard vers l'objectif. Les modèles de vision artificielle tournent sur l'ordinateur, aucune image ne quitte le PC.

Hit the Lens : vision artificielle pour la sélection des photos

Le problème qui lui a donné naissance

Après un événement (un photocall, un tapis rouge, un défilé), le photographe rentre avec quelques milliers de clichés presque identiques. La première sélection est mécanique et longue : on écarte les photos où le sujet regarde ailleurs ou est flou, et on garde les autres. C'est un travail qu'aucun logiciel de catalogage ne fait, parce qu'il faut comprendre où regarde une personne.

Ce qu'il fait

Le plugin analyse les photos et attribue à chacune une étiquette de couleur, la même dans les deux logiciels : vert si le sujet regarde l'objectif et est net, jaune si le cas est douteux, violet si le premier plan est flou. À partir de là, le photographe filtre par couleur et ne travaille que sur les photos restantes.

  • Une fenêtre de progression montre où il en est, combien de photos il a analysées, combien regardent l'objectif jusqu'ici et combien il en reste, avec un bouton pour s'arrêter.
  • Il n'écrase pas les étiquettes ou les notes déjà attribuées à la main, sauf demande explicite.
  • Il tient un journal de ce qu'il a écrit, de sorte que l'on peut tout annuler et revenir en arrière.
  • À la fin, il explique combien de photos il a ignorées et pourquoi : fichiers non RAW, copies virtuelles, images absentes du disque.

Deux logiciels, deux manières de travailler

Les deux intégrations semblent identiques à l'utilisateur, mais elles sont différentes en dessous, parce que les deux logiciels sont différents.

Dans Capture One, le plugin se lance depuis le menu du logiciel sur une photo de la session. Il écrit les étiquettes dans les fichiers annexes placés à côté des clichés, sans toucher aux RAW ni à l'archive de la session, puis il commande lui-même à Capture One de tout sélectionner et de recharger les métadonnées, de sorte que le photographe voit apparaître les couleurs sans rien faire.

Dans Lightroom Classic, le plugin écrit directement dans le catalogue par l'interface de développement d'Adobe, et analyse exactement les photos sélectionnées, pas une de plus. Le catalogue n'est touché qu'une seule fois, à la fin : si l'on annule ou si quelque chose tourne mal, tout reste comme avant.

Comment il est fait

La reconnaissance utilise deux modèles ouverts, tous deux exécutés sur l'ordinateur. Le premier trouve les visages dans l'image ; le second estime l'orientation de la tête et la direction des yeux. Le regard final naît de la somme des deux : la tête peut être tournée et les yeux revenir vers l'objectif, ou l'inverse. La mise au point se mesure sur la netteté de la zone des yeux, non sur celle de la photo entière.

Le moteur est écrit en Python et compilé en un exécutable natif, pour ne pas distribuer de code lisible. L'intégration avec Capture One passe par un programme passerelle, celle avec Lightroom par un plugin écrit dans le langage prévu par Adobe ; les deux dialoguent avec le moteur en échangeant des messages structurés, non du texte à interpréter. Une carte graphique n'est pas nécessaire : le travail est réparti sur plusieurs processus selon les cœurs et la mémoire disponibles. Le plugin parle cinq langues.

Un choix important concerne les modèles. Un classificateur dédié au regard, plus précis que les autres, a été essayé puis exclu du produit : ses poids proviennent d'une archive d'images qui n'en autorise pas l'usage commercial. Rester en règle sur les licences a compté plus que le point de précision supplémentaire.

Le travail accompli

Le calibrage a été fait sur de vraies photos jugées à la main, et non sur un échantillon de laboratoire : 126 clichés d'une session réelle étiquetés par le photographe, utilisés pour calibrer trois niveaux de sévérité (sévère, normal, permissif) entre lesquels l'utilisateur choisit selon le travail. La vitesse a été mesurée sur les mêmes matériaux : environ cinq photos par seconde sur une machine à huit cœurs ; lors d'un essai sur Lightroom, 308 RAW analysés en une minute.

Certains défauts ne sont apparus qu'en le mettant entre les mains de personnes différentes.

  • La commande de secours au clavier vers Capture One n'existait pas vraiment, et le programme déclarait pourtant avoir fonctionné : aujourd'hui, s'il n'y parvient pas, il le dit.
  • Sur un ordinateur disposant de peu de mémoire, sept processus démarraient et plantaient tous : le moteur contrôlait la mémoire libre, non celle réellement engageable. La vérification est désormais correcte et, dans le doute, il se replie sur un seul processus.
  • Dans Lightroom, le plugin analysait le dossier entier même avec une sélection partielle : 920 photos au lieu des 439 choisies.
  • L'installation copiait la nouvelle version par-dessus l'ancienne sans la supprimer : elle désinstalle désormais d'abord et refuse de continuer si Lightroom ou Capture One sont ouverts.

La partie la plus délicate est l'annulation, parce qu'elle touche des fichiers du client : elle a été réexaminée huit fois par un contrôle adverse, chargé de trouver les cas où le programme déclare un succès après avoir supprimé ou endommagé quelque chose. La solidité a été vérifiée en introduisant volontairement 23 défauts dans le code : les tests les ont tous interceptés.

Fiche du plugin et téléchargement de la bêta gratuite

Résultat : le plugin est distribué en bêta gratuite, avec deux installateurs séparés pour Windows, un pour Capture One et un pour Lightroom Classic. La première sélection d'une séance photo passe de plusieurs heures à quelques minutes, et les photos ne quittent jamais l'ordinateur de celui qui les a prises.