Hit the Lens: visione artificiale per la selezione delle foto

Dopo un evento — un photocall, un red carpet, una sfilata — il fotografo torna con qualche migliaio di scatti quasi identici. La prima selezione è meccanica e lunga: si scartano le foto in cui il soggetto ha gli occhi altrove o è morbido, e si tengono le altre. È un lavoro che nessun software di catalogazione fa, perché richiede di capire dove guarda una persona.

Il plugin analizza le foto e assegna a ciascuna un'etichetta colore, la stessa in entrambi i programmi: verde se il soggetto guarda nell'obiettivo ed è a fuoco, giallo se il caso è dubbio, viola se il primo piano è sfocato. Da lì il fotografo filtra per colore e lavora solo sulle foto che restano.

• Una finestra di avanzamento mostra a che punto è, quante foto ha analizzato, quante guardano in camera finora e quanto manca, con un pulsante per fermarsi.
• Non sovrascrive etichette o voti già messi a mano, a meno che non glielo si chieda esplicitamente.
• Tiene un registro di quello che ha scritto, così si può annullare tutto e tornare indietro.
• Alla fine spiega quante foto ha saltato e perché: file non RAW, copie virtuali, immagini mancanti dal disco.

Le due integrazioni sembrano uguali all'utente, ma sotto sono diverse, perché diversi sono i due programmi.

In Capture One il plugin si lancia dal menu del programma su una foto della sessione. Scrive le etichette nei file collaterali che stanno accanto agli scatti, senza toccare i RAW né l'archivio della sessione, e poi comanda lui stesso a Capture One di selezionare tutto e ricaricare i metadati, così il fotografo vede i colori comparire senza fare niente.

In Lightroom Classic il plugin scrive direttamente nel catalogo attraverso l'interfaccia di sviluppo di Adobe, e analizza esattamente le foto selezionate, né una di più. Il catalogo viene toccato una volta sola, alla fine: se si annulla o qualcosa va storto, resta tutto com'era.

Il riconoscimento usa due modelli aperti, entrambi eseguiti sul computer. Il primo trova i volti nell'immagine; il secondo stima l'orientamento della testa e la direzione degli occhi. Lo sguardo finale nasce dalla somma dei due: la testa può essere girata e gli occhi tornare in camera, o il contrario. La messa a fuoco si misura sulla nitidezza della zona degli occhi, non della foto intera.

Il motore è scritto in Python e compilato in un eseguibile nativo, per non distribuire codice leggibile. L'integrazione con Capture One passa da un programma ponte, quella con Lightroom da un plugin scritto nel linguaggio previsto da Adobe; i due dialogano col motore scambiandosi messaggi strutturati, non testo da interpretare. Non serve una scheda grafica: il lavoro è diviso su più processi secondo i core e la memoria disponibili. Il plugin parla cinque lingue.

Una scelta importante riguarda i modelli. Un classificatore dedicato allo sguardo, più preciso degli altri, è stato provato e poi escluso dal prodotto: i suoi pesi derivano da un archivio di immagini che non ne consente l'uso commerciale. Restare in regola sulle licenze ha contato più del punto di accuratezza in più.

La taratura è stata fatta su foto vere giudicate a mano, non su un campione di laboratorio: 126 scatti di una sessione reale etichettati dal fotografo, usati per calibrare tre livelli di severità — severo, normale, permissivo — fra cui l'utente sceglie a seconda del lavoro. La velocità è stata misurata sugli stessi materiali: circa cinque foto al secondo su una macchina a otto core; in una prova su Lightroom, 308 RAW analizzati in un minuto.

Alcuni difetti si sono visti solo mettendolo in mano a persone diverse.

• Il comando di ripiego da tastiera verso Capture One non esisteva davvero, e il programma dichiarava comunque di avere funzionato: oggi, se non riesce, lo dice.
• Su un computer con poca memoria partivano sette processi e si schiantavano tutti: il motore controllava la memoria libera, non quella effettivamente impegnabile. Ora la verifica è corretta e, nel dubbio, ripiega su un processo solo.
• In Lightroom il plugin analizzava l'intera cartella anche con una selezione parziale — 920 foto invece delle 439 scelte.
• L'installazione copiava la versione nuova sopra la vecchia senza rimuoverla: ora disinstalla prima e si rifiuta di procedere se Lightroom o Capture One sono aperti.

La parte più delicata è l'annullamento, perché tocca file del cliente: è stata riesaminata otto volte da un controllo avversario, incaricato di trovare i casi in cui il programma dichiara successo dopo aver cancellato o danneggiato qualcosa. La tenuta è stata verificata introducendo di proposito 23 guasti nel codice: i test li hanno intercettati tutti.