Errore AI: arresto ingiusto per un match al 93%
Ho visto software fallire in modi assurdi nel corso della mia carriera, ma la vicenda che arriva dalla Florida mi ha lasciato un senso di profonda inquietudine. Non si tratta solo di un bug o di un crash di sistema, ma di un errore che ha distrutto la vita di una persona. Quando parliamo di facial recognition, spesso ci concentriamo sulla precisione dei pixel o sulla velocità di elaborazione dei chip, ma dimentichiamo che l’output di un algoritmo ha conseguenze reali, pesanti, spesso irreparabili.
Il caso riguarda Robert Dillon, un uomo di cinquantadue anni che si è trovato accusato di un crimine che definire stigmatizzante è un eufemismo: tentato rapimento di un minore. Tutto è iniziato nel 2024, quando un sistema di riconoscimento facciale ha segnalato un match al 93% tra Dillon e un sospetto ripreso dalle telecamere di un McDonald’s a Jacksonville Beach. Un numero che, sulla carta, sembra quasi una certezza matematica. Eppure, come abbiamo imparato a dolorosamente, la statistica non è la verità.
A me sembra evidente che il problema non sia solo tecnologico, ma profondamente umano. La fonte del match era, tecnicamente parlando, un disastro: un’immagine di scarsa qualità, ottenuta fotografando lo schermo di un computer che visualizzava il filmato delle telecamere di sorveglianza. Parliamo di una foto di una foto. In un contesto di computer vision, questo è il modo più rapido per generare falsi positivi. La perdita di dettaglio, il rumore digitale e la distorsione della luce rendono l’algoritmo vulnerabile a interpretazioni errate che un occhio umano esperto avrebbe potuto scartare immediatamente.
Ma la parte che mi disgusta di più non è l’errore del software, quanto la gestione dell’indagine. La causa legale intentata da Dillon sostiene che gli agenti, invece di usare l’algoritmo come un semplice spunto investigativo, abbiano costruito un caso per confermare la risposta della macchina. È quello che in gergo chiamiamo automation bias: la tendamente a fidarsi ciecamente di un sistema automatizzato, ignorando le prove contrarie. Gli inquirenti avevano a disposizione dati che avrebbero potuto smentire il match, come le informazioni provenienti da un database di lettori di targhe, che non mostravano alcuna traccia di Dillon in quella zona. Eppure, l’evidenza digitale del movimento del suo veicolo è stata ignorata in favore di quel fatidico 93%.
Dillon vive a oltre 300 miglia di distanza da Jacksonville Beach. Non era mai stato in quella zona. Eppure, il peso di un’accusa di questo tipo può distruggere una reputazione in pochi minuti. È un promemoria brutale del fatto che, quando la tecnologia incontra le forze dell’ordine, l’errore di calcolo non è solo un bug nel codice, ma un trauma sociale. Se non impariamo a integrare questi strumenti con un sano scetticismo critico, rischiamo di trasformare l’efficienza tecnologica in un’arma contro i cittadini innocenti.
Dobbiamo chiederci quanto peso dare all’output di un algoritmo in contesti dove la libertà personale è in gioco. La tecnologia deve restare uno strumento di supporto, non un giudice infallibile. Senza una supervisione umana rigorosa e una verifica incrociata delle prove, l’automazione della giustizia diventerà solo un’automazione dell’ingiustizia. Per approfondire le implicazioni etiche di queste tecnologie, consiglio di consultare le analisi di organizzazioni come l’ Electronic Frontier Foundation o gli studi pubblicati su MIT Technology Review.
Ripreso da: Ars Technica
