Abstract
Il progetto EquAl (Equitable Algorithms, Promoting Fairness and Countering Algorithmic Discrimination Through Norms and Technologies) affronta le valutazioni, le decisioni e le previsioni algoritmiche con l'obiettivo di promuovere l'equità e contrastare la discriminazione nei confronti di individui e gruppi. Esso fornisce una comprensione completa e interdisciplinare dell'iniquità e della discriminazione algoritmica, mettendo in relazione i concetti sviluppati nelle scienze sociali, nel diritto, nella statistica e nell'intelligenza artificiale. In particolare, EquAl ha esaminato in che modo i quadri giuridici esistenti affrontano la discriminazione algoritmica e ha formulato proposte per attuare e rafforzare l'attuale sistema normativo. Ha inoltre indagato come gli strumenti tecnologici possano promuovere l'equità e supportare il rilevamento e la mitigazione dell'iniquità e della discriminazione algoritmica, con specifico riferimento alla valutazione delle domande di asilo, che costituiscono il caso di studio originario e primario del progetto, successivamente integrato da ulteriori casi di studio. Attraverso l'individuazione sistematica e la proposta di rimedi all'iniquità e alla discriminazione algoritmica, EquAl si è concentrato sulla prevenzione e sulla mitigazione dei danni a individui e gruppi, supportando un impiego dell'IA conforme al diritto e, al contempo, esaminando criticamente il suo potenziale di generare forme nuove, sottili, opache e persistenti di iniquità e discriminazione. Il progetto ha contribuito a far progredire la ricerca nel dibattito sull'iniquità algoritmica attraverso: (i) la produzione di contributi originali sulla natura, sul funzionamento e sull'evoluzione di un processo decisionale dell'IA equo e iniquo; (ii) la valutazione delle tecnologie antidiscriminazione esistenti e lo sviluppo di metodi innovativi per rilevare casi di iniquità sia nei processi decisionali umani sia in quelli automatizzati, con particolare attenzione alla tutela dei soggetti vulnerabili; (iii) la fornitura di orientamenti etici e giuridici per i decisori politici e gli stakeholder; (iv) il supporto alle autorità pubbliche, alle organizzazioni non governative e alle comunità locali, in particolare nel contesto della valutazione delle domande di asilo. In particolare, per conseguire tali finalità, EquAl ha perseguito quattro obiettivi principali.
Risultati raggiunti
: Obiettivo socio-tecnico. Il progetto ha analizzato i metodi, i contesti e l'implementazione dei sistemi decisionali automatizzati, in particolare quelli basati su IA e machine learning, al fine di individuare le fonti di iniquità e discriminazione. Ha esaminato i sistemi attualmente in uso, valutandone le caratteristiche tecnologiche, i vantaggi e i limiti, e ha analizzato i fattori che conducono a esiti iniqui. Un ampio insieme di casi documentati di iniquità e discriminazione algoritmica è stato raccolto attraverso la ricerca e l'indagine qualitativa. Per ciascun caso, il progetto ha individuato la fonte del bias, il suo impatto su individui e gruppi e i potenziali rimedi e strategie di mitigazione. Obiettivo concettuale. EquAl ha sviluppato una comprensione strutturata dell'equità e della discriminazione algoritmica, mettendo in relazione i concetti adottati nella statistica, nelle scienze sociali, nel diritto e nell'intelligenza artificiale. Ha esaminato e confrontato le diverse definizioni e i diversi quadri teorici emergenti da tali ambiti, individuando elementi comuni, divergenze, incongruenze e lacune normative. L'analisi ha affrontato sia l'equità sostanziale, relativa alla relazione tra dati di input, processi decisionali ed esiti in specifici contesti sociali, sia l'equità procedurale, comprendente la trasparenza, la spiegabilità, l'accesso alle informazioni e la disponibilità di meccanismi di revisione e ricorso. Obiettivo giuridico. Il progetto ha analizzato sistematicamente in che modo i quadri giuridici esistenti affrontano, o non affrontano, l'iniquità e la discriminazione algoritmica. La valutazione ha riguardato il diritto dei diritti umani e dei diritti fondamentali, il diritto della protezione dei dati, il diritto antidiscriminatorio e il diritto dell'immigrazione, e ha preso in considerazione sia le giurisdizioni europee sia quelle extra-europee rilevanti. Particolare attenzione è stata dedicata agli sviluppi normativi emergenti, ivi compreso il quadro regolatorio in materia di IA. Sulla base del lavoro concettuale sviluppato all'interno del progetto, EquAl ha formulato proposte per rafforzare e adattare gli strumenti normativi vigenti, allineando le pratiche tecnologiche ai valori giuridici europei. Il progetto ha inoltre elaborato linee guida metodologiche per un impiego etico e lecito dei sistemi di IA, individuando standard tecnologici e organizzativi adeguati e coerenti con gli approcci "privacy by design" e "fairness by design". Obiettivo giuridico-informatico. EquAl ha studiato e sviluppato metodi algoritmici per valutare la praticabilità del processo decisionale automatizzato e per rilevare e correggere l'iniquità sia nelle decisioni umane sia in quelle automatizzate. Sono stati sviluppati casi di studio sulle domande di asilo, su un dataset medico e sul dataset COMPAS, al fine di valutare il ruolo appropriato degli strumenti algoritmici nelle diverse fasi del processo decisionale. Il progetto ha esaminato l'uso dei sistemi algoritmici ex post (per valutare le decisioni umane), ex ante (per supportare o proporre decisioni) e come componenti intermedie all'interno di procedure in corso. Sulla base di tale caso di studio, è stata definita una metodologia generale per la valutazione dell'equità sia nei processi decisionali umani sia in quelli automatizzati, resa trasferibile ad altri domini. Contributo delle Unità Operative: UNIBO ha coordinato le attività del progetto garantendo l'allineamento tra le unità e organizzando le riunioni interne, i workshop di progetto e le attività di disseminazione (WP1). UNITO ha mappato e analizzato i sistemi decisionali algoritmici (con particolare attenzione ai contesti di migrazione e asilo), ne ha esaminato le caratteristiche tecno-sociali e ha individuato profili di rischio di discriminazione. Ha sviluppato un quadro concettuale interdisciplinare di equità algoritmica, integrando teoria del diritto, etica e informatica, ed ha elaborato criteri di accountability per il processo decisionale algoritmico, in particolare nelle procedure di asilo (WP2). UNIPA ha condotto una ricognizione e un'analisi sistematica della legislazione e della giurisprudenza italiana, europea ed extra-UE in materia di discriminazione algoritmica, individuando lacune normative e proponendo riforme legislative. Nell'ambito del WP5, l’unità ha sviluppato e realizzato il caso di studio sull'asilo: ha ricostruito il quadro normativo, ha raccolto circa 400 casi in materia di asilo (2014–2023), ha strutturato e organizzato il dataset contribuendo al processo di anonimizzazione e ha condotto la fase sperimentale relativa all'analisi delle decisioni in materia di asilo basata su LLM, in collaborazione con UNIBO (WP3 and WP5). Sul piano sperimentale, UNIBO ha sviluppato una metodologia computazionale per il rilevamento dell'iniquità (WP4 andWP5). In particolare, il risultato centrale dell'obiettivo giuridico-informatico consiste nella progettazione e validazione di un framework unificato per la valutazione dell'equità che integra esplicitamente le prestazioni predittive nel processo di valutazione. Anziché basarsi su metriche di equità fisse e predefinite, il framework introduce un approccio generalizzabile fondato sulla nozione di "focus function", definita sulla matrice di confusione. Ciò consente di operazionalizzare l'equità rispetto a diverse proprietà comportamentali del classificatore, includendo sia i criteri di equità tradizionali (ad esempio, statistical parity, equalized odds) sia misure orientate alle prestazioni come accuracy, balanced accuracy o F1-score. Di conseguenza, l'equità non viene più trattata come un vincolo rigido, ma come una proprietà flessibile e dipendente dal contesto, adattabile ai requisiti specifici del dominio applicativo. In particolare, la metodologia è stata testata sui seguenti casi di studio: a) Dataset delle richieste di asilo. UNIBO ha sviluppato: un framework di valutazione LLM-as-a-Judge per valutare l'accuratezza fattuale e la qualità del ragionamento degli output dei LLM nei casi di asilo; una pipeline computazionale per la generazione di ipotesi e l'analisi dell'equità, utilizzando feature encoding, analisi di correlazione, permutation importance e tecniche di IA interpretabile. In collaborazione con UNIPA (WP5), UNIBO ha implementato e validato l'analisi computazionale del dataset sull'asilo, operazionalizzando i metodi di valutazione dell'equità e garantendo robustezza metodologica e scalabilità. b) Dataset medico ISIC. UNIBO ha applicato le metodologie di valutazione dell'equità sviluppate a un classificatore diagnostico addestrato sul dataset delle lesioni cutanee, che predice se l'immagine di una lesione sia benigna o maligna. L'analisi si è concentrata sulla valutazione del comportamento del modello tra i diversi sottogruppi demografici, al fine di rilevare potenziali disparità negli esiti predittivi e valutare i trade-off connessi all'equità in un dataset medico fortemente sbilanciato. c) Dataset COMPAS. UNIBO ha inoltre applicato il framework proposto al dataset COMPAS, ampiamente utilizzato negli studi sui bias algoritmici nella giustizia penale. L'analisi ha esaminato la relazione tra punteggi di rischio, recidiva predetta e attributi demografici come la razza, consentendo la valutazione delle metriche di equità e l'esplorazione di potenziali disparità nel processo decisionale algoritmico.Dettagli del progetto
Responsabile scientifico: Francesca Lagioia
Strutture Unibo coinvolte:
Dipartimento di Scienze Giuridiche
Coordinatore:
ALMA MATER STUDIORUM - Università di Bologna(Italy)
Contributo totale di progetto: Euro (EUR) 224.941,00
Contributo totale Unibo: Euro (EUR) 98.730,00
Durata del progetto in mesi: 24
Data di inizio
28/09/2023
Data di fine:
28/02/2026
