Human-Centered Artificial Intelligence for Phishing Defense: From Explanation Interfaces to Behavioral Risk Mitigation

This thesis addresses the challenge of phishing, one of the most widespread and persistent cybersecurity threats, which continues to exploit human vulnerabilities despite significant technological advances in detection systems. To respond to the socio-technical menace posed by phishing and defend the user holistically, this thesis introduces PERSEUS (Phishing dEfense through Resilient and Secure Explainable User-centered Systems), an integrated approach that combines human factors modeling, user-centered design of explanation interfaces, explainable artificial intelligence (XAI), Large Language Model (LLM)-based detection techniques, and adaptive training grounded in digital twins. PERSEUS is structured around four main pillars: 1. modeling cognitive, emotional, and behavioral vulnerabilities to phishing; 2. designing and evaluating explanation user interfaces (XUIs) to enhance user awareness and decision-making; 3. developing XAI pipelines and LLM-based tools to detect and explain phishing emails; 4. creating adaptive training and simulation environments capable of tailoring interventions to users’ profiles. These pillars are complemented by two additional aspects: supporting developers through privacy-aware design practices and empowering end-users by enabling them to define custom security rules and, when appropriate, influence AI-driven decisions. By placing itself at the intersection between Usable Security and Human-Centered Artificial Intelligence, PERSEUS represents a methodological and technological AI-based framework to comprehensively defend users from phishing attacks. From this perspective, users are no longer treated as the weakest link to be passively protected, but as active, aware, and empowered participants in the security ecosystem. ​

La presente tesi affronta la problematica del phishing, una delle minacce informatiche più diffuse e persistenti, che continua a sfruttare le vulnerabilità umane nonostante i significativi progressi tecnologici nei sistemi di rilevamento. Per rispondere in modo integrato alla natura socio-tecnica del phishing e garantire una protezione completa dell’utente, viene proposto PERSEUS (Phishing dEfense through Resilient and Secure Explainable User-centered Systems), un approccio che combina la modellazione dei fattori umani, la progettazione centrata sull’utente di interfacce di spiegazione, l’intelligenza artificiale spiegabile (XAI), tecniche di rilevamento basate su modelli linguistici di grandi dimensioni (LLM) e percorsi di formazione adattiva basati su gemelli digitali. L’approccio PERSEUS si articola in quattro pilastri principali: 1. la modellazione delle vulnerabilità cognitive, emotive e comportamentali al phishing; 2. la progettazione e valutazione di interfacce utente di spiegazione (XUI) per migliorare la consapevolezza e le capacità decisionali degli utenti; 3. lo sviluppo di pipeline di XAI e strumenti basati su LLM per l’individuazione e la spiegazione di email di phishing; 4. la realizzazione di ambienti di addestramento e simulazione adattivi, in grado di personalizzare gli interventi in base ai profili degli utenti. A questi elementi si affiancano due ulteriori aspetti: il supporto agli sviluppatori nella progettazione attenta alla privacy e il potenziamento dell’utente finale, che viene messo in condizione di definire regole di sicurezza personalizzate e di influenzare, ove appropriato, le decisioni dei sistemi di intelligenza artificiale. Collocandosi all’intersezione tra Usable Security e Human-Centered Artificial Intelligence, PERSEUS propone un framework metodologico e tecnologico basato sull’IA per la difesa globale dell’utente dagli attacchi di phishing. In questa prospettiva, l’utente non è più considerato l’anello debole da proteggere passivamente, ma una componente attiva e consapevole dell’ecosistema di sicurezza. ​