Projet PANAME : participez aux tests d’un outil d’audit RGPD des modèles d’IA

La CNIL, l’ANSSI, le PEReN et le projet IPoP du PEPR (programmes et équipements prioritaires de recherche) Cybersécurité piloté par Inria ont lancé en juin 2025 le projet PANAME (Privacy Auditing of AI Models).

Ce projet vise à développer un outil pour auditer la confidentialité des modèles d’IA. Il prendra la forme d’une librairie permettant de réaliser des tests d’extraction et/ou de réidentification de données sur les modèles d’IA.

Dans ce cadre, un appel à manifestation d’intérêt (AMI) est lancé auprès des acteurs de l’écosystème souhaitant participer à la phase de test de cette librairie. Les retours d’expérience et la mise en œuvre de ces tests permettront d’enrichir les fonctionnalités et notamment d’assurer que l’outil permet une évaluation effective de de la conformité au RGPD.

Modèles d’IA et protection des données personnelles

Depuis plus de dix ans, la recherche montre qu’il est possible d’extraire d’un modèle d’IA des données, notamment personnelles, qui figuraient dans le jeu de données d’entraînement.

Cette extraction peut se mener :

• par des techniques statistiques au niveau du modèle par un accès complet ou partiel à celui-ci (fonction de coût, gradient, activations…) ;
• ou bien, dans le cas de l’IA générative, en interrogeant directement le modèle par instruction (prompt).

Si ces méthodes existent depuis longtemps, l’essor de l’IA générative et son usage massif ont rendu ce risque plus visible auprès du grand public.

Dès lors que les données d’entraînement sont soumises à une réglementation particulière, comme c’est le cas par exemple pour des données personnelles, des données protégées par le droit d’auteur, ou bien par le secret professionnel, la question de l’application de la réglementation au modèle entraîné se pose.

En particulier, l’avis adopté par le Comité européen de la protection des données (CEPD) en décembre 2024 rappelle que le RGPD s’applique, dans de nombreux cas, aux modèles d’IA entraînés sur des données personnelles, en raison de leurs capacités de mémorisation. Il précise également qu’il est très souvent nécessaire de démontrer dans une analyse qu’un modèle entraîné sur des données personnelles résiste à des tests d’extraction d’informations sur les données d’entraînement pour conclure à son caractère anonyme, condition permettant de sortir son utilisation du champ d’application du RGPD.

Des ressources encore peu disponibles

Les chercheurs travaillent depuis plusieurs années sur les méthodes d’extraction. Toutefois, leur mise en œuvre est souvent faite à un niveau expérimental, pour des publications scientifiques. Plusieurs obstacles ont ainsi été identifiés pour leur appropriation par les industriels :

• une littérature académique éparse et foisonnante : se repérer dans les ressources sur le sujet peut demander du temps et des compétences techniques élevées, notamment pour les plus petits acteurs ;
• des implémentations pas toujours adaptées à un contexte industriel : même lorsqu’elles sont disponibles en source ouverte (open source), ces techniques nécessitent un important travail de développement et d’intégration pour être utilisées en production ;
• un manque de standardisation : aucun cadre unifié n’existe actuellement pour formaliser le codage des tests de confidentialité.

Le projet PANAME

Pour répondre à ces enjeux et faciliter l’évaluation de la conformité au RGPD, le projet PANAME (Privacy Auditing of AI Models) a été lancé en juin 2025.

D’une durée de 18 mois, il prévoit le développement d’une bibliothèque logicielle disponible en tout ou partie en source ouverte, afin d’unifier la façon dont la confidentialité des modèles est évaluée.

L’objectif de l’outil est de permettre une mise en œuvre efficace et à moindre coût de certains tests techniques d’extraction d’informations sur les données d’entraînement que les acteurs de l’écosystème IA sont susceptibles de devoir réaliser pour évaluer le statut d’un modèle d’IA au regard du RGPD.

Après une première phase de spécifications techniques et de développements sur la libraire, la CNIL, le PEReN, l’ANSSI et Inria souhaitent lancer une phase de tests avec des administrations et des industriels afin de s’assurer que le développement de l’outil se fait en cohérence avec leur contexte d’utilisation.

Le présent appel à manifestation d’intérêt vise à identifier des contributeurs pour cette phase de test.

Répondre à l’appel à manifestation (AMI)

Cet appel à manifestation d’intérêt doit permettre d’identifier les acteurs (institutionnels et industriels) souhaitant tester la librairie PANAME.

Il s’adresse à tout entité publique et privée établie dans les États membres de l’Union Européenne. Les partenaires se réservent le droit de refuser certaines candidatures à partir d’un certain seuil (une notification indiquant la fin des candidatures sera également faite sur les réseaux sociaux dans ce cas précis) ou bien si celles-ci sont jugées incomplètes et/ou hors-sujet.

L’AMI est ouvert du 26 février au 28 mars 2026. Les réponses peuvent être déposées à compter de la date de publication. Les dossiers doivent être adressés exclusivement sous forme électronique à l’adresse mail : [email protected] et respecter le format dédié « formulaire de réponse à l’AMI » disponible ci-dessous.