tadata
← Retour à l'accueil

Données Synthétiques : Quand les Données Réelles ne Suffisent Pas ou ne Sont Pas Autorisées

#artificial-intelligence#data-engineering#machine-learning#privacy

Les données synthétiques -- des données générées artificiellement qui imitent les propriétés statistiques de jeux de données réels -- sont passées de technique de niche à nécessité stratégique. Portées par les réglementations de confidentialité (RGPD, HIPAA), la rareté des données dans les domaines spécialisés et le besoin d'augmenter les ensembles d'entraînement.

Méthodes de Génération

Les principales familles de méthodes sont : les méthodes statistiques (copules, réseaux bayésiens, SMOTE), les modèles génératifs profonds (GANs, VAEs, diffusion), la génération basée sur les LLMs, la simulation (moteurs physiques, jumeaux numériques) et les méthodes basées sur des règles.

tadata
1 Seed tasks a few hundredhuman-writteninstructions withanswers 2 Generateinstructions prompt the LLM withsampled seeds to writenew tasks 3 Generate answers the same or a strongermodel answers each task 4 Filter dedupe (ROUGE orembedding similarity),drop malformed, unsafeor trivial items 5 Verify check answers: unittests, maths checkers,reward model, humanspot checks 6 Train and evaluate fine-tune, then test onhuman-writtenbenchmarks
1 Seed tasks a few hundredhuman-writteninstructions withanswers 2 Generateinstructions prompt the LLM withsampled seeds to writenew tasks 3 Generate answers the same or a strongermodel answers each task 4 Filter dedupe (ROUGE orembedding similarity),drop malformed, unsafeor trivial items 5 Verify check answers: unittests, maths checkers,reward model, humanspot checks 6 Train and evaluate fine-tune, then test onhuman-writtenbenchmarks
La recette self-instruct (Wang et al., 2022 : 175 tâches de départ écrites à la main sont devenues environ 52K instructions) ; des variantes ultérieures ajoutent des personas, une montée progressive de la difficulté et des vérificateurs

Extrait de la fiche « Synthetic Data » · Demander la fiche complète

Comparaison des Méthodes

MéthodeType de DonnéesConfidentialitéFidélitéComplexité
Statistique (copules)TabulaireÉlevéeMoyenneFaible
CTGANTabulaireÉlevéeÉlevéeMoyenne
TabDDPMTabulaireÉlevéeTrès élevéeÉlevée
LLMTout structuréMoyenne*ÉlevéeFaible
Diffusion (images)Image/VideoÉlevéeTrès élevéeÉlevée
SimulationSpécifique au domaineTrès élevéeVariableTrès élevée
tadata
Safe, coarse Target zone Avoid Useful, check leakage Fidelity to real data Privacy protection low high low high Rule-based fakes(Faker) DP synthesizer Gaussian copula CTGAN / TVAE LLM row generator Real data + noise
Safe, coarse Target zone Avoid Useful, check leakage Fidelity to real data Privacy protection low high low high Rule-based fakes(Faker) DP synthesizer Gaussian copula CTGAN / TVAE LLM row generator Real data + noise
Générateurs tabulaires placés selon la fidélité et la protection de la vie privée (placement qualitatif de l'auteur, pas des scores mesurés). Aucune méthode ne se place sûrement en haut à droite sans mesure

Extrait de la fiche « Synthetic Data » · Demander la fiche complète

Cadre de Métriques de Qualité

MétriqueCe qu'elle mesure
FidélitéSimilarité statistique avec les données réelles
DiversitéCouverture de la distribution des données réelles
ConfidentialitéRisque de re-identification
UtilitéUtilité pour la tâche en aval (TSTR)
CohérenceConsistance logique des enregistrements
ÉquitéPréservation ou atténuation des biais

Le Compromis Confidentialité-Utilité

La tension fondamentale dans les données synthétiques : une fidélité plus élevée signifie un risque de re-identification plus élevé. La confidentialité différentielle fournit des garanties mathématiques mais dégrade la qualité des données. L'approche pratique est de mesurer les deux axes explicitement et de choisir le point de fonctionnement en fonction des exigences réglementaires.

tadata
CAUSES PREVENTIVE BARRIERS MITIGATING BARRIERS CONSEQUENCES Generator trained onpersonal data HAZARD Generator memorisedtraining rows DPtraining(epsilonset) Earlystopping Rare outliersreproduced Outliersuppression DCR filteron output Linkage withoutside data Quasi-identifierchecks Re-identificationof individuals Membership-inferencetest before release GDPR breach andnotification DPIA and legal review Loss of trust Access limited bylicence Synthetic datadiscloses realpeople TOP EVENT Effective Partly effective
CAUSES PREVENTIVE BARRIERS MITIGATING BARRIERS CONSEQUENCES Generator trained onpersonal data HAZARD Generator memorisedtraining rows DPtraining(epsilonset) Earlystopping Rare outliersreproduced Outliersuppression DCR filteron output Linkage withoutside data Quasi-identifierchecks Re-identificationof individuals Membership-inferencetest before release GDPR breach andnotification DPIA and legal review Loss of trust Access limited bylicence Synthetic datadiscloses realpeople TOP EVENT Effective Partly effective
Risque de confidentialité d'un jeu de données synthétique publié : causes, barrières préventives, conséquences, barrières d'atténuation

Extrait de la fiche « Synthetic Data » · Demander la fiche complète

Ressources

Nous utilisons des cookies analytiques pour améliorer votre expérience. Aucune donnée personnelle n'est collectée.