Nettoyage de données (Data cleansing) : définition

Le nettoyage de données, ou data cleansing, désigne le processus qui détecte, qualifie et corrige les erreurs, incohérences, formats invalides et doublons présents dans un ensemble de données déjà collecté. Il agit sur des données existantes sans en ajouter de nouvelles, ce qui le distingue de l’enrichissement de données, qui complète l’information disponible plutôt que de corriger ce qui est déjà présent.

Techniques principales

La standardisation harmonise les formats d’un même type de champ, numéros de téléphone, adresses, dénominations ou codes postaux, afin qu’ils respectent une convention unique et deviennent comparables entre eux. Elle facilite ensuite la détection d’erreurs et le dédoublonnage. La correction d’erreurs traite les champs manifestement erronés, valeurs impossibles, formats invalides, fautes de saisie, identifiés par des règles de validation. Le dédoublonnage identifie les enregistrements représentant une même entité sous des formes différentes, une variation orthographique du nom d’une entreprise ou une adresse email saisie deux fois avec une casse différente, par exemple, puis les fusionne ou en élimine les occurrences redondantes. Cette opération s’appuie souvent sur des techniques de matching algorithmique pour détecter des correspondances qui ne sont pas des doublons exacts au sens strict. L’invalidation, l’archivage ou la suppression des enregistrements obsolètes retire des usages actifs les données qui ne correspondent plus à une entité active ou qui ne répondent à aucun usage identifié.

Distinction avec des notions proches

Le nettoyage de données est une technique corrective ponctuelle, à distinguer de la qualité des données, qui désigne l’état résultant de cette correction évalué selon plusieurs dimensions, et de la gestion de la qualité des données, qui désigne la démarche organisationnelle continue dans laquelle le nettoyage s’inscrit comme l’une des actions correctives possibles, à côté de la prévention à la collecte et de la surveillance continue. Il ne remplace pas les contrôles à la collecte : une base nettoyée peut se dégrader rapidement si les nouvelles données entrantes ne sont pas validées.

Limites

Un dédoublonnage trop agressif peut fusionner à tort deux entités distinctes partageant des caractéristiques proches : c’est un faux positif. À l’inverse, un dédoublonnage trop strict peut laisser subsister deux enregistrements correspondant pourtant à la même entité : c’est un faux négatif. Le nettoyage de données traite un état à un instant donné : sans processus récurrent, une base nettoyée se dégrade à nouveau au même rythme qu’avant l’intervention, à mesure que de nouvelles données incorrectes ou obsolètes s’accumulent. Le nettoyage doit donc être replacé dans une démarche plus large de gestion de la qualité des données : règles d’entrée, contrôles récurrents, suivi des anomalies et arbitrages métier sur les corrections à appliquer.

Voir aussi

Qualité des données
Gestion de la qualité des données
Enrichissement de données
Matching algorithmique

Sources et références

Rahm, E. et Do, H. H. (2000). Data Cleaning: Problems and Current Approaches. IEEE Data Engineering Bulletin, 23(4), 3-13. Article de référence sur les problématiques et méthodes de nettoyage de données.