La déduplication est un procédé utilisé pour éliminer les données redondantes. Pendant le processus, d'un ordinateur disque dur est scanné pour les grandes séquences de données à travers les fenêtres de comparaison. Lors de la numérisation des données dupliquées, des séquences de huit kilo-octets ou plus sont généralement cueillis out. Si la séquence se trouve ailleurs sur le système de stockage, le fichier dupliqué est référencé plutôt que de nouveau enregistré.
Une déduplication réussie peut éliminer plusieurs kilo-octets de données sur un ordinateur, ce qui conduit à des avantages évidents. La duplication des données prend de la place nécessaire dans le système, et quand les données superflues sont supprimées, ce qui laisse à l'utilisateur plus d'espace de stockage sur l'ordinateur. Cela permettra au système de fonctionner plus rapidement et plus efficacement, car il n'est pas embourbé avec les données supplémentaires. En outre, l'amélioration de la bande passante est toujours plus perceptible quand un ordinateur a plus d'espace libre.
La déduplication consiste référence à la grande quantité de données pour le premier emplacement et de suppression des copies supplémentaires des données, qui sont, cependant, indexé au cas où ils seraient nécessaires. Souvent, les mêmes données peuvent être stockées dans pas moins de 100 différents endroits sur un disque dur. Si chacun prend jusqu'à un mégaoctet d'espace, la déduplication réduit cet espace sur le disque dur de 100 mégaoctets à un seul. Le processus fonctionne par l'archivage des données et de l'espace supplémentaire qui est gagné est très bénéfique pour le disque dur d'un ordinateur.
Les autres avantages de la déduplication comprennent la réduction de la quantité d'espace de sauvegarde nécessaire par autant que 90 pour cent, la réduction des coûts tels que l'énergie, l'espace et les besoins en refroidissement, la restauration d'un niveau de service supérieur, en éliminant de nombreux types d'erreurs et la récupération de données à plusieurs des points différents. Un inconvénient de la déduplication est qu'elle identifie les données en double en utilisant des fonctions de hachage cryptographique, qui peuvent être peu fiables, et une collision ou un autre type d'erreur se traduirait par la perte de données.En outre, si la personne qui a autorisé la procédure n'est pas au courant de la réduction de la redondance impliquée, la fiabilité de l'ordinateur peut être affectée.
La déduplication des données fonctionne en première segmentation de chaque morceau de données qui sont traitées. Chaque segment est identifié et comparé aux données qui sont déjà dans le système. Si les données est unique, elle est stockée sur un disque. Si c'est un morceau de données en double, une référence est créée à la place. La déduplication peut être implémentée en utilisant un logiciel appelé Data Domain , qui travaille avec des données et des systèmes de stockage à filtrer à travers les données, le référencement, l'élimination ou le stockage de chaque octet, le cas échéant.