La déduplication des données est une technologie de stockage populaire et répandue qui optimise la capacité de stockage. Elle élimine les données redondantes en supprimant les données en double de l'ensemble de données, ne laissant qu'une seule copie. Comme le montre la figure ci-dessous. Cette technologie peut réduire considérablement le besoin d'espace de stockage physique pour répondre à la demande croissante de stockage de données. La technologie de déduplication peut apporter de nombreux avantages pratiques, notamment les aspects suivants :
| (1) | Répondre aux exigences de ROI (retour sur investissement)/TCO (coût total de possession) ; |
| (2) | La croissance rapide des données peut être contrôlée efficacement ; |
| (3) | Augmenter l’espace de stockage efficace et améliorer l’efficacité du stockage ; |
| (4) | Économisez le coût total de stockage et le coût de gestion ; |
| (5) | Économiser la bande passante du réseau pour la transmission de données ; |
| (6) | Réduisez les coûts d’exploitation et de maintenance tels que l’espace, l’alimentation électrique et le refroidissement. |
La déduplication est largement utilisée dans les systèmes de sauvegarde et d'archivage de données, car de nombreuses données dupliquées après plusieurs sauvegardes sont présentes, ce qui la rend particulièrement adaptée. Elle peut être utilisée dans de nombreuses situations, notamment pour les données en ligne, les données quasi-ligne et les systèmes de stockage hors ligne. Elle peut être mise en œuvre dans les systèmes de fichiers, les gestionnaires de volumes, les NAS et les systèmes sans fil. La déduplication peut également être utilisée pour la reprise après sinistre, la transmission et la synchronisation des données, car la technologie de compression des données permet leur encapsulation. Elle peut aider de nombreuses applications à réduire le stockage de données, à économiser la bande passante réseau, à améliorer l'efficacité du stockage, à réduire la fenêtre de sauvegarde et à réduire les coûts.
La déduplication comporte deux dimensions principales : les ratios de déduplication et les performances. Les performances de déduplication dépendent de la technologie d'implémentation spécifique, tandis que le taux de déduplication est déterminé par les caractéristiques des données elles-mêmes et les modèles d'application, comme indiqué dans le tableau ci-dessous. Les fournisseurs de stockage signalent actuellement des taux de déduplication allant de 20:1 à 500:1.
| Taux de déduplication élevé | Faible taux de déduplication |
| Données créées par l'utilisateur | Données du monde naturel |
| Données à faible taux de changement | Taux de changement élevé des données |
| Données de référence, données inactives | Données actives |
| Application à faible taux de changement de données | Application à taux de changement de données élevé |
| Sauvegarde complète des données | Sauvegarde incrémentielle des données |
| Stockage des données à long terme | Stockage de données à court terme |
| Large gamme d'applications de données | Petite gamme d'applications de données |
| Traitement continu des données commerciales | Traitement général des données commerciales |
| Segmentation des petites données | Segmentation des mégadonnées |
| Segmentation allongée des données | Segmentation des données à longueur fixe |
| Contenu des données perçu | Contenu des données inconnu |
| Déduplication des données temporelles | Déduplication des données spatiales |
Points de mise en œuvre de la déduplication
Différents facteurs doivent être pris en compte lors du développement ou de l’application de la technologie Dedupe, car ces facteurs affectent directement ses performances et son efficacité.
| (1) | Quoi | Quelles données sont dépondérées ? |
| (2) | Quand | Quand le poids sera-t-il éliminé ? |
| (3) | Où | Où est l'élimination du poids ? |
| (4) | Comment | Comment réduire le poids ? |
Technologie de clé dédupliquée
Le processus de déduplication du système de stockage en général est le suivant : tout d'abord le fichier de données est divisé en un ensemble de données, pour chaque bloc de données pour calculer l'empreinte digitale, puis en fonction des mots-clés de recherche de hachage d'empreinte digitale, la correspondance indique les données pour les blocs de données en double, ne stocke que le numéro d'index du bloc de données, sinon cela signifie que le bloc de données est le seul élément d'un nouveau, le stockage du bloc de données et la création de méta-informations pertinentes. Ainsi, un fichier physique dans le système de stockage correspond à une représentation logique d'un ensemble de métadonnées FP. Lors de la lecture du fichier, lisez d'abord le fichier logique, puis selon la séquence FP, retirez le bloc de données correspondant du système de stockage, restaurez la copie du fichier physique. On peut voir à partir du processus ci-dessus que les technologies clés de la déduplication incluent principalement la segmentation des blocs de données de fichiers, le calcul de l'empreinte digitale des blocs de données et la récupération des blocs de données.
(1) Segmentation des blocs de données de fichiers
(2) Calcul de l'empreinte digitale du bloc de données
(3) Récupération de blocs de données
Pour trouver ces modèles recommandés pour démarrer votre déduplication de paquets réseau :
Mylinking™ Network Packet Broker (NPB) ML-NPB-640048 SFP+ 10 GE plus 4 QSFP28 40 GE/100 GE, débit maximal : 880 Gbit/s
Mylinking™ Network Packet Broker (NPB) ML-NPB-56606 QSFP28 40 GE/100 GE plus 48 SFP28 10 GE/25 GE, débit maximal de 1,8 Tbit/s
Mylinking™ Network Packet Broker (NPB) ML-NPB-506048 SFP+ 10 GE plus 2 QSFP 40 GE, 560 Gbit/s maximum
Mylinking™ Network Packet Broker (NPB) ML-NPB-486048 SFP+ 10 GE, max. 480 Gbit/s, fonction Plus
Mylinking™ Network Packet Broker (NPB) ML-NPB-481048 SFP+ 10 GE, 480 Gbit/s maximum
Mylinking™ Network Packet Broker (NPB) ML-NPB-2410P24 SFP+ 10 GE, max. 240 Gbit/s, fonction DPI
Mylinking™ Network Packet Broker (NPB) ML-NPB-6400
48 SFP+ 10 GE plus 4 QSFP28 40 GE/100 GE, débit maximal : 880 Gbit/s
Date de publication : 18 octobre 2022
