La déduplication des données est une technologie de stockage populaire et populaire qui optimise la capacité de stockage. Elle élimine les données redondantes en supprimant les données en double de l'ensemble de données, ne laissant qu'une seule copie. Comme le montre la figure ci-dessous. Cette technologie peut réduire considérablement le besoin de stockage physique. espace pour répondre à la demande croissante de stockage de données. La technologie de déduplication peut apporter de nombreux avantages pratiques, notamment les aspects suivants :
| (1) | Répondre aux exigences de retour sur investissement (retour sur investissement)/TCO (coût total de possession) ; |
| (2) | La croissance rapide des données peut être contrôlée efficacement ; |
| (3) | Augmenter l'espace de stockage efficace et améliorer l'efficacité du stockage ; |
| (4) | Économisez le coût total de stockage et les coûts de gestion ; |
| (5) | Économisez la bande passante réseau de la transmission de données ; |
| (6) | Économisez sur les coûts d’exploitation et de maintenance tels que l’espace, l’alimentation électrique et le refroidissement. |
La technologie de déduplication est largement utilisée dans les systèmes de sauvegarde et d'archivage de données, car il y a beaucoup de données en double après plusieurs sauvegardes de données, ce qui est très approprié pour cette technologie. En fait, la technologie de déduplication peut être utilisée dans de nombreuses situations, y compris les données en ligne, données de proximité et systèmes de stockage de données hors ligne. Elle peut être implémentée dans des systèmes de fichiers, des gestionnaires de volumes, des NAS et sans. La dédupe peut également être utilisée pour la récupération après sinistre, la transmission et la synchronisation des données, car une technologie de compression de données peut être utilisée pour le conditionnement des données. stockage de données, économiser la bande passante du réseau, améliorer l'efficacité du stockage, réduire la fenêtre de sauvegarde et réduire les coûts.
La déduplication comporte deux dimensions principales : les taux de déduplication et les performances. Les performances de la déduplication dépendent de la technologie de mise en œuvre spécifique, tandis que le taux de déduplication est déterminé par les caractéristiques des données elles-mêmes et les modèles d'application, comme indiqué dans le tableau ci-dessous. Les fournisseurs de stockage signalent actuellement des taux de déduplication allant de de 20:1 à 500:1.
| Taux de déduplication élevé | Faible taux de déduplication |
| Données créées par l'utilisateur | Données du monde naturel |
| Faible taux de changement des données | Taux de changement élevé des données |
| Données de référence, données inactives | Données actives |
| Application à faible taux de modification des données | Application à taux de modification de données élevé |
| Sauvegarde complète des données | Sauvegarde incrémentielle des données |
| Stockage des données à long terme | Stockage des données à court terme |
| Large gamme d'applications de données | Petite gamme d'applications de données |
| Traitement continu des données | Traitement commercial des données générales |
| Segmentation de petites données | Segmentation des mégadonnées |
| Segmentation allongée des données | Segmentation des données de longueur fixe |
| Contenu des données perçu | Contenu des données inconnu |
| Déduplication des données temporelles | Déduplication des données spatiales |
Points de mise en œuvre de la déduplication
Divers facteurs doivent être pris en compte lors du développement ou de l'application de la technologie de déduplication, car ces facteurs affectent directement ses performances et son efficacité.
| (1) | Quoi | Quelles données sont dépondérées ? |
| (2) | Quand | Quand le poids sera-t-il supprimé ? |
| (3) | Où | Où est la perte de poids ? |
| (4) | Comment | Comment réduire le poids ? |
Technologie clé de déduplication
Le processus de déduplication du système de stockage en général est le suivant : tout d'abord, le fichier de données est divisé en un ensemble de données, pour chaque bloc de données afin de calculer l'empreinte digitale, puis en fonction des mots-clés de recherche de hachage d'empreinte digitale, la correspondance indique les données pour le duplicata. les blocs de données, stocke uniquement le numéro d'index du bloc de données, sinon cela signifie que le bloc de données est le seul élément d'un nouveau bloc de données et crée des méta-informations pertinentes. Ainsi, un fichier physique dans le système de stockage correspond à une représentation logique d'un ensemble de métadonnées FP. Lors de la lecture du fichier, lisez d'abord le fichier logique, puis selon la séquence FP, retirez le bloc de données correspondant du système de stockage, restaurez la copie du fichier physique. Il ressort du processus ci-dessus que les technologies clés de Dedupe incluent principalement segmentation des blocs de données de fichiers, calcul des empreintes digitales des blocs de données et récupération des blocs de données.
(1) Segmentation des blocs de données de fichiers
(2) Calcul d'empreinte digitale de bloc de données
(3) Récupération de blocs de données
Pour trouver ces modèles recommandés pour démarrer votre déduplication de paquets réseau :
Courtier de paquets réseau Mylinking™ (NPB) ML-NPB-640048*10GE SFP+ plus 4*40GE/100GE QSFP28, 880 Gbit/s maximum
Courtier de paquets réseau Mylinking™ (NPB) ML-NPB-56606*40GE/100GE QSFP28 plus 48*10GE/25GE SFP28, maximum 1,8 Tbit/s
Courtier de paquets réseau Mylinking™ (NPB) ML-NPB-506048*10GE SFP+ plus 2*40GE QSFP, 560 Gbit/s maximum
Courtier de paquets réseau Mylinking™ (NPB) ML-NPB-486048*10GE SFP+, 480 Gbit/s maximum, Fonction Plus
Courtier de paquets réseau Mylinking™ (NPB) ML-NPB-481048*10GE SFP+, 480 Gbit/s maximum
Courtier de paquets réseau Mylinking™ (NPB) ML-NPB-2410P24*10GE SFP+, 240 Gbit/s maximum, fonction DPI
Courtier de paquets réseau Mylinking™ (NPB) ML-NPB-6400
48*10GE SFP+ plus 4*40GE/100GE QSFP28, 880 Gbit/s maximum
Heure de publication : 18 octobre 2022
