Datadeduplicering är en populär och populär lagringsteknik som optimerar lagringskapaciteten. Den eliminerar redundant data genom att ta bort duplicerade data från datamängden, vilket bara lämnar en kopia. Som visas i figuren nedan kan denna teknik avsevärt minska behovet av fysiskt lagringsutrymme för att möta den växande efterfrågan på datalagring. Dedupliceringsteknik kan ge många praktiska fördelar, främst inklusive följande aspekter:
| (1) | Uppfylla kraven för ROI (Return On Investment)/TCO (Total Cost of Ownership); |
| (2) | Den snabba datatillväxten kan effektivt kontrolleras; |
| (3) | Öka effektivt lagringsutrymme och förbättra lagringseffektiviteten; |
| (4) | Spara den totala lagringskostnaden och administrationskostnaden; |
| (5) | Spara nätverksbandbredden för dataöverföring; |
| (6) | Spara drifts- och underhållskostnader såsom utrymme, strömförsörjning och kylning. |
Dedupe-teknik används ofta i system för säkerhetskopiering och arkivering av data, eftersom det finns många dubbletter av data efter flera säkerhetskopior, vilket är mycket lämpligt för denna teknik. Faktum är att dedupe-teknik kan användas i många situationer, inklusive online-data, nära-linje-data och offline-datalagringssystem. Den kan implementeras i filsystem, volymhanterare, NAS och SAN. Dedupe kan också användas för dataåterställning efter katastrofer, dataöverföring och synkronisering, eftersom datakomprimeringsteknik kan användas för datapaketering. Dedupe-teknik kan hjälpa många applikationer att minska datalagring, spara nätverksbandbredd, förbättra lagringseffektiviteten, minska säkerhetskopieringsfönstret och spara kostnader.
Deduplicering har två huvuddimensioner: dedupliceringsförhållanden och prestanda. Dedupliceringsprestanda beror på den specifika implementeringstekniken, medan dedupliceringshastigheten bestäms av egenskaperna hos själva data och applikationsmönster, som visas i tabellen nedan. Lagringsleverantörer rapporterar för närvarande dedupliceringshastigheter som sträcker sig från 20:1 till 500:1.
| Hög dedupliceringsgrad | Låg dedupliceringsgrad |
| Data skapad av användaren | Data från naturen |
| Data med låg förändringstakt | Data med hög förändringstakt |
| Referensdata, inaktiva data | Aktiva data |
| Applikation med låg dataförändringshastighet | Applikation med hög dataförändringshastighet |
| Fullständig säkerhetskopiering av data | Stegvis säkerhetskopiering av data |
| Långtidslagring av data | Korttidslagring av data |
| Brett utbud av dataapplikationer | Litet utbud av dataapplikationer |
| Kontinuerlig databehandling av företag | Allmän databehandling för företag |
| Liten datasegmentering | Stordatasegmentering |
| Förläng datasegmentering | Datasegmentering med fast längd |
| Uppfattat datainnehåll | Datainnehåll okänt |
| Deduplicering av tidsdata | Deduplicering av rumsliga data |
Implementeringspunkter för deduplicerade åtgärder
Olika faktorer bör beaktas vid utveckling eller tillämpning av Dedupe-teknik, eftersom dessa faktorer direkt påverkar dess prestanda och effektivitet.
| (1) | Vad | Vilka data är avviktade? |
| (2) | När | När kommer vikten att försvinna? |
| (3) | Där | Var är viktminskningen? |
| (4) | Hur | Hur minskar man vikten? |
Deduplicera nyckelteknik
Dedupliceringsprocessen för lagringssystem ser generellt ut så här: först delas datafilen upp i en uppsättning data, för varje datablock beräknas fingeravtrycket, och sedan, baserat på fingeravtryckshash-sökord, indikerar matchningen data för de duplicerade datablocken, lagrar endast datablockets indexnummer, annars betyder det att datablocket är den enda delen av ett nytt datablock, lagrar datablocket och skapar relevant metainformation. Således motsvarar en fysisk fil i lagringssystemet en logisk representation av en uppsättning FP-metadata. När du läser filen, läs först den logiska filen, sedan, enligt FP-sekvensen, ta ut motsvarande datablock från lagringssystemet, återställ kopian av den fysiska filen. Det framgår av ovanstående process att de viktigaste teknikerna för Deduplicering huvudsakligen inkluderar segmentering av fildatablock, beräkning av datablocksfingeravtryck och hämtning av datablock.
(1) Segmentering av fildatablock
(2) Beräkning av fingeravtryck i datablock
(3) Hämtning av datablock
För att hitta dessa rekommenderade modeller för att starta din nätverkspaketdeduplicering:
Mylinking™ Nätverkspaketmäklare (NPB) ML-NPB-640048*10GE SFP+ plus 4*40GE/100GE QSFP28, max 880 Gbps
Mylinking™ Nätverkspaketmäklare (NPB) ML-NPB-56606*40GE/100GE QSFP28 plus 48*10GE/25GE SFP28, max 1,8 Tbps
Mylinking™ Nätverkspaketmäklare (NPB) ML-NPB-506048*10GE SFP+ plus 2*40GE QSFP, max 560 Gbps
Mylinking™ Nätverkspaketmäklare (NPB) ML-NPB-486048*10GE SFP+, Max 480 Gbps, Function Plus
Mylinking™ Nätverkspaketmäklare (NPB) ML-NPB-481048*10GE SFP+, max 480 Gbps
Mylinking™ Nätverkspaketmäklare (NPB) ML-NPB-2410P24*10GE SFP+, Max 240 Gbps, DPI-funktion
Mylinking™ Nätverkspaketmäklare (NPB) ML-NPB-6400
48*10GE SFP+ plus 4*40GE/100GE QSFP28, max 880 Gbps
Publiceringstid: 18 oktober 2022
