Datadeduplicering är en populär och populär lagringsteknik som optimerar lagringskapaciteten. Den eliminerar överflödig data genom att ta bort dubbletter av data från datamängden och lämnar bara en kopia.Som visas i figuren nedan.Denna teknik kan avsevärt minska behovet av fysisk lagring utrymme för att möta den växande efterfrågan på datalagring. Dedupe-tekniken kan ge många praktiska fördelar, främst inklusive följande aspekter:
| (1) | Uppfyll kraven för ROI (Return On Investment)/TCO (Total Cost of Ownership); |
| (2) | Den snabba tillväxten av data kan effektivt kontrolleras; |
| (3) | Öka effektivt lagringsutrymme och förbättra lagringseffektiviteten; |
| (4) | Spara den totala lagringskostnaden och hanteringskostnaden; |
| (5) | Spara nätverkets bandbredd för dataöverföring; |
| (6) | Spara drift- och underhållskostnader som utrymme, strömförsörjning och kyla. |
Dedupe-teknik används ofta i datasäkerhetskopiering och arkiveringssystem, eftersom det finns många dubbletter av data efter flera säkerhetskopior av data, vilket är mycket lämpligt för denna teknik. Faktum är att dedupe-tekniken kan användas i många situationer, inklusive onlinedata, near-line data och offline datalagringssystem. Det kan implementeras i filsystem, volymhanterare, NAS och sans.Dedupe kan också användas för datakatastrofåterställning, dataöverföring och synkronisering, eftersom en datakomprimeringsteknik kan användas för datapaketering.Dedupe-teknik kan hjälpa många applikationer att minska datalagring, spara nätverksbandbredd, förbättra lagringseffektiviteten, minska säkerhetskopieringsfönstret och spara kostnader.
Dedupe har två huvuddimensioner: deduplocation-förhållanden och prestanda. Dedupe-prestanda beror på den specifika implementeringstekniken, medan Dedupe-frekvensen bestäms av egenskaperna hos själva data och applikationsmönster, som visas i tabellen nedan. Lagringsleverantörer rapporterar för närvarande dedupliceringsfrekvenser som varierar från 20:1 till 500:1.
| Hög dedupliceringsfrekvens | Låg dedupliceringsfrekvens |
| Data skapad av användaren | Data från den naturliga världen |
| Data låg förändringshastighet | Data hög förändringshastighet |
| Referensdata, inaktiva data | Aktiva data |
| Tillämpning med låg dataändringshastighet | Applikation med hög dataändringshastighet |
| Fullständig säkerhetskopiering av data | Inkrementell säkerhetskopiering av data |
| Långtidslagring av data | Data korttidslagring |
| Brett utbud av dataapplikationer | Litet utbud av dataapplikationer |
| Kontinuerlig dataaffärsbearbetning | Allmän dataaffärsbehandling |
| Små datasegmentering | Big data segmentering |
| Förlängd datasegmentering | Datasegmentering med fast längd |
| Uppfattat datainnehåll | Datainnehåll okänt |
| Tidsdata deduplicering | Deduplicering av rumslig data |
Dedupe Implementation Points
Olika faktorer bör beaktas vid utveckling eller tillämpning av Dedupe-teknik, eftersom dessa faktorer direkt påverkar dess prestanda och effektivitet.
| (1) | Vad | Vilka data är avviktade? |
| (2) | När | När kommer vikten att försvinna? |
| (3) | Där | Var är viktelimineringen? |
| (4) | Hur | Hur minskar man vikten? |
Dedupe Key Technology
Dedupliceringsprocessen för lagringssystem i allmänhet är detta: först och främst är datafilen uppdelad i en uppsättning data, för varje datablock för att beräkna fingeravtrycket, och sedan baserat på fingeravtryck Hash sökord, anger matchning data för duplikatet datablock, lagrar bara datablockets indexnummer, annars betyder det att datablocket är den enda delen av ett nytt, lagring av datablock och skapa relevant metainformation. Således motsvarar en fysisk fil i lagringssystemet en logisk representation av en uppsättning FP-metadata.När du läser filen, läs först den logiska filen, sedan enligt FP-sekvensen, ta ut motsvarande datablock från lagringssystemet, återställ kopian av den fysiska filen.Det kan ses från ovanstående process inkluderar nyckelteknologierna för Dedupe huvudsakligen fildatablocksegmentering, datablockfingeravtrycksberäkning och datablockhämtning.
(1) Fildatablocksegmentering
(2) Fingeravtrycksberäkning av datablock
(3) Hämtning av datablock
För att hitta dessa rekommenderade modeller för att starta din nätverkspaketdeduplicering:
Mylinking™ Network Packet Broker (NPB) ML-NPB-640048*10GE SFP+ plus 4*40GE/100GE QSFP28, max 880 Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-56606*40GE/100GE QSFP28 plus 48*10GE/25GE SFP28, Max 1,8 Tbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-506048*10GE SFP+ plus 2*40GE QSFP, max 560 Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-486048*10GE SFP+, Max 480Gbps, Function Plus
Mylinking™ Network Packet Broker (NPB) ML-NPB-481048*10GE SFP+, Max 480 Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-2410P24*10GE SFP+, Max 240Gbps, DPI-funktion
Mylinking™ Network Packet Broker (NPB) ML-NPB-6400
48*10GE SFP+ plus 4*40GE/100GE QSFP28, max 880 Gbps
Posttid: 18-10-2022
