آشنایی با Data Deduplication یا حذف رکوردهای تکراری داده

دسته بندی ها :
آشنایی با Data Deduplication یا حذف رکوردهای تکراری داده

آشنایی با Data Deduplication  : Data Deduplication یا حذف رکوردهای تکراری داده اهمیت بسیار زیادی در سرعت ذخیره سازی و واکشی داده دارد. در این مقاله با تکنولوژی Data Deduplication و انواع آن آشنا می‌شویم و برخی مزایای آن را نام می‌بریم.

Data Deduplication چیست؟

مشاوره و خرید تجهیزات شبکه ، سرور، اکتیو، پسیو
شرکت توسعه شبکه آداک با بیش از 20 سال تجربه و سابقه فعالیت در زمینه فروش تجهیزات شبکه (اکتیو و پسیو)، سرورهای HPE و ملزومات ماشینهای اداری آماده مشاوره ، طراحی و خدمات مربوط به دیتاسنترها ، عرضه رک های دیجیتالی هوشمند مخصوص اتاق سرور، و خدمات کابل کشی طبق استاندارد BICSI و ، TIAتوسط تکنسین ها و مهندسین مجرب و با پشتوانه فنی بیش از ده ها قرارداد پشتیبانی نرم افزاری و سخت افزاری سازمانها، شرکت ها و کارخانجات صنعتی ایران، شما را تا مقصد پروژه همراهی خواهیم کرد. قبل از خرید با کارشناسان آداک در تماس باشید. شماره تماس 021-91303098 ده خط .

 

برخی از مطالب مرتبط:

چقدر با نحوه استفاده از ال ام اس آشنا هستید؟

آموزش تغییر یا اضافه کردن آیکن برای موجودیت در CRM

ویدیو/ همگام با دنیای دیجیتالی با توسعه شبکه آداک (ایران اچ پی)

آشنایی با دیسک بکاپ گیری HPE RDX

نرم افزار ادوبی کانکت چیست؟ چگونه با Adobe Connect کلاس آنلاین برگزار کنیم؟

این روش با نام‌های دیگری مانند فشرده‌سازی هوشمند – Intelligent Compression و Single Instance Storage یا SIS نیز شناخته می‌شود.

SIS یک قابلیت سیستمی است که تنها یک نسخه از مطلبی که چندین کاربر یا کامپیوتر به اشتراک گذاشته‌اند را نگه می‌دارد. یعنی داده‌های تکراری حذف می‌شود تا کارایی افزایش یابد. SIS در سیستم‌های فایلی، نرم‌افزار ایمیل سرور، بکاپ گیری از داده و دیگر نرم‌افزارهای مبنی بر ذخیره سازی استفاده می‌شود.

فشرده سازی هوشمند یا Intelligent Compression الگوهای افزونه را از داده حذف می‌کند تا کارایی اپلیکیشن بهبود یابد. این تکنیک معمولا در اپلیکیشن‌های تحت وب استفاده می‌شود تا پهنای باند کمتری نیاز باشد و زمان پاسخ به کاربر کاهش یابد.

Dedupe یک قابلیت سیستمی است که تنها یک نسخه از مطلبی که چندین کاربر یا کامپیوتر به اشتراک گذاشته‌اند را نگه می‌دارد. این روش، الگوهای افزونه را از داده حذف می‌کند تا کارایی بهبود یابد. کاربرد Data Deduplication معمولا در اپلیکیشن‌های تحت وب است تا پهنای باند کمتری نیاز باشد و زمان پاسخ به کاربر کاهش یابد. همچنین در سیستم‌های فایلی، نرم‌افزار ایمیل سرور، بکاپ گیری از داده، Snapshotهای بکاپگیری، نرم‌افزارهای مبتنی بر ذخیره سازی، مجازی سازی و VDI (زیرساخت دسکتاپ مجازی) استفاده می‌شود.

مزایای Data Deduplication

در نتیجه میزان داده‌ای که باید منتقل یا ارسال شود، به صورت چشمگیری کاهش پیدا می‌کند. مثلا یک ایمیلِ سیستمیِ معمولی ممکن است صد نمونه از یک فایل پیوست یک مگابایتی داشته باشد. برای بکاپگیری و آرشیو آن باید تمامی صد نمونه ذخیره شوند که به فضای ذخیره‌سازی ۱۰۰ مگابایتی نیاز دارد. اما با استفاده از Dedupe تنها یک نمونه از این فایل ذخیره می‌شود و نمونه‌های بعدی به همان یک نسخه ذخیره شده، ارجاع داده می‌شوند. در این مثال، هر صد مگابایت مورد نیاز می‌تواند به تنها یک مگابایت کاهش یابد.

کاهش هزینه و فضای ذخیره سازی با انجام حذف داده های تکراری

Data Deduplication مزایای دیگری هم دارد. اگر به فضای ذخیره‌سازی کمتری نیاز باشد، هزینه مالی مورد نیاز برای تامین دیسک‌ها هم کاهش می‌یابد. استفاده بهینه‌تر از فضای دیسک، باعث افزایش زمان نگهداری دیسک می‌شود در نتیجه RTO بهتری نیز فراهم شده و نیاز به بکاپگیری نیز کمتر می‌شود. با استفاده از حذف رکوردهای تکراری داده بین ۳۰ تا ۹۵ درصد فضای کمتری برای ذخیره اطلاعات لازم داریم.

این تکنولوژی اغلب به صورت ترکیبی با دو تکنولوژی دیگر یعنی فشرده‌سازی و Delta Differencing استفاده می‌شود که در این صورت در بهینه‌سازی مصرف فضای ذخیره‌سازی نیز موثرتر خواهد بود.

استفاده ار زیرساخت های دسکتاپ مجازی – VDI از راهکارهای استفاده از Data Deduplication است که پیاده سازی و تجمیع برنامه‌ها، و دسترسی ریموت از مزایای آن است. برنامه‌های بکاپگیری مجازی هم از دیگر راهکارهای استفاده از Data Deduplication است زیرا بین اسنپ شات ها کار حذف رکوردهای تکراری را انجام می‌دهد.

انواع تکنیک Data Deduplication

دو تکنیک Data Deduplication عبارتند از Inline Deduplication و Post processing Deduplication. برای اینکه کارکرد این دو تکنیک را متوجه شویم آنها را با هم مقایسه می‌کنیم.

در نتیجه Inline Deduplication سرعت بکاپ گیری را کم می‌کند اما دیتای نهایی فاقد هر گونه دیتای بی‌مصرف و تکراری است.

Data Deduplication در سطح بلاک و فایل

Data Deduplication در سطح بلاک یا فایل عمل می‌کند. File Deduplication فایل‌های تکراری را حذف می‌کند اما کارایی زیادی ندارد. Block Deduplication بلاک‌های تکراری را حذف می‌کند، روشی کاراتر است اما به قدرت پردازشی بیشتری نیاز دارد.

مزیت Data Deduplication در سطح فایل مصرف منابع (CPU و رم) کمتر است و قابل پیاده سازی روی فضای ذخیره سازی فیزیکی بزرگ است اما عیب مهم آن این است که نمی‌تواند Chunkهای تکراری کوچکتر از فایل را حذف کند.

مزیت Data Deduplication در سطح بلاک این است که می‌تواند Chunkهای تکراری کوچکتر از فایل را حذف کند اما عیب مهم آن این است که قابل پیاده سازی روی فضای ذخیره سازی فیزیکی بزرگ نیست. اگر منابع پردازشی کافی دارید، روش بسیار بهتری نسبت به Data Deduplication در سطح فایل است.

Data Deduplication در سطح target و source

مزیت این روش این است که پهنای باند LAN کمی لازم است اما منابع بیشتری از کلاینت لازم دارد.

. مزیت این روش این است که پهنای باند LAN بیشتری لازم است اما منابع کمی از کلاینت لازم دارد. این تکنیک در intelligent disk targets – IDTs و virtual tape libraries – VTL استفاده می‌شود. برای حجم بالای دیتا مثلا چندترابایت، اگر چه این روش نیاز به فضای ذخیره سازی بیشتری است اما کارایی و سرعت بیشتری دارد و برای شرکت‌هایی که پهنای باند کم و دیتای بیشتری هستند مناسب است.

انجام دیداپلیکیشن در منبع برای بکاپگیری برای دفاتر راه دور و شعبات مناسب است تا بکاپ ها به دیتاسنتر یا کلود منتقل شوند. دیداپلیکیشن در مقصد برای دیتاسنترها مناسب است چون حجم دیتای بسیار زیادی دارند.

منبع

مشاوره و خرید تجهیزات شبکه ، سرور، اکتیو، پسیو
شرکت توسعه شبکه آداک با بیش از 20 سال تجربه و سابقه فعالیت در زمینه فروش تجهیزات شبکه (اکتیو و پسیو)، سرورهای HPE و ملزومات ماشینهای اداری آماده مشاوره ، طراحی و خدمات مربوط به دیتاسنترها ، عرضه رک های دیجیتالی هوشمند مخصوص اتاق سرور، و خدمات کابل کشی طبق استاندارد BICSI و ، TIAتوسط تکنسین ها و مهندسین مجرب و با پشتوانه فنی بیش از ده ها قرارداد پشتیبانی نرم افزاری و سخت افزاری سازمانها، شرکت ها و کارخانجات صنعتی ایران، شما را تا مقصد پروژه همراهی خواهیم کرد. قبل از خرید با کارشناسان آداک در تماس باشید. شماره تماس 021-91303098 ده خط .

 

مطالب مرتبط

نظرات شما

نیاز به کمک دارید؟ با ما چت کنید!
مکالمه را شروع کنید
سلام! برای چت در واتساپ روی یکی از اعضای ما در بخش زیر کلیک کنید
ما معمولاً در کمتر از چند دقیقه پاسخ شما را می دهیم 😉