تفات انواع استوریج ها (Storage)

سه حالت ذخیره سازی: ذخیره سازی مستقیم (DAS)، شبکه منطقه ذخیره سازی (SAN) و ذخیره سازی متصل به شبکه (NAS).

سه نوع ذخیره سازی: ذخیره سازی بلوکی، ذخیره سازی فایل و ذخیره سازی اشیا.

ذخیره سازی بلوکی و ذخیره سازی فایل دو نوع اصلی ذخیره سازی هستند که ما با آنها آشنا هستیم. ذخیره سازی مبتنی بر شی یک معماری جدید ذخیره سازی شبکه است. دستگاه های ذخیره سازی مبتنی بر شی، دستگاه های ذخیره سازی مبتنی بر شی کوتاه (OSD) هستند.

ماهیت یکسان است، اساس ذخیره سازی بلوک است، اما رابط خارجی ناسازگار است یا برای سناریوهای مختلف خدمات اعمال می شود.

سناریوهای برنامه ذخیره سازی توزیع شده در حال حاضر از نظر رابط ذخیره سازی به سه نوع رایج تقسیم می شوند:

ذخیره‌سازی شی: یعنی ذخیره‌سازی کلید-مقدار به معنای رایج، که رابط‌های آن ساده GET، PUT، DEL و افزونه‌های دیگر مانند هفت گاو، دیگری بیت، سوئیفت و S3 هستند.
ذخیره سازی بلوک: این رابط معمولاً به عنوان یک درایور QEMU یا ماژول هسته وجود دارد. این رابط نیاز به پیاده سازی رابط Linux Block Device یا رابط Block Driver ارائه شده توسط QEMU، مانند Sheepdog و AWS EBS دارد. هارد دیسک ابری Green Cloud و سیستم Pangu Ali Cloud و Ceph’s RBD (RBD رابط ذخیره سازی بلوکی Ceph است)
ذخیره سازی فایل: معنای رایج پشتیبانی از رابط های POSIX است که از نوع سیستم های فایل سنتی مانند Ext4 هستند، اما تفاوت این است که ذخیره سازی توزیع شده قابلیت های موازی سازی را فراهم می کند، مانند CephFS of Ceph (CephFS رابط ذخیره سازی فایل Ceph است. ، اما گاهی اوقات GFS، HDFS، یک رابط ذخیره سازی فایل غیرPOSIx، در این دسته قرار می گیرد.

Block Storage

دو حالت ذخیره سازی ذکر شده در زیر هر دو نوع ذخیره سازی بلوکی هستند:

DAS (Direct Attached Storage): این به طور مستقیم به سرور میزبان در حالت ذخیره سازی متصل است، هر سرور میزبان یک دستگاه ذخیره سازی مستقل دارد، هر دستگاه ذخیره سازی سرور میزبان نمی تواند با هم کار کند، باید از طریق هاست به داده ها دسترسی داشته باشید، باید بروید از طریق یک مجموعه نسبتا پیچیده بروید، اگر سرور میزبان متعلق به سیستم عامل های مختلف برای دسترسی به داده های یکدیگر باشد، پیچیده تر است، برخی از سیستم ها حتی نمی توانند به آن دسترسی داشته باشند. به طور کلی در یک محیط شبکه با ظرفیت تبادل داده کم و نیازهای عملکرد پایین استفاده می شود. می توان گفت که این یک کاربرد نسبتاً اولیه از پیاده سازی فناوری است.
Storage Area Network (SAN): نوعی سیستم ذخیره سازی که سرورهای میزبان تخصصی را از طریق یک شبکه پرسرعت (فیبر) به هم متصل می کند. این سیستم در انتهای خوشه میزبان قرار دارد و از اتصالات I/O مانند SCSI، ESCON و کانال های فیبر استفاده می کند. به طور کلی، برنامه های SAN با هزینه بالا و کارایی بالا در برنامه هایی که به سرعت شبکه بالا، قابلیت اطمینان و امنیت داده بالا و عملکرد اشتراک گذاری داده بالا نیاز دارند، مشخص می شوند. به عنوان مثال، مهم ترین برنامه های کاربردی داده های بزرگ در مخابرات و بانکداری. از مجموعه دستورات ورودی/خروجی بلوک SCSI استفاده می‌کند و ورودی/خروجی تصادفی با کارایی بالا و خروجی داده را از طریق کانال فیبر یا دسترسی به داده در سطح دیسک فراهم می‌کند. دارای مزایای پهنای باند بالا و تأخیر کم است و جایگاهی را در محاسبات با کارایی بالا اشغال می کند. با این حال، به دلیل قیمت بالا و مقیاس پذیری ضعیف سیستم های SAN، سیستم هایی با ده ها هزار CPU دیگر کافی نیستند.

Typical devices: Disk Arrays, Hard Disks

Block Storage فضای خام را به هاست اختصاص می دهد. ذخیره سازی بلوک خدمات خارجی را در لایه فیزیکی ارائه می دهد. سیستمی که از ذخیره سازی بلوک استفاده می کند با سیستم فایل خود فرمت شده است. هنگامی که توسط یک سیستم استفاده می شود، در انحصار قرار می گیرد.

به عنوان مثال، اگر یک آرایه دیسک دارای پنج دیسک باشد، می توانید N دیسک منطقی را در هر پارتیشن دیسک منطقی، RAID یا LVM پارتیشن بندی کنید. اما یک دیسک منطقی و یک دیسک فیزیکی دو مفهوم کاملا متفاوت هستند. فرض کنید هر دیسک 100 گیگابایت است و در کل پنج دیسک وجود دارد. پنج درایو منطقی نیز به پنج درایو منطقی 100 گیگابایتی تقسیم می شوند. با این حال، معنای این پنج درایو منطقی کاملاً متفاوت از پنج درایو فیزیکی اصلی است. به عنوان مثال، برای اولین درایو منطقی، 20 گیگابایت اول می تواند از درایو فیزیکی 1 باشد و 20 گیگابایت دوم می تواند از درایو فیزیکی 2 باشد. بنابراین، یک درایو منطقی یک ایجاد منطقی از چندین درایو فیزیکی است.

سپس سیستم ذخیره سازی بلوک، این درایوهای منطقی را با نگاشت آنها به هاست نگاشت می کند. سیستم عامل میزبان تشخیص می دهد که پنج هارد دیسک وجود دارد. با این حال، سیستم عامل نمی تواند بین درایوهای فیزیکی و منطقی تمایز قائل شود، بنابراین آنها را فقط به عنوان پنج درایو فیزیکی در نظر می گیرد. حداقل نه در درک سیستم عامل.

در این حالت، سیستم عامل باید هارد دیسک خام نصب شده را نیز پارتیشن بندی و فرمت کند که همان هارد دیسک داخلی یک هاست معمولی است.

مزایای Block Storage
مزیت این رویکرد، البته، حفاظت از داده ها با استفاده از Raid و LVM است.
چندین هارد دیسک ارزان قیمت را می توان در یک درایو منطقی با ظرفیت بالا برای ارائه خدمات خارجی و افزایش ظرفیت ترکیب کرد.
هنگامی که داده نوشته می شود، یک دیسک منطقی است که از چندین دیسک تشکیل شده است. بنابراین، داده ها را می توان به طور همزمان روی چندین دیسک نوشت و کارایی خواندن/نوشتن را بهبود بخشید.
در بیشتر موارد، معماری SAN برای ذخیره سازی بلوک استفاده می شود. سرعت انتقال و پروتکل کپسوله سازی سرعت انتقال و کارایی خواندن/نوشتن را بهبود می بخشد
معایب Block Storage
اگر از معماری SAN استفاده می شود، باید کارت های Fiber Channel و سوئیچ های Fiber Channel را برای هاست خریداری کنید که گران است.
داده ها را نمی توان بین میزبان ها به اشتراک گذاشت. هنگامی که یک سرور خوشه ای نیست، به یک میزبان یک دیسک ذخیره سازی بلوک خام اختصاص داده می شود. پس از قالب‌بندی و استفاده از دیسک ذخیره‌سازی بلوک، دستگاه ذخیره‌سازی بلوک، سایت محلی میزبان خواهد بود.
این برای تبادل داده بین میزبان های سیستم عامل های مختلف مفید نیست: سیستم عامل ها از سیستم های فایل مختلف استفاده می کنند. پس از فرمت، داده ها نمی توانند بین سیستم های فایل مختلف رد و بدل شوند. به عنوان مثال، سیستم فایل در Win7 FAT32/NTFS است در حالی که در لینوکس EXT4 است. EXT4 نمی تواند سیستم فایل NTFS را تشخیص دهد.
سناریوی استفاده از Block Storage
ظرف داکر، تخصیص فضای ذخیره سازی دیسک ماشین مجازی.
ذخیره سازی سیاهه.
ذخیره سازی فایل.
…

File Storage

به طور معمول، محصولات NAS ذخیره سازی در سطح فایل هستند.

ذخیره‌سازی متصل به شبکه (NAS): مجموعه‌ای از دستگاه‌های ذخیره‌سازی شبکه که معمولاً مستقیماً به شبکه متصل می‌شوند و خدمات دسترسی به داده‌ها را ارائه می‌کنند. مجموعه ای از دستگاه های ذخیره سازی NAS مانند یک سیستم ارزان قیمت برای ارائه خدمات آرشیو داده ها است. به عنوان مثال برنامه های آموزشی، دولتی، سازمانی و سایر برنامه های ذخیره سازی داده ها.

از مجموعه دستورات NFS یا CIFS برای دسترسی به داده ها استفاده می کند، از فایل ها به عنوان پروتکل انتقال استفاده می کند و از TCP/IP برای ذخیره سازی شبکه استفاده می کند. مقیاس پذیری خوب، هزینه کم و مدیریت آسان دارد. به عنوان مثال، سیستم فایل NFS معمولا در محاسبات خوشه ای استفاده می شود، اما NAS به دلیل سربار پروتکل بالا، پهنای باند کم و تأخیر بالا برای خوشه های با کارایی بالا مناسب نیست.

دستگاه های معمولی: سرورهای FTP و NFS
برای حل مشکل به اشتراک گذاشته نشدن فایل ها، ذخیره سازی فایل وجود دارد.

ذخیره سازی فایل برای ارائه خدمات خارجی در سطح سیستم فایل در نظر گرفته شده است. سیستم فقط نیاز به دسترسی به سطح فایل سیستم به رابط دارد.

ذخیره سازی فایل دارای دستگاه های یکپارچه سخت افزاری و نرم افزاری نیز می باشد، اما در واقع تا زمانی که با سیستم عامل و نرم افزار مناسب نصب شده باشد، یک کامپیوتر معمولی می تواند خدمات FTP و NFS را بر عهده بگیرد، قفسه پس از سرویس از سرور، یک نوع ذخیره سازی فایل

میزبان A می تواند فایل ها را مستقیماً در فروشگاه فایل آپلود و دانلود کند. برخلاف ذخیره سازی بلوک، میزبان A نیازی به فرمت ذخیره سازی فایل ندارد زیرا عملکرد مدیریت فایل توسط خود ذخیره سازی فایل انجام شده است.

مزایای ذخیره سازی فایل
هزینه کم: هر ماشینی کار می کند و اترنت مشترک دارد. هیچ SAN اختصاصی مورد نیاز نیست، بنابراین هزینه کم است.
اشتراک گذاری راحت فایل
معایب ذخیره سازی فایل
سرعت خواندن/نوشتن پایین و سرعت انتقال آهسته: سرعت اترنت، آپلود و دانلود آهسته است، علاوه بر این، تمام عملیات خواندن و نوشتن یک سرور در مقایسه با یک آرایه دیسک که اغلب ده صد دیسک را می‌خواند و می‌نویسد روی دیسک است. در همان زمان، سرعت بسیار پایین تر است.
سناریوی استفاده از ذخیره سازی فایل
ذخیره سازی سیاهه.
ذخیره سازی فایل با ساختار دایرکتوری.
…

Object Storage

دستگاه معمولی: سرور توزیع شده با هارد دیسک های با ظرفیت بالا
متداول ترین راه حل ذخیره سازی اشیاء، نصب هارد دیسک های با ظرفیت بالا بر روی چندین سرور و سپس نصب نرم افزار ذخیره سازی اشیاء بر روی چندین سرور اضافی به عنوان گره های مدیریتی است. گره مدیریت می تواند سرورهای دیگر را مدیریت کند و دسترسی خواندن/نوشتن را اعطا کند.

دلیل اینکه ذخیره سازی اشیا به این شکل است، غلبه بر کاستی های ذخیره سازی بلوک و ذخیره سازی فایل و توسعه مزایای مربوطه آنهاست. به طور خلاصه، ذخیره سازی بلوک برای خواندن و نوشتن سریع است، که برای اشتراک گذاری مناسب نیست. ذخیره سازی فایل در خواندن و نوشتن کند است، که به اشتراک گذاری کمک می کند. آیا می‌توانیم یک بلوک خواندن/نوشتن قابل اشتراک‌گذاری برای ذخیره‌سازی دریافت کنیم؟ اینجا جایی است که ذخیره سازی اشیا وارد می شود.

ابتدا، یک فایل حاوی ویژگی‌ها (اصطلاحات: فراداده، فراداده، مانند اندازه فایل، زمان اصلاح، مسیر ذخیره‌سازی و غیره) و محتوا (داده‌ها) است.

به عنوان مثال، FAT32 یک سیستم فایل است که مستقیماً یک فایل را همراه با متادیتا ذخیره می کند. رویه ذخیره شده ابتدا فایل را بر اساس حداقل اندازه بلوک سیستم فایل تقسیم می کند (به عنوان مثال 4 میلیون فایل، اگر سیستم فایل به بلوک های 4K نیاز دارد، فایل به 1000 بلوک کوچک تقسیم می شود) و سپس آن را روی دیسک می نویسد. داده ها و ابرداده ها متمایز نیستند. هر بلوک آدرس بلوک بعدی را برای خواندن به شما می گوید و سپس آن ترتیب را دنبال می کند و در نهایت کل فایل را برای خواندن همه بلوک ها تکمیل می کند. در این حالت، سرعت خواندن و نوشتن بسیار پایین است زیرا حتی اگر 100 بازو برای خواندن و نوشتن داشته باشید، فقط یک بازو کار می کند زیرا تا زمانی که اولین بازو را نخواند نمی داند بلوک بعدی کجاست. مسدود کردن.

ذخیره سازی شی مستقل از ابرداده خواهد بود، گره کنترلی به نام سرور ابرداده (سرور + نرم افزار مدیریت ذخیره سازی اشیا)، عمدتاً مسئول ذخیره ویژگی های شی است (عمدتاً داده های شی پراکنده هستند، اطلاعات را در سرور توزیع شده ذخیره می کند) و دیگری مسئول ذخیره سازی ویژگی های شیء است. ذخیره سازی داده های سرور توزیع شده به نام OSD، که عمدتا مسئول ذخیره بخشی از داده های فایل است. هنگامی که کاربر به یک شی دسترسی پیدا می کند، کاربر ابتدا به سرور ابرداده دسترسی پیدا می کند. سرور فراداده فقط OSD را در جایی که شی ذخیره می شود برمی گرداند. اگر فایل نظر A در سه گره OSD (B، C و D) ذخیره شود، کاربر مستقیماً به هر سه سرور OSD برای خواندن داده ها دسترسی خواهد داشت.

در این زمان، سه گره OSD داده ها را به طور همزمان به خارج منتقل می کنند، بنابراین سرعت انتقال تسریع می شود. اگر تعداد سرورهای OSD بیشتر باشد، سرعت خواندن و نوشتن بهبود می یابد. به این ترتیب باید به سرعت خواندن و نوشتن رسید.

از طرف دیگر، نرم افزار ذخیره سازی اشیاء دارای سیستم فایل خاصی است، بنابراین OSD خارجی با سرور فایل مطابقت دارد، بنابراین هیچ مشکلی در اشتراک گذاری وجود ندارد، بلکه مشکلات اشتراک گذاری فایل را نیز حل می کند. بنابراین ظهور اشیاء ذخیره سازی ترکیب خوبی از ذخیره سازی بلوک و مزایای ذخیره سازی فایل است.

فن آوری های کلیدی ذخیره سازی فایل
فن آوری های کلیدی برای سیستم های فایل ذخیره سازی اشیاء چیست؟

فراداده توزیع شده
دسترسی همزمان به داده ها و معماری ذخیره سازی اشیا یک رابط دیسک OSD جدید و هوشمندتر را تعریف می کند.
OSD چیست؟

Storage Local Area Network (SAN) و Network Attached Storage (NAS) دو معماری اصلی ذخیره سازی شبکه هستند که ما با آنها آشنا هستیم. Object Storage یک معماری جدید ذخیره سازی شبکه است. دستگاه مبتنی بر فناوری ذخیره سازی اشیا یک دستگاه ذخیره سازی اشیا (به اختصار OSD) است.

از چه حالت شی برای دسترسی به اشیا در اشیاء ذخیره سازی استفاده می شود؟

در دستگاه ذخیره سازی، همه اشیا دارای شناسه شی هستند. دستور Object ID OSD برای دسترسی به اشیا استفاده می شود.

وظایف اصلی OSD چیست؟

ذخیره سازی داده ها OSD داده های شی را مدیریت می کند و آن را در یک سیستم دیسک استاندارد ذخیره می کند. OSD دسترسی به رابط بلوک را فراهم نمی کند. کلاینت ها در صورت درخواست از شناسه های شی و آفست ها برای خواندن و نوشتن داده ها استفاده می کنند.
توزیع هوشمند OSD از CPU و حافظه شما برای بهینه سازی توزیع داده ها استفاده می کند و از واکشی اولیه داده ها پشتیبانی می کند. OSD از پیش واکشی هوشمند اشیا پشتیبانی می کند که عملکرد دیسک را بهینه می کند.
مدیریت ابرداده برای هر شی OSD ابرداده اشیاء ذخیره شده روی آن را مدیریت می کند، که مشابه ابرداده inode سنتی است که معمولاً شامل بلوک داده شی و طول شی است.
مزایای ذخیره سازی اشیاء
سرعت خواندن/نوشتن بالای ذخیره سازی بلوک.
ویژگی هایی مانند اشتراک گذاری ذخیره سازی فایل.
سناریوی استفاده از Object Storage (مناسب برای به روز رسانی داده ها با تغییرات اندک)
ذخیره سازی تصویر
ذخیره سازی ویدیو
…

چرا از ذخیره سازی فایل و بلوک استفاده کنیم وقتی که ذخیره سازی اشیاء مزایای ذخیره سازی فایل و بلوک را ارائه می دهد؟
دسته ای از برنامه ها وجود دارند که به نگاشت مستقیم دیسک خام نیاز دارند، مانند پایگاه های داده. از آنجایی که داده های روی یک دیسک خام باید مطابق با سیستم فایل پایگاه داده نگاشت و فرمت شوند، نمی توانید از ذخیره سازی دیگری که برای یک سیستم فایل خاص فرمت شده استفاده کنید. ذخیره سازی بلوک برای چنین برنامه هایی مناسب تر است.
هزینه ذخیره سازی شی بیشتر از ذخیره سازی فایل های معمولی است. خرید نرم افزار مخصوص ذخیره اشیاء و هاردهای با ظرفیت بالا ضروری است. اگر تعداد داده های مورد نیاز زیاد نیست، فقط برای به اشتراک گذاری فایل، لطفاً مستقیماً از روش مقرون به صرفه ذخیره سازی فایل استفاده کنید.