
اگر تجربه کار بر روی پروژههایی با میزان ترافیک بالا را داشته باشید، یکی از مسائلی که به احتمال خیلی زیاد با آن روبهرو شدهاید، مسئله Storage یا همان ذخیرهسازی است.
اکثر اپلیکیشنها در ابتدای مسیر از پیچیدگی دوری میکنند و برای موضوع ذخیره سازی از File Storageها یا به عبارتی دیگر از همان دیسک سرورها استفاده میکنند؛ اما این موضوع رفته رفته با گذشت زمان مشکلات زیادی را به بار میآورد.
برای مثال:
حال شاید برای شما این پرسش ایجاد شود که اگر کار با File Storageها تا این میزان افت کیفیت به همراه دارد، راه حل چیست؟ خبر خوب این است که راه حل دیگری به نام Object Storage سالها پیش در دنیای نرمافزار معرفی شد که باعث بهبود کیفیت پروژههای مایکروسرویسی گردید.
از معروف ترین این مدل سیستم ذخیرهسازی میتوان به AWS S3 یا همان Amazon Simple Storage Service و MinIO اشاره کرد که قابلیتهای بسیاری را در اختیار کاربران قرار میدهند.
سرویسهای ذخیره سازی S3 که بر روی بستر اینترنت در دسترس هستند، قابلیت ذخیره سازی و دستیابی به هر میزان داده (data) که شما مد نظر داشته باشید و در هر مکان و زمان را برایتان فراهم میکنند.
این امر مقیاسپذیری مایکروسرویسها را بهبود و سرعت میبخشد. هر Object Storage بر خلاف سیستم File Storage دادهها را به صورت سلسله مراتبی و فولدر بندی شده ذخیره نمیکند بلکه:
Metadata کامل اختصاص میدهد.(می توانید Metadata را یک شناسنامه کامل از مشخصات فایل در نظر بگیرید).ID جداگانه تخصیص میدهد که دسترسی به آن فایل را بسیار ساده میکند.از مزایای S3 Object Storage میتوان به موارد زیر اشاره کرد:
برای آنکه با عملکرد Object Storageها در دنیای واقعی بیشتر آشنا شویم، در این بخش نحوه اتصال یک پروژه Django Project به سرویس MinIO که یک S3 Object Storage رایگان است را برایتان شرح دادهایم.
ابتدا با استفاده از fandogh-cli یک سرویس مدیریت شده MinIO را ایجاد میکنیم:
توجه داشته باشید این در این پست برای آموزش از CLI فندق استفاده میشود اما شما میتوانید موارد مطرح شده را از طریق داشبورد مدیریتی سکوی ابری فندق هم انجام دهید.
fandogh managed-service deploy minio latest \ -c service_name=minio \ -c minio_access_key=12charchters \ -c minio_secret_key=12charchters \ -c volume_name=VOLUME_NAME \ -m 512Mi
با دستور بالا طبق مستندات یک سرویس مدیریت شده MinIO با نام minio در فضانام شما ساخته خواهد شد.
django-minio-storageبرای اینکه بتوانیم از پروژه جانگویی به سرویس minio که در بخش قبل ایجاد کردیم دسترسی داشته باشیم، باید ابتدا ابزار مناسب آن را در اختیار پروژه قرار دهیم.
برای این کار پکیج مناسب که در اینجا django-minio-storage است را در فایل requirements.txt قرار میدهیم.
... django-minio-storage==0.3.10 ...
هنگام نگارش این پست، آخرین نسخه رسمی django-minio-storage طبق سایت PyPi، نسخه ۰.۳.۱۰ بوده است؛ قبل از استفاده از این آموزش، حتما آخرین نسخه موجود را بررسی و در صورت مغایرت با مقدار بالا، مقدار جدید را جایگزین نمایید.
سپس با دستور زیر پیکیجها را نصب میکنیم:
pip install -r requirements.txt
django-minio-storage و تنظیمات آن در جانگوبعد از آنکه پکیجها را به درستی و با موفقیت نصب کردید، در فایل settings.py در بخش INSTALLED_APPS این پیکیج را اضافه کنید:
INSTALLED_APPS: [ .... “minio_storage”, .... ]
سپس در انتهای همان فایل مقادیر زیر را وارد نمایید:
DEFAULT_FILE_STORAGE = "minio_storage.storage.MinioMediaStorage" STATICFILES_STORAGE = "minio_storage.storage.MinioStaticStorage" MINIO_STORAGE_ENDPOINT = os.environ.get('MINIO_STORAGE_ENDPOINT', ‘minio:9000’) MINIO_STORAGE_ACCESS_KEY = os.environ.get('MINIO_STORAGE_ACCESS_KEY', None) MINIO_STORAGE_SECRET_KEY = os.environ.get('MINIO_SECRET_KEY', None) MINIO_STORAGE_USE_HTTPS = False MINIO_STORAGE_MEDIA_BUCKET_NAME = 'media' MINIO_STORAGE_STATIC_BUCKET_NAME = 'static' MINIO_STORAGE_AUTO_CREATE_MEDIA_BUCKET = True MINIO_STORAGE_AUTO_CREATE_STATIC_BUCKET = True
توجه داشته باشید مقادیرMINIO_STORAGE_ENDPOINT، MINIO_STORAGE_ACCESS_KEY و MINIO_STORAGE_SECRET_KEY به صورت پیشفرض از environment vriableهای موجود در سیستم عامل سرویس شما فراخوانی خواهند شد و در صورت نبود هر یک از این مقادیر، مقدار ثابتی که به عنوان آرگومان دوم قرار داده شده است فراخوانی خواهد شد.
توجه داشته باشید ما مقدار MINIO_STORAGE_ENDPOINT را برابر با اسم سرویس قرار دادهایم؛ چرا که هم سرویس minio و هم سرویس جانگو، هر دو در یک فضانام قرار دارند و سرویس جانگو از طریق اسم سرویس minio به آن متصل میشود. اما اگر سرویس minio خارج از فضانام سکوی ابری فندق باشد، باید آدرس کامل را به به جای مقدار minio قرار دهید.
حال در فایل models.py پروژه جانگو یک مدل آزمایشی با نام Image ایجاد میکنیم که با گرفتن یک فایل و تولید شناسه خودکار، آن را در Bucket با نام media و پوشه fandogh ذخیره میکند.
.... class Image(models.Model): """ This is just for uploaded image """ objects = models.Manager() id = models.UUIDField(primary_key=True, default=uuid.uuid4, editable=False) image = models.ImageField(upload_to='fandogh') def delete(self, *args, **kwargs): """ Delete must be overridden because the inherited delete method does not call `self.file.delete()`. """ self.image.delete() super(Image, self).delete(*args, **kwargs)
در انتها سرویس خود را با استفاده از دستور زیر بر روی سکوی ابری فندق مستقر نمایید:
fandogh source init --name django
سپس
fandogh source run
بعد از آنکه سرویس به صورت کامل بر روی سکو مستقر شد، با مراجعه به آدرس سرویس minio که سکو به شما داده است، میتوانید مشاهده کنید که Bucketای برای شما ساخته نشده است و علت آن هم این است که هنوز دادهای در اپلیکیشن ذخیره نشده است.
حال بعد از با وارد شدن به آدرس سرویس جانگویی و بخش admin یک تصویر آزمایشی را داخل سایت بارگذاری میکنیم:

حال بعد از ذخیره، میتوانیم با مراجعه به داشبورد MinIO مشاهده کنیم که همانند تصویر زیر، فایل مورد نظر ما در باکت media و فولدری با نام fandogh ذخیره شده است:

همانطور که مشاهده کردید، تنها با چند دقیقه صرف زمان و چند خط تغییرات توانستیم به راحتی اپلیکیشن جانگو را به یک سرویس MinIO متصل کنیم و دیگر نگرانی بابت ذخیرهسازی اطلاعات و دسترسی به آنها نداشته باشیم.
همچنین شما میتوانید پروژه کامل این بلاگ پست را از روی مخزن گیت هاب سکوی ابری فندق دریافت و مشاهده کنید.