ویرگول
ورودثبت نام
علی پوربازرگان
علی پوربازرگانJust another developer!
علی پوربازرگان
علی پوربازرگان
خواندن ۴ دقیقه·۲ سال پیش

چگونه یک فاجعه، شرکت ما را نجات داد؟ داستان از دست رفتن ۲۰٪ از محتوای گاما


در اکتبر ۲۰۱۹، در عرض یک شب، ۱۰٬۰۰۰ فایل مهم و منحصربه‌فرد را به خاطر یک اشتباه ساده از دست دادیم. این اتفاق می‌توانست پایان کسب‌وکار ما باشد، اما در کمال تعجب، همین حادثه در سال ۲۰۲۵ کسب‌وکار جدید ما را نجات داد!

معرفی گاما و گاماترین

گاما یک پلتفرم اشتراک محتوای آموزشی برای دانش‌آموزان K-12 است که از سال ۲۰۱۴ در ایران راه‌اندازی شد. این پلتفرم بیش از ۱۰ میلیون کاربر در سراسر دنیا دارد و سرویس‌هایی مانند نمونه سوالات، آموزش‌های چندرسانه‌ای، آزمون‌های آنلاین، سامانه مدارس، استریم زنده، انجمن پرسش و پاسخ، تدریس خصوصی و موارد دیگر را ارائه می‌دهد.

گاماترین محصول جدید ما در بریتانیاست که تمرکز آن بر سیستم‌های آموزشی بین‌المللی مانند CIE (Cambridge International Education)، AQA، Edexcel و سایر مدارک معتبر جهانی است.

آغاز فاجعه

در اوج رشد کسب‌وکارمان بودیم و به عنوان یک شرکت تولید و فروش محتوای آموزشی، بخش بزرگی از درآمد ما وابسته به محتواهای ذخیره‌شده روی پلتفرم بود. از آنجا که محتوای ما فقط توسط تیم داخلی تولید نمی‌شد، بلکه کاربران هم محتوای خود را آپلود می‌کردند، حفظ امنیت فایل‌ها از اولویت‌های اصلی ما بود.

ما از MooseFS، یک سیستم فایل توزیع‌شده، برای ذخیره‌سازی استفاده می‌کردیم که پنج نود و سه نسخه کپی از هر فایل را نگهداری می‌کرد. در کنار آن، برای بکاپ‌گیری هم یک هارد دیسک جداگانه و ایزوله داشتیم.

✅ همه‌چیز عالی کار می‌کرد!
⛔ تا اینکه تصمیم گرفتیم سیستم ذخیره‌سازی را به GlusterFS تغییر دهیم …

یکی از مهندسان تیم ما GlusterFS را پیشنهاد داد که به نظر پایدارتر و معروف‌تر از MooseFS بود. پس از بررسی، تیم تصمیم گرفت به Gluster مهاجرت کند. دو ماه بعد، انتقال انجام شد و تیم بسیار خوشحال بود.

اما یک مشکل داشتیم:
📌 هارد بکاپ ما به ۹۰٪ ظرفیت رسیده بود و باید تصمیمی می‌گرفتیم.
📌 ما فرض کردیم که GlusterFS قابل‌اعتمادتر از MooseFS است و به همین دلیل، تصمیم احمقانه‌ای گرفتیم: بکاپ را حذف کردیم و فقط به Gluster اعتماد کردیم!

روز فاجعه: وقتی همه‌چیز از بین رفت

دو ماه بعد، یک روز صبح متوجه شدیم که برخی صفحات سایت با خطای عدم وجود فایل‌ها مواجه شده‌اند. در ابتدا فکر کردیم مشکل شبکه است، اما بررسی‌ها نشان داد که GlusterFS دچار خطاهای همگام‌سازی شده و برخی بخش‌های فایل‌ها گم شده‌اند!

📉 هر لحظه تعداد خطاها بیشتر می‌شد.
📉 نهایتاً تصمیم گرفتیم کلاستر Gluster را ری‌استارت کنیم.

⏰ ساعت ۳:۳۰ صبح – پس از ری‌استارت، همه‌چیز دوباره درست شد! 😌
🎉 نفس راحت کشیدیم…

اما چند دقیقه بعد، یک پیام از تیم محتوا دریافت کردیم:

🔴 "فایل‌ها خالی هستند!"

⛔ چی؟ چطور ممکنه؟
⛔ فایل‌ها در سرور حجم داشتند، اما وقتی باز می‌کردیم، هیچ محتوایی در آنها نبود!

نتیجه؟
🚨 ما ۱۰٬۰۰۰ فایل از ۵۰٬۰۰۰ فایل را برای همیشه از دست داده بودیم!

و بدتر از همه:
🔹 فقط فایل‌های شرکت خودمان نبودند، فایل‌های کاربران هم از بین رفته بود!
🔹 هیچ راهی برای بازیابی آنها نداشتیم!

چرا بکاپ‌ها بی‌استفاده بودند؟

ما بکاپ هارددیسک را داشتیم، اما به دلیل اینکه پس از مهاجرت سیستم نام‌گذاری فایل‌ها و مسیر هارا همزمان بهبود داده بودیم اسم همه فایل ها که هش بودند هم تغییر کرده بود و نمی‌توانستیم فایل‌های بکاپ را با پست‌های اصلی مطابقت دهیم.

🔍 هر راهی را امتحان کردیم، اما هیچ فایلی با نام اصلی بازیابی نشد.
📧 در نهایت، مجبور شدیم به کاربران ایمیل بدهیم و از آنها بخواهیم فایل‌های خود را مجدداً آپلود کنند!

چگونه این فاجعه، شرکت ما را نجات داد؟

بعد از این بحران، ما سیستم ذخیره‌سازی و بکاپ خود را از صفر بازطراحی کردیم:

تولد سیستم GFK - Gama File Keeper

📌 هر فایل دارای یک شناسه یکتا (Checksum) شد، بنابراین حتی اگر نام آن تغییر کند، همچنان می‌توان آن را شناسایی و بازیابی کرد.
📌 فایل‌ها دیگر به‌صورت سخت حذف نمی‌شوند. ابتدا Soft Delete شده و پس از ۳ ماه اگر بازیابی نشدند، حذف دائمی صورت می‌گیرد.

تولد سیستم Gama Backapp:

1️⃣ بکاپ گرم (Warm Backup) – هر ۲ ساعت، یک کپی در همان دیتاسنتر گرفته می‌شود.
2️⃣ بکاپ سرد (Cold Backup) – هر ۶ ساعت، بکاپی در دیتاسنتری دیگر ذخیره می‌شود.
3️⃣ بکاپ آفلاین (Offline Backup) – هفته‌ای یک بار، یک کپی روی هارددیسک ذخیره‌شده در دفتر ما نگهداری می‌شود.

✅ بکاپ‌های پایگاه داده:
📌 هر ۲۴ ساعت، یک نسخه کامل از پایگاه داده ذخیره می‌شود.
📌 ۱۲ نسخه بکاپ از ۱۲ ماه اخیر آرشیو می‌شود.

نتیجه نهایی؟

پنج سال بعد، این سیستم جدید توانست محصول جدید ما را از یک فاجعه نجات دهد!

اما این یک درس بسیار مهم بود:

📌 هرگز به یک تکنولوژی به‌تنهایی اعتماد نکنید.
📌 بکاپ‌ها باید مستقل، متنوع و در چندین مکان ذخیره شوند.
📌 هیچ‌گاه فکر نکنید که "این اتفاق برای ما نخواهد افتاد"!

این ماجرا نشان داد که گاهی اوقات، بدترین اتفاقات می‌توانند بهترین درس‌ها را به ما بدهند.

شما تا به حال تجربه از دست دادن اطلاعات مهم را داشته‌اید؟ چگونه آن را مدیریت کردید؟ تجربیات خود را با ما به اشتراک بگذارید!

۷
۱
علی پوربازرگان
علی پوربازرگان
Just another developer!
شاید از این پست‌ها خوشتان بیاید