(ویرایش: یک سیستم نمونه در نوشتار دیگری ارائه شده که برخی مفاهیم نوشتار زیر را ملموستر میکند.)
اگر یک سرویس نرمافزاری بالغ و باآبرو دارید یا قراره داشته باشید، فرایند انتشار (release) ناموسی میشه. منظور از بالغ، سیستمیست بزرگشده با کلی قابلیت و مولفه و همچنین سرعت (velocity) بالا در توسعه---یعنی تغییرات پیوسته در سیستم و انتشار مکرر نسخهها که همه باید قابل اطمینان باشن---و منظور از باآبرو یعنی هر مشکل کوچکی میتونه برابر باشه با ضرر مالی و صد برابر غیرمالی به اعتبار محصول و brand.
چند رویهی مربوط به فرایند انتشار که در سرویسهای ما انجام میشه و سودمند بوده، یا انجام نمیشه و داریم ضربهاش رو میخوریم، در این نوشتار خلاصه میکنم.
انتشار یعنی چی؟ اصلا انتشارِ چه چیزی؟ نسخهی کُد یا داده/dataset یا مدلهای ML یا قابلیتِ پنهانشده پشتِ کلید/flag (که خواهیم دید چیه)؟ فعلا با انتشار کُد/binary جلو بریم و در ادامه به بقیه اشاره میکنیم. از لحظهای که نوشتن کُد تموم میشه، تا لحظهای که در محیط عملیاتی مستقر بشه، یک فرایند عریض و طویل در میونه که میشه خیلی سرانگشتی به دو بخش «تست و یکپارچهسازیِ پیوسته» (continuous integration یا CI) و «انتشار و استقرار» تقسیمش کرد. خیلی خلاصه:
پس محیط staging چی؟ عبارت staging سرریزِ معنایی شده. اگر منظور خارج از محیط عملیاتی باشه، در تقسیمبندیِ بالا جزو CI حساب میشه و اگر بخشی از محیط عملیاتی و زیرِ بارِ واقعی باشه، بخشی از قناری.
بدیهیات: کل سیستم رو نمیبریم پایین و دوباره بیاریم بالا. سیستم همیشه بالاست و در مقاطعی ترکیبی از نسخهی جدید و قدیم دارن کنار هم کار میکنن (سازگاری رو به عقب / backward compatibility با دو نسخهی قدیمیتر، از اصوله). این مساله فقط مربوط به انتشار نیست بلکه برای rollback که یکی از ساز و کارهای اصلی در پاسخ به حادثهست هم ضروریست.
انتشار داده/dataset (مثلا lookup tableهایی که توی حافظهی سرورهاست) و مدلهای ML و بقیهی چیزهای push کردنی چه طور؟ شبیهه، خواهیم دید. انتشار قابلیتِ پشتِ کلید چی بود؟ binary و دادهی لازم منتشر شده ولی قابلیتِ مورد نظر ما هنوز غیرفعاله مگر این که یک کلیدی فعال باشه که ما به مرور فعال میکنیم مثلا اولش فقط روی ۰/۱٪ درخواستها یا فقط برای ۰/۱٪ کاربران، سپس برای ۱٪ و ...
قناریگری رو طبقهبندی نمیکنم و چنین نگاه جامعی اصلا فراتر از بندهست. تنها مثالهایی از چند محصول رو ببینیم برای پیشنهاددهی و پیشنهادگیری.
این محصول شامل دریایی از cache serverهاست که درخواستهای کاربران رو پاسخ میدن، و نیز شامل دم و دستگاهی offline/نیمه-online خارج از مسیر بحرانی درخواست کاربر (critical query path) که «داده» آماده میکنه برای push کردن به سیستم و استفاده در مسیر بحرانی، مثلا یک lookup table برای نگاشت (mapping) از آدرس IP subnetهای دنیا به این که به کدوم سرورها (PoPها) باید برن.
نیمهی اول - سرورهای درگیر با کاربر: binary جدید، که چنانکه گفته شد همهی تستهای offline موجود رو از پیش پاس کرده، روی فقط یک یا چند سرور مستقر میشه تا برای چند ساعت کار کنه و دَم بکشه و جا بیفته (bake time)، سپس روی یک datacentre کامل مستقر میشه و جا میافته، سپس روی یک metro کامل---همیشه هم یک datacentre و metro یکسان---و نهایتا استقرارِ جهانی. در هر گام، پس از جا افتادنِ چند ساعته، شاخص(metric)های گوناگونی از سرور بررسی میشه تا ببینیم چیزی تغییر نکرده باشه و اگر کرده بررسی بشه، و سپس میریم به گام بعد و باز جا افتادنِ چند ساعته و بررسی و به همین شکل. این تعریفِ کلاسیکِ قناریگری در یک سرویسه.
نیمهی دوم - دم و دستگاهِ تولیدِ داده: این دم و دستگاه نیمه-online، شامل یک stack از jobهاست---یا یک خط لوله (pipeline)---که یک سروی دادههای ورودی گردآوری کنه و دادهی خروجی تولید کنه برای push کردن به سیستم.
قناریگری چنین سیستمی---یا عموما یک خط لولهی خارج از مسیر بحرانی---سادهتر از سرویسهای درگیر با کاربره: یک stack موازی بالا میآریم برای قناری، و دادههای تولیدیش رو در کنارِ دادههای تولیدیِ stackهای محیط عملیاتی بررسی میکنیم. البته همچنان بدیهی نیست، ولی دیگه پیشرَوی گام به گام و کنترل ریسک و کنترل دامنهی انفجار (blast radius) هم لازم نیست. جزییات فراوانی رو حذف کردم ولی امیدوارم مفهوم منتقل شده باشه.
محصول Nest رو تصور کنید، یا اصلا سیستم عامل Android - یعنی نیاز به push کردن به دستگاهِ دستِ کاربر و نه به سرورهای دستِ خودمون. تستهای دستگاه، مثلا Nest، کمی متفاوت با تست یک سرویسه و با دخالت انسانیِ بیشتری درگیره، چون مثلا باید روی دستگاه یک دکمه فشار داده بشه بعد روی Mobile App یه کاری بشه بعد سیمِ دستگاه جدا بشه و ... البته این تستها رو تیمهای مهندسان نرمافزارِ ساعتی N دلاری انجام نمیدن بلکه تیمهایی از کارکنان قراردادیِ سطح پایینتر انجام میدن. خلاصه سیستم CI که در بالا گفته شد، در این دنیا فرق میکنه.
برای انتشار، imageی که این تستها رو گذرونده، برای push شدن به دستگاههای ملت در دنیا فرایندی کم و بیش ساده و استاندارد طی میکنه: push شدن در چند گام مثلا به ۰/۱٪ کاربران و سپس ۱٪ و ۱۰٪ و الی آخر - البته پوشش خوبِ تست قناری (مثلا جغرافیایی) نیازمند اینه که انتخاب این نمونههای آماری درصدی، صرفا تصادفی محض نباشه.
اما یک گامِ امتیازی پیش از از این pushها، مرحلهایست که به نام «چشیدنِ غذای سگ» (dogfood)، یعنی push به دستگاههای شرکت که در دست صدها یا هزاران نفر از کارکنان خود شرکته. کارکنان، از هر تیمی با ربط یا بیربط، میتونن ثبت نام کنن و دستگاههای رایگان برای استفادهی شخصی دریافت کنن به این شرط که دریافت کنندهی imageهای dogfood باشه (در نتیجه کمی ناپایدارتر) و هر مشکلی هم دیدن bug گزارش بدن. گاهی پیش از dogood یک مرحلهی غیررسمی به نام fishfood هم مصطلحه که شامل قناری کردن روی دستگاههاییه که دستِ اعضای خودِ تیمه - همون «کوزهگر از کوزه شکسته آب میخوره» که کوزه شکسته یعنی ناپایدارترین حالتِ دستگاه.
این محصول، به طور ساده شامل یک stack (در واقع درخت) از سرویسها و jobهای مختلف است که همدیگر رو فرامیخونن. درخواستِ نمایش تبلیغ، از مرورگرِ کاربر به سرِ stack فرستاده میشه، میره پایین و پردازش میشه و پاسخش برمیگرده بالا فرستاده میشه به مرورگرِ کاربر - حالت معمولِ هر سرویس آنلاین. این سیستم هم، هم شامل jobهاییست در مسیر بحرانی درخواست کاربر (critical query path) و هم jobهایی بیرون از مسیر بحرانی که اون کنار مشغول تهیهی داده و یادگیریِ مدل و غیره هستن برای push کردن به و استفاده در سیستم.
برای انتشار هر یک از jobهای بحرانیِ درختِ بالا، نخست فرایندِ ابتدایی که در مثال CDN گفته شد رو تصور کنید: استقرارِ گام به گام روی {یک سرور، یک datacentre، دنیا} و بررسی شاخصها (metricها) در هر مرحله. ایرادهای این فرایند چیه؟
راهحلهای که ما استفاده میکنیم و سودمند بوده، یا استفاده نمیکنیم و دوست داریم کاش میشد، اینه:
انتشار داده و مدلهای جدید (شامل انتشار jobهای غیربحرانی که اونها رو تولید میکنن)، مشکلها و راهحلهایی مشابه قناری jobهای بحرانی که در بالا گفته شد داره: دادهی جدید به زیرمجموعهای از سرورها داده میشه و شاخصها سنجیده میشه، و همینطور مشکلها راهحلهای قناریگری عمودی.
اشتباه نشه، اونچه گفته شد برای انتشار به محیط عملیاتی، ساز و کار اصلی برای «تست محصول» نیست، بلکه ساز و کار اصلی برای «استقرار» محصولِ پیشتر-کاملا-تست-شده است.
بیشترِ تمرکز این نوشتار بر انتشار در یک سرویس بود، و به انتشارِ محصول دست کاربر تنها اشارهی کوتاهی شد. این به دلیل ساده بودن یکی و پیچیده بودن دیگری نیست بلکه تنها به دلیل درگیری بیشتر و کمتر بنده با تیمهای این شکلی و اون شکلی بوده و معنی دیگری نداره.
بسیاری از پیچیدگیهایی که بحث شد، ربطی به جهانی بودن سرویس نداره بلکه در سرویسی مستقر در یک datacentre تنها هم وجود خواهد داشت، و بیشتر به پیچیدگی خودِ سرویس مربوط میشه.
مداخلهی انسانی در فرایندهایی که گفته شد، تنها در خط دوم دفاعی است یعنی مثلا مرور نتیجهی تستها/گامهایی که سبز نشدن. اگر بشه این حجم رو به نزدیک صفر رسوند، میشه رسیدن به کیمیای «push on green» - در این باره این مقالهی خواندنی از گوگل رو ببینید.