مهندس . [ م ُ هََ دِ ]: اندازهگیرنده.
نویسندگان: محسن باقری – محمد عباسی
نکته: در جاهایی که عدد داخل پرانتز است به پی نوشت مربوطه مراجعه کنید.
زمانی که به «بهودِ» وضعیتِ عملکردی یک تیم نرمافزاری فکرمیکنیم، مجموعهای از راهکارها در ذهنمان جاری و ساری میشود. ولی اینکه کدام راهکار را به عنوان اولین قدم بَرگُزینیم مسئلهی اصلی است. به هرجهت، سفرِ «بهتر» شدن، بدون در نظر گرفتن چهار چیز، ناشدنی است. اول از همه مبدا، دوم مقصد و سوم نقشهی راهِ رسیدن از مبدا به مقصد و چهارم، جهتنمایی که به ما تضمین بدهد که حرکت ما به سمتِ نزدیکتر شدن به مقصد است.
با این تفاسیر، پیش از آنکه به پرسشِ «کدام راهکار را برگزینم؟» پاسخ بدهیم، تا بتوانیم سفرِ «بهتر» شدن را آغاز کنیم، مسئلهی دیگری مطرح است، و آن مهیا کردنِ ملزوماتِ این سفر است. که در این مقاله، این موضوع را بررسی میکنیم.
منظور از مبدا، مقصد، نقشهی راه و جهتنما چیست؟ بیشک این تعابیر نمادین هستند، و منظور از مبدا، «وضعیت فعلی»، و منظور از مقصد، «وضعیت مطلوب» و منظور از نقشهی راه، «مجموعه اقداماتِ مناسب برای رسیدن به وضعیت مطلوب»، و منظور از جهتنما، «ترازویی برای ارزیابی وضعیت» است. تاکید بر لفظ «سفر» از این بابت است که فرایندِ بهتر شدن یک پدیدهی «یکباره» نیست. اساسا همچون هر فرایند دیگری، «رخداد» یا «اتفاق» نیست(1).
پس من برای مهیا کردن ملزوماتِ «سفرِ بهتر» شدن، پیش از هرچیزی به ترازویی برای ارزیابی وضعیت نیاز دارم، تا بتوانم وضعیت فعلی را براورد کنم، و با توجه به وضعیت فعلی، بتوانم وضعیتِ «مطلوب» را هدفگذاری کنم. و متناسب به هدفگذاری صورت گرفته، مجموعه اقداماتی را آماده کنم که بتواند من را به سمت وظعیت مطلوب برساند (یا نزدیک کند). از این ترازوی عملکرد هم بطور پیوسته استفاده خواهم کرد تا مطمئن شوم که اقداماتم به در راستای انتظاراتم است.
اما این ترازوی عملکرد چیست؟ ادامهی این مقاله تا انتها به این مسئله میپردازد.
ترازوی عملکرد
تاکنون تلاشهای زیادی برای اندازهگیری عملکردِ تیمهای نرمافزاری صورت گرفته است که اغلب این معیارها متمرکز بر امرِ «بهرهوری (productivity)» بودهاند و عموما دو اشکالِ اساسی دارند:
اول. این معیارها (متریکها) متمرکز بر «خروجی (output)» هستند، بجای آنکه متمرکز بر «آورده (outcome)» باشند. (2)
دوم. این معیارها متمرکز بر اشخاص هستند بجای آنکه بر تیم تمرکز کنند، یا اگر بر یک تیم هم تمرکز کنند، وضعیت آن تیم را نسبت به خودش میسنجند، نه آنکه متمرکز بر وضعیت تیم در قیاس جهان-شمولی باشند.
اجازه بدهید دو تا از این معیارها را باهم بررسی کنیم: معیارِ «خطوطِ کُد (lines of code)» و معیارِ «سرعت (velocity)».
معیارِ خطوط کُد – lines of code
برآوردِ بهرهوری (productivity) بکمک معیارِ خطوطِ کُد (lines of code) تاریخچهی مفصلی در صنعت نرمافزار دارد (3). خیلی از شرکتها از این معیار (یا مشتقات آن(4)) استفاده میکردند و میکنند، در حالیکه در واقعیت ما میدانیم که راهکار 10 خطی بهتر از راهکار 1000 خطی برای یک مشکل است. وقتی توسعهدهندگان را تشویق به بیشتر کردن تعداد خطوط کُد بکنیم، در عمل آنها را سوق دادهایم به سمت چَرندنویسی و تولید کُدهای وَرَم کرده (inflated) و شکننده که در نتیجه، هم هزینههای نگهداری (maintenance costs) را زیاد میکنند، هم هزینهی تغییرات (cost of change) را. در حالیکه در دنیای ایدهآل باید به توسعهدهندگانی پاداش داد که برای حل مشکلاتِ کسبوکاری، حداقل کُد ممکن را مینویسند، و یا حتا از آن بهتر بدون نوشتن کُد یا حتا با پاک کردن کُد، مشکلی را حل میکنند (مثلا با تغییر یک فرایند کسبوکاری).
به هرحال، معیار تعداد خطوطِ کُد در هر دو جهت بیکاربرد است. به این معنا که نه «کم» بودنِ تعدادِ خطوطِ کُد تضمین کنندهی کیفیت است نه «زیاد» بودن تعدادِ خطوط.
معیار سرعت - velocity
با ظهور بحث توسعهی نرمافزار اَجایل (چابک)، معیار جدیدی در بحث اندازهگیریِ بهرهوری مطرح شد: سرعت (velocity). در خیلی از مکاتبِ اَجایل، مسائل (problems) به عناصر کوچکتری بنام اِستوری (story) شکسته میشوند و بعد از آن توسعهدهندگان (developers) به این اِستوریها امتیاز (point) میدهند. این امتیاز نمایانگرِ تلاش نسبیِ (relative effort) پیشبینی شده برای تکمیلِ آن اِستوری است. و در پایانِ هر چرخهی توسعه (iteration) مجموع آن امتیازهای انجام شده را محاسبه میکنند، و به حاصلِ آن میگویند سرعتِ (velocity) تیم. غالبا از معیارِ سرعت به جهت تخمین ظرفیتِ تیم استفاده میشود. به این معنا که یک تیم که معیارِ سرعت آن عدد ایکس است، میتواند در هر چرخه ایکس-امتیاز کار انجام دهد. برخی از مدیران از این معیار به عنوان معیاری برای سنجهی بهرهوریِ تیم هم استفاده میکنند، یا حتا آن را مقیاسی برای مقایسهی تیمها با یکدیگر درنظر میگیرند.
استفاده از معیارِ سرعت (velocity) به عنوان متری برای ارزیابیِ بهرهوریِ تیم، چند اشکال دارد. اولا، سرعت یک معیار نسبی (relative) است و کاملا وابسته به تیم است، نه یک معیار مستقل.(5). دوما، زمانیکه سرعت را معیار بهرهوری قرار بدهیم، تیمها را گرفتارِ بازیِ سرعت خواهیم کرد و از اعضای آنها رفتارهای غیرقابلانتظاری مشاهده خواهیم کرد؛(10) تخمینهای خودشان از کار را، بالا (غیرواقعی) میدهند و بجای آنکه دغدغهی همکاری با تیمهای دیگر را داشته باشند، دغدغهی هرچه بیشتر انجام دادن امتیاز اِستوری (story point) را خواهند داشت. به بیان دیگر، برای خلق ارزش واقعی، گاهی یک تیم باید وقت خود را صرفِ همکاری و کمک به یک تیم دیگر بکند، اما از آنجا که چنین فرهنگی در چنین شرایطی، سرعت تیم اول را پایینتر ارزیابی میکند، تیم اول ترجیح میدهد که بجای کمک به تیم دوم، استوریپوینتهای خودش را تکمیل کند. در چنین مواقعی ما صرفا بهرهوری را کاهش ندادیم، ما به فرهنگِ همکاریِ درون سازمانی لطمه زدهایم.
حال که اشکالات برخی از معیارهای متداولِ اندازهگیریِ عملکردِ تیمِ نرمافزاری را دیدیم، چه معیارهای مناسب این امر است؟ در ادامه به این موضوع میپردازم.
معیارهای اندازهگیری
یک معیارِ درست برای سنجشِ عملکرد، باید دو خصیصه داشته باشد؛
خصیصهی اول: مبتنی بر براوردِ جمعی (global outcome) باشد تا مبادا تیمها در مقابل هم قرار بگیرند. یک نمونهی کلاسیک و ملموساش تشویق تیمِ توسعه به نسخه دادن، و تشویقِ تیم عملیات به پایداری است.(11) چیزی که از آن به عنوان «دیوارِ اختلافات (wall of confusion)» یاد میشود. زمانی که عملکردِ تیمها را جمعی بررسی نکنیم، یا به عبارت دیگر، آوردهی (outcome) نهایی را معیار قرار ندهیم و متمرکز بر خروجیها (outputs) باشیم، با تیمهایی طرف خواهیم شد که صرفِ داشتن گزارش عمکردِ بهتر، به سمت بیشتر کردن خروجی میروند و در واقعیت ارزشی را تولید نمیکنند (یا به اندازهی ظرفیتی که دارند، تولیدِ ارزش نمیکنند). در این خصوص پیشتر هم صحبت شد. اما به عنوان آخرین مثال، زمانیکه عملکرد تیم توسعه را صرفا با تولید فیچر یا نسخه زدن بسنجیم، آنها را باوجودِ داشتن بدهیهای فنیِ سنگین، ترغیب کردهایم که تمام توان خودشان را بکاربگیرند که کُدافزایی کنند و در نهایت کُدی بیکیفیت را تحویل تیم عملیات بدهند. تیم عملیات هم ناگزیر طی یک فرایندِ زجر آور و خستهکننده باید نسخه را در محیط عملیاتی نصب و نگهداری کند.
خصیصهی دوم: معیار باید مبتنی بر آوردهها (outcomes) باشد نه خروجیها (outputs).
تحقیقات خانم نیکول فورگسن و تیم همراهشان در خصوص کشف و خلق معیارهای اندازهگیری عملکرد که چنین خصیصههایی را داشته باشند، به معرفیِ چهار معیار منتج شد: معیارِ «مدت زمانِ تحویل (delivery lead time)»، «تعدد نسخهگذاری (deployment frequency)»، «زمان بازیابی (time to restore)» و «نرخ شکست تغییر (6) (change fail rate)». که در ادامه به چرایی انتخابِ این معیارها میپردازیم.
معیار مدت زمان تحویل – Lead Time
معیارِ «مدت زمان تحویل (delivery lead time)»، زمانی است که میگوید، از لحظهای که مشتری درخواستی داده است تا زمانیکه درخواستاش اجابت شده است، چقدر طول کشیده است. این زمان طول کشیده را lead time میگوییم. به بیان دیگر، از زمانی که مشتری نیاز خودش را برای ما مطرح کرده است، چند دقیقه یا چند ساعت یا چند روز و هفته طول کشیده است تا ما آن نیاز را تحویل بدهیم.
اگر دقیقتر بررسی کنیم، خود این معیار هم در واقع از دو بخش تشکیل شده است؛ یک بخش، مربوط به زمانی است که طول کشیده تا درخواست مشتری تحلیل و طراحی و راهحل کشف شود، یک بخش هم زمانی است که طول میکشد تا راهحلِ تولید شده، تحویل مشتری داده شود. در واقع مجموعِ زمانِ این دو بخش است که «مدت زمان (lead time)» را مشخص میکنند. اما این دو بخش ماهیت متفاوتی باهم دارند، و توجه به این نکته حائز اهمیت است.
در بخشِ «طراحیِ» معیارِ مدت زمان (بخش اول)، همه چیز ممکن است ناواضح باشد و ما با دنیایی از عدم قطعیت طرف باشیم، چرا که متغیرها در این فضا زیاد است. به همین خاطر Reinersten این بخش را fuzzy front end مینامد. اما در بخشِ «تحویل» (بخش دوم)، وضعیت اینگونه نیست و با توجه به متغیرهای کمتری که وجود دارد، راحت میتوان زمانی که برای ساختِ آرتیفکت، تست و تحویل محصول سپری میشود را اندازه گرفت. جدول زیر نیز تفاوت این دو بخش را نمایان کرده است:

هرچه زمانِ بخشِ «تحویل محصول» کوتاهتر باشد، نتیجه بهتر است. چرا که این امکان را مهیا میکند که هرچه سریعتر بازخوردِ آن چیزی را که تولید کردهایم را دریافت کنیم و در صورت وجود خطا، آن را بسرعت اصلاح کنیم. جدا از این مورد، ممکن است نسخه باعث اختلال (defect) و یا قطعی (outage) شود، ما نیاز داریم که در سریعترین زمان ممکن نسخهی سالم را عملیاتی کنیم. به همین خاطر باید تلاش به سمتی باشد که مدت زمان تحویل محصول به حداقل برسد.
برای اندازهگیریِ بخشِ دومِ این معیار (تحویل محصول)، مدت زمان سپری شده از لحظهای که کُد در شاخهی مربوطهاش کامیت شده است تا نسخه در عملیاتی با موفقیت اجرا شده است، را اندازه میگیرند.
معیارِ تعدد نسخهگذاری – Deployment Frequency
اما معیارِ دوم. این معیار در ملاحظه با حجم تغییرات (batch size) است. (7). کم کردن حجم تغییرات یکی از المانهای اصلی پارادایم LEAN است. کمکردن حجم تغییرات، زمان و ناپایداری چرخهی تولید را کاهش میدهد، بازخورد را سرعت میبخشد، ریسک و سربار را کاهش میدهد، بهرهوری را افزایش میدهد، انگیزه را تقویت میکند، هزینهها را کاهش میدهد و رشد را قابل پیشبینی میکند. اما گرفتاری اینجاست که در حوزهی نرمافزار، اندازهگیریِ حجم تغییرات کاری مشکل و گهگاه نشدنی است. به همین جهت از معیارِ «تعدد نسخهگذاری (deployment frequency)» به عنوان یک پوسته برای معیارِ «حجم تغییرات» استفاده میکنیم. تعدد نسخهگذاری براحتی قابل اندازهگیری است و میزان بالای آن، میتواند بیانگر میزان پایین حجم تغییرات باشد.(8). منظور از «نسخهگذاری» این است که نرمافزار مثلا روی app store بشیند یا روی محیط عملیاتی نصب شود.
یک ریلیز (release)، یعنی تغیری که قرار است نصب (deploy) شود، معمولا شامل چندین فیچر است، مگر اینکه سازمان تصمیم بگیرد که هر فیچر را به مجرد تکمیل شدن عملیاتی کند (عملی که از آن به عنوان نصب مستمر (continuous deployment) یاد میشود.).
معیارهای «زمانِ تحویل» و «تعدد نسخهگذاری» را میتوان ضرب آهنگِ عملکردِ تحویل (delivery performance) نرمافزار باشند. یعنی موفقیت یا شکست در این دو معیار، نشاندهندهی عملکرد سریع یا کُند تیم در تحویل نرمافزار است.
معیارِ زمان بازیابی – Mean Time to Restore
اگرچه که ما انتظار سرعت و چابکی در تحویل محصول را داریم، ولی این امر را زیر چتر «پایداری» میخواهیم. در گذشته، پایداری را با اندازهگیری زمانِ بین شکستها میسنجیدن. به عبارت دیگر اگر یک سیستم مدت زمان زیادی از آخرین اختلالاش میگذشت، به همان نسبت پایدار تلقی میشد. ولی در دنیای پیچیدهی محصولات و سرویسهایِ نرمافزاریِ امروزی، شکست و اختلال امری اجتناب ناپذیر است. بنابراین سوال اساسی این است: وقتی که با قطعی مواجه میشوی، چقدر زمان طول میکشد تا آن را برطرف کنی؟ پاسخ به این سوال، پایداری سیستمهای پیچیدهی مدرن را نشان میدهد. به همین خاطر معیارِ سوم، «زمانِ بازیابی (time to restore)» است.
معیارِ نرخ شکست – Change Fail Percentage
آخرین معیار (نرخ شکست) مشخص کنندهی میزان درصد شکست به نسبت تغییرات است. تغییرات اعم از هر نوع تغییر (چه افزودن فیچر، چه تغییر تنظیمات سرور عملیاتی)، اگر منجر به شکست شود، نرخ شکست افزایش میابد.

در مقاله بعدی به بررسی تاثیر این معیارها بر عملکرد تیم و سازمان میپردازیم. منبع اصلی این سلسله مقالات گزارشات موسسه DORA و کتاب Accelerate میباشد، و به نوعی این مقالات گزارشی بر گزارشات DORA و کتاب مذکور میباشد.
پینوشت1: پذیرشِ این موضوع (که بهتر شدن یک فرایند است) علیرغم اهمیت بسیار زیادی که دارد، در این مقاله بررسی نمیشود. چنانچه مخالفِ این گزاره هستید به کتاب Accelerate و فصل دوم Measuring Performance مراجعه کنید.
پینوشت2: خروجی یک چیز است، آورده یک چیز دیگر. ممکن است گاهی در یک راستا باشند، و گاهی کاملا در جهت عکس. به عنوان مثال فرض کنید شما با حذف یک قابلیت از نرمافزار، رضایت مشتری را جلب کردید. در اینجا علیرغم آنکه خروجی نداشتهاید، آورده داشتهاید. تاکید بر متر و معیار خروجی، کارِ گِل میآفریند. مثال دیگر: زمانی که متر و معیار «بهرهوری» ساعت کاری باشد، نه دستاوردِ کاری، با افرادی مواجه خواهیم شد که ساعتهای زیادی را کار میکنند بدون آنکه دستاورد خاصی داشته باشند.
پینوشت3: در این لینک داستانی در این خصوص نقل شده است که نشان میدهند چطور با کمتر کردن 2000 خط کد توانستند عملکرد یک الگوریتم را تا 6 برابر بهتر کنند و اینکه چقدر معیارِ تعدادِ خطوطِ کُد میتواند بیمعنی باشد. https://www.folklore.org/StoryView.py?project=Macintosh&story=Negative_2000_Lines_Of_Code.txt&sortOrder=Sort+by+Date
پینوشت 4: معیارهای مشابه: code coverage یا امثالهم. اساسا هر معیاری که مترِ آن صرفا «شمارش چیزی» باشد، بیآنکه بتواند مسئلهای را اثبات کند. معمولا این معیارها میتوانند بصورت negative indicator نقش ایفا کنند اما نتیجه، نه ثابت کنندهی وضعیت مطلوب است نه غیرِ آن.
پینوشت 5: همانطور که میدانید تمام امتیازها (story points)، نسبتی به یک ثابتِ مورد توافق در تیم است. با توجه به اینکه این ثابت در هر تیم میتواند کاملا متفاوت باشد، و همینطور ارزیابی اعضای هر تیمی هم میتواند متفاوت باشد، این سنجه کاملا وابسته به همان تیم است.
پینوشت 6: در اینجا change هم به نسخهی جدید اشاره میکند، هم هر تغییر تنظیماتی در سرور یا بطور کلی در محیط عملیاتی.
پینوشت 7: منظور از batch size حجم تغییراتی است که به کُد اعمال میشود. فرض کنید یک فیچر به کُد اضافه کردید و میخواهید نسخه بزنید، اکنون batch size شما برای این نسخه به اندازهی یک فیچر است. حال فرض کنید ده فیچر به کُد اضافه کردهاید و حالا قصد نسخهزدن دارید، اکنون حجم تغییرات شما به اندازهی ده فیچر است. مشخصا حجم تغییرات ده فیچر نسبت به یک فیچر بیشتر است، و این بیشتر بودن ریسک شکست شما را افزایش میدهد. چرا که نسبت به قبل دستکم ده برابر بیشتر احتمالِ خطا دارید.
پینوشت 8: دو نکته در اینجا مُستَتَر است: یک. توجه بفرمایید که صرف نسخهگذاری به معنای بهبود نیست. مسلما منظور نسخهگذاری موفق است. دو. هرچه تلاش شما بر این باشد که حجمِ تغییرات در هر نسخه کم باشد، در بلندمدت تعداد نسخهگذاریهای شما افزایش مییابد. فلذا از این جهت «تعدد نسخهگذاری» یک پوسته برای «حجمِ کم تغییرات» میشود.
پینوشت 10: اجتماع انسانها، یک سیستم پیچیده (complex system) است. سیستمهای پیچیده را براحتی نمیتوان پیشبینی کرد. در سیستمهای پیچیده، «نتیجه» میتواند کاملا دور از «انتظار» باشد. مثال پرواضح آن بحث فیلترینگ است؛ شبکهی اجتماعی پرطرفداری فیلتر میشود تا بازارِ معادلِ بومی آن موفق شود، اما «نتیجه» این میشود که افراد بیشتری به فیلترشکن دسترسی پیدا میکنند، و نیاز به اپلیکیشنهای بومیِ دیگر هم کمتر میشود. در بین معاملهگرانِ بازارهای «آزاد» مالی، خودِ «بازار» یک سیستمِ پیچیده است، و نمیتوان رفتار آن را همیشه پیشبینی کرد.
پینوشت 11: در خیلی از سازمانها (حداقل) دو تیم به ازای هر محصول وجود دارد: تیم توسعه و تیم عملیات. مسئولیت تعریف شده برای تیم توسعه، ساختن اپلیکیشن و براوردن نیازهای مشتری در دلِ اپلیکیشن است و مسئولیت تعریف شده برای تیم عملیات، نصب (دیپلوی) اپلیکیشن در محیط عملیاتی و بالانگهداشتنِ (پایداریِ) آن. این شکل از جداسازی پارادوکس جالبی دارد؛ تیم توسعه برای رسیدن به هدفش، تلاش میکند هرچه بیشتر نسخه بدهد، و تیم عملیات برای رسیدن به هدفش، سعی میکند در برابر هر تغییر مقاومت کند که از پایداری اپلیکیشن کاسته نشود. ماحصل این تعارضِ منافع، مشکلات بیشماری اعم از فنی و فرهنگی بوجود میاورد. و در نهایت علیرغم آنکه همه حولِ یک محصول هستند، با دو تا تیم از هم گسسته و کاملا جدا طرف میشویم. از این رو برای بیان این وضعیت از اصطلاحات «سیلو» یا «دیوار اختلافات» استفاده میشود.