خیلی از تصمیم‌های کسب‌وکار با تکیه بر شم مدیرها گرفته میشن. تجربه و شهود مهمن، اما وقتی نتیجه تصمیم قابل‌آزمایش نباشه، موفقیت و شکست هر دو میتونن داستانی گمراه‌کننده درباره توانایی تصمیم‌گیرنده بسازن.
این نوشته درباره دیسیپلین آزمایشه: چطور یک ادعا رو به فرضیه‌ای قابل‌سنجش تبدیل کنیم، اثر متغیرهای مختلف رو تا جای ممکن جدا کنیم و از آزمایش برای یادگیری استفاده کنیم. هدف حذف شهود نیست؛ هدف اینه که شهود مجبور بشه با شواهد روبه‌رو بشه.
توی این اپیزود کارکست رفتیم سراغ یه مقاله‌ی دیگه از هاروارد بیزینس ریویو، این مقاله توی سال ۲۰۱۴ نوشته شده، نویسنده‌هاش هم یه استاد از دانشگاه هاروارد و یکی از موسس‌های شرکت Applied predictive technologiesه. حرف مقاله رو هم گفتم دیگه، در مورد آزمایش کردنه. اسم مقاله‌شون رو گذاشتن The discipline of business experimentation. خیلی ترجمه کردنش سخته، به یه حوزه‌ی کاری میگن دیسیپلین توی انگلیسی، بعد به همون نظم و ترتیب داشتن، که دوباره ما توی فارسی هم میگیم طرف آدم با دیسیپلینی بود، به اونم میگن دیسیپلین. بعد اینا اسم مقالشون یه ایهامی از هردوی ایناست. یعنی هم دارن میگن یه حوزه‌ی مهمی به اسم آزمایش کردن در کسب و کار وجود داره که ما اینجا داریم بهش نظم و ترتیب میدیم. خلاصه اسم‌گذاری بامزه و جالبی داشتن.
دیگه حالا نریم خیلی توی این حرفای جانبی اول اپیزود، بریم سراغ اصل داستان این اپیزود و حرفای مقاله.
نویسنده‌ها حرفشون رو با یه مثال خیلی جالب شروع میکنن. میگن اواخر سال ۲۰۱۱ میلادی، آقای ران جانسون بعد از ۱۲ سال از اپل جدا میشه تا بره بشه مدیرعامل یه فروشگاه زنجیره‌ای به اسم JC Penny. این آقای جانسون معاون مدیرعامل بوده و تجربه‌ی زیادی هم داشته. ولی دوران مدیرعاملیش در JC Penny کلا یه سال و نیم بیشتر نمیشه. تازه قبل از JC Penny، ۱۵ سال هم توی یه فروشگاه زنجیره‌ای بزرگتر از اون به اسم Target کار کرده بوده و معاون مدیرعامل بوده. یعنی ۲۶ سال سابقه. وقتی میره توی شرکت، اولین کارهایی که میکنه اینه که کوپن‌های تخفیف رو حذف میکنه و یه سری قفسه داشتن برای Clearance. مواد غذایی یا محصولاتی که میخوان بفروشن تا فاسد نشدن یا مثلا لباس‌هایی که قدیمی شدن یا دیگه سایزبندی درستی ندارن، از این جور چیزها خلاصه، میاد این قفسه‌ها رو هم حذف میکنه.
جاش میاد لباس فروشی‌های برند اضافه میکنه به شعبه‌های این فروشگاه، و با دیجیتالی کردن صندوق‌های فروش، تعداد صندوق‌دارها رو هم کلی کم میکنه. فروش شرکت شدیدا کم میشه، شرکت ضرر ده میشه، و این آقای جانسون هم اخراج میشه. حالا سوالی که هست اینه که چطوری میشه یه تصمیمی به این اشتباهی بگیری که توی ۱۷ ماه هم یه شرکت سود ده رو ضررده کنی، هم خودت اخراج بشی. این آقا با داده و تصمیمگیری هم غریبه نبوده که، گفتیم ۲۶ سال سابقه داشته، مشکل اونجاییه که شما وقتی به داده‌های گذشته نگاه میکنی، نمیتونی از روش تصمیم آدم‌ها در آینده رو پیشبینی کنی. این تغییرات عمده‌ای که ایجاد میکنه این آقای جانسون، بر اساس دیتایی بوده که از رفتار مشتری داشتن، ولی اینا هیچ آزمایشی انجام نداده بودن که اگه این کارا رو بکنیم چطور میشه؟
اینطوریه که اکثر مدیرها به غریزه و هنر مدیریت خودشون اتکا میکنن که بیان و تصمیم بگیرن. از اول اپیزود هم لابد میدونید که من با این قضیه خیلی موافق نیستم. مسئله اینه که کارهای جدید، نوآوری‌ها، اصلا نکته‌شون اینه که شبیه اتفاقات قبلی نیستن و به درستی نمیشه پیشبینیشون کرد. شما یه لحظه بیاید فکر کنید شرکت‌های داروسازی بیان و اینطوری کار کنن. یعنی مدیرعاملش بیاد بگه، من به نظرم میاد که این ترکیب شیمیایی روی آدمایی که مثلا معده درد دارن جواب میده. این خیلی خنده دار و احمقانه به نظر میاد دیگه، یعنی چی نظر من اینه که این جواب میده، خب امتحان کن ببینیم جواب میده؟ چندین مرحله آزمایش‌های مختلف و کارآزمایی و اینا میکنن که نشون بدن دارو جواب میده یا نه.
بعد خب این تصمیم آقای جانسون هم با زندگی کلی آدم سر و کار داره، یه سری رو از کار بیکار میکنه، تاثیرش کوچیک نیست، ولی استاندارد تصمیمگیریش فاصله‌ی خیلی خیلی زیادی داره با اینکه یه دارو جواب میده یا نه. توی این اپیزود حرفمون همینه دیگه، میخوایم بیایم به خودمون یاد بدیم که توی کسب و کار چطوری روش تصمیمگیری مبتنی بر آزمایش کردن داشته باشیم، با حس و شیکممون تصمیم نگیریم.
حالا چرا این آزمایش کردن متد رایجی نیست؟ چون هم پول میخواد، هم تمرکز بالایی میخواد، هم سخته. استاد این آزمایش‌ها آمازون و فیس بوک هستن. حالا فعلا نمیخوام وارد داستان بشم ولی این آزمایش کردنه سخته. باز اگه شما یه سایت داری، تست کردن به نسبت راحته، ولی اینکه صندوق‌دار رو حذف کنیم، به برندها بگیم بیاید مغازه بزنید توی فروشگاه ما، این رو شما نمیتونی به راحتی توی ابعاد کوچیک انجام بدی. یه راهی پیدا کردن برای اینکه این رو تست کنیم بدون اینکه هزینه و زمانی که صرف میکنیم سر به فلک بکشه، کار راحتی نیست. یه مشکل دیگه هم کنار این قضیه وجود داره. اینکه شما وقتی یه بیزینس آنلاین داری، خیلی کار سختی نیست که مثلا با ۱۰۰۰۰ نفر یه چیزی رو تست کنی.
از اونور یه فروشگاه زنجیره‌ای نمیتونه بیاد ۱۰۰۰۰ تا مغازه‌ش رو برای تست استفاده کنه که، مجبوره با یه تعداد خیلی خیلی کمتری کار کنه و این میشه که تعمیم دادن اطلاعاتی که به دست میاد کار مشکلی باشه. یعنی دوباره اگه شرکت حتی بخواد آزمایش کنه، اینکه نتیجه‌ی آزمایشش قابل تعمیم باشه خیلی مشکله. شما فرض کنید یه دارویی رو بخواید با ۱۰ نفر آدم تست کنید. خب حالا ۶ تای اینا بهتر شدن، این الان معنیش چیه؟ خودشون بهتر شدن یا دارو کمک کرد، یا نه اصلا یه پارامتر سومیه که اون باعث شده اینا بهتر بشن. خلاصه تعداد کم داده برای آزمایش کردن هم خودش یه مشکل اساسیه. یه آزمایش علمی واقعی نیاز داره که همه‌ی پارامترها رو ثابت نگه داریم، یه پارامتر رو تغییر بدیم ببینیم چی میشه.
توی فضای بیزینس هم دیتا کمه، هم اینکه نمیشه پارامترهای دیگه رو ثابت کرد، این میشه که تهش اکثر وقت‌ها آزمایش کردن هم اینطوری میشه که یه داده‌ی خروجی پر از نویزی میده و حالا مدیرها میان نتیجه رو نگاه میکنن و میگن خب فلان کار رو بکنیم. مثل همون ۱۰ نفری که دارو گرفتن میشه دیگه. برای اینکه بتونیم آزمایش کردن رو شروع کنیم باید یه سری سوال از خودمون بپرسیم. سوال اول اینکه آیا این آزمایش هدف دقیق و مشخصی داره؟ آیا کسایی که درگیر تصمیم گرفتنن همه قبول کردن که بر اساس نتایج این آزمایشی که میکنیم تصمیم بگیریم؟ آیا اصلا این آزمایشی که میخوایم بکنیم قابل انجامه؟ آیا هرچیزی که میتونستیم از این نتایج آزمایش استخراج کردیم؟
این سوالا چیزای مهمین که دونه دونه میریم سراغشون و درموردشون حرف میزنیم توی این اپیزود که هم بفهمیم منظورمون چیه، هم اینکه مثال و نمونه داشته باشیم توی ذهنمون برای فکر کردن در مورد آزمایش‌هایی که خودمون میخوایم انجام بدیم.
خب بریم سراغ سوال اول. آیا این آزمایشی که میخوایم بکنیم هدف مشخصی داره؟
شرکت‌ها فقط وقتی باید برن دنبال آزمایش کردن که تنها راه رسیدن به جواب درست آزمایش کردن باشه. تا اینجا گفتیم دیگه، آزمایش کردن هم سخته، هم گرون. پس نباید همینطوری هرچیزی که اومد وسط بگیم بریم آزمایش کنیم. باید وقتایی بریم سراغ آزمایش که واقعا نیازش داریم. یه فروشگاه زنجیره‌ای رو مثال میزنن نویسنده‌ها به اسم Kohl. اینا میخواستن هزینه‌ی مربوط به عملیات شرکت رو (همون مثلا میشه گفت هزینه‌های جاری شرکت رو) کم کنن. نویسنده‌ها بهشون پیشنهاد میکنن که بیاید و ساعت کاری فروشگاه‌ها رو یه ساعت کم کنید، صبح‌ها یه ساعت دیرتر باز کنید. مدیرای این شرکت نظراتشون باهم فرق میکرده. یه سری میگفتن نه، این باعث میشه درآمدمون خیلی بیشتر از هزینه‌ای که پس انداز میکنیم کم بشه. یه سری هم موافق بودن که این کار منطقیه و خوبه که ساعت کاری رو کم کنن.
تنها راهی که میشده این مسئله رو جوابش رو مشخص کرد این بوده که بیان و آزمایش طراحی کنن. اومدن ساعت کاری ۱۰۰ تا از شعبه‌هاشون رو یه ساعت کم کردن و دیدن چندان تاثیری توی فروش این شعبه‌ها دیده نشد. این مثال چیز ساده‌ایه دیگه. سر تا تهش مشخصه. میخوان ببینن اگه یه ساعت شعبه‌ای رو دیرتر باز کنیم توی فروشش تاثیر میذاره یا نه؟ و آیا هزینه‌ی عملیاتی رو کم میکنه یا نه؟ هردوتای این قضیه‌ها رو میشه به درستی دید و اندازه‌گیری کرد. اگه فرضیه‌هامون رو درست مشخص نکنیم کارمون به گیر میخوره. مثلا شما فرض کنید بگیم که میتونیم با فلان‌کار باعث این بشیم که برندمون بهتر شناخته بشه. خب این خیلی کلیه دیگه، چطوری میخوای اندازه‌ش بگیری؟ چطوری میخوای نتایج چیزهای مختلف رو از هم جدا کنی؟ با این فرض نشدنیه آزمایش طراحی کردن.
تازه از اونور آیا اصلا مطمئنیم که برای یه همچین موضوعی نیاز داریم که آزمایش طراحی کنیم؟ بدون داشتن فرضیات دقیق نمیتونیم مطمئن بشیم که آزمایش تنها راه حلمونه یا نه.
مسئله‌ی دیگه‌ای که باید حواسمون بهش باشه اینه که وقتی داریم یه چیزی رو تست میکنیم ممکنه روی چیزای دیگه هم تاثیر بذاریم. مثلا یه فروشگاه دیگه که خواروبار فروشی بوده ولی مواد فاسد شدنی نداشته، میخواسته ببینه میصرفه یخچال بخرن و محصولات یخچالی رو هم بفروشن یا نه؟ دوباره میان یه سری از مغازه‌هاشون رو توش یخچال میذارن، چیزی که میبینن اینه که سود اصلی به جای اینکه از فروش مواد یخچالی بیاد از زیادتر شدن مشتری‌ها و بزرگترشدن سبد خریدشون میاد. یه سری میومدن هم چیز یخچالی میخریدن و هم چارتا چیز دیگه و این مجموع افزایش فروش میصرفیده به گذاشتن یخچال. خود اجناس یخچالی سود کافی درست نمیکردن. خلاصه که باید حواسمون به پارامترهای دیگه هم باشه که شاید اول کار پیشبینیشون نکرده بودیم. دقیقا برعکس این قضیه هم میتونه اتفاق بیفته.
یه فروشگاه زنجیره‌ای اومده بوده یه ساندویچ صبونه‌ی جدید تست کرده بوده که شبیه لقمه‌های خودمون بوده، با نون عربی درست میشده. دیده بودن که فروش خوبی هم داره. نزدیک اضافه کردنش به همه‌ی منوها که میرسه میفهمن که حواسشون به این نبوده که تاثیرش روی فروش بقیه‌ی محصولات مغازه چی بوده. میرن داده‌ها رو بررسی میکنن میبینن عه، ملت جای صبونه‌های قبلی داشتن اینو میخریدن و اضافه کردنش فقط هزینه‌ی اضافه بوده و هیچ سودی به شرکت اضافه نمیکرده. خلاصه که این توجه کردن به چیزایی که توی کنترل ما نیست، چیز مهمیه که باید حواسمون بهش باشه. این شد پس مورد اول، آیا هدف مشخصی برای آزمایشمون داریم؟
مورد دوم این بود که آیا stake holderها (یا به اصطلاح فارسی‌تر ذی نفع‌ها) متعهد هستن که نتیجه‌ی این آزمایش هرچی که شد بپذیرنش و بهش پایبند باشن؟
قبل از اینکه اصلا آزمایش کردن رو شروع کنیم، همه‌ی stake holderها باید یه جورایی قول بدن که نتایج آزمایش هرچی که شد بهش پایبند میمونن. نه اینکه وسط آزمایش بیان و از توی داده‌های آزمایش یه سری داده که حرفشون رو تایید میکنه جدا کنن، بگن ببینین همون که میگفتیم شد. مهمتر از همه چیز هم این تعهده که همه بگن اگه نتایج آزمایش خلاف انتظارمون بود پروژه رو کنسل میکنیم. اینکه کلی پول خرج کنیم و زحمت بکشیم تا بفهمیم اشتباه کردیم، برای خیلی از آدما راحت نیست. دیگه دوباره نگم توی اپیزودهای مانگر زیاد ازش حرف زدیم، خلاصه اینکه اگه فهمیدیم اشتباه فکر میکردیم باید حاضر باشیم پروژه رو کنار بذاریم، نه اینکه به زور ادامه‌ش بدیم. دوباره از همون فروشگاه زنجیره‌ای kohl مثال میزنن. میگن که اینا فکر میکردن اگه مبل و میز اینا اضافه کنن به فروشگاهشون فروششون زیاد میشه.
میان توی ۷۰ تا فروشگاه این کار رو میکنن و ۶ ماه هم تست میکنن این محصولات رو. میبینن نه تنها فروششون کم شده، بلکه تعداد مشتری‌هاشون هم اومده پایین. دلیلش این بوده که برای اینکه بتونن برای مبل و میز جا خالی کنن باید فضایی که به چیزای دیگه اختصاص میدادن رو کم میکردن و نتیجه‌ش میشه اینکه مشتری‌ها ناراضی شده بودن. با وجود اینکه اونایی که طرح رو پیشنهاد داده بودن ناراضی بودن، تصمیم میگیرن که این طرح رو جمع کنن. مهمه که کسایی که تصمیمگیری اصلی رو توی شرکت انجام میدن کاملا تعهد داشته باشن که نتیجه‌ی آزمایش رو قبول کنن. مثلا توی همین مثال، ممکنه یکی بیاد بگه که خب داشتن محصولات متنوع باعث میشه وفاداری مشتریهای ما بیشتر بشه و با وجود اینکه توی کوتاه مدت تاثیر منفی داره روی درآمد به صورت کلی اثرش مثبت باشه.
ولی ته داستان، اگه میخوایم مستقل از نتیجه‌ی آزمایش یه تصمیمی رو بگیریم چه کاریه که آزمایشش کنیم، میتونیم همون مستقیم بریم سراغ اینکه تصمیم رو بگیریم و بره دیگه، چرا هزینه و دردسر آزمایش کردن رو به خودمون تحمیل کنیم.
وقتی این فرهنگ آزمایش کردن رو درست میکنیم ممکنه توی یه تله‌ی برعکسی بیفتیم. هی هرکی هر ایده‌ای میاره بگیم خب بذار آزمایش کنیم ببینیم چی میشه. بعد خب هزینه داره این کار، دردسر داره. نمیشه که هرچیزی رو آزمایش کرد. از یه فروشگاه زنجیره‌ای دیگه مثال میزنن که اومده یه فرآیند مشخصی برای آزمایش کردن درست کرده. هرکی هر ایده‌ای رو میاره، باید اول ببره پیش یه تیمی توی بخش مالی شرکت که بیان و ببینن از نظر مالی آیا این آزمایش منطقیه؟ بعد که به نظر اومد منطقیه، میان و یه طرح هزینه کرد و منافع احتمالی درست میکنن برای این آزمایش، و علاوه بر اون کل آزمایش رو طراحی میکنن و میگن نتایجش چجوری تفسیر میشه. بعد این رو میبرن توی یه جلسه‌ای که مدیر ارشد مالی شرکت هم توش شرکت میکنه. اگه تازه توی این جلسه تایید شد طرح بعد آزمایشش میکنن.
یه شرکت دیگه اومده علاوه بر این یه مرحله اول کار اضافه کرده گفته هرکی میخواد ایده بده، اول بیاد توجیه کنه که چرا این ایده در راستای استراتژی شرکت عمل میکنه. بعد بیاد ایده‌ش رو ارائه کنه به اون تیمه که بررسی مالی میکرد و آزمایش‌ها رو طراحی میکرد. این کار چندتا مزیت داره، اولا چیزهایی که قبلا آزمایش شدن، دوباره آزمایش نمیشن. البته نویسنده‌ها نمیگن، من میگم به نقل از جف بزوس که اگه یه چیزی آزمایش شده، ممکنه بد نباشه که دوباره در زمان جدید و به روش جدید آزمایش بشه. ولی خب حالا اون شرکته این قضیه رو نداره دیگه. این تیمه حالا علاوه بر اینکه چیزی قبلا آزمایش شده یا نه، در نظر میگیره که آیا اصلا ایده به اندازه‌ی کافی نو و تاثیرگذار هست؟ مثلا اگه میخوان یه محصولی رو ۳ درصد گرون کنن، خب این سودش اصلا نمی‌ارزه به آزمایش کردنش.
میخوان دنبال چیزهایی بگردن که تاثیر اساسی روی کسب و کار میذاره.
اینم پس شد این مسئله که آیا مدیرای ارشد تعهد کافی دارن به اینکه نتایج آزمایش رو در نظر بگیرن، تمام این مراحل باعث میشه که اعتماد مدیرها به داده‌های خروجی آزمایش بیشتر بشه و بتونن تصمیمشون رو با دقت بالاتری بگیرن.
حالا دیگه خیلی حرف زدم، یه چند لحظه‌ای استراحت کنیم، موسیقی گوش کنیم، بعد بریم سراغ مسئله‌ی بعدی، اینکه آیا اصلا آزمایش قابل انجام هست یا نه؟
هدف از آزمایش کردن چیه؟ اینکه یه سری پیشبینی که داریم رو ببینیم درستن یا نه. توی دنیای کسب و کار ولی آزمایش کردن کلا کار سختیه، چون هزار و یک چیز هستن که روی نتیجه‌ی یه چیز تاثیر میذارن. متغیرهای مختلف روی هم تاثیر میذارن و نتیجه‌ی آزمایش رو بهم میریزن. در نتیجه‌ی این قضیه این رابطه‌ی علت و معلولی که ما میخوایم دنبالش بگردیم به این راحتی پیدا شدنی نیست. شما مثلا فرض کنید که ۱۰ هزارتا شعبه داره فروشگاه زنجیره‌ایتون. اسم ۸هزارتاشون هست qwikmart، اسم ۲ هزارتاشون هم هست fastmart. حالا این فروشگاه‌های fastmart دارن به صورت میانگین سالی ۱۰۰هزاردلار بیشتر از فروشگاه‌های qwikmart جنس میفروشن. یکی توی هیئت مدیره میاد میگه آقا ما اگه اسم اون qwikmartها رو بکنیم fastmart سالی ۸۰۰ میلیون دلار درآمدمون زیاد میشه یا نه؟ سوال منطقی‌ایه دیگه.
البته که کلی چیز روی فروش یه فروشگاه تاثیر میذاره، اینکه چقدر فضا داره فروشگاه، چندنفر آدم نزدیکش زندگی میکنن، چقدر رقابت اونجا زیاده، چندساعت در هفته فروشگاه بازه، مدیرش چقدر تجربه داره، کلی چیز دیگه هم میشه پیدا کرد، ولی اون عضو هیئت مدیره فقط دنبال یه سواله، اینکه این اسم چقدر تاثیر میذاره. راه حل بدیهی که الان به ذهن میرسه اینه که بیایم یه تعدادی از این qwikmartها رو اسمشون رو عوض کنیم (مثلا ۱۰تا رو) بعد ببینیم فروششون چه تغییری میکنه. تا اینجای کار همه چی خوب به نظر میرسه، اونجایی کار بالا میگیره بخوایم پارامترهای دیگه رو حذف کنیم از نتیجه‌ی آزمایش. مثلا اگه یه مدتی توی منطقه‌ای که یکی از فروشگاه‌ها هست، هوا بد بشه چی؟ اگه یه رقیب جدید نزدیک یکی از فروشگاه‌ها باز بشه چی؟ اگه یکی از رقبا یه تخفیف شدید بذاره توی یه سری از شهرها چی؟
یا اگه مثلا یه مجتمع آپارتمانی جدید نزدیک یکی از فروشگاه‌ها باز بشه چی؟ همه‌ی اینا میتونن تاثیر بذارن، باز دوباره کلی چیز دیگه هم هست که همین خاصیت رو دارن احتمالا. برای اینکه این خاصیت‌ها حذف بشن توی روش‌های آماری میان و سایز نمونه برداری رو انقدر زیاد میکنن که پارامترهای رندوم باهم خط بخورن. توی این مورد ولی خب ریبرند کردن کلی فروشگاه هزینه‌ی زیادی داره، و اصلا ممکنه به شرکت آسیب جبران نشدنی بزنه. توی این مواقع چیزی که میشه ازش استفاده کرد روش‌های پیچیده‌ی آماری با استفاده از big dataست تا بشه یه مقدار داده‌ها رو بهتر استفاده کرد.
چیزی که اینجا مهمه این نیست که روشی که باهاش میتونیم قضیه رو حل کنیم اسمش چیه یا چه متخصصی میخواد، چیزی که مهمه اینه که اکثر مدیرها خیلی از آمار سر درنمیارن، و این میشه که اینجا جایی میشه که تصمیمات اشتباه زیادی ازش درمیاد. یادتونه مانگر میگفت که فهم دنیا نیاز به دانش پایه‌ی آماری داره و اکثر آدما چون این اطلاعات رو ندارن مثل یک انسانی هستن که یه پا داره و میخواد توی مسابقات لگد زدن به دیگران شرکت کنه. خلاصه مشکل اول اینه که اصلا این قضایای آماری رو در نظر نگیریم و تصمیم اشتباه بگیریم. این ولی همش نیست، یه کمی که بیشتر آمار بلد باشیم میایم و تعداد نمونه‌ها رو زیاد میکنیم، ولی کاری که نمیکنیم اینه که بیایم حدس بزنیم که چه پارامترهایی ممکنه روی نتیجه‌ی آزمایش تاثیر بذاره و سعی کنیم به شکلی انتخاب کنیم نمونه‌ها رو که تاثیر این پارامترها حداقل بشه.
یعنی اگه نمونه‌هایی که انتخاب میکنیم توی این پارامترها رفتارشون به هم ربط داشته باشه، باعث میشه که با وجود زحمت زیاد و هزینه‌ی زیاد بازم نتایج آزمایش قابل اتکا نباشه. اگه بخوایم یه قانون کلی یاد بگیریم برای اینکه چندتا نمونه لازم داریم، قانون اینه که هرچی نتایجی که انتظار داریم اتفاق بیفته بزرگتر باشه، نمونه‌ی کمتری لازم داریم برای اینکه بتونیم از نویز و اتفاقات رندوم جداش کنیم.
مسئله‌ی بعدیی که نویسنده‌ها مطرح میکنن اینه که چطوری مطمئن باشیم که نتایج آزمایشمون قابل اعتماده. اینجا اینا میان یه سری چیزهای کلی آماری میگن که منم به عنوان اطلاعات عمومی مرورش میکنم. ولی بهتون توصیه میکنم که برید و مبانی آمار رو به صورت شهودی یادبگیرید اگه بلد نیستید، از اون چیزهاییه که نگاه آدم رو به دنیا عوض میکنه. من واقعیت خودم منبع خوبی برای این قضیه سراغ ندارم، از چند نفر از دوستام هم کمک خواستم و منابعی که اونا معرفی کردن هم خیلی مفصل و عمیق بود. اگه شما که دارید اینو میشنوید، منبع خوبی در مورد این قضیه سراغ دارید لطفا توی کامیونیتی کارکست مطرحش کنید.
حالا بگذریم، بریم سر حرفهای نویسنده‌ها. نویسنده ها با Randomized field trial شروع میکنن حرفشون رو. من اینجا بگم که چون فارسی این اصطلاحات آماری رو بلد نیستم، ترجمه‌شون نمیکنم، مفهومشون رو سعی میکنم برسونم. این متد از مطالعات پزشکی درومده. اینطوریه که میگه بیا یه تعداد زیادی آدم رو که یه سری مشخصه‌ی مشابه هم دارن انتخاب کن، بعد دو دستشون کن، یه سری رو گروه تست در نظر بگیر، یه سری رو گروه کنترل، بعد بیا ببین نتیجه‌ی خروجی این دوتا بعد از یه مدتی تست کردن یه چیزی چه تفاوتی میکنه، آیا معنی داره یا نه؟ خیلی چیزها رو میشه اینطوری تست کرد. مثلا اگه داریم نامه میفرستیم برای مشتری، یه سری توی پاکت ساده‌ی سفید باشه، یه سری توی یه پاکت متفاوتی، بعد ببینیم تهش نتیجه چی میشه.
این رندوم بودن انتخاب شدن آدم‌ها یه کار مهم میکنه برای ما، میاد تاثیر پارامترهای دیگه رو حذف میکنه و باعث میشه اگه ما بایاسی چه خواسته چه ناخواسته به سمتی داریم، این بایاس از بین بره. برای اینکه این متدها درست کار کنن ولی باید از آمار استفاده کنیم و ببینیم از نظر آماری این نتایجی که به دست آوردیم درستن یا نه، همینکه یه چیزی بیشتر از یه چیز دیگه شد کافی نیست برای اینکه بگه فرضیه‌مون درسته. خیلی مهمه این قضیه که گفتیم پارامترها رو شبیه هم انتخاب کنیم برای دوتا گروه. خیلی پیش میاد که مدیرها این قضیه رو رعایت نمیکنن و کار خراب میشه. مثلا میگن یه جایی دیدیم اومدن همینطوری آزمایش رو اجرا کنن، گفتن این یه سری فروشگاه در مقابل همه‌ی فروشگاه‌های دیگه.
خب این فروشگاه‌ها هرکدوم یه وضعی داشتن از قبل، این شرایط مخصوصی برای خودشون دارن، نمیشه که همه رو باهم مقایسه کنیم. یا میگه بدتر از اون یه سری اومدن گفتن بدترین فروشگاه‌هامون از نظر فروش رو میذاریم به عنوان گروه کنترل، بعد بهترین‌ها رو باهاشون تست میکنیم. خب این بهترین و بدترین قشنگ نتیجه رو نابود میکنه دیگه. نتیجه این میشه که شما هر تستی بگیری اینطوری میگی جواب میده حتما، بعد انجامش که میدی میبینی ای دل غافل، اصلا اونطوری که فکر میکردیم نشد که.
کار بعدیی که شاید خوب باشه که بکنیم blind testه. ایده اینه که اگه آدمایی که داریم روشون آزمایش انجام میدیم، بدونن دارن آزمایش میشن، رفتارشون عوض میشه. تازه معمولا توی پزشکی یه پله جلوتر هم میبرنش و کسی که داره آزمایش انجام میده هم نمیدونه که کدوم گروه، گروه تستن، کدوم گروه کنترلن. توی بیزینس این نمیشه ولی. حالا همون اینکه خود کسی که مورد آزمایش قرار گرفته ندونه که گروه تسته یا کنترل برای ما کافیه. مثلا کاری که میکنن اینه که اون فروشگاهی که گروه تسته اصلا در جریان قرار نمیگیره که وارد یه تستی شده. مثلا فرض کنید میخوایم قیمت یه محصولی رو عوض کنیم.
خب قیمت محصول‌ها همینجوری هی عوض میشه، پس اگه یه محصولی رو گرون کنیم، پرسنل فروشگاه نمیفهمن که داریم قیمت جدید رو تست میکنیم و کار خوب پیش میره، ولی اگه بدونن ممکنه براش تبلیغی کنن، یا برعکس به مشتری بگن این چندروز اخیر گرون شده، اگه نخرید ارزون میشه. یا هرچیزی، خلاصه تاثیر میذاره روی نتیجه آزمایش و میخوایم جلوش رو بگیریم. این مسئله محدودیت‌های خودش رو هم داره دیگه. اگه میخوایم یه روش جدید کار کردن رو تست کنیم، باید به آدما روش جدید رو یاد بدیم و بگیم میخوایم آزمایشش کنیم. یعنی هرجایی نمیشه ازش استفاده کرد، ولی اگه بشه استفاده کرد، خوبه که استفاده کنیم. ابزار بعدی استفاده از big dataه. این مثاله که سال ۲۰۱۴ نوشته شده، ۱۰ سال پیش ( باورتون میشه از ۲۰۱۴ بیش از ۱۰ سال گذشته، انگار دیروز بود) حالا، اون موقع big data یه چیز جدیدی بوده.
اینکه بیایم از اطلاعات و عملکرد کاربرها استفاده کنیم که بتونیم نتایج یه چیزی رو بررسی کنیم، امروز دیگه هرجا بریم بیگ دیتا رو میشنویم. اینه که من توش نمیرم. شما میدونید بیگ دیتا چیه، منم میدونم. از این میپریم.
در نهایت بریم سراغ قدم آخر، اینکه آیا فایده‌ای که این آزمایش داشت رو ازش کشیدیم بیرون یا نه؟ ما تا اینجا بارها و بارها گفتیم که نمیشه آزمایش‌ها رو ایده‌آل کرد و هزار و یک مشکل وجود داره. حالا نویسنده ها میخوان بگن چی؟ میخوان بگن ببینید، به جای اینکه به خروجی آزمایش صفر و یکی نگاه کنید، بعد که آزمایش تموم شد، بیاید پارامترهاش رو باز کنید ببینید چی چطوری شده. حالا ممکنه الان بگید، مگه همون اول نگفتی باید تعهد بدیم که نتیجه رو قبول کنیم، چی شد پس؟ دبه کردی که. ولی نه حرفم این نیست که نتیجه رو قبول نکنیم. آزمایش به یه نتیجه‌ای رسیده، حالا دارم در مورد قدم‌های بعدیش حرف میزنم. یه اشتباهی که میتونیم بکنیم اینه که بیایم بگیم پس فلان چیز در همه‌ی شرایط جواب میده. نه این درست نیست. آزمایش ما ایده‌آل نبوده که، ممکنه چیزهایی توش بوده باشه که الان نمیدونیم.
نتیجه میشه چی؟ اینکه بهتره به جای اینکه نتیجه‌ی آزمایش رو به عنوان یه اصل قطعی و کلی بپذیریم، به عنوان یه نمونه بهش نگاه کنیم و سعی کنیم وقتی میخوایم از نتایجش استفاده کنیم، بیایم و جاهایی که شبیه‌ترین هستن رو انتخاب کنیم که اگه جواب نداد توی جای جدید، اطلاعات جدید به دست بیاریم و دوباره بتونیم کارمون رو اصلاح کنیم.
دوباره اینم همه‌ی داستان نیست. حالا اصلا بیاید یه مثال رو باهم بررسی کنیم. شما فک کنید که یه فروشگاه زنجیره‌ای دارید، اومدید یه تخفیف ۲۰-۳۰٪ای روی یه سری از محصولات گذاشتید و این فروش کلی اون شعبه‌ها رو ۵٪ زیاد کرده. فرض کنیم این عدد و رقم یه جوریه که خب به نظر میاد میصرفه. حالا برای این تستتون، شما ۳ تا کار کردید. یکی اینکه تخفیف دادید، یکی اینکه تبلیغات کردید که مردم بدونن اصلا این تخفیف وجود داره، پرسنل اون فروشگاه رو هم یه دوره‌ی آموزشی کوتاهی براشون گذاشتید که در جریان این تخفیف و اینها باشن. حالا کدوم یکی از این بخشا اثرگذار تره؟ اینجا، جاییه که میتونیم بیایم و توی مراحل بعدی هم آزمایش کردن رو ادامه بدیم.
یعنی حالا توی فاز بعدی پروژه بیایم اول اون آموزش کارکنان رو انجام ندیم، ببینیم چی میشه، چقدر تاثیر میکنه، یا مثلا یه جای دیگه بیام تبلیغات اضافه نکنیم ببینیم چی میشه. اینطوری میتونیم هزینه‌کرد رو برای نتیجه‌ی بهتر بهینه سازی کنیم. میبینیم دیگه این بر خلاف حرفی که اول کار زدیم نیست، مراحل بعدیشه انگار. در نهایت یه وقتایی ممکنه آزمایش ما جواب نده، و وقتی جواب نداد و اینهمه هزینه کردیم باید بریم ببینیم چی شد که جواب نداد، برخلاف انتظارمون عمل کرد. اینکه دوباره صفر و یکی به قضیه نگاه کنیم، باعث میشه تمام چیزی که میتونیم از آزمایششمون بدست بیاریم رو بدست نیاریم. ایندفه از یه رستوران زنجیره‌ای مثال میزنن. میگن اینا لوگوشون از این نورهای هالوژنی بوده، از این قدیمیا. بعد شرکت میگه بیایم اینا رو LED کنیم که برق کمتری مصرف بشه.
انتظار هم نداشتن اتفاق خاصی بیفته. بعد میان نورها رو LED میکنن، میبینن که عه، اونجاهایی که تست کردن فروش کم شده. میرن دنبال اینکه ببینن داستان چیه؟ میبینن که مشتری‌ها میگن اینا نورش کمتره، بعد ما خیلی وقتا شده از جلوی رستوران رد شدیم، گفتیم لوگو کم نوره لابد تعطیلن دیگه. باز مدیرای شرکت تعجب میکنن، حساب کتابشون این بوده که از نور استانداردی که برای مغازه هاست، این LEDها پر نور ترن. بعد میرن بیشتر تحقیق میکنن، میبینن که صاحب‌های شعبه‌های رستوران، برای اینکه لوگوی رستورانشون چشم‌گیرتر باشه و مشتری بیشتر بیاد، نور این لوگوها رو دستکاری میکردن خودشون که زیاد بشه، نور که LED شده دیگه امکان دستکاری نداره، این شده که کم نور شده لوگوها. حالا اگه اون اول باخودشون میگفتن این LEDها لابد یه اشکالی داره دیگه، ولش کن، بیخیال بشیم.
طرحشون شکست میخورده، ولی وقتی بیشتر رفتن در موردشکنجکاوی کردن، راه‌حل رو پیدا کردن، کلی هم صرفه جویی کردن. حواسمون باید باشه که ما با آزمایش کردن همیشه، چه توی علم، چه جاهای دیگه دنبال causality میگردیم، رابطه‌ی علت و معلولی، چه چیزی باعث چه چیزی میشه. اینکه بعد آزمایش دنبال این نباشیم که از این رابطه سر در بیاریم، باعث میشه بخش بزرگی از آورده‌های آزمایش رو از دست بدیم. اون مثال فروشگاه Kohl رو یادتونه که ساعت کاری رو کم کرد. اولش که طرح رو شروع کردن، دیدن فروش کم شده. اگه دنبال دلیل نمیرفتن، همونجا میگفتن آقا این مشکل از این طرح ماست، تعطیلش کنیم بره. ولی رفتن دیتا درست نگاه کردن، دیدن تعداد فروش کم نشده، ارزش میانگین فاکتورها کم شده، انگار آدما چیزای کمتری دارن میخرن هربار که میان.
اینو هیچوقت نتونستن توضیح بدن که توی اون بازه‌ی زمانی چرا این اتفاق افتاده بود، ولی یه کم که صبر کردن، این قضیه برطرف شد. یعنی باز اینکه سریع بپریم نتیجه بگیریم هم کار درستی نیست، خوبه که یه مقدار کند و کاو کنیم همیشه.
حرفای مقاله دیگه همینجا تموم میشه. مثل همیشه قبل از اینکه اپیزود رو ببندیم یه جمع بندیی بکنیم که حرفایی که شنیدیم توی ذهنمون مرتب و منظم بمونه. نویسنده حرفش رو با این شروع کرد که خیلی وقتا مدیرها توی تصمیمگیری به جای اینکه از اطلاعات و آزمایش استفاده کنن میان و از شمه‌شون استفاده میکنن. حرفشون این بود که این کار جواب درست نمیده و باعث تصمیم‌های خیلی غلط میشه، حتی اگه سالهای سال مدیر ارشد توی شرکت‌های بزرگ باشیم. حرفشون این بود که با استفاده از آزمایش کردن و گشتن دنبال علت و معلول میتونیم تصمیم‌های خیلی بهتری بگیریم و اینکه آزمایش کردن سخته نباید باعث این بشه که تصمیم‌های مهم رو همینطوری از روی شم خودمون بگیریم. بعد که متقاعدمون کردن که باید آزمایش کنیم، رفتن سراغ اینکه چطوری درست آزمایش کنیم. یه سری سوال مطرح کردن.
اول اینکه آیا هدف درست و مشخصی داره این آزمایش‌ها؟ گفتن اگه سوال و نتیجه رو درست دقیق تعریف نکنیم، آزمایش به نتیجه نمیرسه و نمیتونیم اصلا آزمایش رو درست کنیم. مسئله‌ی بعدی این بود که تصمیم‌گیرنده ها باید متعهد باشن که نتیجه‌ی آزمایش هرچی که بود قبولش کنن. رد کردن یه تصمیم خیلی سخته، مخصوصا وقتی بابتش کلی هزینه کردیم و تلاش کردیم که آزمایش رو انجام بدیم، باید متعهد بشیم که دیتا رو به صورت ناقص و نصفه استفاده نمیکنیم که حرف خودمون رو باهاش به کرسی بشونیم. بعد رفتن سراغ اینکه ببینیم اصلا آزمایش قابل انجام هست یا نه؟ در ادامه بهمون یاد دادن که چطوری مطمئن بشیم که جواب آزمایشمون به اندازه‌ی کافی خوب هست و در نهایت هم اینکه به یه جواب آره یا نه اکتفا نکنیم و بریم دنبال اینکه دلیل پشت این نتایج آزمایشمون چی بوده.
