چطور ممکن است یک استراتژی معاملاتی در بکتست موفق باشد، اما در بازار واقعی نتیجهی متفاوتی بدهد؟

فرض کنیم چند ماه وقت گذاشته ای و یک استراتژی معاملاتی را روی نمودارهای گذشته بررسی کردهای. معاملات را یکییکی جلو بردهای، ورودها را مشخص کردهای، حد ضرر و حد سود را در نظر گرفتهای و در نهایت به یک نتیجه ی امیدوارکننده رسیدی. درصد برد بد نیست، نسبت سود به ضرر منطقیه و آمار کلی نشان میدهد که سیستم میتواند سودده باشد.
طبیعیه که بعد از این همه بررسی، به استراتژیات اعتماد کنی. بالاخره نتیجهی آزمایش را جلوی چشمت داری. اما یک سؤال مهم باقی میماند: این آزمایش دقیقاً چه چیزی را ثابت کرده است؟
اینکه استراتژی در گذشته عملکرد خوبی داشته؟ یا اینکه در آینده هم قرار است همانطور کار کند؟
این دو گزاره شبیه هماند، اما فاصلهی زیادی بینشان وجود دارد.
یکی از جذابیتهای بررسی نمودارهای گذشته این است که همهچیز مرتب و قابل بررسی به نظر میرسد. میتوانیم معاملات را دوباره ببینیم، نقاط ورود را مشخص کنیم و بفهمیم اگر طبق قواعدمان عمل میکردیم، چه نتیجهای میگرفتیم.
این کار ارزشمند است؛ بدون بررسی گذشته، بخش مهمی از یادگیری معاملهگری را از دست میدهیم.
مشکل از جایی شروع میشود که نتیجهی این بررسی را با یک پیشبینی قطعی دربارهی آینده اشتباه میگیریم. بازار در گذشته مجموعهای از شرایط مشخص را تجربه کرده است. استراتژی ما هم در همان شرایط آزمایش شده. اما بازار آینده ممکن است ترکیب متفاوتی از روندها، نوسانات، نقدشوندگی و رفتار قیمت را تجربه کند. قرار نیست هر الگویی که در گذشته جواب داده، در آینده هم دقیقاً همان عملکرد را داشته باشد.
بکتست به ما شواهد میدهد؛ نه ضمانتنامه.
حالا تصور کن استراتژیت در یک بخش از دادههای گذشته عملکرد خوبی ندارد. تصمیم میگیری یک شرط جدید به آن اضافه کنی. نتیجه بهتر میشود. بعد متوجه میشوی اگر ساعت معامله را هم تغییر بدهی، عملکرد باز بهتر میشود. چند فیلتر دیگر اضافه میکنی و در نهایت به مجموعهای از قواعد میرسی که نمودار گذشته را خیلی خوب توضیح میدهد.
حالا یک سیستم داری که روی دادههای آزمایششده عالی به نظر میرسد.
اما آیا واقعاً سیستم بهتری ساختهای؟
شاید. ولی احتمال دیگری هم وجود دارد: ممکن است قواعدت را آنقدر با گذشته هماهنگ کرده باشی که بهجای کشف یک الگوی پایدار، ویژگیهای اتفاقی همان دادهها را یاد گرفته باشی.
در ادبیات معاملهگری و تحلیل داده، این مسئله را «بیشبرازش» یا Overfitting مینامند.
مشکل این نیست که سیستم را اصلاح کردهایم؛ اصلاح و آزمایش بخشی از فرایند ساخت استراتژی است. مشکل این است که هر بار نتیجهی گذشته را بهتر میکنیم، تصور کنیم الزاماً قدرت پیشبینی آینده را هم افزایش دادهایم. گاهی فقط داریم گذشته را بهتر توضیح میدهیم.
شاید بگوییم راهحل ساده است: تعداد معاملات آزمایشی را بیشتر میکنیم تا مطمئن شویم. بزرگتر کردن نمونه معمولاً کمک میکند نتیجه کمتر تحت تأثیر چند معاملهی تصادفی قرار بگیرد. اما تعداد بالا بهتنهایی همهچیز را حل نمیکند.
اگر دادهها ناقص باشند، قواعد استراتژی در طول آزمایش مدام تغییر کرده باشند یا همهی معاملات از شرایط مشابهی آمده باشند، حتی یک نمونهی بزرگ هم ممکن است تصویر ناقصی از عملکرد سیستم بدهد.
از طرف دیگر، اگر یک استراتژی را بارها و بارها با تنظیمات مختلف آزمایش کنیم و در نهایت فقط بهترین نتیجه را انتخاب کنیم، همان نتیجهی درخشان ممکن است تا حدی محصول تعداد زیاد آزمایشها باشد.
پس فقط تعداد معاملات مهم نیست؛ اینکه چطور به آن نتیجه رسیدهایم هم اهمیت دارد.
شاید بهتر باشد بهجای اینکه دنبال اثبات قطعی سودده بودن استراتژی باشیم، سؤال دقیقتری بپرسیم: چه شواهدی داریم که نشان میدهد این استراتژی ارزش آزمایش بیشتر و پذیرش ریسک را دارد؟
یک استراتژی زمانی قابلاعتمادتر میشود که قواعدش روشن باشند، نتایجش بر اساس دادههای کافی بررسی شده باشند، هزینههای معامله در محاسبات دیده شوند و عملکرد آن فقط به همان دادههایی وابسته نباشد که برای ساختنش استفاده کردهایم.
بررسی دادههای جداگانه و مشاهدهی عملکرد در شرایط واقعی نیز میتواند اطلاعات تازهای به ما بدهد؛ هرچند حتی این مراحل هم عدمقطعیت را از بین نمیبرند.
در نهایت، هیچ آزمایشی نمیتواند آیندهی بازار را برایمان تضمین کند. هدف این نیست که به قطعیت برسیم؛ هدف این است که تصمیممان را بر شواهد بهتر و فرضهای روشنتری بنا کنیم.
شاید یکی از تفاوتهای مهم بین معاملهگری که صرفاً به استراتژیاش امیدوار است و معاملهگری که آن را جدی بررسی کرده، همین باشد: دومی میداند شواهدش چه چیزی را نشان میدهند و مهمتر از آن، چه چیزی را هنوز ثابت نکردهاند.
گاهی مسئله این نیست که استراتژی ما در گذشته جواب داده یا نه؛ مسئله این است که از جواب دادن آن در گذشته، دقیقاً چه نتیجهای دربارهی آینده گرفتهایم.
مازیار سهیلی