https://virgool.ir/feed/@ali.tavassolian.7fa2026-11-11 18:18:56https://files.virgool.ir/upload/users/1712446/avatar/avatar.pnghttps://virgool.ir/@ali.tavassolian.7https://virgool.ir/@ali.tavassolian.7/ایجاد-شبکه-پیچیده-ارتباطات-الگوها-و-وضعیت-های-نمودار-ها-در-بازارهای-مالی-o4hxvov5s1ssگزارش پروژه درس شبکه های پیچیده و پویادانشجو: علی توسلیان استاد : جناب آقای دکتر صادق علی اکبریموضوع: شبکه پیچیده ارتباطات الگوها و وضعیت های نمودار ها (به اختصار شپاون)نکته: در ابتدای ترم هدف از این پژوهش بررسی مقالات و ارائه review بود که در انتهای فاز اولیه و بعد از بررسی تعدادی از مقالات ایده ایی با استاد مطرح گردید و با تایید ایشان این ایده پیاده سازی و نوع پروژه به پیاده سازی تغییر کرد.چکیدهشبکه هاي پیچیده، ابزار جدیدی براي درك و تحلیل مجموعه داده های عظیم هستند. یکی از حوزه­ هایی که دارای داده­ های گسترده و معتبر است، بازار سهام و دارایی است. این حوزه دارای داده­ هاي کلان تاریخی است. این داده­ ها به­ طور مرتب در حال تغییر و نوسان هستند. تحلیل این داده­ ها و یافتن روابط مفید و کارا مابین آن­ ها جهت مدیریت خرید و فروش سهام و دارایی ها براي سرمایه­ گذاران و مدیران شرکت­ ها کار بسیار دشواری است. در این راستا، می توان از شبکه­ هاي پیچیده در تحلیل بازار سهام و دارایی استفاده نمود. امروزه، با گسترش کاربرد شبکه­ هاي پیچیده در علم اقتصاد، پژوهشگران زیادي تلاش می­ کنند تا با تمرکز روي جنبه­ هاي مختلف بازارهای مالی، انواع متفاوتی از شبکه­ ها را ساخته و جنبه­ هاي مختلفی از بازارهای مالی را بررسی نمایند.ما در این تحقیق با بررسی کارهای انجام شده قبلی و الهام گیری از آن ها شبکه ایی از ارتباطات بین الگوهای بازارهای مالی که نشان دهنده وضعیت موج ها و نوسانات هر نمودار است ایجاد کرده اییم. در پایان به کمک این شبکه ابتدا به اثابتی بر درستی تعدادی از تئوری های موجود در علم تحلیل تکنیکال دست یافته اییم و سپس به توانایی این شبکه در یافتن نمودارهای مشابه در بازار های دیگر و استفاده از این تشابه یابی برای ارزیابی احتمال موفقیت یک معامله (forward testing) خواهیم پرداخت.مقدمهایجاد گراف از مسائل و تحلیل آن، ابزاري جدید براي درك جنبه هاي مختلف از بازارهاي مالی است و نقش مهمی را در مطالعات اخیر بازارهاي مالی ایفا می کند. امروزه، با گسترش کاربرد شبکه هاي پیچیده در علم اقتصاد و بازارهای مالی، محققان زیادي تلاش می نمایند تا با تمرکز روي جنبه هاي مختلف بازارهای مالی، انواع متفاوتی از شبکه ها را با توجه به رویکردها و نیازهای مختلفی ایجاد نمایند.شبکه های پیچیده و پویا در اصل به علم ریاضیات و تئوری گراف باز می گردد و در سال های اخیر به عنوان یک چارچوب تئوری مناسب برای درک خواص ساختاری شبکه توسعه یافته است[۱].دو دسته­ بسیار معروف از شبکه­ هاي پیچیده، شبکه­ هاي مقیاس آزاد [۲] و شبکه­ هاي جهان کوچک هستند [۳]، که هردو به­ وسیله­ ي ویژگی­ هاي ساختاري معینی مشخص می­ شوند. در این تحقیق در فاز اولیه به مطالعه عمومی کارهای انجام شده پرداخته­ اییم. سپس با الهام گیری از آن ها و با استفاده از ابزارهای مناسب اقدام به ساخت شبکه پیچیده ارتباطات الگوها و وضعیت های نمودارها کرده اییم.کارهای پیشیندر سال ۱۹۹۹ mantegna اولین شخصی بود که شبکه­ ها را بر اساس همبستگی قیمت سهام ساخت. وي سبدي از سهام­ های موجود در شاخص اس اند پی ۵۰۰، که از شاخص­ های مطرح بورس نیویورک هست، در یک دوره زمانی به مدت حدود ۶ سال بررسی کرد. او در شبکه همبستگی سهام، یک ترتیب سلسله مراتبی از سهام­ ها را یافت که با بررسی داده های لگاریتمی روزانه قیمت سهام­ ها ایجاد شده بود [۴].همچنین LEE و همکارانش نشان دادند که شبکه مبادلات سهام کشور کره جنوبی یک شبکه مقیاس آزاد است [۵]. Boginski و همکارانش [۶] گراف­ هاي کامل و مجموعه­ هاي مستقل را در شبکه­ هاي سهام معرفی کردند و یک روش فنی براي خوشه­ بندي سهام ارائه نمودند و مانند Huangو همکارانش [۷] در پژوهش خود نشان دادند که شبکه­ هاي سهام از یک مدل power-law پیروي می کنند.علاوه بر شبکه­ هاي بازده قیمت، شبکه­ هایی نیز بر اساس روابط بین سرمایه­ گذاران و تراکنش­ ها در بازار سهام ساخته شدند. به­ عنوان مثال، در پژوهشی از شبکه­ ها براي نمایش الگوهاي متنوعی از نوسانات استفاده نمودند و بر اساس گره­ هاي توپولوژیک مهم، الگوهاي پنهان میان نوسانات را استخراج کردند [8].همچنین در پژوهشی دیگر، به عوامل روانی تاثیرگذار بر ارزیابی شبکه براي ساخت شبکه اعتماد سرمایه­ گذاران پرداخته شد. نتایج این پژوهش نشان دادند که شبکه­ هاي اعتماد در زندگی واقعی می­ توانند به طور قابل ملاحظه­ اي ثبات بازار را به تاخیر بیندازند. همچنین، شبکه­ هاي پیچیده بر اساس شاخص­ هاي سهام مانند قیمت سهام­ و نوسانات آن مورد توجه محققان زیادي قرار گرفته است و معمولا در این شبکه­ ها، سهام­ ها، گره و همبستگی بین بازده آن ها، یال هستند .[9]روش پیشنهادیبرای بررسی وضعیت بازارهای مالی و یافتن حالت های مشابه قبلی در نمودارهای دیگر، راه های متفاوتی وجود دارد. یکی از این راه ها استفاده از correlation است [۱۰]. این روش در حال حاضر برای یافتن میزان تشابه لحظه ایی نمودارها مورد استفاده قرار می گیرد، اما این روش دارای دو نقص است:تفاوت معنا دار مقدار correlation بین دو دارایی ثابت در یک زمان حجم محاسبات بالا می باشد و امکان مقایسه گسترده وضعیت نمودارها با داده های تاریخی را ندارد. بطور مثال، امکان دارد وضعیت لحظه ایی نمودار بیتکوین در تایم فریم یک ساعته با وضعیت نمودار Eur/Usd در تایم فریم روزانه در سال ۲۰۰۷ مشابه باشد ولی با این روش عملا یافتن این ارتباط بسیار پر هزینه و غیر اجرایی خواهد بود.مشکل اول بدلیل ساختار ذاتی بازارهای مالی است. بطور مثال مطابق شکل ۱ در تایم فریم ۵ دقیقه ایی در حالی که بانک ها تعطیل هستند بازارها کم حجم شده و چندین داده خواهیم داشت که حالت روند مسطح (side) خواهند داشت و با باز شدن بانک ها و موسسات روند قبلی به مسیر خود ادامه خواهد داد. این موضوع باعث تغییر در نتایج مقادیر correlation خواهد شد در حالی که روند اصلی یک حرکت به طول مشخصی بوده است.شکل ۱: نمونه ایی از روند مسطح بازار در ساعات کم حجم معاملاتی،حاصل از تعطیلی بانک ها و موسسات در نمودار eur/usd- ایجاد داده های مورد نیازبرای حل این مشکلات در وهله اول ما ویژگی اصلی مد نظر برای ساخت شبکه را روندها و حرکات قیمت و نحوه قرارگیری موج ها نسبت به یکدیگر قرار داده ایم. مطابق شکل۲ ما روندها را استخراج و شرایط آن ها نسبت به یکدیگر را در هر لحظه از نمودار استخراج کرده اییم.شکل ۲: نمونه ایی از روندهای حرکتی و وضعیت روندها نسبت به یکدیگر در نمودار طلا هدف ما ایجاد مجموعه دادگانی است که شامل نمودارهای همه بازارهای مالی باشد، زیرا برای مقابله با backtest overfiting ما به دنبال ارائه روشی مقیاس پذیر هستیم که در هر شرایطی در هر بازاری دارای اعتبار باشد [۱۱][۱۲]. اما وضعیت نمودارها با یکدیگر متفاوت است بطور مثال جا به جایی بیت کوین در یک روز می تواند چیزی حدود ۲۰۰۰ واحد باشد و جابجایی eur/usd چیزی حدود ۰.۰۰۱۰ واحد باشد. استفاده از میزان جابه جایی ها بر حسب درصد هم امکان پذیر نیست چون هر بازاری شرایط متفاوتی دارد. بطور مثال جا به جایی ۵ درصدی قیمت یورو اتفاق بسیار نادری است اما این مقدار جا به جایی در بازار سهام و یا ارز دیجیتال متداول است.- افق رویدادبرای حل این مشکل ما از روش افق رویداد که قبلا آن را ایجاد کرده اییم و مقاله آن در حال نگارش است استفاده کرده اییم. ایده کلی این تکنیک این است که داده های مالی مشاهده شده در نمودارهای قیمت صرفا یک نمودار زمانی نیستند و ترکیبی از عوامل بر این نمودار تاثیر گذار است که بخشی از آن زمان است. مطابق شکل ۳ در روش افق رویداد با ایجاد یک بازنمایی در داده ها، داده را بر اساس۳ فاکتور زمان، قیمت و جریان سرمایه بازنمایی می کند.شکل۳: بازنمایی داده ها در روش افق رویدادبا کمک این روش ما داده های مختلف در بازارهای مختلف را می توانیم ایجاد نماییم. میانگین و انحراف معیار داده های بازارهای مختلف در دیتاست های مختلف در یک محدوده قرار می گیرند و ما می توانیم یک مجموعه دادگان ادقام شده ایجاد کرده و از یک روش برای تحلیل آن ها استفاده نماییم.برای ایجاد شبکه از داده های سه بازار معاملاتی یورو، پوند و دلار نیوزلند در تایم فریم یک ساعته استفاده کرده اییم. دلیل انتخاب این نمودارها وجود داده های تاریخی معتبر از سال ۲۰۰۳ و ارائه رایگان آن ها توسط دوچ بانک بوده است. با ایجاد بازنمایی طبق تکنیک افق رویداد، اطلاعات مربوط به نحوه قرارگیری موج ها بر روی این داده ها را بدست آورده اییم. در پایان برای هر دیتا ۴۰ ویژگی در هر بازه کوتاه مدت، میان مدت و بلند مدت استخراج شده است که به دلیل تعداد بالای این ویژگی ها و یافتن ویژگی های پر اهمیت تر و بهینه از یادگیری ماشین و روش encoder decoder استفاده کرده اییم [۱۳].مطابق شکل ۴، ورودی و خروجی این شبکه عصبی هر سطر از داده ها است و برای آموزش بهتر هم در بخش encoder و هم در بخش decoder از ارتباطات residual استفاده شده است. در میانه شبکه تعداد ویژگی ها به ۸ عدد رسیده است که در پایان آموزش این شبکه، خروجی های لایه میانی را به عنوان داده نهایی مورد استفاده قرار داده اییم.شکل ۴: ساختار شبکه عصبی decoder encoder - خوشه بندی داده هابرای دسته بندی حالت های مختلف وضعیت بازار از روش خوشه بندی K-means، با مقدار k پیشفرض ۲۰۰۰ استفاده شده است. این روش غیر نظارت شده است و نیازی به استفاده از برچسب ندارد و مطابق شکل ۵ این روشدر ابتدا اقدام به انتخاب تعداد K نقطه به عنوان مرکز و بهینه سازی آن ها می کنند و در پایان داده ها را بر اساس فاصله با این نقاط مرکزی به K خوشه تبدیل می کند [۱4].شکل ۵: روش خوشه بندی K-means- شبکه شپاونبرای ایجاد شبکه ما هر داده را یک راس در نظر گرفته اییم و در صورتی که دو راس حداقل در دو رنج زمانی در یک خوشه قرار گرفته باشند یک یال بین آن ها ایجاد می شود. با کمک کتابخانه networkx در زبان برنامه نویسی پایتون این شبکه ایجاد شده است. اطلاعات شبکه ایجاد شده به شرح زیر است:تعداد راس ها: 334,079تعداد زیر مجموعه های غیر متصل: 2,047تعداد راس های بزرگترین زیر مجموعه: 247,416قطر بزرگترین زیر مجموعه متصل: 8تعداد یال ها: 6,352,334میانگین درجات : 39.49چگالی: 0.0001138میانگین خوشه بندی (average_clustering) : إ 0.8875629وضعیت توزیع درجه راس ها:شکل ۶: نمودار توزیع درجه راس ها در شبکه شپاونبه دلیل حجم بالای محاسبات امکان نمایش کامل شبکه در محیط پردازشی مورد استفاده در این پژوهش وجود نداشت و برای نمونه مطابق شکل ۷ وضعیت اتصالات دومین زیر مجموعه بزرگ شبکه رسم شد.شکل ۷: نمایی از دومین زیر مجموعه بزرگ شبکه شپاون- تحلیل شبکهخروجی های آماری شبکه دارای نکات ارزش مندی می باشد که به ترتیب زیر به آن ها پرداخته اییم.-- پیروی از power-low در وهله اول با وجود اینکه چگالی در شبکه بسیار پایین بوده است اما ضریب خوشه بندی مقدار بسیار بالایی را ثبت کرده است که این ویژگی نشان می دهد این شبکه حالت تصادفی ندارد و مشابه شبکه های پیچیده جهان واقعی هست. از سوی دیگر نمودار توزیع درجات این شبکه از حالت power-low پیروی می کند و به عباراتی تعداد کمی از راس ها دارای یالهای زیاد در حدود ۱۵۰ تا ۲۰۰ عدد بوده اند و ما بقی با شیب ملایمی تعدادشان کم شده و تعداد زیادی ۰ تا ۸۰ یال داشته اند. در واقع عمده حالت های بازار های مالی در تایم فریم یک ساعته بطور متوسط با ۴۰ حالت دیگر تشابه دارد و در تعداد اندکی این مقدار به بالای صد رسیده است. قطر بزرگترین زیر مجموعه که تغریبا ۷۴ درصد از شبکه را در دل خود جا دارد مقدار ۸ است که نشان می دهد این شبکه حالت small-world دارد و برای رسیدن به هر راسی از راس دیگر بطور متوسط، تعداد گام کمی نیاز به پیمودن دارد.-- قوهای سیاهشاید معروف ترین اتفاقی که از آن به عنوان قوی سیاه بازار های مالی یاد می کنند دوشنبه سیاه باشد. جایی که بعد از ۵ سال رشد بدون اصلاح بورس نیویورک به ناگهان در طی یک روز بیش از ۲۲ درصد ریزش ناگهانی را تجربه کرد. اتفاقی که در آن لحظه توسط هیچ تحلیل گری پیش بینی نمی شد. بعدها نیکولاس طالب [۱۲] به وجود فراوان قو های سیاه در بازارهای مالی اشاره کرد. در شبکه ایجاد شده تعداد زیادی زیر مجموعه بسیار کوچک که با هیچ بخش دیگری از شبکه ارتباط نداشته اند وجود دارد. این موضوع نشان می دهد این حالت ها از بازار متفاوت و غیر منتظره بوده اند که تا قبل از آن هرگز مشابه آن ها اتفاق نیفتاده است. این موضوع شاهدی بر درستی تئوری قدم زدن تصادفی نیز می باشد [۱۵].-- فراکتیکالی بودن زمان در نمودارهای بازار های مالیشکل ۸: فراکتیکال زمانیطی سال های اخیر عده ایی از معامله گران که از روش تکنیکالی و عمدتا از سبک های پرایس اکشن پیروی می کنند، برای کسب نتایج بهتر با تحلیل در چند تایم فریم سعی در انجام معاملات بهینه تر دارند. در این روش با فرض بر فراکتیکالی بودن زمان تعدادی از تایم فریم ها بر اساس دلایلی انتخاب می شوند که یکی از فراگیر ترین آن ها طبق ترتیب ۱ دقیقه، ۵ دقیقه، ۱۵ دقیقه، ۱ ساعت، ۴ ساعت، ۱ روز، ۴ روز، ۱ ماه، ۱ فصل و ۱ سال است. روش محاسبه آن به این شکل است که از نقطه یک شروع شده و در عدد ثابتی ضرب شده و گاهی به دلایل متفاوتی که حاصل شرایط زمان بندی بازارهای مالی است روند شده است.روش کاری معامله گران این سبک به این شکل است که معتقدند هر تایم فریم وابستگی شدید به دو تایم فریم بالاتر دارد و می توان در تایم فریم یک روزه تحلیل کرد و سپس در تایم فریم یک ساعته با ادامه تحلیل تایید ورود به معامله را مشاهده کرده و وارد معامله شوند.نتایج حاصل از این شبکه نشان می دهد روندها و وضعیت های هر لحظه از نمودار یک ساعته بطور متوسط با چهل لحظه دیگر ارتباط دارد. می دانیم که در بازار فارکس معاملات در حدود ۲۰ ساعت در روز انجام می شود و ۴ ساعت معاملات در حالت نیمه تعطیل هستند که قبل تر به این مورد پرداخته اییم. با این تفاسیر داده های دارای روند مشابه در هر روز ۲۰ داده می باشند. اینکه هر داده با ۴۰ داده دیگر ارتباط دارد نشان می دهد در واقع داده های یک روز با یک روز دیگر تشابه داشته است. بطور کلی این نتایج شاهدی بر ارتباط بین تایم فریم ۱ ساعته و ۱ روزه و شهودی بر اثبات فراکتیکالی بودن زمان در بازارهای مالی است.-- کاربردها و ارزیابیکاربرد اصلی شپاون پیدا کردن نمودارهایی با وضعیت و روند مشابه به شکل مقیاس پذیر است. در واقع در صورتی که این کار بخوبی انجام شود می توان در شرایط هر لحظه در هر نمودار، نمودارهای تاریخی ایی از بازارهای های دیگر را بدون محدودیت مشاهده کرد و با توجه به اینکه آینده آن نمودار مشابه را داریم می توانیم در وهله اول با توجه به رفتار نمودارهای مشابه استراتژی هایی ایجاد کنیم و از سوی دیگر می توانیم استراتژی های معاملاتی خود را در آینده نمودارهای مشابه مورد ارزیابی قرار دهیم (forward testing). برای یافتن راس های مشابه ما اقدام به شناسایی انجمن ها با روش label propagation نموده اییم [۱۶]. این روش ۱۲۰۷۱ انجمن را شناسایی کرده است. نودهای موجود در هر انجمن نشان دهنده نمودارهایی با وضعیت های مشابه هستند. برای یافتن نمودار مشابه هر داده جدید در وهله اول انجمن آن داده شناسایی می شود و سپس میزان اختلاف این داده از همه داده های موجود در آن انجمن بر اساس معیار mse محاسبه شده و کمترین مقدار به عنوان کاندیدا انتخاب می شود. از آنجایی که ممکن است ما با حالتی رو به رو شویم که هیچ نمونه قبلی ایی در شبکه ما نداشته باشد، در صورتی که مقدار مقایسه mse دو داده کمتر از یک باشد خروجی معتبر است و به عنوان نمودار مشابه گزارش داده می شود. جهت ارزیابی مقیاس پذیری روش پیشنهادی ما از هشت هزار داده اخیر بیت کوین که هیچ شباهتی با داده های موجود در شبکه ندارند استفاده کرده اییم. نتایج استفاده از این روش مطابق شکل ۹ عملکرد مناسبی را داشته است. شکل ۹: نمونه ایی از نتایج روش پیشنهادی با داده های ورودی بیت کوینجمع بندی و کارهای آتیما در این پژوهش در گام نخست با استفاده از تکنیک های مناسبی، مجموعه دادگان مد نظر را ایجاد کرده اییم. سپس با تکنیک های مهندسی ویژگی، ویژگی های استخراج شده را بهینه کرده ایم و با خوشه بندی و ایجاد شبکه بستری انعطاف پذیر را ایجاد کرده ایم. این بستر بدون هیچ محدودیتی توانایی دریافت داده های انواع بازار های مالی را دارد. نتایج خروجی این روش هم به شکل توصیه گر قابل استفاده است و هم می توان هر استراتژی معاملاتی ایی را با توجه به خروجی های نمودارهای مشابه مورد ارزیابی قرار داد.به علت ضعف در توان پردازشی و استفاده از سرور های رایگان گوگل کولب برای انجام این پژوهش این ابزار فقط با حدود سی صد هزار داده ایجاد شد، درحالی که با توجه به پتانسیل های روش پیشنهادی، می توان این تعداد را به چند ده ملیون داده رساند و شبکه ایی گسترده تر با توانایی پوشش بهتر خلق کرد.همچنین در بحث خوشه بندی می توان با تکینک های یادگیری ماشین در این قسمت نتایج را بهینه کرد و در بخش پایانی هم بجای استفاده از mse از روش های نوین تری مانند فرایادگیری استفاده نمود.منابع[1]T. Kito, K. Ueda, The implications of automobile parts supply network structures: A complex network approach, CIRP Ann.-Manuf. Technol. 63 (2014)393–396.[2]Barabási, A. L., & Bonabeau, E. (2003). Scale-free networks. Scientific American, 288(5), 50-59.Boginski, V., Butenko, S. and Pardalos, P.M., 2005. Statistical analysis of financial networks. Computational statistics & data analysis, 48(2), pp.431-443.[3]Watts, Duncan J., and Steven H. Strogatz. "Collective dynamics of ‘small-world’networks." nature 393.6684 (1998): 440-442.‏[4]Mantegna, Rosario N. "Hierarchical structure in financial markets." The European Physical Journal B-Condensed Matter and Complex Systems 11.1 (1999): 193-197.‏[5]Lee, Kyoung Eun, Jae Woo Lee, and Byoung Hee Hong. "Complex networks in a stock market." Computer Physics Communications 177.1-2 (2007): 186-186.‏[6]Boginski, Vladimir, Sergiy Butenko, and Panos M. Pardalos. "Statistical analysis of financial networks." Computational statistics & data analysis 48.2 (2005): 431-443.‏[7]huang, Wei-Qiang, Xin-Tian Zhuang, and Shuang Yao. "A network analysis of the Chinese stock market." Physica A: Statistical Mechanics and its Applications 388.14[8]Li, Ping, and Bing-Hong Wang. "Extracting hidden fluctuation patterns of Hang Seng stock index from network topologies." Physica A: Statistical Mechanics and its Applications 378.2 (2007)[9]Chen, Kun, et al. "Which stocks are profitable? A network method to investigate the effects of network structure on stock returns." Physica A: Statistical Mechanics and its Applications436 (2015): 224-235.‏[10]Gkillas, Konstantinos, Stelios Bekiros, and Costas Siriopoulos. "Extreme correlation in cryptocurrency markets." Available at SSRN 3180934 (2018).[11]Bailey, David H., et al. "The probability of backtest overfitting." Journal of Computational Finance, forthcoming (2016).[12]Taleb, Nassim Nicholas. "Black swans and the domains of statistics." The american statistician 61.3 (2007): 198-200[13]Nargesian, Fatemeh, et al. "Learning Feature Engineering for Classification." Ijcai. 2017.[14]Ahmed, Mohiuddin, Raihan Seraj, and Syed Mohammed Shamsul Islam. "The k-means algorithm: A comprehensive survey and performance evaluation." Electronics 9.8 (2020): 1295[15]Lawler, Gregory F., and Vlada Limic. Random walk: a modern introduction. Vol. 123. Cambridge University Press, 2010.ali tavassolianali tavassolianMon, 11 Jul 2022 21:02:45 +0430