https://virgool.ir/feed/@mitra.mirshafieefa2026-11-12 19:58:36https://files.virgool.ir/upload/users/198286/avatar/avatar.pnghttps://virgool.ir/@mitra.mirshafieehttps://virgool.ir/@mitra.mirshafiee/وقتی-کمبود-اطلاعات-رو-نادیده-میگیریم-qj32gxepefdfدر این بخش که یک بخش از ویلاگ بنده در یوتیوب هست، می خواییم به این فکر کنیم که چطور ممکنه نادیده گرفتن یک بخش خیلی کوچک در داده ها اثرات جبران ناپذیری داشته باشه. شما نسخه کامل ویدئو رو می تونید در یوتیوب تماشا کنین و اگر از محتوای ویدئو خوشتون اومد، روی دکمه Subscribe بزنین تا از انتشار ویدئو های بعدی هم باخبر بشید :)خب بریم سر اصل مطلب.فرض کنید ما از مردان و زنان با پیشینه های مختلف در اطراف جهان درمورد سلامت فیزیکی و روانیشون سوالاتی پرسیدیم. این سوالات میتونه چیزایی مثل، قد، وزن، میزان و دفعات خوراک و همچنین سوالاتی مثل حس و حالشون در طول روز و تعداد دفعاتی که فکرهای منفی و حتی مواردی مثل خودکشی به ذهنشون میرسه باشه.بعد از اینکه تمام داده هارو جمع کردیم ، نشستیم به بررسی اون ها. وقتی به تمام داده ها نگاه می کنیم می بینیم بخش هایی از داده ها خالی هستند. مثلا بعضی افراد به بعضی سوالات جواب ندادند یا اینکه کلا همه پاسخ نامه اونها خالی مونده.این خالی بودن میتونه بخاطر گم شدن اون داده ها، حذف شدن پوشه ها در کامپیوتر پرسشگر ها یا حتی پاره یا خیس شدن پاسخ نامه ها باشه. در این صورت ما به راحتی میتونیم بگیم که عاقا اینارو ما میذاریم کنار چون هیچ چیز خاصی ازشون نمیفهمیم و اطلاعات کاملا به شکل رندم از دست رفتن.حالا بیایید یک فرضیه دیگه بکنیم. خیلی افراد(مخصوصا مردان) اطلاعی از سایز دورشکم یا چربی دور کمرشون نداشتن و اصلا براشون چیز مهمی نبوده! پس کلا بیخیال این سوالات شدند و خیلی از جاهارو خالی گذاشتن. وقتی بیشتر نگاه می کنیم میبینیم این اتفاق برای خیلی از سوالات مربوط به سلامت روان هم افتاده. خیلی از مردان اهمیتی به اینکه چقدر حسشون خوبه یا چند دفعه در روز چه حسی کردن نمیدن، و درنتیجه کلا بیخیال جواب دادن به این سوالات شدن! ماهم که به عنوان مشاهده کننده این روند، میگیم عاقا اصن مردا به این چیزا فکر نمی کنن! اون ها همیشه انقدر درگیر حفظ خانواده، کسب درآمد و مرد بودن هستند که براشون سلامت روان معنی ای نداره و اصلا به نکات منفی و خودکشی و این چیزا فکر نمی کنن!حالا اگر ما یک سرچی در ویکیپدیا و سایت های معتبر آماری درمورد سلامت روان بزنیم، میبینیم که :بله، کلا داشتیم اشتباه میزدیم داداچدر تمام دنیا به غیر از یک تعداد محدودی کشور یا باید بهتر گفت "شهر"، تعداد مرد هایی که سالانه خوکوشی می کنند چندین برابر زن هاست. این یک اتفاق هست به نام پارادوکس جنسیتی خودکوشی. چرا پارادوکس؟چون در تحقیق هایی که انجام میشه، همیشه این زن ها هستند که بیشتر نشانه های افسردگی و خودکشی رو در خودشون دارن. اونها هستند که بیشتر درمورد احساساتشون صحبت میکنند درصورتی که مردان همیشه مشغول مرد بودن و جلوگیری خودشون از ابراز احساسات هستند. در این شکل از نبود داده، اصطلاحا میگیم Missing not at random داریم و به هیچ وجه نباید این داده های خالی رو نادیده بگیریم چون اون ها با ویژگی های دیگه مثل مرد بودن و همچنین خوشون یعنی سوالات مربوط به سلامت روان، در ارتباطند.شاید این براتون مثل من خیلی عجیب باشه که بشنویم مرد ها بیشتر از زنها خودشون رو می کشند! درسته واقعا عجیبه چون همیشه اونهارو قوی و مسئول خانواده و خوشون فرض می کنیم و فراموش می کنیم که اونها هم احساساتی دارند و ممکنه همیشه قوی ترین فرد روی صحنه نباشند. خیلی وقت ها نباید خیلی راحت از کنار مسائل گذشت و اونهارو حل شده درنظر گرفت. خیلی از کسایی که وارد فیلد داده میشند تمرکز اصلیشون رو فقط روی درست کردن یک مدل پیش بینی کننده عالی میذارند(مثل خود من). اما همونطور که خیلی از حرفه ای های این حوزه میگن، اولین و مهمترین چیزی که ما باید روشون زمان بذاریم، خود داده ها و به اصطلاح preprocessing هست.امیدوارم از متنی که خوندین لذت برده باشید :) خوشحال میشم نظرتون رو اینجا یا در یوتیوب بشنوم، پس حتما پیشنهاد انتقاد یا نظری درمورد خود متن یا ویدئو دارید باهام به اشتراک بذارید:)با آرزوی دقت بیشتر و خودکشی های کمتر :)mitra mirshafieemitra mirshafieeSun, 06 Dec 2020 21:09:05 +0330https://virgool.ir/@mitra.mirshafiee/چطور-و-با-چه-زبانی-علم-داده-و-هوش-مصنوعی-رو-شروع-کنیم-iequcevu8sdxعلم داده فقط مخصوص یک زمینه نیست. چه شما مهندس باشی، چه دکتر، چه پلیس، بالاخره روزی میاد که چهارتا دختر و پسر با عینک و هودی بهتون نزدیک می شند و میگن که بهتر از شما می تونند بیماری هارو تشخیص بدن، فروش محصولات رو پیش بینی کنند یا حتی جنایت کارهارو شناسایی کنند.من در اینجا خلاصه ویدئو این هفته رو مینویسم تا همه از زبان شیرین فارسی هم لذت ببریم:)اول از همه باید بگم که من اینجا تجربیات خودم و هرچیز مفیدی که از اینترنت پیدا کردم رو براتون خلاصه می کنم. ازونجایی که پایتون و آر از بقیه معروف ترهستن، من تصمیم گرفتم یک مقایسه روی این دو بزنم. این به این معنی نیست که اگر از متلب یا برنامه دیگه ای استفاده می کنین، اونها به هیچ دردی نمی خورند:) از اونجایی که این علم روز به روز داره معروف و معروف تر میشه، آدم های بیشتری دارن وارد این حوزه میشند. خیلی ازین آدم ها پیشینه یا مدرک کامپیوتری ندارند. به همین دلیل خیلی از ما اول که می خواییم شروع به یادگیری کنیم مغزمون بین چندین گزینه برای یادگیری مهمترین ابزار این مسیر، یعنی زبان برنامه نویسی مناسب، گیج میشه. بیشتر از یک سال پیش شروع به یادگیری علم داده و کار در این زمینه کردم. اولین روز ها خیلی ازین زمینه سر درنمیاوردم ولی چون رشته خودم مهندسی صنایع بود و عاشقش نبودم، می خواستم یک زمینه ی مربوط به کامپیوتر رو امتحان کنم و چه فرصتی بهتر از دوره کارآموزی. همونطور که میدونین بازار کار ایران برای افراد کم تجربه خیلی باز نیست و من هم بابای کله گنده و با ارتباطات فوق العاده در شرکت های کله گنده نداشتم :)خب ولی چون میدونستم که رشته خودم برام جذاب نیست گفتم عاقا من شروع می کنم به درخواست کارآموزی دادن تا یکجا بالاخره من بی تجربه رو قبول کنه :)از ما درخواست و از اونها انکار :)خلاصه بعد از این همه، یکی تونستم با یکی از شرکت ها برای تحلیل داده شروع به کار کنم. دو ماه کارآموزی یا شاید بیشتر خودآموزی و تلاش باعث شد بتونم همکاریم رو به عنوان کارمند باهاشون ادامه بدم. تو این دوران من با پایتون و تبلو کار می کردم و یکی از کارفرما ها یا بهتره بگم مشاورین اون شرکت، با R کار می کرد.ما برای حل مسائل مختلف با هر دو زبان کار می کردیم و خیلی وقت ها هم برای نمایش داده به سراغ تبلو میرفتیم. اینجا من 1. ویژگی های هر دو زبان 2. معیار TIOBE 3. چیزی که الان در بین کاربران علم داده معروف هست رو می نویسم تا باشد که دیگر فرزندان نوپای عالم داده رستگار شوند.اول: ویژگی های دو زبانهر دو Python و R حدود 3 دهه هست که درست شدند. Python از روز های اولیه با هدف برنامه نویسی به راحتترین و بهینه ترین شکل نوشته شده. در صورتی که R رو محققان آماری نوشتند. همونطور هم که انتظار میره افرادی که از پیشینه آماری میان راحتتر می تونند در این محیط تحقیق و آنالیز دیتا انجام بدند اما افرادی که پیشینه کامپیوتری دارند با پایتون راحتترن.پایتون زبان Robust هست. به این معنا که خوندن و دیباگ کردن توی اون خیلی راحتتر و ساده تر از آر میشه. حتی شما برای نوشتن توابع و یادگیری اونها مخصوصا در زمینه های یادگیری ماشین و هوش مصنوعی راحتتر می تونید با این زبان کار کنید و دستورات رو بهش بگید چون دستورات پایتون خیلی شبیه به زبان معمولی انگلیسی هست.اما خب در پایتون شما خیلی ابزار ها و توابع آر رو ندارین و متاسفانه خیلی وقت ها نتایج به زیبایی نتایج آر درنمیاد.معیار TIOBEاین معیار محبوبیت یک زبان برنامه نویسی رو مشخص میکنه و همونطور که میبینید پایتون در مقایسه با آر خیلی خیلی محبوب تر هست. ولی خب این یک معیار جالب برای ما نیست چون داره یک جامعه بزرگ رو میبینه نه تنها دیتا کار هارو. ولی از این می تونیم بفهمیم که اگر شما پایتون بلد باشید و بخوایید در تیمی کار کنید که نرم افزار درست می کنند و از شما بخوان ماشین لرنینگ رو برای تحلیل بخش های مختلف یا حتی ارائه خدمات استفاده کنین، شما بهتر با تیمتون و همچنین بخش های مختلف کار می تونید تبادل اطلاعات و داده کنید.کگلر ها همه وسطتوضیح نمودار: در یک همه پرسی در سال های اخیر از بین تمام افرادی که در کگل بودند، بیشتر از همه استفاده از پایتون رو به افراد تازه کار پیشنهاد میدند.توضیح نمودار: از بین تمام گروه های مختلف فقط بین محققان علم داده از R بیشتر از Python استفاده می کنند.توضیح (نمودارشو نمیذارم دیگه خسته شدم. بله:)) ): تمام افراد این حوزه با رنج های مختلف تجربه همه بیشتر از پایتون تا هر زبان برنامه نویسی دیگه استفاده می کنند.امیدوارم این مقاله یک دید کلی برای تصمیم گیری بین این دوزبان بهتون داده باشه و از دیدن نمودار ها چیزی رو که میخواستید پیدا کرده باشید. حتما در قسمت نظرها در اینجا یا یوتیوب، دیدگاهتون رو درمورد هر دو زبان یا حتی زبان های کاربردی دیگه برای علم داده به اشتراک بذارین :)mitra mirshafieemitra mirshafieeSun, 29 Nov 2020 17:29:44 +0330https://virgool.ir/@mitra.mirshafiee/چطور-برای-یادگیری-به-مغزمون-کمک-کنیم-hhnjqqgw8deeچند وقت پیش که شروع به یادگیری علم داده و هوش مصنوعی کردم، نگران بودم نتونم مثل افراد دیگه که در این مسیر هستند پیشرفت کنم. مدرک یا تحصیلات دانشگاهی کامپیوتر نداشتم، تنها چیزی که در دسترسم بود یک کامپیوتر و یک مغز مستعد برای دردسر و جست و جو بین کتاب ها و سایت ها بود. ویدئو این مطلب رو میتونید از این لینک مشاهده کنید. فقط فیلترشکن یادتون نره:) https://youtu.be/j4XqsecZWD0 بعد از مدتی کارآموزی و یک سال کار در دوران دانشجویی در حوزه داده، فهمیدم که کم کم دارم به چیزی که من رو واقعا هیجان زده میکنه نزدیک میشم! می دونستم میخوام درموردش بیشتر بدونم اما خب، دانشگاه و استادهای مهندسی صنایع جاها و افرادی نبودند که بشه باهاشون شیوه های ساخت مدل های پیش بینی داده رو فهمید! پس رفتم سراغ دوست همیشگی، گوگل :)ایشون ماشالله حرف برای گفتن زیاد داشتن. تونستم آدم هایی رو پیدا کنم که مسیرشون مثل من بوده، سایت هایی مثل کورسرا رو پیدا کنم که باهاشون درس های بهترین دانشگاه های دنیارو بگذرونم، و در نهایت کتاب هایی بخونم که مسیرو برام هموار تر کردند.یکی از کتاب هایی که خیلی خیلی برای یادگیری سریع تر و کامل تر کمکم کرد، کتاب یادگیری و تفکر عملی(Pragmatic Thinking and Learning) بود که نویسندش هم یک برنامه نویس خفن کامپیوتر هست. در این کتاب خیلی مفصل در مورد چگونگی رفتن از سطح مبتدی(??Novice) به آخر خط (ٍ??‍♀️Expert) نوشته شده. من هم اینجا خیلی خلاصه نکاتی رو که به نظرم مهم تر از بقیه بودند و بیشتر از همه به خودم کمک کردند رو خلاصه می نویسم.? چطور اصن باید به تهش رسید؟وقتی ما می خواییم یک مهارت رو یادبگیریم یک سری مراحل رو طی می کنیم و تجربیاتی بدست میاریم. دو نفر(برادر) به نام دریفوس برای راحتتر شدن فهم این مراحل اون هارو دسته بندی کردند و ویژگی های هر کدوم و شیوه رسیدن به مرحله بعدی رو به نمایش گذاشتند.از مبتدی به سمت خفنطوروقتی تو یک زمینه فنچی بیش نیستیم، به قانون و دستور احتیاج داریم. الان چه کنیم؟ از چی استفاده کنیم؟ چطور مشکلاتمون رو حل کنیم؟ یک جورایی مثل یک علامت سوالیم که همیشه تا یک باگ میبینه تبدیل میشه به علامت تعجب و می خواد زود به نقطه ته خط برسه و بگه تونستم این کار رو انجام بدم ولی اگر نتونستم یعنی اصلا بدرد این کار نمیخورم و باید خودمو از پنجره پرت کنم پایین چون استعداد هیچ کاری رو ندارم.ولی هرچی بیشتر میریم جلو، بیشتر تجربه کسب می کنیم. می فهمیم کدوم مشکل ها دارند از کجا میان. چرا الان باید همچین وسیله یا ابزاری رو در کار بکار ببریم، و می تونیم نه تنها مشکلات خودمون رو بیشتر بفهمیم بلکه به اون مبتدی ای که میخواد خودش رو از پنجره پرت کنه بیرون هم کمک کنیم.ولی خب همون طور که در گراف بالا می بینید خیلی ها از سطح مبتدی پیشرفته(Advanced beginner) بالاتر نمیرند. در واقع برای پیشرفت باید یک کار کرد؛✍?تمرین آگاهانه Deliberate Practiceحالا این چیه؟ تمرینی که شما به طور مدارم برای حدود 10 سال انجام بدی. مهم نیست زمینه کاریت چی هست، اگر می خوایی برسی به تهش حدود 10 سال به تمرین هایی احتیاج داری که بهت بازخورد بدند و چالشی و درست تعریف شده باشند. از موتزارت گرفته تا پیکاسو و بیل گیتس، همه این زمان رو گذاشتند و چیزی رو برای رسیدن به موفقیت یک شبه دور نزدن. حالا برای انجام این تمارین می تونیم یکم از مغزمون بدونیم تا سختی راهو کمتر کنیم:مغز ما دو عملکرد مختلف داره عملکرد تحلیلی و عملکرد شهودیبخش تحلیلی که اغلب برای حرف زدن و تفکر منطقی و تحلیلی بکار می بریم، L-mode نام داره. وقتی میخواییم یک کاری رو انجام بدیم جزئیات انجامش و مراحل عمل و برنامه نویسیش دست این قسمت هست.بخش شهودی که خیلی منطق سرش نمیشه میاد برای رسیدن به ایده اولیه و همچنین حل کردن مشکلاتی که در پروژه به وجود میاد کمک می کنه. در واقع مثل یک Regular expression سعی داره تمام اطلاعاتی رو که حتی حس کنه ممکنه مربوط به مشکل باشه رو مطرح می کنه. اما اطلاعات اینجا برخلاف L-mode شماره گذاری(indexed) نیستند و ممکنه وقتی شما زیر دوشی یهو یک تصویر از کلاس برنامه نویسی دوسال پیش یادت بیاد و بفهمی الان اون چیزی که اون استاد بدبخت گفته بدردت میخوره.حالا چون ما بیشتر کار هامون رو سعی می کنیم با بخش منطقی حل کنیم(مخصوصا اگر شما یک برنامه نویس باشید) استفاده بیشتر از اون قابلیت حل مشکل R-mode میتونه خیلی کمک کننده باشه. یک سری کار هست که میشه برای تقویت R-mode انجام داد.مثلا پیاده روی، تمرین تنفس و مدیتیشن، گوش کردن یا زدن موسیقی، نقاشی کشیدن. شما میتونید امتحان کنید ببینید براتون چی کار میکنه. برای من نقاشی همیشه هم اون بخش رو به کار میندازه، هم آرامش میده. یک نمونه از هنرهای خودم رو روی دیوار پشت در اتاقم براتون به نمایش میذارم.نقاشی برای به کار انداختن مغزباید در نظر داشت که در کنار قابلیت های خفن مغزمون، یک سری مشکلات خیلی بزرگ هم داریم. مثلا زمانی که فشار از همه طرف برای انجام کار ها و رسیدن به ضرب الاجل ها روی سرمون خالی میشه، اقتصاد داغونه، در کتری بازه، دم خر درازه و غیره، ما سعی میکنیم یا از اون شرایط فرار کنیم یا مثل اجداد عزیزمون شروع به حمله و تخلیه احساسات کنیم. این مشکل خیلی در زمانی که یک برنامه مشکل داره و به نتیجه نمیرسه برای خودم پیش میاد.حالا چه کنیم؟بهترین کار اینه که یک نفس عمییییییق بکشیم، از کیبورد حتی دور شیم، بریم برای یک پیاده روی کوتاه و اجازه بدیم r-mode کار خودش رو انجام بده.در نهایت بهتره با پروسه و فرآیند انجام عشق کنیم! وگرنه بعد از سالیان دراز برمیگردیم میبینیم کل زندگی یک مجموعه ای از کد و دیباگ کردن بوده که تهش به یک شرکت دیگه سود رسونده و ما رو فقط با مقداری پول برای زنده بوندن باقی گذاشته.این خلاصه ای بود از کتاب Pragmatic Learning and Thinking. امیدوارم ازش استفاده کرده باشید. اگر این مطلب رو دوست داشتید لطفا روی اون قلب پایین بزنین، و به کانال یوتیوب من هم سابسکرایب کنین تا از ویدئو ها و کتاب های بعدی هم باخبر بشید :) mitra mirshafieemitra mirshafieeThu, 19 Nov 2020 13:34:34 +0330https://virgool.ir/@mitra.mirshafiee/پردازش-زبان-تو-بگو-ترامپ-یا-بایدن-dz7q0t3tcnogاز اونجا که یکی از جذابیت های زندگی من ته و توی متون و داده ها رو درآوردن هست، تصمیم گرفتم اینبار ببینم از صحبت های ترامپ و بایدن چی درمیاد؟ اولین باری که مناظره هارو دیدم هم متعجب و هم متحیر شدم! ولی از اونجا که مفسر سیاسی نیستم می دونستم که با تنها نگاه کردن به مناظره مغزم نمیتونه مثل یک ماشین تمام اطلاعات رو به درستی دسته بندی و برای درست کردن یک تصویر بزرگ کنار هم بچینه. برای همین لپ تاپ رو برداشتم و به دنبال متن مناظره اول و دوم گشتم و به این نصیحت همیشگی بزرگان رسیدم: "کگل، داده های تعداد پر انواع مختلف غو تا انواع پوست آدم در طول دوران های مختلف تاریخ رو داره. "پس داده هارو برداشتم و افتادم به جونشون. https://youtu.be/kyuDlnYGGQI ویدئو بالا یک خلاصه ای از تلاش ها و روند بنده برای بررسی داده به زبون اجنبی هست. اما برای تاکید بیشتر بنده اینجا همه تحلیل ها رو میذارم تا با هم بیشتر از جذابیت تحلیل داده های متن به زبان فارسی لذت ببریم. کد تمام این نمودار هارو هم می تونید در این نوت بوک کگل یا کولب ببینید.برای راحتتر شدن درک روند کلی همه نمودار هارو به سه بخش تقسیم می کنیم:بخش 1. بررسی پاراگراف هابا توجه به شکل کلی داده ها میتونیم ببینیم که هر سطر به یک فرد اختصاص داره و زمان شروع صحبت اون فرد رو در ستون minute و نام اون رو در ستون speaker می تونیم مشاهده کنیم.نمایی از دیتا فریمبعد از تمیز کردن اولیه و پرکردن جاهای خالی، اولین چیزی که می خواستم ببینم تعداد دفعاتی بود که افراد بیشتر از حالت نرمال در یک زمان شروع به صحبت می کنند یا به نوعی در حرف هم می پرند. این لحظات در مناظره اول خیلی دیده میشد که در نهایت منجر به میوت کردن میکروفون یکی از طرفین در زمانی که دیگری درحال حرف زدن هست در مناظره دوم منجر شد.هیت مپ(Heatmap) مناظره اولهست مپ(Heatmap) مناظره دومدر این نمودارها سه سطر مربوط به سه نفر(ترامپ، بایدن و واسطه یا مصاحبه کننده) و ستون ها نشانگر دقیقه های مناظره هستند. هرچه رنگ ناحیه تیره تر، تعداد دفعاتی که یک فرد شروع به صحبت می کنه هم بیشتر. در مناظره اول، در طول 1 ساعت و 35 دقیقه، حدودا سه ناحیه هست که بیشتر از اطرافش تیره شده. این ها زمان هایی هست که هر کاندیدا تا حداکثر 14 در اون دقیقه حضور داشته. در مناظره دوم تقریبا یک روند مشابه رو داریم ولی اگر درنظر بگیریم که مصاحبه دوم 1 ساعت و 6 دقیقه بوده و درنتیجه نمودار رو فشرده تر کنیم، می بینیم که در مصاحبه دوم دو نفر یکم آروم گرفتند و به شدت اولی آتیش نمی سوزونند. همچنین در نظر داشته باشین که حداکثر جملات استفاده شده در یک دقیقه در مصاحبه دوم 11 بوده پس واقعا پیشرفتشون رو میشه اینجا دید.(یه کف قشنگ برای آقایان ترامپ و بایدن ?)2. جملاتبرای بررسی تعداد جملات استفاده شده و تخمین اینکه چه کسی بیشتر درکل صحبت کرده پاراگراف هارو به جملات تبدیل می کنیم و جداگانه هر کدوم از مناظره ها رو باهم و هر کدوم از مناظره کننده هارو هم باهم مقایسه می کنیم:همونطور که می بینیم و مقداری هم انتظارش رو داشتیم، مناظره اول طولانی تر و درنتیجه حدود 300 جمله بیشتر داره. در سمت راست اما میبینیم که در هر دو بخش آقا ترامپ ماشالله بیشتر از 40 درصد از کل مناظره رو به خودش اختصاص داده و حتی در بخش دوم دو درصد بیشتر از جملات رو گفته، درحالی که رقیبش بایدن، دقیقا دو درصد کم حرف تر شده.چون فعلا تو بخش جملات هستیم، گفتم ببینیم آیا میشه تشخیص داده چه کسی بیشتر از همه در حرف بقیه می پره؟ در نمودار پایین می بینیم هر دفعه که یک فرد شروع به صحبت کرده چند جمله گفته. راستای x نشان دهنده تعداد جملات در هر بار صحبت و راستای y نشانگر تعداد دفعات دیده شدن این جملات هست.با اختلاف 300 جمله ترامپ بیشتر از بایدن شروع به صحبت و فقط از یک جمله صحبت کرده. در اینجا میشه گفت یا فقط داشته کوتاه پاسخ واسطه رو میداده یا اینکه در حرف بایدن می پریده. با توجه به اینکه اون همچنین فردیه که از بیشترین تعداد جملات استفاده کرده (در انتهای سمت راست می بینید که رنگ قرمز دیده میشه)، در نظر بنده احتمال اینکه داشته کوتاه صحبت می کرده کمه.3. کلماتبعد از مقداری تمیزکاری در داده ها، 60 کلمه ای که بیشتر از همه توسط دونفر استفاده شدند رو در زیر میبینیم.همینجا میشه یک مقدار شخصیت دو طرف رو شناخت. ترامپ زمانی که میخواد با رقیبش صحبت کنه در صورتش حرفش رو میگه همونطور که اولین کلمه ای که استفاده می کنه 'You' هست. در سمت دیگه، باید سعی میکنه اهمیتی به اون نده و بیشتر حتی با واسطه مخاطب میشه و بیشتر از همه از 'he' استفاده می کنه.همچنین ترامپ دو برابر بایدن از کلمه 'I' استفاده می کنه(حدود 10 درصد 60 کلمه برترش رو 'I' تشکیل داده) و درکل دوست داره بیشتر از یک سری کلمات مشخص استفاده کنه همونطور که توزیع صحبتش بیشتر سمت یک سری کلمات هست در مقایسه با بایدن.☁️ابر کلمات کلمات رو داریم، عکس هم گیرمیاریم می کنیمشون توهم و یک ابر کلمات میدیم بیرون!ابر کلمات از آقا ترامپ و آقا بایدنتحلیل احساساتدر بخش آخر با استفاده از یک کتابخانه مفید و خیلی بدرد بخورد در پردازش زبان به نام ? Transformers (بله اون ایموجی هم بخشی از اسم کتابخانست) سعی داریم احساسات جملات بیان شده رو به نمایش بکشیم. اول کار بنده از کتابخانه TextBlob و بعد از pipeline خود ? Transformers برای اینکار استفاده کردم، اما نتایج خیلی خوشایند نبود. این طور شد که (دوباره) به سراغ کگل عزیز رفتم و یک مجموعه داده با 5 برچسب پیدا و روی اونها بهترین مدلی که می تونستم رو آموزش دادم(یک RoBERTa) و چون این مجموعه داده به خوبی همه کلمات و اصطلاحات رو در خودش داشت و مدل من هم به خوبی روی داده های تست جواب می داد این مدل رو transfer کردم و روی مناظره ها استفاده کردم.خوشبختانه نتایج هم دل انگیز تر از هر کتابخانه یا مدل آماده ای بود.خب می بینیم که در کل مصاحبه اول احساسات منفی بیشتر داشته و با اینکه جملات بیشتری هم درش بوده، اما با در نظر گرفتن سمت راست و احساسات مثبت تر، میشه از نظرمن نتیجه گرفت که افت بیشتر احساسات منفی اتفاقی به خاطر جملات کمتر فقط نیست. همچنین در سمت راست میبینیم که ترامپ درکل در جملاتش احساسات منفی و مثبت بیشتری به کار میبره با این استثنا که فقط یک بار از بایدن در جملات مثبت در مناظره اول عقب افتاده.صحبت آخردر این مناظره ها من طرفدار هیچ سمتی نیستم چون دانش سیاسی ام به حدی نیست که فردی رو برتر از دیگری معرفی کنم. اما تنها کاری که از دستم برمیاد یک مقداری تحلیل و بررسی شخصیت هاست با توجه به صحبت هاشون :) امیدوارم از خوندن این نوشته ذره ای اوقات خوش و لذت رو مثل من تجربه کرده باشین :) mitra mirshafieemitra mirshafieeWed, 04 Nov 2020 00:55:30 +0330https://virgool.ir/@mitra.mirshafiee/تمیز-کردن-متن-برای-پردازش-زبان-انگلیسی-و-فارسی-djoyvhkjzmcnسلام:) در پست و ویدئو قبلی با word embedding ها و مدل برت آشنا شدیم. این دفعه قصدمون این هست که بیشتر درمورد پردازش زبان قبل از دادن متن به مدل های یادگیری ماشین یا یادگیری عمیق صحبت کنیم. در این پست ابتدا درمورد پردازش زبان انگلیسی صحبت می کنم و در انتها به سراغ زبان فارسی و کتابخانه حضم که یکی از بهترین منابع موجود و عمومی برای پردازش زبان فارسی هست میرم. متاسفانه ویرگول به راحتی gist هارو نمایش نمیده و کد تمام این بخش ها رو میتونید در این پست یا در گیت هاب بنده مشاهده کنید. البته کد زبان فارسی رو در پایین قرار دادم برای دسترسی راحتتر. https://www.youtube.com/embed/_cl4Noc-1sEمقدمه ما مدت خیلی زیادی صرف درست کردن یک مدل یا الگوریتم مناسب برای دسته بندی متون، تقسیم بندی اخبار یا پیام های شبکه های اجتماعی یا تشخیص احساسات درون متن می کنیم تا بلکه با هر تغییری در الگوریتم، نتیجه ذره ای بهتر و یا سرعت ران شدن بالاتری داشته باشیم. اما باید اینم درنظر گرفت که گاهی با یک سری تغییر کوچک می تونیم عملکرد بسیار بهتری رو از مدلمون بگیریم. حالا این تغییرات چند مرحله هستند که روی خود متن تغییر تاثیر می ذارند و به اصطلاح اون رو "تمیز تر" می کنند. در این پست ما چندتا از با اهمیت ترین و تاثیر گذارترین قدم هایی رو که با اون ها میتونیم یک متن تمیز تر برای الگوریتممون درست کنیم آشنا میشیم. این قدم ها کلی هستند پس مثلا اگر شما با متن کتاب کار دارین و نه پست های شبکه های اجتماعی میتونید از مرحله جایگزینی ایموجی ها صرف نظر کنید.در کل 7 قدم هست که معمولا هر کارشناس داده ای اون هارو برای تمیز کردن متن درنظر می گیره:جایگزینی ایموجی هاخیلی وقت ها قبل از بررسی دقیق متن ممکن هست کارشناس عزیز تمام علائم نگارشی رو برای راحتتر شدن کار در مرحله اول حذف کنه. اما درواقع ایموجی ها و یا ایموتیکان ها که مجموعه ای از حروف اضافه هستند یک بخش مهمی از احساسی که در متن وجود دارد رو در خودشون دارند. مثلا "گللل :))))" رو با "گللل :(((((" مقایسه کنید. اگر شما اول کار تمام حروف اضافه رو حذف کنید الگوریتم شما اگر بخواد احساسات جمله رو تشخیص بده هر دورو به عنوان مثبت و خوشحال در نظر میگیره.چند نمونه از این شکل ها :) و :( و xD و غیره هستند. ما به راحتی می تونیم این هارو با معادل معناییشون جایگزین کنیم. حذف لینک هااین هم یکی دیگه از مواردی هست که در متونی که از شبکه های اجتماعی بدست میان زیاد دیده میشه. لینک ها به طور معمول اطلاع خاصی درمورد متن به ما نمی دند و بیشتر دارای یک فرمت مشخص هستند. پس میشه اون هاروهم با استفاده از یک re.sub به راحتی جاگزین کرد. در عبارت ریجکس پایین همونطور که مبینید متن در ابتدا یک http یا https باید داشته باشه و بعد t.co که نمایشگر لینک هایی هست که در توییتر دیده میشه و بعد هم یک سری عدد و حرف داریم.توکن یا واحدبندی کردن (Tokenization)همونطور که می دونیم کامپیوتر ها و الگوریتم ها توانایی خواندن مثل مارو ندارند. برای همین ما به جای دادن کل جمله به الگوریتم اون رو تکه تکه می کنیم تا هر کلمه رو جدا تشخیص بده و پردازش کند. حالا برای این کار ما هم میتونیم از تابع و ابزار های ساده مثل split استفاده بکنیم، هم از پکیج هایی مثل nltk و spacy. منتها مشکل split با وجود سادگیش این هست که اگر ما جمله ای مثل "Mr. Smith said he's going downtown"رو بدیم، قابل به تشخیص اینکه downtown از نقطه کنارش جدا هست رو نداره و درنتیجه ما یک کلمه با شکل جدید خواهیم داشت که الگوریتم در دیکشنریش نداره و اون رو یک کلمه جدید حساب می کنه. برای همین هست که پکیج هایی مثل nltk در این کار به بقیه ارجهیت دارند. فقط این رو در ذهن داشته باشید که اگر شما از چیزی مثل مدل BERT استفاده می کنید، اون مدل خودش یک tokenizer برای توکن یا تکه کردن جملات بر اساس دایره لغات از پیش تعیین شده خود الگوریتم، داره و نیازی نیست شما از یک پکیج جدا استفاده کنید.حذف ایست واژه ها یا StopWordsچند نمونه از این کلمات در انگلیسی "he", "in", "on", "she" هستند. این کلمات به قدری زیاد و در جمله های مختلفی استفاده میشند و عمومی و بدون جهت گیری خاصی هستند که معمولا در اغلب فرآیند های پردازش زبان از متن حذف میشند تا هم الگوریتم راحتتر عملیات خودش رو انجام بده هم سرعت آموزش بیشتر بشه. این لغات به حدی بی تاثیر هستند که حتی گوگل هم در زمان جست و چو برای پیدا کردن بهترین جواب اونهارو نادیده می گیره.حذف علائم نگارشاین علائم هم مثل ایست واژه ها هستند و به دلیل اینکه در همه جملات دیده میشند حذف اونها نتایج مثبت بیشتری از منفیشون داره. البته به این توجه کنید که اگر قصد شما پردازش زبان برای تولید یک مدل زبانی یا language model باشه برای حفظ شیوه نگارشی باید علائم رو هم نگه دارید. ما در کد پایین از تابع maketrans استفاده کردیم که با قرار یک لیست از punctuation ها در سومین جایگاه اون به این تابع میگیم تا هرآنچه علائم نگارشی دیدی سر رات حذف کن. خداخیرت بده.کوچک کردن حروفاین یکی از مواردی هست که اغلب در زبان هایی مثل انگلیسی یک معذله. چون اگر شما تمام حروف رو به شکل کوچکشون برگردونید، با اینکه تعداد حروف دیکشنری و درنتیجه حافظه اشغال شده توسط الگوریتم کمتر میشه اما بخش زیادی از معنی متن هم ممکنه تغییر کنه. چطور؟ خب ما زمانی که کلماتی مثل "Another", "There" و غیره رو کوچک کنیم تغییری در معنای اونها به وجود نمیاد. اما فرض کنید شما کلمه ای مثل "Bush" که همون رئیس جمهور بوش هست رو کوچک کنید. این کلمه کاملا تغییر معنایی میده و به "bush" به معنی بوته تبدیل میشه :) پس درکل باید امتحان کنید و ببینید عملکرد الگوریتم در دو حالت چطور هست.تجزیه و تحلیل صرفی یا lemmatization و stemmingهدف هر دو عملیات lemmatization و stemming برگرداندن کلمات به حالت پایه و اصلیشون هست. فقط تفاوت این دو در شیوه انجام این کاره. stemmer یک کلمه رو میگیره و تهش رو به امید درست شدن یک حرف مناسب میزنه. مثلا وقتی studies رو به اون بدیم به ما studi برمیگردونه. اما lemmatizer همین کار رو با یک دیکشنری انجام میده. پس در جواب دادن studies ما کلمه study رو خواهیم داشت.حالا به طور خلاصه من کد پردازش زبان فارسی رو هم اینجا برای علاقه مندان زبان مادری قرار میدم :)# installation...pip install hazm # code... from __future__ import unicode_literals from hazm import * #tokenizer word_tokenize('ولی برای پردازش، جدا بهتر نیست؟')['ولی', 'برای', 'پردازش', '،', 'جدا', 'بهتر', 'نیست', '؟'] # stemmer stemmer = Stemmer() stemmer.stem('کتاب‌ها') # lemmatizer lemmatizer = Lemmatizer() lemmatizer.lemmatize('می‌روم') # parts of speeck tagger.tag(word_tokenize('ما بسیار کتاب می‌خوانیم')) ممنون که این پست رو خوندین :) امیدوارم براتون مفید بوده باشه! نظرات و پیشنهادات بسیار استقبال میشه پس اگر نکته ای به نظرتون اومد حتما تو قسمت پایین به اشتراک بذارین :)mitra mirshafieemitra mirshafieeFri, 09 Oct 2020 13:31:22 +0330https://virgool.ir/@mitra.mirshafiee/تعریف-word-embeddingها-و-مدل-زبانی-برت-قسمت-2-nz5acqntoi2sخب در این قسمت می بینیم که برتری برت بر سایر مدل های زبانی از کجا آمده. این لینک قسمت قبل و این هم ویدئو: https://www.youtube.com/embed/t5wdTK-QtLA گفتیم Word Embedding های زیاد و متفاوتی وجود دارند اما دلیل اصلی اینکه به شخصه برت را به بقیه ترجیه می دهم، این است که مانند دیگر embedding ها مانند Glove یا Word2vec سختگیر و بدون ملاحظه نیست!چرا این را می گویم؟به این خاطر که embedding هایی مانند GloVeهمیشه یک بردار embedding مشخص و ثابت را به یک کلمه اختصاص می دهند بدون اینکه به معنی کلیه متن توجهی داشته باشند. اکنون به این دو کراش توجه کنید.یکی" Terrorists will crash the tower "و دیگری"Mary has a crush one Charlie"آنها هر دو یک معنی که ندارند، درسته؟اما اگر ما این دو را به GloVe یا Word2vec بدهیم، آنها ممکن است فکر کنند که دومین جمله مانند اولی دارد یک فاجعه را گزارش می کند! مثلا Mary قرار است Charlie را له یا خرد کند!اما می دانیم که اگر ما این دومورد را به برت روشن فکرمان بدهیم، آنقدر عقل دارد که همچین کاری نکند. پس می آید به هر کراش در هر جمله، یک embedding مشخص، با توجه به جمله ای که در آن استفاده شده است می دهد. به همین دلیل است که بعضی مواقع بیش از یک embedding برای یک کلمه مشخص می بینیم.تقسیم بندی متن تا اینجا تعریف و فرآیند کلی ای کهWord Embeddings انجام می دهند را دیدیم. اما چون این نوشته، بخشی از یک دوره سه قسمتی تقسیم بندی متن است، من درمورد اینکه برت چطور از Word Embeddings برای تقسیم بندی متون استفاده می کند نیز صحبت می کنم.خب، بعد از اینکه آموزش مدلمان را تمام کردیم، برای Classification باید بردار یکی از این تکه ها را برداریم و از شر بقیه خلاص شویم.در واقع بر اساس این تکه است که ما درمورد برچسب متن تصمیم میگیریم که مثلا آیا این متن دارد یک فاجعه را گزارش می کند یا خیر.آیا می توانید حدس بزنید این چه تکه ای است؟راهنمایی: این تکه در تمام جملات حاضر است اما وابسته به اینکه در چه جمله ای استفاده شده، مقادیر متفاوتی به خود می گیرد. می توانید واییسید و کمی به این سوال فکر کنید. خب آن تکهCLS است! و درواقع به معنای Classification یا همان تقسیم بندی نیز هست!برداشتن یک تکه و استفاده از یک activation function مثل sigmoidبا اینکه این فقط یک کلمه و تکه است که در همه جملات تکرار شده، مقادیر مختلفی در بردار خود با توجه به جمله ای که درآن استفاده شده دارد. با embedding های این تکه و یک لایه Dense یا همان فشرده با تابع Activation یا فعال سای مانندsigmoid است که می توانیم تقسیم بندی متنمان را انجام دهیم.خب این هم از این!در این قسمت شما درمورد Word embedding ها و اینکه برت چطور از آنها برای حفظ معنا و تقسیم بندی متن استفاده می کند یادگرفتید.اگر می خواهید درمورد شیوه پیاده سازی همه این ها در کد هم بدانید می توانید ادامه همین ویدئو را در یوتیوب تماشا کنید. یا سری به کرنل بنده در کگل بزنید!به علاوه اگر سوالی هم داشتید در قسمت نظرات یوتیوب یا همینجا بپرسید.من در اسرع وقت پاسخ می دهم.برت خوشحال از شنیدن این همه تعریفmitra mirshafieemitra mirshafieeThu, 01 Oct 2020 19:20:24 +0330https://virgool.ir/@mitra.mirshafiee/آیا-مری-چارلی-را-خورد-کرد-مدل-زبانی-برت-قسمت-1-zyitlisytshvسلام همگی، من به تازگی یک سری سه قسمتی آموزش NLP در یوتیوب تهیه کردم و فکرکردم شاید خوب باشه این آموزش رو به زبان مادری خودم و برای هرکسی که حالا ترجیه میده فارسی بخونه تا انگلیسی هم بذارم.(برای دیدن ویدئو بی زحمت فیلترشکن یادتون نره :)) https://www.youtube.com/embed/t5wdTK-QtLA نوت: این ویدئو یکی از اون سه پارت هست اما تقریبا مهم ترین بخش و کلا درمورد Word embeddings هست. پس اگر نخواستید قسمت های دیگرم ببینید زیاد ضرر نمی کنین ولی برای پیاده سازی مدل می تونید به قسمت بعدی این سری مراجعه کنید.مقدمه: ما در این ویدئو قصد داریم درمورد word embedding ها صحبت کنیم. می بینیم که اونها چی هستند و چطور می توانند به ما در حفظ معنی کلمات کمک کنند.به طور به خصوص می خواهیم درمورد برت و اینکه این مدل چطور به ما درتقسیم بندی متون کمک می کند صحبت کنیم. ابتدا تصور می کنیم دو جمله داریم.یکی"Terrorists will crash the tower "و دیگری"Mary has a crush one Charlie"خب اولین قدم در پردازش متن، tokenization یا همان تفکیک جملات است. منظور ما از تفکیک جملات، جدا کردن کلمات یک جمله از هم و تبدیل هر یک از این جملات به یک سری کلمه جداست.توکایزیشن اکنون قدم بعدی تبدیل و تغییر این کلمات به شکلیست که برای کامپیوتر قابل فهم باشد. برای این فرآیند ما گزینه های زیادی روبه روی خود داریم.برای مثال می توانیم به one-hot-encoding اشاره کنیم. در این روش، ما هر کلمه را با یک بردار با طول تعداد لغاتمان نشان می دهیم.در این بردار ها تمام عناصر صفر هستند، به غیر از آن عنصری که ما به آن کلمه اختصاص دادیم.به طور مثال اگر Marry کلمه ی 150 ام در دیکشنری ما باشد، 150 امین کلمه در بردار این کلمه 1 و تمام عناصر دیگر صفر خواهد بود.خب در این روش تمام کاری که ما انجام دادیم، دادن مقدار 1 به کلماتی که در یک جمله وجود دارد و 0 به کلماتی که در جمله موجود نبودند بوده.اما آیا ما می توانیم هیچ شباهتی بین بردار کلماتی که تشابه معنایی دارند پیدا کنیم؟به طور مثال، آیا فکر می کنید شبکه عصبی ما می تواند تفاوت بین Charlie (اسم انسان) وTower(اسم شیئ) را شناسایی کند؟ آیا می تواند بفهمد که هم Mary و هم Charlie انسان اند و در نتیجه در اینجا Mary نمی تواند رویTower کراش داشته باشد!اما به خاطر شیوه نمایش لغاتی که ما انتخاب کردیم، رابطه بین Mary و Charlie، هیچ تفاوتی با رابطه بین Mary و Tower ندارد.اگر بخواهیم یک مقدار دقیق تر صحبت کنیم، باید بگوییم که ضرب داخلی هر دو بردار و در نتیجه شباهت کسینوسی آن ها همیشه 0 خواهد بود که یعنی هیچ شباهتی بین هیچ دو بردارو همچنین کلمه نیست.شباهت بین بردار ها وقتی از one-hot-encoding استفاده می کنیمحالا شیوه نمایش word embeddings را با one-hot-encoding مقایسه کنید:word2vec word embeddings after dim reductionخب، ما باید چه کنیم؟خوشبختانه این مشکل توسط Word Embeddings برای ما حل شده است.قبل از اینکه وارد توضیحات این مبحث شویم، لازم است بدانیم که تمام Word Embedding ها به طور کلی یک کار مشخص را نشان می دهند. اما بعضی از آنها مانند BERT (برت) ویژگی افزون بر حالت معمولی دارند که آنها را برای طیف گسترده تری از پردازش زبان طبیعی مناسب می کنند.پس در اینجا ما فرآیند و توضیحات همه آنها را پوشش می دهیم، اما به طور به خصوص درمورد برت صحبت خواهیم کرد. فرض می کنیم که می خواهیم از برت به عنوان مدلمان استفاده کنیم و هر جمله را به آن می دهیم تا ببینیم چطور هر جمله را پردازش می کند. (همه مراحل در عکس پایین قابل مشاهده هستند.)اولین قدم در اینجا اضافه کردن دو تکه دیگر به ابتدا و انتهای جملات است این تکه ها CLS و SEP هستند. و اساسا وظیفه جدا کردن جملات برای شناسایی آن ها از هم را برعهده دارند. اما آن ها وظایف مفید دیگری نیز دارند که در ادامه به آن ها می پردازیم.قدم دوم رمزگذاری متن می کنیم. برای این کار ما باید یک عدد به هر کلمه موجود در مجموعه لغاتمان اختصاص دهیم. به طور مثال ما بهCLS عدد 101، به Terrorists عدد 1، به will عدد 2 و غیره را اختصاص می دهیم.قدم سوم لایه گذاری یا padding است. خب حالا با اینکه همه چیز عالی بنظر میاید، ما باید یک قدم دیگر قبل از ورود به word embeddings برداریم. در این مرحله به خاطر اینکه شبکه های عصبی ورودی های به یک اندازه و بعد می گیرند، ما یک طول مشخص برای تمام جمله ها تعریف می کنیم، و بعد به انتهای جملاتی که کوتاه تر از آن طول هستند، 0 اضافه کنیم.به طور مثال اینجا دومین جمله به طول 8 است و برای اینکه تمام تکه ها را پوشش دهیم، ما عدد 8 را به عنوان بیشترین طول جملات انتخاب می کنیم و یک 0 به انتهای اولین جمله می افزاییم.چون در اینجا ما داریم اطراف اعداد فضای خالی ایجاد می کنیم، این فرآیند Padding یا لایه گذاری نام دارد.سه قدم لازم قبل از word embeddingsو حالا Word Embeddings!در این مرحله، کاری که می کنیم این است که هر جمله را برمی داریم، مثلا اینجا دومین جمله را برمی داریم، و یک بردار به هر کلمه موجود در آن اختصاص می دهیم. پس در اینجا کلمه Mary ممکن است مقادیر0.1، 0.8، 0.2 و غیره را بگیرد. تمام این بردار ها هم اندازه اند و یک چیز جالب درمورد آنها این است که شما می توانید هرستون یا هر مقداردر این بردار ها را به عنوان یک جنبه معنایی این کلمه ببینید.Word embeddingsدر اینجا هر ستون نمایشگر یک جنبه معنایی لغات است.اگر ستونی، زنانگی کلمه را نشان دهد، Mary عدد بزرگ و Charlie عدد کوچکی در آن خواهد گرفت. اما اگر مرردانگی را نشان دهد، این بار Charlie یک عدد بزرگ و Mary عدد پایینی در آن خواهد داشت. و چون احتمالا سنین نزدیک به همی دارند، پس مقادیر اختصاص یافته به سن آن ها نیز نزدیک هم خواهد بود.باید به این اشاره کنیم که اگر ما همه این مقادیر از پیش آموزش داده شده را روی داده های خودمان هم آموزش دهیم، آنگاه Word Embedding های ما حتی فهم بهتری از متن و هر کلمه ما خواهند داشت و راحتتر می توانند تفاوت و رابطه بین آنها را متوجه شود و تعیین کند کدام یک می توانند بر روی هم کراش داشته باشند.اکنون توجه کنید که گفتیم Word Embedding های زیاد و متفاوتی وجود دارند اما دلیل اصلی اینکه به شخصه برت را به بقیه ترجیه می دهم، این است که مانند دیگر embedding ها مانند Glove یا Word2vec سختگیر و بدون ملاحظه نیست!علت این روشن فکری برت را در پست بعدی خدمتتان عرض می کنم.برت عزیز خندان به شماmitra mirshafieemitra mirshafieeFri, 25 Sep 2020 15:52:50 +0330https://virgool.ir/@mitra.mirshafiee/من-چقدر-خرج-می-کنم-قبل-و-بعد-قرنطینه-gt2erbbxtxaaتحلیل داده های مالیاواسط آبان 98 تصمیم گرفتم دخل و خرجم رو بنویسم. اولش بیشتر هدفم این بود که از زیر کنترل و دیدبانی خانواده دربیام و بیشتر استقلال مالی بدست بیارم:) ولی خب همینطور که گذشت و داده های بیشتری جمع شد، حس کردم جالب میشه اگه بتونم یه تحلیلی روی شیوه خرج کردنم بزنم :)) چون عاشق نقاشی و به تصویر درآوردن هرچیزی برای درک بهتر اون هستم، یک ژوپیتر نوت بوک باز کردم و افتادم به جون داده های مالیم.اینجا می خوام یک سری از تحلیل ها و نمودار هارو بذارم ولی اگه می خواستید برای خودتون کامل تر یک همچین تحلیل هایی داشته باشید کد پایتون این تحلیل هارو می تونید آماده از گیت هاب بنده بردارید. همچنین می تونید از این excel spreadsheet برای رکورد و ثبت کردن اطلاعات مالیتون استفاده کنین. خب اول بریم سراغ یک تحلیل کلی:این داده هایی که داریم در طول زمان ثبت شدند و یک سری زمانی اند. من مجموع خرج خودم رو در روز های هفته و ماه های مختلف به شکل زیر به نمایش درآوردم:خرج ماهانه و روزانهیک چیز عجیب اینه که در ماه 10 سال 98 خرجم یک افزایش خیلی وحشتناک داشته. بریم ببینیم چیکار کردم خیر سرم :) خب مطمئنا از یک فیتر روی روز میشه فهمید ولی من گفتم بیام بزرگترش کنم و ببینم بیشترین خرج هام چی بوده و ماکس رو از اونجا در بیارم.بیشترین خرج ها و بیشترین دفعات خرجخب همون طور که مشخصه بیشترین هزینه من از خرید دارو های خارجی میاد و بنده باید یک فکری در مورد دکتر عزیزم که انقدر داره رو دستم خرج می ذاره بکنم. حالا این خرج رو یک غیر معمول یا همون outlier درنظر میگیریم و حذفش می کنیم تا بتونیم بهتر بقیه رو ببینیم. خرج روزانه و ماهانهخب حالا میشه بهتر درمورد روند کلی نظر داد. همون طور که میبینیم قبل قرنطینه من هر ماه حدود 400 تا 600 خرج هزینه رفت آمد و خرید خوراکی و غذا و... می کردم. ولی از انتهای ماه 11 که ترم دانشگاه هم شروع نشد، و بنده از صبح تا شب مثل یک آهو در چمن تو خونه تحت حمایت خانواده خوردم و خوابیدم خرجم به شدت کاهش پیدا کرد.ولی خب اوضاع با ادامه قرنطینه و خانه نشینی تغییر کرد و دوباره برای حفظ سلامت جسمانی و روانی بنده راه افتادم در خیابان و حداقل هر پیاده روی که می رفتم یک بستنی هم میذاشتم تنگش.می خوام بدونم خرجم بیشتر از چه گروه هایی میاد پس برای یک دید کلی یک treemap می زنم.تقسیم بندی خرج در گروه های مختلفخب میبینیم که انقدر هزینه رفت و آمد زیاد بوده که حتی با خونه نشینی و بستنی خوردن هم به گروه های پایین تر نرفته و رتبه 1 خرج و مخارج من رو داره. ولی جالبه که گروه بعدی اقدامات و مخارج تفریحیه که با وجود اینکه بیشتر کتاب هارو به شکل الکترونیک می خونم همچنان اولین زیرگروه بخش دوم هست خرج کتاب هست!(به لطف گرونی کاغذ) ولی خب چون قصد کتاب نخوندن ندارم همچنان روش خرج میکنم. ولی توی نمودار، زیرگروه هایی هستند که من به تعداد دفعات خیلی کم سمتشون می رم(مثل رنگ کردن موها و کافه رفتن و...) ولی هزینه زیادی دارند و از بقیه خرج های کوچیک ولی با تعداد دفعات بالا زدن جلو!حالا بیاییم دقیق تر هر گروه رو بررسی کنیم:توزیع هر دسته و زیر دستهمرسی که در این پست با من همراه بودین =) امیدوارم خرجتون هر روز کمتر و دخلتون بیشتر شه =) نظرتون برام خیلی ارزشمنده، خوشحال میشم اگر نکته ای پیشنهادی داشتین تو کامنت ها یا گیت هاب بگین =)mitra mirshafieemitra mirshafieeSat, 01 Aug 2020 20:45:16 +0430https://virgool.ir/@mitra.mirshafiee/چرا-تغییر-انقدر-سخته-gjcgwzmlngg9چند وقته دارم فکر می کنم آیا چیزایی مثل کتاب خوندن واقعا می تونن آدم رو تغییر بدن؟حدود دو سه سالی میشه که سعی میکنم مرتب روی یک نظم مشخص کتاب بخونم. کتابایی که به افکارم شکل میدن و کمک می کنن یه زندگی متمرکز و هدف دار تری رو برای خودم بسازم.در طول این مدت برام جالب بوده که چقدر کتاب های انگیزشی شبیه همن. با این تجربه ای که کسب کردم، دیدم که خیلی فرقی نمی کنه چه فردی و در چه سالی اون کتاب رو نوشته باشه. میشه گفت خود کتاب ها داشتند به من یک سری مفاهیم مشخص رو می گفتند. معمولا برای بهتر کردن زندگی و روابط و کار یک سری نکات اصلی و ساده هست که ما آدم ها یادمون میره بهشون توجه کنیم. چیزایی مثل آگاهی و توجه به خودمون (Mindfulness) ، برنامه ریزی و دیدن آینده از قبل (Planning)، تمرکز روی هر لحظه و انجام یک کار مشخص به جای چندتا (Deep work) و غیره هستش.و اگه من با همون اولین کتابی که خوندم تمام تغییرات رو می تونستم توی زندگیم ایجاد کنم و به همه گفته های نویسنده (در این مورد آنتونی رابینز) عمل می کردم، شاید واقعا خوندن بقیه تحول بزرگی برام نبود. اما تو این تحلیل یک ایراد بزرگ وجود داره:ما انسانا موجود عادتیم.قضیه به این ختم نمیشه که آدم با یک بار خوندن تمام تغییرات رو توی خودش ایجاد کنه. شما فرض کن من با 22 سال سن، 22 سال هست که دارم با یک روند (خیلی وقتا ناآگاهانه) یک زندگی معمولی و مثل اطرافیانم رو می گذروندم. هیچ وقت قبل دعوا و بحث نفس عمیق نمی کشیدم و به اطرافم و خودم با دقت نگاه نمی کردم، هیچ وقت برنامه دقیقی برای آینده و شغلم نداشتم و همیشه یک مدرسه ای برای من تعریف شده بوده که می رفتم و مشقام رو کامل تحویل می دادم و به سلامت! و به کار و شغل آیندم هم جدی و به عنوان چیزی که می تونه منشا انرژی باشه نگاه نکردم.ولی وقتی به این دوره ی دو سه ساله و تفاوتش با چند سال قبلش نگاه می کنم می تونم بگم که الحق اون کسی که جمله زیر رو گفته،انسان دو بار متولد می شود؛ یک بار از مادر و بار دیگر از "خویشتن".انسان جذابی بوده :)))شاید من یک شبه تبدیل به یک ابر قهرمان دنیا یاحتی زندگی خودم نشدم، ولی چیزی که قطعیه اینه که من ذره ذره تغییر رو توی خودم می بینم. جوری که با اطرافیانم صحبت می کنم، جوری که به شغلم نگاه می کنم، فعالیت هایی که تو دوران دانشجویی کردم و دوستای جذاب و واقعا ارزش مندی که بدست آووردم، همه تحت تاثیر همون تغییرات کوچیک و شاید حتی خیلی ریز توی تفکرم بوده.پس می تونم بگم که اگر هم جایی دیدین بدی روزگار به خوشیش چربیده و دارین همون عادتای قبلی رو تکرار می کنین خیلی نگران نباشین:) مهم چیز اینه که:از ایجاد و نگهداشتن یک تغییر توی زندگی نا امید نشید :)آخرش قشنگه :)mitra mirshafieemitra mirshafieeMon, 01 Jun 2020 21:10:57 +0430https://virgool.ir/@mitra.mirshafiee/چطور-تو-قرنظینه-واقعا-مفید-کار-کنیم-ihrili5phkroمن یه دانشجوی سال آخرم که عاشق برنامه نویسی و یادگیری ماشینه. همیشه دنبال راهایی بودم که وقتی نشستم و یه پروژرو شروع کردم، تو کمترین زمان بهترین و خلاصه ترین کد رو با بهترین نتیجه بزنم. برای همین تو یوتیوب و سایت های دیگه آدمای موفق و باحال و به نظر خودم جذاب رو دنبال می کنم تا روش های بهره وری بیشتر یا همون productivity رو ازشون یاد بگیرم و ببینم واقعا اون کارا قابل اجران یا نه.خب، اینجا یه خلاصه ای از کارایی که این روزا برام خیلی کاربردی بوده رو براتون میگم. اگه باز چیزی پیدا کردم که مفید بود ایشالله پستای بعد :)پروژه یا برنامه ای که می خوایید بنویسید رو بخش بندی کنید و برای هر بخش یه تایم و ددلاین (deadline) تعریف کنید.اینجا باید حواستون به یه اشتباهی که مغز ما معمولا انجام میده هم باشه، ما معمولا تایم هر کار رو کمتر از واقعیت پیش بینی می کنیم. پس سخت گیر نباشید و سعی کنید برای شروع بخش های کمی رو به هر بازه اختصاص بدین.برنامه ریزی2. تو زمانای استراحتتون واقعا عشق کنید! حالا عششششق ینی چی؟ :) به نظر من یعنی کاری کاملا متفاوت با پشت کامپیوتر نشستن و فیلم دیدن یا جلو تلویزیون خوابیدن. اما یعنی کاری مثلا رقص، نقاشی (حتی چش چش دو ابرو :) )، موسیقی، دوچرخه سواری و کارایی که شما رو از حالت منطقی یا به اصطلاح (L-mode) مغز بیاره بیرون.می تونین لحظات جذاب این فعالیتارم ثبت کنین که بعدا ازش لذت ببین :) این یک نمونه لحظه و مکان جذاب در دوچرخه سواری خودمه :)3. بعد تعیین ددلاین و هدف برای هر پروژه برای خودتون یک جایزه یا تنبیه در نظر بگیرید و واقعا بهش پایبند باشین. مثلا بگین در صورت موفقیت و رسیدن به هدف یکی از چیزایی که خیلی می خوایین از دیجیکالا بگیرین رو سفارش بدین. این یک سیستم و انتظار (خیلی عذر میخوام:)) ) مثل آزمایش پاوولوف روی سگش تو مغزمون ایجاد می کنه که هر رسیدن به نتیجه و هدف یک جایزه جذاب با خودش به همراه داره :))اینم یک نمونه از جایزه های جذابیه که خودم به خودم دادم:) ازونجایی که عاشق داستانای تخیلی و هری پاترم، نگاش می کنم ذوق می کنم:))mitra mirshafieemitra mirshafieeFri, 22 May 2020 13:33:18 +0430