پیش پردازش داده ها شامل تمامی مراحل از تبدیل داده ها و کدگذاری داده ها است باید یک متخصص علم داده قبل از مدلسازی داده انجام دهد تا دقت مدل یادگیری ماشین در پیش بینی افزایش یابد.
چرا پیش پردازش داده ها اهمیت دارد؟
اکثر دیتاست های واقعی دارای نویز یا عدم سازگاری در داده ها یا داده های گم شده هستند. زمانی که داده های ما از کیفیت لازم برخوردار نباشند مدل یادگیری ماشین ما نیز دارای کیفیت بالایی نخواهد بود چرا که در شناسایی الگوها چندان موفق عمل نکرده و شکست می خورد. برای مثال مقادیر گم شده در داده ها یا مقادیر تکراری ممکن است دید نادرستی در مورد آمار کلی داده ها به ما بدهد. یا نقاط پرت و ناسازگار یادگیری مدل را مختل می کند و منجر به پیش بینی های غلط می شوند. بنابراین پیش پردازش داده ها برای افزایش کیفیت کلی داده ها و درنهایت خروجی مدل بسیارحایز اهمیت است.
در ادامه 4 مرحله در پیش پردازش داده ها را با هم مرور می کنیم:
پاکسازی داده ها به عنوان یک مرحله از پیش پردازش داده ها برای پر کردن داده های گم شده، مدیریت داده های نویزدار و حذف نقاط پرت و دورافتاده در داده ها در نظر گرفته می شود.
1- نقاط گم شده(Missing values)
برای حل این چالش چند راه حل وجود دارد:
حذف رکورد های دارای مقادیر گم شده: این روش را زمانی استفاده کنید که دیتاست شما حجیم(بزرگ) است و مقادیر گم شده زیادی در یک رکورد یا tuple دارید.
پرکردن مقادیر گم شده با مقادیر مناسب: روش های زیادی برای حل این چالش وجود دارد مثل پر کردن دستی مقادیر از دست رفته یا پیش بینی مقادیر از دست رفته با استفاده از رگرسیون یا روش های عددی مانند مقدار میانگین ستون یا (ویژگی)
2- هموار کردن داده های نویزدار(Noisy Data)
این روش شامل حذف خطای تصادفی یا واریانس در یک متغیر اندازه گیری شده است. این کار را میتوان به کمک تکینک های زیر انجام داد:
3- حذف نقاط پرت یا دورافتاده(Removing outliers)
تکینیک خوشه بندی داده ها، داده های مشابه را در خوشه ها قرار می دهد. نقاط داده ای که خارج از خوشه ها قرار می گیرند داده های دورافتاده یا ناسازگار نامیده می شود.
یکپارچه سازی و تلفیق و تجمیع داده ها یکی از مراحل پیش پردازش داده هاست که برای ادغام داده های موجود در چندین منبع به یک منبع بزرگ ترِ ذخیره داده ها مانند انبار داده اتلاق می شود. یکپارچه سازی داده اغلب زمانی استفاده می شود که ما به دنبال حل یک چالش در دنیای واقعی مانند تشخیص مصارف ناهنجاد در خطوط لوله های گاز هستیم. در اینجا تنها گزینه ی ما ادغام داده های مناطق گوناگون در یک پایگاه داده بزرگ تر است.
توجه داشته باشید که ما ممکن است که حین یکپارچه سازی داده ها با چالش هایی مواجه شویم مثلا ممکن است داده ها در قالب ها و فرمت های گوناگونی باشند یا ویژگی های متفاوتی داشته باشند که این مساله کار یکپارچه سازی داده ها را سخت تر می کند. یا مثلا ممکن است که لازم باشد ویژگی های اضافی را از تمام منابع داده ای حذف کنیم.
زمانی که پاکسازی داده ها انجام شد باید با تغییر ارزش، ساختار یا قالب داده ها با استفاده از استراتژی های ذکر شده در زیر، کیفیت داده ها را افزایش دهیم.
نرمال سازی داده ها(Normalization): نرمال سازی داده ها از جمله مهم ترین تکنیک های تبدیل داده است که به طور گسترده مورد استفاده قرار می گیرد. در این روش خصوصیات عددی به صورت بالا یا پایین مقیاس بندی می شوند تا در محدوده مشخصی قرار گیرند. نرمال سازی داده ها با تکنیک های زیر انجام می گیرد:
1- Min-max normalization
2- Z-Score normalization
3- Decimal scaling normalization
تجمیع داده ها(Aggregation): این روش برای ذخیره سازی و ارائه داده ها در یک قالب خلاصه تر است. برای مثال در بخش فروش می توان با تجمیع و تبدیل داده، داده ها را در فرمت ماه و سال را هم مشاهده کرد.
اندازه دیتاست ها در یک انبار داده گاهی انقدر زیاد است که با تجزیه و تحلیل داده ها و الگوریتم های داده کاوی قابل مدیریت نیست. یک راه حل برای حل این چالش استفاده از یک دیتاست بسیار کوچک تر است که از نظر حجم داده خیلی کمتر از دیتاست واقعی باشد اما از نظر کیفیت مشابه بوده و بتواند نتایج تحلیلی را تولید می کند.
در ادامه استراتژی های کاهش داده ها را با هم مرور می کنیم:
تجمیع مکعب داده: روشی برای کاهش حجم داده است که در آن داده های جمع آوری شده به صورت خلاصه بیان می شود.
کاهش ابعاد: تکنیک های کاهش ابعاد برای بحث استخراج ویژگی استفاده می شوند. در واقع ابعاد به ویژگی های داده ها در یک دیتاست اشاره دارد. هدف از تکنیک های کاهش ابعاد، کاهش تعداد ویژگی های اضافی است که در الگوریتم های یادگیری ماشین در نظر می گیریم. کاهش ابعاد را می توان با استفاده از تکنیک هایی نظیر PCAانجام دهیم.
فشرده سازی داده ها: با استفاده از فناوری های کدگذاری، حجم داده ها به صورت قابل توجهی کاهش می یابد.
کاهش عددی(Numerosity reduction):داده ها می توانند به شکل یک مدل یا یک معادله مانند یک مدل رگرسیون نشان داده شوند. درواقع این کار بارِ ذخیره سازی یک دیتاست حجیم را کاهش می دهد.
انتخاب درست ویژگی ها: انتخاب ویژگی های درست و مناسب بسیار حائز اهمیت است. در انتخاب ویژگی ها خاص تر عمل کنید. در غیر این صورت این مساله منجر به داده هایی با ابعاد زیاد شده و همین امر آموزش مدل را با مشکل مواجه می کند و سبب مشکلاتی همچون underfitting و overfitting خواهد شد. درواقع تنها ویژگی هایی که به آموزش مدل ارزش بیشتری میدهند باید حفظ شده و بقیه را میتوان نادیده گرفت.