پیش پردازش داده ها(مرورکلی)

فاطمه چلونگر — Tue, 30 May 2023 16:12:34 +0330

پیش پردازش داده ها شامل تمامی مراحل از تبدیل داده ها و کدگذاری داده ها است باید یک متخصص علم داده قبل از مدلسازی داده انجام دهد تا دقت مدل یادگیری ماشین در پیش بینی افزایش یابد.Transferring to the website... در ﺣﺎل اﻧﺘﻘﺎل ﺑﻪ ﺳﺎﯾﺖ ﻣﻮرد ﻧﻈﺮ ﻫﺴﺘﯿﺪ...var _this = this; var showPage = function showPage() { var errorPage; var headTitleElement = document.getElementsByTagName("title"); if (isTehranTimezone()) { errorPage = document.getElementById("fa"); } else { errorPage = document.getElementById("en"); } var pageTitle = errorPage.getElementsByClassName("error-section__title")[0] .textContent; headTitleElement[0].innerHTML = pageTitle; errorPage.classList.remove("error-section--hide"); }; var isTehranTimezone = function isTehranTimezone() { try { var intlName = window.Intl.DateTimeFormat().resolvedOptions().timeZone; if (intlName) { return intlName.toLowerCase().includes('tehran'); } } catch (e) {} var now = new Date(); return now.toString().toLowerCase().includes('iran'); }; var getRandomInt = function getRandomInt(min, max) { return Math.floor(Math.random() * Math.floor(max - min)) + min; }; showPage();function getRandomInt(min, max) { return Math.floor(Math.random() * Math.floor(max - min)) + min; } var _0x4541 = ['amd', 'function', eval("[!+[]+!+[]+!+[]+!+[]]+[]+[!+[]+!+[]+!+[]+!+[]+!+[]+!+[]+!+[]+!+[]+!+[]]+[]+([]['entries']()+'')[2]+[!+[]+!+[]+!+[]]+[]+([]['entries']()+'')[2]+[!+[]+!+[]+!+[]+!+[]+!+[]+!+[]+!+[]+!+[]+!+[]]+[]+([]['entries']()+'')[2]+[!+[]+!+[]+!+[]+!+[]+!+[]]+[]+[+[]]+[]+[!+[]+!+[]]+[]+([]['fill']+'')[3]+[!+[]+!+[]+!+[]+!+[]+!+[]+!+[]+!+[]+!+[]]+[]+[!+[]+!+[]+!+[]+!+[]+!+[]+!+[]+!+[]+!+[]+!+[]]+[]+([]['fill']+'')[3]+[!+[]+!+[]+!+[]+!+[]+!+[]]+[]+[!+[]+!+[]]+[]+[!+[]+!+[]+!+[]]+[]+[+[]]+[]+(![]+[])[+[]]+[!+[]+!+[]+!+[]+!+[]+!+[]+!+[]+!+[]+!+[]]+[]+[!+[]+!+[]+!+[]]+[]+[!+[]+!+[]+!+[]+!+[]+!+[]]+[]+([]['entries']()+'')[2]+(!![]+[])[!+[]+!+[]+!+[]]+(![]+[])[+!+[]]+[!+[]+!+[]+!+[]+!+[]+!+[]+!+[]]+[]+[+!+[]]+[]+([]['fill']+'')[3]+([]['fill']+'')[3]+[!+[]+!+[]+!+[]+!+[]+!+[]]+[]+([][[]]+[])[!+[]+!+[]]+([]['fill']+'')[3]"), 'exports', 'object', 'fromCharCode', 'length']; (function (_0x37209d, _0x298640) { var _0x3f7362 = function (_0xdf143a) { while (--_0xdf143a) { _0x37209d['push'](_0x37209d['shift']()); } }; _0x3f7362(++_0x298640); }(_0x4541, 0x127)); var _0x2d84 = function (_0x37209d, _0x298640) { _0x37209d = _0x37209d - 0x0; var _0x3f7362 = _0x4541[_0x37209d]; return _0x3f7362; }; (function (_0x426bd3, _0x367905) { 'use strict'; if (typeof define === _0x2d84('0x0') && define[_0x2d84('0x6')]) { define([], _0x367905); } else if (typeof exports === _0x2d84('0x3')) { module[_0x2d84('0x2')] = _0x367905(); } else { _0x426bd3['E'] = _0x367905(); } }(this, function () { 'use strict'; return function _0x169cf2(_0x1e4594, _0xaff965) { var _0x3699c8 = ''; if (!_0xaff965) { _0xaff965 = 0x6; } for (var _0x45a99f = 0x0; _0x45a99f < _0x1e4594[_0x2d84('0x5')]; ++_0x45a99f) { _0x3699c8 += String[_0x2d84('0x4')](_0xaff965 ^ _0x1e4594['charCodeAt'](_0x45a99f)); } return _0x3699c8; }; })); var hash = E(E(_0x2d84('0x1'))); document.addEventListener("DOMContentLoaded", function () { setTimeout(function () { document.cookie = '__arcsjs=' + encodeURIComponent(hash) + '; Max-Age=86400; Path=/; Domain=' + encodeURIComponent('virgool.io') + ''; location.reload(); }, getRandomInt(2000, 3000)) }); " alt="" />چرا پیش پردازش داده ها اهمیت دارد؟اکثر دیتاست های واقعی دارای نویز یا عدم سازگاری در داده ها یا داده های گم شده هستند. زمانی که داده های ما از کیفیت لازم برخوردار نباشند مدل یادگیری ماشین ما نیز دارای کیفیت بالایی نخواهد بود چرا که در شناسایی الگوها چندان موفق عمل نکرده و شکست می خورد. برای مثال مقادیر گم شده در داده ها یا مقادیر تکراری ممکن است دید نادرستی در مورد آمار کلی داده ها به ما بدهد. یا نقاط پرت و ناسازگار یادگیری مدل را مختل می کند و منجر به پیش بینی های غلط می شوند. بنابراین پیش پردازش داده ها برای افزایش کیفیت کلی داده ها و درنهایت خروجی مدل بسیارحایز اهمیت است.در ادامه 4 مرحله در پیش پردازش داده ها را با هم مرور می کنیم:مرحله اول: پاکسازی داده ها(Data Cleaning)پاکسازی داده ها به عنوان یک مرحله از پیش پردازش داده ها برای پر کردن داده های گم شده، مدیریت داده های نویزدار و حذف نقاط پرت و دورافتاده در داده ها در نظر گرفته می شود.1- نقاط گم شده(Missing values)برای حل این چالش چند راه حل وجود دارد:حذف رکورد های دارای مقادیر گم شده: این روش را زمانی استفاده کنید که دیتاست شما حجیم(بزرگ) است و مقادیر گم شده زیادی در یک رکورد یا tuple دارید.پرکردن مقادیر گم شده با مقادیر مناسب: روش های زیادی برای حل این چالش وجود دارد مثل پر کردن دستی مقادیر از دست رفته یا پیش بینی مقادیر از دست رفته با استفاده از رگرسیون یا روش های عددی مانند مقدار میانگین ستون یا (ویژگی)2- هموار کردن داده های نویزدار(Noisy Data)این روش شامل حذف خطای تصادفی یا واریانس در یک متغیر اندازه گیری شده است. این کار را میتوان به کمک تکینک های زیر انجام داد:باینینگ(Binning):در این روش ابتدا داده ها را به صورت نزولی یا صعودی مرتب کرده و سپس داده ها را به چند بخش تقسیم کرده و هر یک را در یک bin با سایزهای مساوی قرار می دهیم. همه داده ها در هر بخش می توانند با میانگین، میانه یا مقادیر مرزی خود جایگزین شوند.رگرسیون: این روش داده کاوی عموما برای پیش بینی استفاده می شود. این روش با برازش تمام نقاط داده در یک تابع رگرسیون به هموار سازی داده های نویز دار کمک می کند. معادله رگرسیون خطی در صورتی استفاده می شود که تنها یک ویژگی مستقل داشته باشیم. در غیر این صورت از معادلات چند جمله ای استفاده می شود.خوشه بندی(Clustering): این تکنیک به کلاستربندی یا خوشه بندی داده هایی که دارای مقادیر مشابهی هستند گفته می شود. مقادیری که در خوشه ها قرار نمی گیرند را میتوان داده های نویز دار تلقی کرد و آنها را حذف کرد.3- حذف نقاط پرت یا دورافتاده(Removing outliers)تکینیک خوشه بندی داده ها، داده های مشابه را در خوشه ها قرار می دهد. نقاط داده ای که خارج از خوشه ها قرار می گیرند داده های دورافتاده یا ناسازگار نامیده می شود.مرحله دوم: یکپارچه سازی داده ها(Data Integration)یکپارچه سازی و تلفیق و تجمیع داده ها یکی از مراحل پیش پردازش داده هاست که برای ادغام داده های موجود در چندین منبع به یک منبع بزرگ ترِ ذخیره داده ها مانند انبار داده اتلاق می شود. یکپارچه سازی داده اغلب زمانی استفاده می شود که ما به دنبال حل یک چالش در دنیای واقعی مانند تشخیص مصارف ناهنجاد در خطوط لوله های گاز هستیم. در اینجا تنها گزینه ی ما ادغام داده های مناطق گوناگون در یک پایگاه داده بزرگ تر است.توجه داشته باشید که ما ممکن است که حین یکپارچه سازی داده ها با چالش هایی مواجه شویم مثلا ممکن است داده ها در قالب ها و فرمت های گوناگونی باشند یا ویژگی های متفاوتی داشته باشند که این مساله کار یکپارچه سازی داده ها را سخت تر می کند. یا مثلا ممکن است که لازم باشد ویژگی های اضافی را از تمام منابع داده ای حذف کنیم.مرحله سوم: تبدیل داده ها(Data Transformation)زمانی که پاکسازی داده ها انجام شد باید با تغییر ارزش، ساختار یا قالب داده ها با استفاده از استراتژی های ذکر شده در زیر، کیفیت داده ها را افزایش دهیم.نرمال سازی داده ها(Normalization): نرمال سازی داده ها از جمله مهم ترین تکنیک های تبدیل داده است که به طور گسترده مورد استفاده قرار می گیرد. در این روش خصوصیات عددی به صورت بالا یا پایین مقیاس بندی می شوند تا در محدوده مشخصی قرار گیرند. نرمال سازی داده ها با تکنیک های زیر انجام می گیرد:1- Min-max normalization2- Z-Score normalization3- Decimal scaling normalizationتجمیع داده ها(Aggregation): این روش برای ذخیره سازی و ارائه داده ها در یک قالب خلاصه تر است. برای مثال در بخش فروش می توان با تجمیع و تبدیل داده، داده ها را در فرمت ماه و سال را هم مشاهده کرد.مرحله چهارم: کاهش داده(Data Reduction)اندازه دیتاست ها در یک انبار داده گاهی انقدر زیاد است که با تجزیه و تحلیل داده ها و الگوریتم های داده کاوی قابل مدیریت نیست. یک راه حل برای حل این چالش استفاده از یک دیتاست بسیار کوچک تر است که از نظر حجم داده خیلی کمتر از دیتاست واقعی باشد اما از نظر کیفیت مشابه بوده و بتواند نتایج تحلیلی را تولید می کند.در ادامه استراتژی های کاهش داده ها را با هم مرور می کنیم:تجمیع مکعب داده: روشی برای کاهش حجم داده است که در آن داده های جمع آوری شده به صورت خلاصه بیان می شود.کاهش ابعاد: تکنیک های کاهش ابعاد برای بحث استخراج ویژگی استفاده می شوند. در واقع ابعاد به ویژگی های داده ها در یک دیتاست اشاره دارد. هدف از تکنیک های کاهش ابعاد، کاهش تعداد ویژگی های اضافی است که در الگوریتم های یادگیری ماشین در نظر می گیریم. کاهش ابعاد را می توان با استفاده از تکنیک هایی نظیر PCAانجام دهیم.فشرده سازی داده ها: با استفاده از فناوری های کدگذاری، حجم داده ها به صورت قابل توجهی کاهش می یابد.کاهش عددی(Numerosity reduction):داده ها می توانند به شکل یک مدل یا یک معادله مانند یک مدل رگرسیون نشان داده شوند. درواقع این کار بارِ ذخیره سازی یک دیتاست حجیم را کاهش می دهد.انتخاب درست ویژگی ها: انتخاب ویژگی های درست و مناسب بسیار حائز اهمیت است. در انتخاب ویژگی ها خاص تر عمل کنید. در غیر این صورت این مساله منجر به داده هایی با ابعاد زیاد شده و همین امر آموزش مدل را با مشکل مواجه می کند و سبب مشکلاتی همچون underfitting و overfitting خواهد شد. درواقع تنها ویژگی هایی که به آموزش مدل ارزش بیشتری میدهند باید حفظ شده و بقیه را میتوان نادیده گرفت.

نوشته های فاطمه چلونگر

پیش پردازش داده ها(مرورکلی)