https://virgool.ir/feed/@valakhosraviدانشجو کارشناسی آمار شهید بهشتی بودم در حال حاضر دانشجو کارشناسی ارشد داده کاوی شهید بهشتی هستم و تجربه زیادی تو برنامه نویسی دارم.fa2026-11-11 02:30:25https://files.virgool.ir/upload/users/348801/avatar/NuBYHc.pnghttps://virgool.ir/@valakhosravihttps://virgool.ir/@valakhosravi/برخورد-با-مقادیر-از-دست-رفته-در-پاکسازی-داده-miruqilzsg39داده‌هایی که نیاز به پاک سازی دارد به وسیله خطا‌های موجود در آن تشخیص داده می‌شوند و داده‌ای که در آن خطا نباشد نیاز به پاک سازی ندارد اما بهتر است پیش از استفاده از داده موارد زیر که خطاهایی هستند امکان وقوع آن‌ها در داده وجود دارد بررسی شود. هنگام پاک سازی داده این موارد مورد بررسی قرار می‌گیرند و در این مرحله به آن‌ها رسیدگی می‌شود.۱-مقادیر از دست رفته یا ناموجودمقادیر از دست رفته، زمانی رخ می‌دهد که هیچ مقداری برای متغیر در یک مشاهده ذخیره نشده باشد. وجود داده‌های ناقص، یک اتفاق رایج است و می‌تواند تاثیر قابل‌توجهی بر نتایج حاصل از داده‌ها داشته باشد زیرا مقادیر از دست رفته موجب حذف ردیف‌هایی از داده می‌شود که در آن‌ها این خطا وجود دارد. این عمل در اصل کوچک کردن حجم نمونه است و کوچک بودن حجم نمونه باعث تحلیل‌های اریب و نادرست می‌شود. همچنین این خطا باعث بی ارزش شدن سایر اطلاعات آن ردیف می‌شود پس پیشگیری از این خطا بسیار ارزشمند است. جدول زیر بخشی از داده‌های مربوط معاملات خودرو در آمریکا است. همانطور که مشاهده می‌کنید در ستون‌های مختلف آن مقادیر از دست رفته مشاهده می‌شود.از دلایل وقوع این خطا در مجموعه داده می‌توان به خطا انسانی اشاره کرد؛ برای مثال کاربری که داده‌ها را در رایانه ذخیره می‌کند، بر اثر اشتباه مقدار مشاهده شده‌ای را وارد نمی‌کند یا شخص مقدار مورد نظر خود را مشاهده نمی‌کند مثل زمانی که شخص پرسشنامه‌ توزیع کرده است و عده‌ای از افراد که پرسشنامه را دریافت کرده‌اند جواب بعضی از سوال‌ها را نمی‌دهند در این مرحله شخص پرسشگر داده‌هایی ناقص در اختیار دارد.برای رسیدگی به مقادیر از دست رفته می‌توان از روش‌های زیر استفاده کرد.ردیف‌های شامل مقادیر از دست رفته را از مجموعه داده خود حذف کنیم. این عمل موجب استفاده کمتر از حافظه می‌شود.· اگر در مجموعه داده، داده‌های از دست رفته‌ در ستون‌های متغیرهایی باشند که اطلاعات چند ستون دیگر با آن ارتباط داشته باشند می‌توان از برآورد رگرسیونی برای جایگذاری داده‌های از دست رفته کمک گرفت.· در برخورد با مقادیر از دست رفته در ستون‌هایی که از جنس متغیر‌ پیوسته هستند می توان میانگین ستون را به جای مقادیر ناموجود قرار داد. در صورت امکان با استفاده از اطلاعات داده‌های مشابه به پر کردن مقادیر از دست رفته پرداخت.والا خسرویوالا خسرویWed, 24 Feb 2021 12:01:58 +0330https://virgool.ir/@valakhosravi/آشنایی-با-پاکسازی-داده-l3svjr3gwodjپاک سازی داده بخشی از آماده سازی داده جهت اعمالی مانند تهیه گزارش از دادهها، انجام تحلیلهای آماری و یادگیری ماشین است. پاک سازی داده فرایند رسیدگی به خطاهایی است که در انجام اعمالی از این قبیل اختلال ایجاد میکنند. با درنظر گرفتن این موضوع که روزانه حجم دادههایی که ذخیره میشود افزایش مییابد احتمال وقوع انواع خطاها در این دادهها بیشتر میشود همچنین احتمال وقوع این خطاها پس از ادغام چند مجموعه داده نیز وجود دارد. هدف این نوشته معرفی پاک سازی داده و روشهای انجام آن است که در ادامه به معرفی خطاهای موجود در دادههای نیازمند پاک سازی و روشهای برخورد با هر یک از آن خطاها میپردازیم و همچنین منابع به وجود آمدن این خطاها را در نوشته های بعدی مورد بررسی قرار میدهیم.پاکسازی داده چیست؟تمیز کردن داده به فرآیند تشخیص، اصلاح، تعویض یا حذف دادههایی از دادههای کثیف از یک مجموعه داده، جدول، یا پایگاهداده میگویند. داده کثیف به دادهی خامی گفته میشود که اگر تحلیلها به صورت مستقیم بر روی آن انجام گیرد امکان رخ دادن خطا وجود دارد یا داده مورد نظر آمادگی انجام تحلیل را ندارد. همچنین پاک سازی داده یک عمل اجتناب ناپذیر برای شروع یادگیری ماشین است زیرا پاک سازی داده صحت دادهها را بالا میبرد و در یادگیری ماشین وجود دادههای باکیفیتتر از ابداع الگوریتمهای پیچیدهتر ارزشمندتر است. پاک سازی داده به معنی ساده حذف کردن اطلاعات موجود نیست بلکه هدف از پاک سازی داده ایجاد فضای بیشتر برای ذخیره دادههای جدید است. پاک سازی داده یافتن راهی برای به حداکثر رساندن صحت دادههای در دسترس است.مزایای پاکسازی داده چیست؟زمانی که داده مورد نظر ما از چندین مجموعه داده استخراج میشود خطاهای بزرگ و ناسازگاریهای اجتنابناپذیری در آن رخ میدهد که در پاک سازی داده به شناسایی و اصلاح یا حذف آن میپردازیم.پاک سازی داده، داده را برای همه کارآمدتر میسازد، زیرا افراد با سرعت بیشتری به اطلاعات مورد نظر خود میرسند زیرا داده تمیز دارای وضوح بیشتری است. فرض کنید در یک سامانه چند گروه با یک مجموعه داده سر و کار دارند. اگر یک گروه وظیفه پاک سازی این داده را به عهده بگیرد باقی گروهها در استفاده از این داده میتوانند عملکرد سریعتر و بهتری داشته باشند.پس از پاک سازی داده، صحت دادهها افزایش مییابد و میتوان تحلیلهای دقیقتر و بهتری ارائه داد. حتی میتوان گفت دادهای که به پاک سازی نیاز دارد آمادگی کافی را برای شروع تحلیلهای آماری را ندارد.پس از پاک سازی داده حجم کمتری از حافظه به داده اختصاص مییابد زیرا در پاک سازی داده، دادههای فاقد ارزش از مجموعه داده حذف میشوند.خطاهای موجود در دادههایی که نیاز به پاک سازی دارندداده هایی که نیاز به پاکسازی دارند از طریق خطاهای موجود در آن‌ها شناسایی و اصلاح می‌شوند که این خطاها از قبیل موارد زیر می‌توانند باشند.مقادیر از دست رفته یا ناموجودذخیره تکراری یک مشاهدهمقادیر فاقد ارزشوجود کاراکترهای بی معنیفرمت نادرست ستونها در دادهوجود داده‌های پرتنگارش اشتباه کلماتچند نگارشی بودن یک کلمهترتیب اشتباهوجود داده های زیادی و بلااستفادهدر نوشته بعدی روش های برخورد با هر یک از این خطاها می‌پردازیموالا خسرویوالا خسرویMon, 02 Nov 2020 00:44:09 +0330