ویرگول
ورودثبت نام
محمد فعال علوی
محمد فعال علویلیسانس مهندسی صنایع/فوق لیسانس مدیریت کارآفرینی/دانشجوی دوره دیجیتال مارکتینگ/نوپای تولید محتوا
محمد فعال علوی
محمد فعال علوی
خواندن ۱۱ دقیقه·۶ سال پیش

داده کاوی - قسمت اول


معرفی

کتاب حاضر مقدمه‌ای در مورد مبحث نوظهور و در حال رشد داده کاوی - Data Mining - (که از آن به‌عنوان اکتشاف دانش از داده - Knowledge Discovery from Data - یا به اختصار KDD نیز یاد می‌شود) است. در این کتاب مفاهیم پایه ای داده کاوی و تکنیک‌های کشف الگوها از داده‌ها برای کاربردهای متنوع توضیح داده شده است. هدف اصلی ما در این کتاب توسعه داده کاوی به عنوان ابزاری اثربخش، کارآمد و قابل توسعه است.

چرا داده کاوی؟

افلاطون: احتیاج، مادر ابتکار است.

ما در دنیایی زندگی می کنیم که روزانه حجم عظیمی از اطلاعات در آن تولید می‌شود و بدین‌سان تحلیل این داده ها را به موضوعی مهم تبدیل کرده است.


حرکت به سوی عصر اطلاعات

ما در عصر اطلاعات زندگی می کنیم، جمله ای است که تا کنون بسیار شنیده‌اید ولی شاید بهتر باشد بگوییم در عصر داده ها زندگی می کنیم. ترابایت ها یا پتابایت ها - Petabytes برابر هزار ترابایت یا یک میلیون گیگابایت است - داده هر روز به شبکه‌های کامپیوتری، شبکه گسترده جهانی (WWW) و به انواع تجهیزات ذخیره‌سازی داده در کسب و کارهای جامعه، علوم و مهندسی، پزشکی و سایر جنبه‌های زندگی روزانه ما سرازیر می‌شوند.

این رشد انفجاری حجم داده‌های در دسترس، نتیجه رایانه‌ای شدن جوامع و توسعه سریع مجموعه داده‌ها و ابزارهای ذخیره‌سازی است. کسب و کارهای جهانی مجموعه داده های عظیمی ایجاد کرده‌اند که تراکنش‌های فروش، سوابق تجاری سهام، توصیف های محصولات، ترویج های فروش، عملکرد و پروفایل شرکت ها و بازخورد مشتریان را شامل می‌شود. به عنوان مثال فروشگاه‌های بزرگی نظیر وال‌مارت هر هفته صدها میلیون تراکنش را از هزاران شعبه در سراسر جهان دریافت، و مدیریت می کنند. پروژه های علمی و مهندسی به طور مستمر به تولید مقادیر بالایی داده مشغولند که از خروجی حس گرهای راه دور، اندازه گیری فرآیند، آزمایش‌های علمی، عملکرد سیستم‌ها، مشاهدات مهندسی و نظارت بر محیط به دست می‌آیند.

شاه‌راه‌های مخابراتی جهانی روزانه ده‌ها پتابایت ترافیک داده را انتقال می دهند. صنعت پزشکی و سلامت حجم عظیمی از داده های مرتبط با سوابق پزشکی، نظارت بر بیماران و تصویربرداری پزشکی تولید می‌کند. موتورهای جستجوگر روزانه میلیاردها جستجوی وب را که بالغ بر ده‌ها پتابایت داده هستند، پشتیبانی می‌کنند. جوامع و رسانه‌های اجتماعی به‌طور فزاینده‌ای به منابع داده‌های مهمی از جمله مواردی چون تولید عکس‌ها و ویدئوهای دیجیتال، وبلاگ‌ها، جوامع مبتنی بر وب و انواع مختلف شبکه‌های اجتماعی تبدیل شده‌اند. این ها فهرستی از منابعی هستند که حجم بسیار عظیمی از داده های بی‌پایان را ایجاد می‌کنند.

رشد سریع و انفجاری داده، در دسترس بودن گسترده آنها، عصر ما را به عصر داده ها تبدیل کرده‌است، به نحوی که نیاز مبرم به ابزاری قدرتمند و همه‌کاره برای کشف خودکار اطلاعات ارزشمند از حجم بسیار بالای داده و تبدیل داده‌های مذکور به دانش سازمان یافته، بیش از پیش احساس می‌شود. تداوم این نیاز به تولد و پیدایش داده کاوی منجر شده است. داده کاوی، دانشی نو و پویا است که به گام‌های بلند و مستمر ما را در سفر از عصر داده‌ها به عصر اطلاعات کمک خواهد کرد.


مثال 1-1 : داده کاوی، مجموعه ای بزرگ از داده را به دانش تبدیل می‌کند.

یک موتور جستجو(به‌عنوان مثال گوگل) هر روز به صدها میلیون جستجو پاسخ می‌دهد. هر جستجو را می توان تراکنشی در نظر گرفت که در آن کاربر نیاز اطلاعاتی خود را توصیف می‌نماید. یک موتور جستجو با گذشت زمان چه دانش جدید و مفیدی را می‌تواند از چنین حجم عظیمی از جستجوهای کاربران فرا بگیرد؟ برخی الگوهای یافت شده در جستجوهای کاربران می‌تواند موجب استخراج دانش ارزشمندی شود که به تنهایی از طریق خواندن اطلاعات مربوط به آن فرد قابل دستیابی نیست. به عنوان مثال نموداری که گوگل برای نمایش روند شیوع آنفلوآنزا نشان می‌دهد، از عبارات جستجو شده مشخصی به عنوان نشانگر شیوع آنفلوآنزا استفاده می کند. بررسی ها نشان می‌دهد رابطه نزدیکی بین تعداد افرادی که عبارات مرتبط با آنفلوآنزا را جستجو می‌کنند و تعداد مبتلایان به آنفلوآنزا وجود دارد. در واقع پس از جمع‌آوری همه اطلاعات جستجوهای مربوط به آنفلوآنزا، الگویی مشخص پدیدار می‌شود که با استفاده از آن نمودار روند آنفلوآنزای گوگل می تواند مقدار شیوع این بیماری را تا دوهفته زودتر نسبت به روش‌های سنتی، تخمین بزند. این مثال نشان می‌دهد که چطور داده کاوی می تواند مجموعه‌ای بزرگ از داده را به دانش تبدیل کرده و با استفاده از آن به رویارویی با چالش‌های فعلی جهان بپردازد.


داده کاوی به عنوان تکامل فناوری اطلاعات

داده کای را می توان نتیجه طبیعی تکامل فناوری اطلاعات به شمار آورد. توسعه زود هنگام روش‌های جمع آوری داده و مکانیسم های ایجاد پایگاه داده به عنوان پیش نیازی برای توسعه های بعدی موثر برای ذخیره سازی و بازیابی داده ها و همچنین جستجو و پردازش تراکنش ها به شمار می آید. امروزه بسیاری از پایگاه داده‌ها همراه با قابلیت پردازش تراکنش ها و انجام جستجو ارائه می شوند. بدین ترتیب می توان گفت گام بعدی تجزیه و تحلیل پیشرفته داده ها خواهد بود.

از سال های 1960 به بعد، پایگاه های داده ئ فناوری اطلاعات به طور روش مندی از شکل سیستم های اولیه پردازش فایل به سمت سیستم های پایگاه داده پیشرفته و قدرتمند تکامل یافت. تحقیق و توسعه انجام شده روی پایگاه های داده از سال های 1970 به بعد، آنها را از سیستم های پایگاه داده شبکه ای و سلسله مراتبی به سیستم های پایگاه داده رابطه ای - Relational Database Systems- (که در آن داده در ساختار جداول رابطه ای ذخیره می‌شود)، ابزار مدل سازی داده و روش های نمایه گذاری - Indexing - تبدیل کرد. این پیشرفت ها کاربران را قادر ساخت تا از طریق رابط کاربری جستجو، بهینه سازی جستجو و مدیریت تراکنش های مالی، دسترسی راحت و قابل انعطاف تری به داده داشته باشند. مجموعه روش‌های کارا برای پردازش تراکنش‌های برخط OLTP که در آن هر جستجو به عنوان یک تراکنش فقط خواندنی در نظر گرفته می شود نیز در راستای تکامل و پذیرش همه جانبه فناوری های رابطه ای توسعه یافتند. از این روش ها به عنوان ابزاری عمده برای ذخیره سازی کارآمد، بازیابی و مدیریت مقادیر انبوه داده استفاده می‌شود.

پس از استقرار سیستم های مدیریت پایگاه داده، فناوری پایگاه داده با هدف تحلیل پیشرفته داده ها و تولید پایگاه های داده مبتنی بر وب، به سمت توسعه سیستم های پایگاه داده پیشرفته - Advanced Database Systems- انبار کردن داده و داده کاوی حرکت کرد. به عنوان مثال سیستم های پایگاه داده پیشرفته نتیجه پژوهش های سریع و ناگهانی انجام شده در اواسط سالهای دهه 1980 به بعد است. این سیستم ها مدل های جدید و قدرتمندی نظیر مدل رابطه ای(بسط یافته و مدل شیء گرا) و مدل های استقرایی یا قیاسی را ایجاد کرده اند. سیستم های پایگاه داده برنامه گرا - Application Oriented - در حوزه هایی چون حوزه های فضایی، زمانی، چندرسانه ای، فعال، در جریان، پایگاه داده علمی و مهندسی، دانش محور و مبتنی بر اطلاعات شکوفا شده اند. به طور کلی می توان گفت مسائل مرتبط با توزیع، تنوع و به اشتراک گذاری داده به طور گسترده ای بررسی شده است.

تجزیه و تحلیل پیشرفته داده ها از اواخر سال های 1980 به بعد پدیدار گشت. پیشرفت مداوم و خیره کننده تکنولوژی سخت افزار رایانه در سه دهه گذشته منجر به ایجاد ابزارهای متعددی از قبیل رایانه های قدرتمند و مقرون به صرفه، تجهیزات جمع آوری داده و رسانه های ذخیره سازی شده است. این فناوری موجب ارتقا پایگاه داده و صنعت اطلاعات می شود و قادر است تعداد زیادی پایگاه داده و مخازن اطلاعاتی را به منظور مدیریت تراکنش ها، بازیابی اطلاعات و تجزیه و تحلیل داده ها فراهم نماید. داده ها هم اکنون می توانند در انواع مختلفی از پایگاه های داده و مخازن اطلاعاتی ذخیره گردند.

یکی از معماری های نوظهور برای ذخیره سازی داده ها، انباره داده ها - Data Warehouse - است. انباره داده، مخزنی از داده های چند گانه ناهمگن سازماندهی شده تحت یک طرح واحد در یک سایت است که هدف آن تسهیل تصمیم گیری های مدیریتی است. فناوری انباره داده شامل پاک سازی داده - Data Cleaning - یکپارچه سازی داده و پردازش تحلیلی آنلاین - Online Analytical Processing - است. این فناوری تکنیک های تجزیه و تحلیل با ویژگی هایی از قبیل خلاصه سازی، ادغام، تجمیع و همچنین توانایی نمایش اطلاعات از زوایای مختلف را داراست. اگرچه ابزار OLAP تجزیه و تحلیل چندبعدی و تصمیم گیری را پشتیبانی می کند، اما برای تجزیه و تحلیل عمیق تر داده ها ابزارهای بیشتری مورد نیاز است. برای این منظور می توان از ابزارهای داده کاوی نام برد که امکان دسته بندی، خوشه بندی، تشخیص داده های دورافتاده - Outlier - یا غیر طبیعی - Anomaly - و خصوصیات تغییر داده را در هر زمان فراهم می کنند.

از گذشته تا زمان حال، حجم عظیمی از داده در پایگاه های داده و انبارهای داده انباشته شده است. طی سال های 1990، شبکه جهانی وب و پایگاه های داده مبتنی بر وب (به عنوان مثال پایگاه داده XML) پا به عرصه ظهور نهادند. در ادامه پایگاه های اطلاع رسانی جهانی مبتنی بر اینترنت مانند WWW و انواع مختلف پایگاه های داده پیوسته و ناهمگون به وجود آمدند که امروزه در صنعت اطلاعات نقش حیاتی ایفا می کنند. تجزیه و تحلیل موثر و کارآمد داده از فرم های مختلف آن و با استفاده از یکپارچه سازی اطلاعات، داده کاوی و فناوری های تجزیه و تحلیل شبکه اطلاعات، کاری چالش برانگیز است.

به طور خلاصه می توان گفت وفور داده، نیاز به ابزار قدرتمند تجزیه و تحلیل داده را تشدید کرده است. یا به عبارتی دیگر، اگرچه منابع غنی داده وجود دارد، ولی در وضعیت فقر اطلاعاتی به سر می بریم. رشد سریع حجم بسیار بالای داده های جمع آوری و ذخیره شده در مخازن بزرگ و متعدد موجب شده است که درک آنها بدون در اختیار داشتن ابزارهای قدرتمند، خارج از توان بشر باشد. در نبود ابزارهای قدرتمند، مخازن عظیم داده های جمع آوری شده کنونی به مقبره هایی تبدیل شده است که به ندرت از آنها بازدید می شود. در نتیجه اغلب تصمیمات مهم بر مبنای شهود تصمیم گیرندگان و نه بر اساس داده و اطلاعات غنی ذخیره شده در مخازن داده اتخاذ می شوند. این اتفاق به این دلیل اتفاق می افتد که فرد تصمیم گیرنده ابزار استخراج دانش ارزشمند موجود در حجم وسیع داده را در اختیار ندارد. تلاش های زیادی تاکنون به‌منظور تولید سیستم های خبره و فناوری های دانش محور صورت گرفته است که به صورت معمول به ورود دستی دانش به پایگاه های دانش توسط کاربران یا خبرگان آن حوزه تکیه می کنند. متاسفانه فرآیند ورود دستی دانش، مستعد ابتلا به تعصبات و خطاها است و در عین حال بسیار پرهزینه و وقت گیر است. گسترش شکاف بین داده و اطلاعات، توسعه روش مند ابزارهای داده کاوی را می طلبد که به نوبه خود می توانند مقبره های داده ها را به "قطعات طلایی" دانش تبدیل نمایند.

داده کاویعلم دادهتحلیل دادهdata miningdata science
۵
۰
محمد فعال علوی
محمد فعال علوی
لیسانس مهندسی صنایع/فوق لیسانس مدیریت کارآفرینی/دانشجوی دوره دیجیتال مارکتینگ/نوپای تولید محتوا
شاید از این پست‌ها خوشتان بیاید