نوشته های محمد فعال علوی

توری پلیسه چیست؟

محمد فعال علوی — Mon, 21 Aug 2023 22:09:01 +0330

در فصل بهار و اوایل پاییز که دمای هوا معتدل می‌باشد و برای مطبوع شدن فضای داخل منازل از وسایل گرمایش و سرمایش استفاده نمی‌شود، با باز گذاشتن درب‌ها و پنجره‌ها در ساعاتی از روز تهویه طبیعی هوا در محیط خانه صورت می‌پذیرد که بسیار دلپذیر می‌باشد. مشکلی که ما در این فصل‌ها با آن مواجه هستیم وجود حشرات آزاررسان مانند مگس و پشه است که با باز قرار دادن پنجره‌ها و درب‌ها این حشرات به داخل خانه راه پیدا می‌کنند. راهی که امروزه به عنوان بهترین و سالم‌ترین روش برای مبارزه با حشرات وجود دارد، پیشگیری از ورود حشرات به خانه‌ها با استفاده از نصب توری بر روی درب و پنجره‌ها می‌باشد که بهترین آن توری پلیسه است.قیمت انواع توری پلیسه ای :قیمت انواع توری پلیسه ای با توجه به مقاومت و استحکام فریم آلومینیوم ، جنس تور ، یراق آلات بکار رفته مثل غلطک ها جهت حرکت روان توری ، متفاوت می باشد. با توجه به اینکه قیمت آلومینیوم به kg محاسبه می شود در نتیجه اگر توری تولید شده از ضایعات آلومینیوم باشد و آنهم با ضخامت های نازک که در هنگام بستن توری احساس خم شدن فریم توری را می کنیم ، قیمت این نوع توری از قیمت یک توری استاندارد مسلما پایین تر می باشد و بهمین خاطر طول عمر پایین تری خواهد داشت.کاربرد توری پلیسهاز جمله مهم‌ترین کاربردهای توری پلیسه که سبب محبوبیت آن در میان دیگر توری‌ها شده است می‌توان به موارد زیر اشاره کرد.به راحتی تمیز می‌شود.از ورود آلودگی به داخل منزل جلوگیری می‌کند.از ورود حشرات به داخل منزل جلوگیری می‌کند.توری پلیسه تحت تاثیر شرایط آب و هوایی و رطوبت و گرما قرار نمی‌گیرد.به راحتی نصب می‌شود.توری پلیسه برخلاف دیگر توری‌ها از کیفیت بالایی برخوردار است و نیازی به تعویض زود هنگام آن نیست.توری پلیسه در دو نوع توری پنجره پلیسه‌ای تک فریم و توری پنجره پلیسه‌ای دبل فریم ساخته می‌شود. توری پلیسه در مقایسه با توری‌های فلزی هیچ گرد و غباری به خود جذب نمی‌کند. استفاده و نصب این نوع توری‌ها در شهرهای آلوده و بزرگ مانند تهران یک مزیت خوب به حساب می‌آید.شستشو و تمیز کردن هر ساله توری پلیسه برای حفظ کیفیت و شفافیت پلی استایرن به کار رفته در آن توصیه می‌شود. برای شستن و تمیز کردن توری پلیسه لازم است تا فریم آن از قاب پنجره کاملا خارج شود. مشکل‌ترین بخش کار جدا کردن فریم از قاب است. اگر کمی بی‌تجربه هستید نگران نباشید. در ابتدا باید نوع فریم را تشخیص دهید سپس اقدام به جدا کردن آن کنید.توری های ثابت به دلیل ثابت بودنشان که پیچ می شوند به پنجره دوجداره Upvc شما و نصب بروی پنجره بعدها قادر نخواهید بود که شیشه های بیرونی را نظافت کنید. اما در نظر داشته باشید که قیمت آن بسیار به صرفه تر می باشد ولی این عیب را خواهد داشت. قیمت مناسب این نوع توری باعث شده که استفاده از این توری ها رواج پیدا کند. اگر قصد هزینه بیشتر دارید میتوانید از توری های پلیسه نیز استفاده کنید این توری ها قابلیت جمع شدن توری به یک سمت را خواهند داشت.هنگامی که قصد نظافت شیشه های بیرونی را دارید میتوانید توری را با استفاده از نخ کرد که داخل آن به کار رفته است به یک سمت جمع کرده و دسترسی به بیرون برای شما فراهم خواهد شد. توری های فرانسوی که قیمت آن از این دو نوع توری نیز بالاتر است از دو سمت قابلیت جمع شدن را دارد و کار شما را بسیار راحت تر میکند و از جذابیت بالایی برخوردار می باشد.اشنایی با انواع توری پلیسه ایامروزه توری پلیسه در انواع مختلفی تولید و متناسب با طراحی و ساختارشان در شرایط مختلف به کار می روند. در ادامه به بررسی انواع توری پلیسه ای و کاربرد انها خواهیم پرداخت تا بتوانید از انتخابی ایده ال بهره مند شوید.توری پلیسه ای تک فریماین توری طرح جدید مدل های قدیمی (پشه بند) می باشد. این نوع از توری ها قابلیت نصب بر روی انواع پنجره و درب های ورودی را دارند. از قابلیت های منحصر به فرد این طرح از توری پلیسه به قابلیت باز و بسته شدن انها نسبت به طرح های قدیمی ان می توان اشاره کرد.وزن پایین و حمل و نقل اسان سبب شده تا امار رضایت مشتریان از این نوع توری بسیار بالا باشد. به واسطه ریل هایی که در بالا و پایین ان قرار می گیرد، می توانید انها را در یک طرف جمع اوری کنید.توری پلیسه دبل فریماین نوع در حال حاضر ساختار منحصر به فردی نسبت به نوع تک فریم دارد. ساز و کار این توری ها به این شکل بوده که به راحتی می توانید انها در یک طرف جمع اوری کنید. همچنین قابلیت تعویض اسان ان کار کردن با این توری پلیسه ای را اسان تر کرده است. به اسانی بدون نیاز به باز کردن پیچی از جای خود خارج می شود.توری پلیسه ای مگنتیجدیدترین و پرکاربرد ترین نوع توری پلیسه ای در بازار بوده که به علت مزیت های فراوانی که دارد در شرایط مختلف به کار گرفته می شوند. یکی از مهمترین مزیت های ان می توان به قابلیت نصب و جداسازی ان اشاره کرد. این خاصیت به علت استفاده از اهنربا در ساختار این نوع توری است.توری پلیسه ترکهمان طور که از نام ان مشخص است، از تولیدات کشور ترکیه بوده و به دلیل ساختار و مرغوبیت بالایی که دارند از بهترین های توری پلیسه در بازار محسوب می شوند.یکی از معایب این نوع توری ها قیمت بالای ان است و علت ان افزایش نرخ ارز و هزینه واردات می باشد. در حال حاضر محصولات مشابه تولید داخل با قیمت کمتر و کیفیت برابر موجود می باشد.بهترین منبع برای خرید توری پلیسه وب سایت پرده پررنگ است. پیشنهاد میکنم حتما از این سایت بازدید کنید.

پرده زبرا چیست؟

محمد فعال علوی — Mon, 21 Aug 2023 21:56:28 +0330

پرده زبرا از جدیدترین پرده‌های تزیینی است که از دو جزء تور و پارچه تشکیل شده و تولید و مونتاژ آن به صورت دوبل انجام می‌شود. طرح‌ها و مدل‌های بی‌نظیر این پرده، به گونه‌ای است که هر فرد به راحتی می‌تواند نور ورودی منزل یا محیط کارش را تنظیم کند. این پرده با کارایی فوق‌العاده‌اش و با کاهش حرارت و اشعه ماوراءبنفش، انرژی را در محیط داخلی حفظ می‌کند. پرده زبرا با کاربری آسان، در انواع مختلف تولید شده و در دو شکل موتوری و ساده قابل تنظیم است. پرده زبرا از دو لایه پارچه‌ی مخصوص با راه‌هایی از جنس پارچه و توری، ساخته می شود که می توانند با چرخیدن روی یکدیگر حالت‌های مختلفی از جلوه و نوردهی را ایجاد کنند. به این صورت که اگر راه‌های توری از هر دو پارچه دقیقاً روی هم منطبق شوند، بیشترین نور و اگر هر ردیف توری روی یک ردیف از پارچه قرار گیرد، کمترین نور ورودی را خواهیم داشت. حالت سایه روشن نیز چیزی بین این دو قرار دارد. این در حالی است که برای این کار نیازی به جمع کردن پرده وجود ندارد، هر چند که پرده زبرا قابلیت جمع شدن رو به بالا را نیز دارد. در واقع می توان گفت که در ساخت پرده زبرا تنوع و زیبایی پرده شید با مکانیزم پرده‌های کرکره ای ترکیب شده است. قابلیت دیگر پرده زبرا امکان استفاده از ریموت کنترل برای تنظیم و بالا و پایین بردن آن است.پرده‌ی زبرا را می توان در ترکیب با یک نوع دیگر از پرده، همچون پرده‌ی هازان یا حتی پرده‌های سنتی استفاده کرد. در این حالت، پرده‌ی زبرا زیر پرده‌ی دیگر قرار گرفته و وظیفه‌ی تنظیم مقدار و حتی رنگ نور ورودی را به عهده می گیرد. علاوه بر این، برای پنجره‌های بزرگ نیز می توان از یک پرده‌ی زبرا و یک والان هماهنگ با آن استفاده کرد.از نظر زیبایی نیز، پرده زبرا دارای طرح‌های و نقوش بسیار متنوعی است که با هر سبک و رنگ دکوراسیون داخلی قابل انطباق و هماهنگی است. این نوع پرده را می توان در فضاهای مختلف و با کاربردهای متفاوت نیز نصب کرد؛ از خانه‌ها گرفته تا محل کار و ادارات. برای نمونه پرده زبرای کودک با استفاده از طرح‌ها و تصاویر مورد پسند کودکان ساخته می شود که یکی از بهترین پرده ها برای استفاده در اتاق کوکان است.نحوه استفاده از زبرا به این صورت است که با کشیدن زنجیر، ساختار لایه‌ای پرده به گونه‌ای تغییر می‌کند که می‌توانید با جابجایی عمودی پرده، بدون جمع کردن آن، میزان نور عبوری دلخواه خود را تنظیم کنید. نوع پارچه‌ای که در پرده زبرا انتخاب می‌کنید، بسته به محل استفاده می‌تواند متفاوت باشد. در صورتی که در نظر دارید برای یک پنجره نورگیر جنوبی پرده زبرا تهیه کنید، پیشنهاد ما انتخاب پارچه‌های ضخیم‌تر برای کنترل بهتر نور در طول روز است. پارچه ضخیم در کنار پارچه‌های نازک به کار رفته در این پرده بدون جمع شدن آن، باعث عبور نور ملایمی خواهد شد که فضایی آرامش بخش را برای گذران وقت شما فراهم می‌کند. برای اتاق‌ خواب‌ها یا اتاق تلویزیون پیشنهاد ما رنگ‌های تیره و پارچه‌های ضخیم است که نور را بیشتر کاهش دهد و بیشترین حریم خصوصی را فراهم کند. همچنین می‌توانید مانند پرده‌های دراپه یا کرکره‌ای بسته به مدل پرده درصد نور را نیز از ۱۰ تا ۹۰ درصد تغییر دهید. این پرده روش نصب ساده‌ای دارد و در مدت زمان کوتاهی نصب می‌َشود. تنها کافی است پارچه و رنگ مد نظر خود را انتخاب کرده و سفارش دهید.دلایل محبوبیت و مزایای این پردهدوام بالا، نصب آسان، وزن سبک، نگهداری و نظافت راحت، وجود تنوع رنگ و طرح از جمله مزایای پرده آشپزخانه مدل زبرا است که باعث محبوبیت این مدل پرده در بین همه افراد شده است.دوام و طول عمر بالا در مقایسه با دیگر پرده هاقابلیت شستشو و نگهداری آساننصب سریع و راحتدارای وزن سبکدارای تنوع در طرح و رنگتولید در ابعاد و اندازه های مختلفتنظیم و کنترل مقدار نور ورودی به محیطایجاد حریم خصوصی و محدود کردن دید از بیرونقابلیت تنظیم میزان دسترسی به نورجلوه زیبا و منحصر بفرد به دکوراسیونمناسب برای هر نوع آب و هواقابلیت چاپ انواع طرح ها با رنگ بندی مختلفقابلیت جمع شوندگی به صورت دستی و با ریموت کنترلکاربرد فراوان در فضاهای مختلف مانند ادارات، مدارس و منزلقیمت ارزان و مقرون به صرفه در قیاس با انواع پرده ها به ویژه پرده های سنتیاطلاعات بیشتر را میتوانید در وب سایت پرده پررنگ مشاهده کنید.

داده کاوی - قسمت نهم

محمد فعال علوی — Mon, 03 Aug 2020 17:14:25 +0430

آیا همه الگوها جذاب هستند؟یک سیستم داده‌کاوی توانایی تولید هزاران و بلکه میلیون‌ها الگو و یا قانون را دارد.شاید این سوال پیش آید که "آیا همه این الگوها جذاب هستند؟" به صورت معمول جواب این سوال نه است. در عمل تنها تعداد کمی از این الگوهای تولید شده برای کاربر جذاب هستند و می‌توانند مورد استفاده قرار گیرند.این موضوع سوالات حساسی را برای داده‌کاوی تولید می‌کند. "چه چیزی الگوها را جذاب می‌کند؟" آیا یک سیستم داده‌کاوی می‌تواند همه الگوهایی را که تولید می‌کند جذاب باشد؟ یک سیستم داده‌کاوی وجود دارد که تنها الگوهای جذاب تولید کند؟"پاسخ به سوال اول باید یک الگوی جذاب را تعریف نمود. الگویی جذاب است که:1- به راحتی توسط انسان‌ها درک شود.2- برای مجموعه داده‌های جدید و یا آزمایش با درجه اطمینان بالایی معتبر باشد.3- پتانسیل کاربرد را داشته باشد.4- بدیع و جدید باشد.همچنین الگویی جذاب است که فرض کاربر را تایید کند. یک الگوی جذاب نشان دهنده دانش است. چندین سنجه عینی - Objective - برای شناسایی الگوهای جذاب وجود دارد. این سنجه‌های عینی مبتنی بر ساختار الگوهای کشف شده و مفاهیم آماری می‌باشند. سنجه‌ای که برای قوانین وابسته (X→Y) به کار می‌رود پشتیبان - Support - است که نشان دهنده درصدی از تراکنش‌ها در پایگاه داده اصلی است که قانون مورد نظر را ارضا می‌کنند. این سنجه عینی را می‌توان به صورت احتمال P(XUY) نیز به کار برد. در این احتمال XUY نشان دهنده تراکنش‌هایی است که شامل X و Y می‌باشند. سنجه عینی دیگر قوانین وابسته اطمینان است که درجه قطعیت قانون شناسایی شده را ارزیابی می‌کند. این سنجه، احتمال شرطی P(Y|X) است. این سنجه احتمال رخدادن تراکنش X به شرط رخداد Y است. به طور کلی پشتیبان و اطمینان را می‌توان به صورت زیر نمایش داد.P(XUY) = (X→Y) اطمینانP(Y|X) = (X→Y) پشتیبانهرکدام از سنجه‌های عینی الگوهای جذاب به وسیله یک حد آستانه تعریف می‌شوند که توسط کاربر کنترل می‌شود. برای مثال قانونی که آستانه اطمینان مشخص شده (برای مثال %50) را ارضا نکند، غیر جذاب است. قوانینی که کمتر از حد آستانه هستند، به عنوان اختلال، استثنا و یا موارد اقلیت در نظر گرفته می‌شوند و ارزش کمتری دارند.برخی دیگر از این قبیل سنجه‌های عینی شامل دقت - Accuracy - و پوشش - Coverage - برای قوانین (اگر - آن گاه) دسته‌بندی است. دقت درصدی از داده‌ها را که توسط قانون به درستی دسته‌بندی شده‌اند، نمایش می‌دهد. پوشش نیز مانند پشتیبان است و درصدی از داده‌ها را که قانون برای آنها به کار برده می‌شود، نشان می‌دهد. سنجه‌های عینی مربوط به درک را نیز می‌توان به سادگی با توجه به پیچیدگی و یا طول الگوهای کشف شده و با بیت اندازه‌گیری نمود.علاوه بر سنجه‌های عینی، سنجه‌های ذهنی - Subjective - نیز برای شناسایی الگوهای جذاب یک مسئله با توجه به خواسته‌ها و نیازهای کاربر لازم می‌باشند. برای مثال الگوهایی که ویژگی‌ها و خصوصیات مشتریانی را که به صورت معمول از شرکت آل‌الکترونیکس خرید می‌کنند در نظر بگیرید. این الگوها برای مدیر بازاریابی شرکت جذاب هستند ولی ممکن است برای سایر افرادی که از این پایگاه داده استفاده کرده و آن را تحلیل می‌کنند، جذاب نباشند. به علاوه برخی از الگوهایی که به وسیله استانداردهای عینی جذاب هستند، یک موضوع را بیان می‌کنند و در عمل جذابیت ندارند.سنجه‌های ذهنی الگوهای جذاب مبتنی بر عقاید کاربر در مورد داده‌ها می‌باشند. این قبیل سنجه‌ها الگویی را جذب می‌پندارند که غیر قابل انتظار باشد (خلاف عقاید کاربر باشد) یا این که اطلاعات استراتژیکی در مورد کاری که کاربر می تواند انجام دهد به وی دهند. به چنین الگوهایی، الگوهای عملی گفته می‌شود. برای مثال الگوهایی مانند "یک زلزله بزرگ به صورت معمول بعد از مجموعه زلزله‌های کوچک اتفاق می‌افتد" ممکن است بسیار کاربردی و عملی باشد، زیرا جان افراد بسیاری را حفظ می‌کند. البته الگوهای قابل انتظار هم ممکن است جذاب باشند. این الگوها در صورتی جذاب هستند که فرضیه‌ای که کاربر قصد اثبات آن را دارد، تایید کنند.پاسخ سوال دوم (آیا یک سیستم داده‌کاوی می‌تواند همه الگوهایی را که تولید می‌کند جذاب باشد؟) به کمال الگوریتم‌های داده‌کاوی بر می‌گردد. به صورت معمول تولید همه الگوهای ممکن توسط یک سیستم داده‌کاوی امری غیرواقعی و غیر اثربخش است. به جای این کار کاربر می‌تواند از محدودیت‌ها و سنجه‌های الگوهای جذاب استفاده کند. برای برخی از مسائل داده‌کاوی مانند وابستگی، کامل‌بودن الگوریتم امری ضروری است و به واسطه محدودیت‌ها و سنجه‌های الگوهای جذاب که توسط کاربر تعیین می‌شود، کامل بودن تولید می‌شود. این روش به طور کامل در فصل 6 بحث خواهد شد.و در انتها پاسخ سوال سوم (یک سیستم داده‌کاوی وجود دارد که تنها الگوهای جذاب تولید کند؟)، یک مسئله بهینه‌سازی در داده‌کاوی است. تولید منحصر الگوهای جذاب امری مطلوب برای سیستم‌های داده‌کاوی است. این موضوع هم برای سیستم‌های داده‌کاوی و هم کاربر باعث بالا رفتن کارایی می شود، زیرا لازم نیست زمانی برای شناسایی الگوهای جذاب صرف شود. پیشرفت‌هایی در مورد آن موضوع صورت گرفته‌است ولی همچنان به عنوان موضوعی چالش برانگیز در داده‌کاوی باقی مانده است.سنجش جذابیت الگوها امری ضروری برای شناسایی الگوها توسط کاربر است. سنجه‌های به کار رفته برای این منظور را می‌توان بعد از انجام داده‌کاوی و برای رتبه‌بندی الگوهای شناسایی شده به کار برد الگوهای غیر جذاب را حذف نمود. همچنین از چنین سنجه‌هایی می‌توان برای تولید تغییرات در فرآیند شناسایی الگوها و بهبود کارایی جستجوی آنها به وسیله هرس‌کردن زیر مجموعه‌های غیر جذاب الگوها که محدودیت‌های جذابیت تعریف شده در فضای الگوها را ارضا نمی‌کنند، نیز استفاده نمود. مثال‌هایی از چنین محدودیت‌هایی را می‌توان در فصل 7 (با توجه به شناسایی الگوها) و فصل 4 جلد دوم کتاب (با توجه به خوشه بندی) مشاهده نمود.روش‌های سنجش الگوها و استفاده از آنها برای بهبود کارایی داده‌کاوی، در کتاب توضیح داده خواهد شد.

داده کاوی - قسمت هشتم

محمد فعال علوی — Sun, 02 Aug 2020 20:03:15 +0430

تحلیل خوشه‌بندیبرخلاف دسته‌بندی و رگرسیون که مجموعه داده‌های دارای برچسب دسته (آموزشی) را تحلیل میکنند، خوشه‌بندی مجموعه داده‌هایی بدون برچسب دسته را تحلیل می‌کنند. در بسیاری از موارد داده‌های دارای برچسب دسته ممکن است در ابتدا وجود نداشته باشند. در چنین شرایطی می‌توان از خوشه‌بندی برای تولید گروه‌هایی از داده‌ها استفاده نمود. در این روش داده‌ها با استفاده از حداکثر نمودن شباهت داده‌های درون خوشه و حداقل نمودن شباهت داده‌ها در خوشه‌های مختلف، گروه‌بندی و یا خوشه‌بندی می‌شوند. به این ترتیب داده‌های درون یک خوشه دارای شباهت بالایی نسبت به یکدیگر هستند و این در حالی است که با داده‌های درون سایر خوشه‌ها دارای تمایز و عدم شباهت هستند. هر کدام از خوشه‌های تولید شده را می توان یک دسته از داده‌ها در نظر گرفت و قوانین مختلف را برای آنها نیز تولید نمود. همچنین از خوشه‌بندی می‌توان برای تولید یک ساختار طبقه‌بندی استفاده نمود که می‌توان از آن گروه‌های شبیه به هم را برای سازمان‌دهی سلسله مراتبی دسته‌ها تولید نمود.مثال 1-9: تحلیل خوشه‌بندیتحلیل خوشه‌بندی را می‌توان در مورد داده‌های مشتریان شرکت آل‌الکترونیکس برای شناسایی گروه‌های همگن مشتریان استفاده نمود. این خوشه‌ها ممکن است برای نشان‌دادن گروه‌های هدف بازاریابی به کار روند. در تصویر 1-10 یک نمودار دو بعدی مشتریان(ابعاد مکان نمای محل زندگی مشتریان در شهر هستند) شرکت نمایش داده شده است. در این نمودار سه خوشه عمده قابل مشاهده است.تحلیل خوشه‌بندی موضوع دو فصل 3 و 4 جلد دوم کتاب است.تحلیل داده‌های دورافتادههر مجموعه داده‌ای ممکن است شامل داده‌هایی باشد که از رفتار کلی و مدل داده‌ها پیروی نکنند. چنین داده‌هایی، دورافتاده نام دارند. روش‌های متنوع داده‌کاوی وجود دارد که چنین داده‌هایی را به عنوان داده دارای اختلال و یا استثنا، شناسایی می‌کنند. با وجود این در برخی مسائل (مانند شناسایی کلاهبرداری) موارد نادر مورد توجه می‌باشند. تحلیل داده‌های دورافتاده را تحلیل دورافتاده - Outlier Analysis - یا شناسایی داده‌های غیرطبیعی - Anomaly mining- می‌گویند.داده‌های دورافتاده را می‌توان با استفاده از آزمون‌های آماری با ارزیابی توزیع داده‌ها یا مدل‌های احتمالی و سنجش فاصله (داده‌های دور از هر خوشه‌ای، به عنوان دورافتاده شناسایی می‌شوند) شناسایی نمود. علاوه بر سنجش فاصله و یا استفاده از روش‌های آماری، ممکن است از روش‌های مبتنی بر چگالی نیز برای شناسایی داده‌های دورافتاده منطقه‌ای (داده‌هایی که ممکن است برای توزیع آماری سراسری یک داده معمولی باشند ولی به صورت محلی دورافتاده باشند) استفاده نمود.مثال1-10 - تحلیل داده‌های دورافتادهتحلیل داده‌های دورافتاده ممکن است برای شناسایی استفاده‌های کلاه‌بردارانه از کارت‌های اعتباری استفاده شود. این کار با شناسایی خریدهای غیرعادی (خریدهایی که مقادیری بیش از مقدار خریدهای معمول صاحب حساب باشند) یک حساب صورت می پذیرد. داده‌های دورافتاده ممکن است با توجه به مکان، نوع خرید و یا تناوب خرید نیز شناسایی شوند.تحلیل داده‌های دورافتاده در فصل 5 جلد دوم کتاب مورد بحث قرار خواهند گرفت.

داده کاوی - قسمت هفتم

محمد فعال علوی — Thu, 23 Jul 2020 12:45:17 +0430

کاویدن الگوهای غالب، وابسته و همبستههمان‌طور که از نام الگوهای غالب بر می‌آید، الگوهایی هستند که در داده‌ها فراوان اتفاق می‌افتند. انواع مختلفی از این قبیل الگوها وجود دارد که شامل مجموعه اقلام تکراری - Frequent itemsets- زیر دنباله‌های تکراری - Frequent sub-sequences - (الگوهای دنباله‌ای - Sequential patterns) و زیر ساختارهای تکراری - Frequent substructures - می باشند. یک مجموعه اقلام تکراری به صورت معمول در یک پایگاه داده تراکنشی نمایان می‌شود (برای مثال شیر و نان به صورت معمول با هم دیگر به فروش می‌رسند) الگوهایی مانند این که مشتری ابتدا دوست دارد یک لپ‌تاپ بخرد و بعد از آن یک دوربین دیجیتالی و در انتها یک کارت حافظه، نیز یک زیر دنباله تکراری است. زیر ساختارها منابع زیادی دارند، برای مثال گراف‌ها، درخت‌ها، و... که ممکن است با مجموعه اقلام تکراری و زیر دنباله‌های تکراری ترکیب شود. در صورتی که یک زیر ساختار تکرار شود، الگوی ساختاری تولید می‌شود. تحلیل الگوهای تکراری می‌تواند به کشف روابط هم‌بسته و وابسته جالبی در داده‌ها بیانجامد.مثال 1-7: تحلیل وابستگیفرض کنید مدیر بازاریابی شرکت آل‌الکترونیکس هستید و می‌خواهید محصولاتی را که به صورت معمول با هم دیگر به فروش می‌روند، شناسایی کنید (در یک تراکنش). یک قانون که از پایگاه داده تراکنشی شرکت به دست می‌آید می‌تواند به صورت زیر باشد.{اطمینان = 50% ، پشتیبان = 1%} (نرم افزار، X) خرید <= (رایانه، X) خریددر این جا X، نشان دهنده یک مشتری است. اطمینان - Confidence - یا قطعیت - Certainty - %50 به این معنا است که اگر یک مشتری رایانه‌ای خریداری کند، با احتمال 50% نرم افزاری نیز خریداری می‌کند. پشتیبان - Support - %1 نیز به این معناست که در 1% کل تراکنش‌ها نرم افزار و رایانه همراه با هم خریداری شده‌اند. این قانون وابسته یک خصوصیت را که تکرار می‌شود، نشان می‌دهد. قوانین وابسته‌ای که شامل یک پیش‌بینی کننده هستند، قوانین وابسته یک بعدی نامیده می‌شوند. با تغییر طرز نوشتن پیش‌بینی کننده می‌توان قانون را به صورت زیر ساده‌سازی نمود.{ %50، %1} نرم افزار <= رایانهحال فرض کنید پایگاه داده ارتباطی شرکت آل‌الکترونیکس برای این منظور به کار رود. در این حالت ممکن است قانونی به صورت زیر تولید شود:{%60 = اطمینان، 2% = پشتیبان} (رایانه،X)خرید<=(49000،...،40000،X)درآمد ^(29،...،20،X)سناین قانون نشان دهنده این است که 2% از مشتریان آل‌الکترونیکس بین 20 تا 29 سال سن دارند و درآمد آنها نیز بین 40000 دلار تا 49000 دلار است و رایانه‌ای خریداری کرده‌اند. در نتیجه مشتریانی که در این گروه سنی و درآمد قرار دارند، به احتمال 60% یک رایانه خریداری خواهند کرد. در این حالت یک قوانین وابسته با بیش از یک خصوصیت یا پیش‌بینی کننده (سن، درآمد و خرید) وجود دارد. به همین علت همانند پایگاه داده چند بعدی، این قانون را می‌توان قانون وابسته چند بعدی نامید.به صورت معمول، در صورتی که یک قانون وابسته حد آستانه اطمینان و پشتیبان را ارضا نکند، کنار گذاشته می‌شود. تحلیل بیشتر منجر به شناخت قوانین هم‌بسته آماری بین جفت‌های خصوصیت - مقدار می شود.شناسایی مجموعه اقلام تکراری یک حالت بنیادی از شناسایی الگوهای تکراری است. شناسایی الگوهای تکراری، وابسته و هم‌بسته در فصول 6 و 7 توضیح داده خواهد شد. در این دو فصل الگوریتم‌های کارا برای این منظور توضیح داده می‌شوند. شناسایی الگوهای دنباله‌ای و ساختاری نیز مربوط به مباحث پیشرفته است.پیش بینی به وسیله دسته بندی و رگرسیوندسته‌بندی فرآیند شناسایی یک مدل که بتواند دسته‌ها و مفاهیم را تعریف کند، است. مدل با تحلیل داده‌های آموزشی (داده‌هایی که برچسب دسته مشخصی دارند) تولید می‌شود. سپس از آن برای پیش‌بینی داده‌هایی که دارای برچسب دسته نیستند، استفاده می‌شود.مدل تولید شده چگونه نمایش داده می‌شود؟ مدل ممکن است به شکل‌های مختلفی نمایش داده شود، برای مثال ممکن است با قوانین دسته‌بندی - Classification Rules - (قوانین اگر - آن گاه)، درخت‌های تصمیم - Decision Tree - فرمول‌های ریاضی و شبکه‌های عصبی - Neural Network - نمایش داده شوند. یک درخت تصمیم ساختاری درخت‌وار است که هر گره آن نمایان‌گر یک آزمایش برای مقادیر مختلف یک خصوصیت است، هر شاخه نمایان‌گر نتیجه آزمایش و هر برگ درخت نشان‌دهنده دسته‌ها و یا توزیع آنها است. درخت‌های تصمیم را می‌توان به راحتی به قوانین دسته‌بندی تبدیل نمود. یک شبکه عصبی زمانی که برای دسته‌بندی به کار می‌رود مجموعه‌ای از نورون‌هایی است که کار پردازش وزن‌دهی ارتباطات مابین را انجام می‌دهند. روش‌های مختلف دیگری برای دسته‌بندی وجود دارد که از آن جمله می‌توان به دسته بندی ساده بیزی - Naïve Baysian - ماشین‌های بردار پشتیبان - Support Vector Machine - و k همسایه نزدیک - k-nearest neighbor - اشاره نمود.در حالی که دسته‌بندی برچسب داده‌های طبقه‌ای یا گسسته را پیش‌بینی می‌کند، مدل‌های رگرسیون برای داده‌های پیوسته کاربرد دارند. از رگرسیون بیشتر برای پیش بینی داده‌های گم شده پیوسته استفاده می‌شود تا برچسب دسته داده‌ها. تحلیل رگرسیون یک روش آماری است که با وجود سایر روش‌ها برای پیش‌بینی مقادیر پیوسته به کار می‌رود. همچنین از رگرسیون برای شناسایی روندهای توزیع نیز استفاده می‌شود.در برخی مسائل دسته‌بندی و رگرسیون تحلیل ارتباطات و شناخت خصوصیاتی که بیشترین ارتباط با مسئله را دارند، امری ضروری است. به این ترتیب خصوصیات مرتبط را می‌توان انتخاب نمود و خصوصیات غیرمرتبط را از فرآیند تحلیل حذف کرد.مثال 1-8 : دسته بندی و رگرسیونفرض کنید مدیر فروش شرکت آل‌الکترونیکس هستید و می‌خواهید تعداد زیادی از کالاها را دسته‌بندی کنید. این دسته‌بندی بر مبنای پاسخ مشتریان به پیشنهاد محصولات است و شامل: پاسخ خوب، پاسخ مناسب و بدون پاسخ است. شما قصد دارید مدلی تولید کنید که با استفاده از ویژگی‌های محصولات (مانند قیمت، برند، ساخت، نوع و طبقه)، دسته‌بندی را انجام دهد. مدل دسته‌بندی تولید شده می‌بایست تمیزی بین این سه دسته تولید کند و یک تصویر کلی از ساختار پایگاه داده تولید کند.فرض کنید مدل تولید شده یک درخت تصمیم باشد. درخت تصمیم ممکن است قیمت را به عنوان یک معیار برای جداسازی سه دسته شناسایی کند. همچنین ممکن است این درخت علاوه بر قیمت از خصوصیات دیگری مانند برند و محل ساخت را نیز برای شناسایی بیشتر دسته‌ها از یک دیگر استفاده کند. این درخت تصمیم می‌تواند به پیشنهادهای فروش بهتر و اثربخش‌تری در آینده بیانجامد.حال فرض کنید به جای پیش‌بینی پاسخ‌گویی برای هر محصول فروشگاه، هدف شما پیش‌بینی عایدی هر محصول در مدت فروش آینده شرکت با توجه به اطلاعات گذشته فروش هر یک باشد. این کار مثالی از تحلیل رگرسیون است و مدل تولید شده می‌تواند یک خصوصیت پیوسته و یا ترتیبی را پیش‌بینی کند.در فصول 1 و 2 جلد دوم کتاب در مورد دسته‌بندی توضیحات بیشتری داده خواهد شد. تحلیل رگرسیون نیز خارج از اهداف این کتاب است و برای کسب اطلاعات بیشتر می‌توان به منابع معرفی شده در کتاب شناسی این فصل رجوع کرد.

داده کاوی - قسمت ششم

محمد فعال علوی — Mon, 20 Jul 2020 10:11:39 +0430

کدام نوع الگوها قابل کاوش هستند؟تا اینجا با گونه‌های متنوع مخازن داده‌ها و اطلاعاتی که می‌توانند مورد داده‌کاوی قرار گیرند، آشنا شدیم. حالا می‌خواهیم با انواع الگوهایی که می‌توانند مورد کاوش قرار گیرند، آشنا شویم.داده‌کاوی عملگرهای زیادی دارد. این عملگرها شامل ویژگی و تمایز - Discrimination - کاوش الگوهای تکراری، پیوستگی‌ها و وابستگی‌ها، دسته‌بندی و رگرسیون، تحلیل خوشه‌بندی و تحلیل دورافتادگی می‌شود. عملگرهای داده‌کاوی برای پیداکردن انواع الگوهای مشخص در عملیات داده‌کاوی استفاده می‌شوند. این قبیل کاربردها به صورت کلی به دو دسته تقسیم می‌شوند: توصیفی - Descriptive - و پیش‌بین - Predictive -. پروژه‌های کاوش توصیفی، ویژگی‌های داده را در یک مجموعه داده هدف توصیف می‌کنند. پروژه‌های کاوش پیش‌بین با استفاده از استقرا روی داده‌های در دسترس به انجام پیش‌بینی می‌پردازند.عملگرهای داده‌کاوی و انواع الگوهایی که می‌توانند کشف کنند در ادامه توضیح داده می‌شوند. به علاوه اینکه بخش 6-1-4 به موضوع تعریف الگوی جذاب می‌پردازد.توصیف مفاهیم / دسته ها: ویژگی و تمایز‌هاورورد اطلاعات ممکن است مبتنی بر دسته‌ها و یا مفاهیم صورت پذیرد. برای مثال در فروشگاه‌های شرکت آل‌الکترونیکس دسته‌های اجناس برای فروش شامل رایانه‌ها و پرینترها است و مفاهیم مشتریان شامل مشتریان ولخرج و مقتصد است. توصیف هر کدام از دسته‌ها و مفاهیم در عین خلاصه‌بودن می‌تواند بسیار کارا باشد. این توصیف‌ها را می‌توان از 1) ویژگی‌های داده‌ها - Data Characteristic- به واسطه خلاصه‌سازی داده‌های موجود برای دسته مورد مطالعه یا هدف تولید نمود، یا با 2) تمیزکردن داده‌ها به واسطه مقایسه دسته‌های هدف با سایر دسته‌ها تولید نمود، و یا این که از 3) ترکیب ویژگی‌ها و تمایز داده‌ها برای این منظور بهره‌برد.ویژگی‌های داده‌ها خلاصه ویژگی‌ها و یا خصوصیات کلی دسته هدف است. همچنین برای تولید داده‌های مربوط به یک دسته خاص که کاربر مشخص می‌کند از جستجو استفاده می‌شود. برای مثال برای بررسی ویژگی‌های محصولات نرم‌افزاری با رشد فروش 10% نسبت به سال قبل، می‌بایست اطلاعات وابسته به محصولات مورد نظر از پایگاه داده فروش جستجوی SQLگردند.روش‌های مختلفی برای خلاصه‌سازی داده‌ها وجود دارد. روش‌های ساده خلاصه‌سازی با استفاده از نمودارها و سنجه‌های آماری در فصل 2 توضیح داده شده‌اند. مکعب‌های داده مبتنی بر OLAP در بخش 1-3-2 نیز می‌توانند توسط کاربر برای این منظور به کار روند. این فرآیند با جزئیات بیشتر در فصول 4 و 5 توضیح داده شده‌اند. روش‌های مبتنی بر جهت‌گیری خصوصیات - Attribute-oriented induction- نیز در فصل 4 با جزئیات بررسی شده‌اند، این روش‌ها نیازی به تعامل گام به گام کاربر ندارند.خروجی ویژگی‌های داده‌ها را می‌توان به صورت‌های متنوعی نشان داد. برای مثال نمودارهای دایره‌ای، نمودارهای میله‌ای، منحنی‌ها، مکعب‌های داده‌های چند بعدی و جداول چند بعدی. همچنین نتایج توصیف نیز ممکن است به صورت ارتباطات کلی و یا قوانین ویژگی نشان داده‌شوند.مثال 1-5: ویژگی‌های داده‌هاممکن است مدیر ارتباط با مشتریان شرکت آل الکترونیکس چنین هدفی برای داده‌کاوی مشخص کند: خلاصه‌سازی ویژگی‌های مشتریانی که بیش از 5000 دلار در سال از شرکت خرید می‌کنند. نتیجه نمایه کلی چنین مشتریانی است که ممکن است شاغل، دارای سن بین 40 تا 50 سال و رتبه اعتباری عالی باشند. سیستم داده‌کاوی باید به مدیر ارتباط با مشتریان اجازه دیدن جزئیات در هر بعدی را دهد. برای مثال رده شغلی این مشتریان با توجه به نوع اشتغال آنها.مقایسه بین ویژگی‌ها و خصوصیات کلی داده‌های دسته هدف با سایر دسته‌ها، تمایز داده است. دسته‌های هدف و مقایسه توسط کاربر توصیف می‌شوند و داده‌های مرتبط با آنها با استفاده از یک جستجو در پایگاه داده به دست می‌آیند. برای مثال ممکن است کاربری بخواهد خصوصیات کلی محصولات نرم‌افزاری که رشد فروش حداقل 10% داشته‌اند را با محصولاتی که کاهش فروش حداقل 30% داشته‌اند مقایسه کند. روش‌هایی که برای تمایز داده‌ها به کار می روند، مشابه روش‌های به کار گرفته شده برای ویژگی‌های داده‌ها است."خروجی تمایز به چه صورت است؟" شکل خروجی تمایز شبیه خروجی توصیف ویژگی‌ها است با این تفاوت که دارای سنجه‌های مقایسه‌ای بین دسته‌های هدف و مقایسه‌ای است. توصیف تمایز به واسطه قوانین تمایز تولید می‌شود.مثال 1-6: تمایز داده‌هاممکن است مدیر ارتباط با مشتریان شرکت آل‌الکترونیکس بخواهد دو گروه از مشتریان را مقایسه کند: مشتریانی که به صورت معمول محصولات رایانه‌ای خریداری می‌کنند (برای مثال بیش از دو بار در ماه) و مشتریانی که به ندرت چنین محصولاتی خریداری می‌کنند (برای مثال کمتر از سه بار در سال). نتیجه این توصیف یک نمایه مقایسه‌ای بین مشتریان است، برای مثال 80% مشتریانی که به صورت معمول محصولات رایانه‌ای خریداری می‌کنند سنی بین 20 تا 40 سال دارند و دارای تحصیلات دانشگاهی هستند، در حالی که 60% مشتریانی که به ندرت چنین محصولاتی خریداری می‌کنند افراد سال خورده و یا جوانان بدون تحصیلات دانشگاهی هستند. با تجزیه بیشتر نتایج بر یکی از ابعاد مثل رده شغلی و یا اضافه‌کردن یک بعد مثل سطح درآمد می‌تواند به تمایز بیشتر خصوصیات بین دو دسته بیانجامد.مفاهیم توصیف که شامل تمایز و ویژگی است در فصل 4 توضیح داده می‌شوند.

داده کاوی - قسمت پنجم

محمد فعال علوی — Wed, 15 Jul 2020 18:06:45 +0430

داده های تراکنشیبه صورت معمول، هر رکورد در یک پایگاه داده تراکنشی، تراکنش‌هایی نظیر خرید مشتری، رزرو پرواز یا کلیک کاربر بر روی صفحه وب را در خود جای داده است. هر تراکنش شامل شماره تراکنش منحصر به فرد(شناسه تراکنش) و لیستی از موارد تشکیل‌دهنده آن از جمله موارد خریداری شده در آن تراکنش می‌باشد. پایگاه داده تراکنشی ممکن است جداولی اضافه تر داشته باشد که شامل اطلاعات دیگر مرتبط با تراکنش‌ها نظیر موارد، اطلاعات مربوط به فروشنده، شعب و غیره باشد.مثال: پایگاه داده تراکنشی برای شرکت آل‌الکترونیکسذخیره‌سازی تراکنش‌ها در جدول می‌تواند به ازای هر تراکنش، به صورت یک رکورد انجام شود. بخشی از پایگاه داده تراکنشی شرکت آل‌الکترونیکس را در تصویر 1-8 می‌توان مشاهده نمود.از دیدگاه پایگاه داده رابطه‌ای، جدول فروش نشان داده شده در شکل، رابطه‌ای تو در تو را نشان داده است. چرا که خصوصیت "لیست موارد شناسه"، شامل مجموعه‌ای از موارد است. از آنجا که بسیاری از سیستم‌های پایگاه داده رابطه‌ای، ساختارهای تو در تو را پشتیبانی نمی‌کنند، پایگاه داده تراکنشی معمولا در یک فایل مسطح و در قالبی شبیه جدول 1-8 و یا در قالبی شبیه به جدول "موارد فروش رفته" ذخیره می‌شود.به عنوان یک تحلیلگر در شرکت آل‌الکترونیکس، ممکن است بپرسید: "کدام موارد به خوبی با هم به فروش رفته‌اند؟" از این نوع تجزیه و تحلیل داده روی سبد خرید بازار می‌توان به عنوان یک استراتژی افزایش فروش برخی از اقلام کالا با هم، استفاده نمود. به عنوان مثال، با توجه به این که به صورت معمول پرینترها همراه با رایانه خریداری می‌شوند، شما می‌توانید پرینتر خاصی را با تخفیف بسیار زیاد (و یا حتی به صورت رایگان) به مشتریان خریدار کامپیوتر ارائه دهید و امیدوار باشید که کامپیوترهای شما فروش بیشتری داشته باشند. (که اغلب گران‌تر از پرینتر هستند). سیستم پایگاه داده سنتی قادر به انجام تجزیه و تحلیل داده در سطح سبد خرید بازار نیست. خوشبختانه، داده‌کاوی بر روی داده‌های تراکنشی می‌تواند منجر به شناسایی موارد و اقلامی شود که اغلب با هم فروش می‌روند. کاوش الگوهای تکراری از داده‌های تراکنشی در فصول 6 و 7 مورد بحث قرار گرفته است.انواع دیگر داده هاعلاوه بر پایگاه داده رابطه‌ای، انباره داده و داده‌های تراکنش، بسیاری از انواع دیگر داده که دارای اشکال متنوع و ساختارها و مفاهیم معنایی به طور نسبی متفاوتی هستند نیز وجود دارد. این نوع داده‌ها را می‌توان در بسیاری از کاربردها مشاهده نمود: داده‌های مربوط به زمان یا دنباله (به عنوان مثال، سوابق تاریخی، داده‌های تبادل سهام، سری زمانی و دنباله داده‌های بیولوژیکی)، جریان‌های همزمان داده (به عنوان مثال، نظارت تصویری و داده‌های سنسور که به طور مداوم منتقل می‌شوند)، داده‌های مکانی (به عنوان مثال نقشه‌ها)، داده‌های طراحی و مهندسی (برای مثال در طراحی ساختمان‌ها، اجزای سیستم و یا مدارات مجتمع به کار می‌روند)، ابر متن‌ها و داده‌های چند رسانه‌ای( شامل متن، تصویر، ویدئو و داده‌های صوتی)، گراف و داده‌های شبکه‌ای(برای مثال شبکه‌های اجتماعی و اطلاعاتی) و داده‌های وب (مخازن عظیم اطلاعاتی که به طور بسیار گسترده‌ای توسط اینترنت توزیع شده و در دسترس همگان است) این برنامه‌های کاربردی چالش‌های جدیدی به همراه داشته‌اند. برای مثال چگونگی انجام انتقال سازه‌های خاص (برای نمونه، توالی‌ها، درخت واره‌ها، گراف‌ها و شبکه‌ها)، معانی خاص (مانند سفارش، تصویر، صدا و محتویات ویدئویی) و چگونگی دسترسی به الگوهای کاوش که حامل ساختارها و معانی غنی هستند.از انواع داده ها، دانش‌های مختلفی قابل کاوش است. در اینجا به برخی از این موارد اشاره می‌شود. براساس داده‌های زمانی می‌توانیم داده‌های بانکی را برای یافتن روندهای در حال تغییر مورد کاوش قرار دهیم. نتایج می‌تواند به برنامه‌ریزی صندوق داران بانک بر اساس حجم ترافیک مشتریان کمک کند. کاوش داده‌های بورس اوراق بهادار می‌تواند در کشف روندهای موجود برای انتخاب استراتژی‌های سرمایه‌گذاری به شما کمک کند (برای مثال این که بهترین زمان برای خرید سهام آل‌الکترونیکس چه زمانی است؟) می‌توان جریان داده‌های همزمان شبکه‌های کامپیوتری را برای شناسایی موارد غیر عادی در جریان پیام ها کاوش نمود. این کشف‌ها می‌تواند به وسیله خوشه‌بندی، مدل‌های ساختاری جریان‌های پویا و یا از طریق مقایسه با الگوهای تکراری فعلی با نمونه‌های قبلی انجام شود. با استفاده از داده‌های مکانی ممکن است به دنبال الگوهایی که تغییرات نرخ فقر شهری را بر اساس فاصله از بزرگراه‌های اصلی توصیف می‌کنند، بود. رابطه بین مجموعه‌ای از موضوعات مکانی می‌تواند برای کشف این که کدام زیر مجموعه‌های آنها به صورت فضایی پیوسته یا مرتبط هستند، مورد بررسی قرار گیرند. به وسیله کاوش داده‌های متنی مثل مقالات مربوط به داده‌کاوی در ده سال گذشته، می‌توان تحولات موضوعات داغ این حوزه را تشخیص داد. با استفاده از نظرات کاربران در مورد محصولات (که اغلب از طریق پیام‌های متنی کوتاه ثبت می‌شوند)، می‌توان احساسات مشتری را ارزیابی کرده و مقدار استقبال بازار از محصول را درک کرد. با استفاده از داده‌های چند رسانه‌ای می‌توان تصاویر را برای شناسایی اشیا و طبقه بندی، یا اختصاص برچسب - Tag - به آنها، کاوش نمود. با استفاده از داده‌های ویدئویی مربوط به یک بازی هاکی می‌توان توالی سکانس‌های ویدئویی که به گل منجر شده است را شناسایی نمود. وب‌کاوی می‌تواند ما را در درک نحوع توزیع اطلاعات در اینترنت یاری کند، این کار به صورت کلی از طریق شناسایی و دسته‌بندی صفحات وب و کشف پویایی‌های وب‌سایت و به هم پیوستگی‌ها و دیگر روابط موجود در صفحات وب مختلف، کاربران، جوامع و فعالیت‌های مبتنی بر وب انجام می‌شود.در کاربردهای مختلف، انواع متعددی از داده ها وجود دارند. برای مثال، وب‌کاوی اغلب با داده‌های متنی و چند رسانه‌ای صفحات وب (مثل تصاویر و فیلم‌ها)، اطلاعات نموداری مانند نمودارهای وب و داده‌های مربوط به نقشه در برخی از وب‌سایت‌ها همراه است. در بیوانفورماتیک، توالی ژن‌ها، شبکه‌های بیولوژیکی و سازه‌های فضایی سه بعدی از ژن‌ها ممکن است با موضوعات معین بیولوژیکی وجود داشته باشد. کاوش در منابع چندگانه از داده‌های پیچیده اغلب با رسیدن به یافته‌هایی به گسترش متقابل و تقویت این منابع منجر می‌شود. از سوی دیگر این یک امر چالشی است، زیرا مشکلات پاک‌سازی و یکپارچه‌سازی داده‌ها در کنار تعاملات پیچیده بین منابع چندگانه آنها می‌بایست صورت پذیرد.اینگونه داده‌ها علاوه بر این که برای ذخیره‌سازی کارآمد، بازیابی و به روزرسانی به امکانات پیشرفته نیازمندند، زمینه چالش‌های تحقیقاتی و موضوعات اجرایی رو به رشدی برای داده‌کاوی به وجود می‌آورند. داده‌کاوی روی این گونه داده‌ها از موضوعات پیشرفته محسوب می‌شود که روش‌های مورد استفاده در مورد آنها نسخه توسعه یافته تکنیک‌های پایه‌ای ارائه شده در این کتاب می‌باشند.

داده کاوی - قسمت چهارم

محمد فعال علوی — Mon, 13 Jul 2020 17:08:19 +0430

انباره های دادهفرض کنید شرکت آل الکترونیکس، شرکتی بین المللی و موفق با شعبه‌های متعدد در اطراف جهان باشد. هر شعبه مجموعه منابع اطلاعاتی مختص خود را دارد. مدیر شرکت آل الکترونیکس از شما می‌خواهد تا آنالیزی از فروش شرکت بر اساس هر مورد کالا و هر شعبه در بازه زمانی یک فصل تهیه کنید. به نظر می رسد این کار بسیار مشکل باشد علی‌الخصوص به‌این‌دلیل که داده‌ها با هم مرتبط بوده و در پایگاه‌های داده متعددی که به صورت فیزیکی در نقاط مختلف قرار گرفته‌اند، پراکنده‌اند.اگر شرکت آل الکترونیکس یک انباره داده داشته‌باشد، این کار بسیار آسان خواهد شد. انباره داده، مخزنی شامل اطلاعات جمع آوری شده از چندین منبع مختلف است که این اطلاعات را تحت یک طرح واحد جمع آوری کرده است. مخازن اطلاعات معمولا در یک سایت واحد قرار می‌گیرند. انباره‌های داده حاصل فرآیند پاک‌سازی داده، یکپارچه‌سازی داده، تغییر شکل داده، بارگذاری داده - Data Loading - و نوسازی دوره‌ای داده - Periodic Data Refreshing - هستند. این فرآیندها در فصول 3 و 4 مورد بحث قرار خواهد گرفت. در تصویر 1-6 چهارچوب نمونه‌ای از ساختار و کاربرد انباره داده برای شرکت آل الکترونیکس نشان داده شده است.داده‌هایی که در انباره داده وجود دارد، با هدف تسهیل تصمیم سازی بر اساس موضوعات اصلی تقسیم‌بندی می‌شوند. (برای مثال، مشتری، موارد کالا، تامین‌کننده و فعالیت) گردآوری داده‌ها با هدف به دست‌آوردن اطلاعات از چشم اندازهای تاریخی (برای مثال موضوعات مربوط به 6 تا 12 ماه گذشته) انجام شده و این اطلاعات معمولا در ادامه خلاصه‌سازی می‌شوند. برای مثال به جای گردآوری جزئیات هر تراکنش فروش، ممکن است در انباره داده خلاصه‌ای از هر تراکنش بر اساس نوع آن و به تفکیک فروشگاه گردآوری شود. همچنین ممکن است این داده‌ها را در سطح مناطق فروش خلاصه‌سازی کند.انباره داده معمولا مبتنی بر ساختارهای داده‌های چند بعدی مدل می‌شود. این ساختارها داده مکعب - Data Cube - نامیده می‌شوند. در داده مکعب هر بعد با یک خصوصیت یا مجموعه‌ای از خصوصیت‌ها در ارتباط است. داده مکعب، دیدگاهی چند بعدی از داده تولید کرده و این دیدگاه برای ما امکان انجام محاسبات اولیه و دسترسی سریع به داده خلاصه‌سازی شده را فراهم می‌کند.مثال 1-3: یک داده مکعب برای شرکت آل الکترونیکستصویر 1-7 (الف) داده مکعبی را نشان می‌دهد که هدف آن خلاصه‌سازی داده‌های فروش شرکت آل الکترونیکس است. این مکعب دارای 3 بعد است: آدرس (که مقادیر شهر را در بر دارد مثل شیکاگو، نیویورک، تورنتو و ونکور)، زمان (که مقادیر هر فصل را در بر دارد شامل Q1 ، Q2 ، Q3 و Q4) و موارد (که شامل مقادیر سرگرمی‌های خانگی، رایانه، تلفن و امنیت است) مقادیر مجموع گردآوری شده در هر سلول مکعب شامل حجم فروش (مقادیر بر حسب هزار هستند) می‌شود. برای مثال کل فروش فصل اول یا Q1 برای موارد مرتبط با سیستم‌های امنیتی در شهر ونکور 400.000 دلار است که در سلول (ونکور، Q1 ، امنیت) نشان داده شده است. بر حسب نیاز ممکن است ما مکعب‌های بیشتری برای تجمیع مقادیر مجموع بر روی هر بعد تشکیل دهیم که این مقادیر از مجموعی از گروه‌بندی‌های مختلف در SQL به دست می‌آیند (برای مثال مقادیر کل فروش می‌تواند به تفکیک شهر و فصل، شهر و مورد، فصل و مورد یا به تفکیک هر بعد به تنهایی باشد)با فراهم‌کردن دیدگاه‌های چندبعدی نسبت به داده و پیش‌پردازش داده‌های خلاصه‌شده، سیستم‌های انباره داده می‌توانند به شکل ذاتی به عنوان پشتیبانی برای OLAP محسوب شوند. عملیات پردازش تحلیلی آنلاین امکان استفاده از دانش پس زمینه را با توجه به دامنه داده مورد مطالعه میسر ساخته و نمایشی از داده در سطوح مختلف انتزاع ارائه می‌دهد. این عملیات دیدگاه‌های مختلف کاربران را در خود جای می‌دهد. به عنوان نمونه‌هایی از عملیات OLAP، شکافتن - Drill-Down - و به بالا حرکت کردن - Roll-Up - را می‌توان نام برد که به کاربر اجازه می‌دهند داده را در درجات مختلف خلاصه‌سازی مشاهده نماید. این مطلب در شکل 1-7 (ب) نشان داده شده است. برای مثال می‌توانیم در داده‌های فروش که بر اساس فصول خلاصه‌سازی شده‌اند با هدف دیدن خلاصه‌سازی بر اساس ماه، عملیات شکافتن را انجام دهیم. به طور مشابه با استفاده از عملیات به بالا حرکت کردن می‌توان از داده‌های خلاصه‌سازی شده فروش بر اساس شهرستان به داده‌های خلاصه شده بر اساس کشور رسید.هر چند که انباره داده به تجزیه و تحلیل داده کمک می‌کند، اما اغلب ابزارهای بیشتری برای داده کاوی و رسیدن به تحلیل‌های عمیق مورد نیاز است. داده‌کاوی چند بعدی - Multidimwnsional Data Mining - (به آن داده‌کاوی اکتشافی چند بعدی نیز گفته می‌شود) در شکل OLAP گونه خود، کاوش داده در فضای چند بعدی را انجام می‌دهد. بدین معنی که با استفاده از این روش امکان کشف الگوهای جالب از دانش به وجود می‌آید. مروری بر انبار داده و فن‌آوری OLAP در فصل 4 ارائه خواهد شد و موضوعات پیشرفته در مورد محاسبات داده‌های مکعب و داده‌کاوی چندبعدی در فصل 5 مورد بحث قرار خواهد گرفت.

داده کاوی - قسمت سوم

محمد فعال علوی — Sun, 12 Jul 2020 10:31:44 +0430

پایگاه دادهپایگاه داده تحت عنوان سیستم مدیریت پایگاه داده - Database Management System - (DBMS) نیز شناخته می‌شود. سیستم شامل مجموعه‌ای از داده‌های به هم مرتبط است که شامل مجموعه‌ای از برنامه‌های نرم‌افزاری برای مدیریت و دسترسی به داده‌ها است. این برنامه‌های کاربردی مکانیزمی برای تعریف ساختار پایگاه داده و انباره‌های داده را فراهم می کنند. همچنین از آنها برای مدیریت همزمان دسترسی اشتراکی یا توزیع شده به داده‌ها و حصول اطمینان از پایداری و امنیت اطلاعات ذخیره شده در سیستم برای مقابله با خرابی و یا تلاش‌هایی که برای دسترسی‌های غیرمجاز به آنها شکل می گیرد، نیز استفاده می‌شود.یک پایگاه داده رابطه‌ای مجموعه‌ای از جداول است که هر کدام از آنها نام منحصر به فرد خود را دارند. هر جدول شامل مجموعه‌ای از خصوصیات - Attributes - است(ستون‌ها فیلدها). همچنین این جداول حاوی مجموعه‌های بزرگی از چندتایی‌ها - Tuples - (رکوردها یا سطرها) هستند. هر چندتایی در جدول رابطه‌ای، نشان‌دهنده یک شیء است که به وسیله کلیدی منحصر به فرد شناخته می‌شود. همچنین این شیء به وسیله مجموعه‌ای از مقادیر خصوصیت توصیف می‌شود. مدل‌های داده‌های معنایی - Semantic - از قبیل مدل موجودیت - رابطه یا ER - Entity-Relationship - به صورت معمول برای پایگاه‌های داده رابطه‌ای ساخته می‌شوند. در واقع مدل ER، پایگاه داده‌ای با مجموعه موجودیت‌ها و روابط آنها را نشان می‌دهد.مثال: یک پایگاه داده رابطه‌ای برای شرکت آل الکترونیکسشرکت آل الکترونیکس را که از آن برای تشریح مفاهیم مطرح شده در این کتاب استفاده می‌شود، در نظر بگیرید. این شرکت به وسیله جداول رابطه‌ای که در ادامه می‌آید، توصیف شده است: مشتری، آیتم، کارمند و شعبه. این سرخط‌ها در تصویر نشان داده شده‌اند(سرخط به عنوان زمینه رابطه نیز شناخته می‌شود)· رابطه مشتری شامل مجموعه‌ای خصوصیت است که اطلاعات مشتری را توصیف می‌کنند. این اطلاعات شامل یک شماره منحصر به فرد برای مشتری (شناسه مشتری)، نام مشتری، آدرس، سن، شغل، درآمد سالیانه، اطلاعات کارت اعتباری و طبقه وی می‌شود.· به طور مشابه، هر یک از رابطه‌های مربوط به موارد، کارمندها و زیر شاخه ها، شامل مجموعه‌ای خصوصیت هستند که ویژگی‌های آنها را توصیف می‌کنند.مشتری (شناسه مشتری، نام، آدرس، سن، شغل، درآمد سالانه، اطلاعات اعتباری، طبقه و...)موارد (شناسه مورد، برند، طبقه، نوع، قیمت، مکان ساخت، تامین کننده، هزینه و ...)کارمند (شناسه کارمند، نام، طبقه، گروه، حقوق، پورسانت، و...)شعبه (شناسه شعبه، نام، آدرس و ...)خریدها (شناسه تراکنش، شناسه مشتری، شناسه کارمند، تاریخ، زمان، روش پرداخت، مقدار پرداخت)موارد فروش‌رفته (شناسه تراکنش، شناسه مورد، تعداد)محل کار (شناسه کارمند، شناسه شعبه)همچنین جداول می‌توانند برای نمایش ارتباطات بینابین و درونی چندین موجودیت استفاده شوند. در مثال ما این ارتباطات شامل: خریدها (مواردی که مشتری خریداری می‌کندیا تراکنشی که به وسیله یکی از کارمندان ثبت شده‌است)، موارد فروش‌رفته (لیست مواردی که در یک تراکنش فروخته شده) و محل کار (کارمندی که در یکی از شعبات شرکت آل الکترنیکس کار می‌کند) است.برای دسترسی به داده‌های رابطه‌ای می‌توان از جستجوی پایگاه داده که به وسیله یک زبان جستجوی رابطه‌ای مثل SQL نوشته شده‌است و یا از یک رابط گرافیکی استفاده نمود. در اینجا هر جستجو به مجموعه‌ای از عملگرهای رابطه‌ای تبدیل می‌شود. این عملگرها شامل: اتصال، انتخاب، و تصویرسازی می باشند که برای انجام پردازشی کارا، بهینه شده‌اند. جستجو، امکان بازیابی زیر مجموعه‌های مشخصی از داده‌ها را فراهم می‌کند. فرض می‌کنیم شغل شما تحلیل داده‌های شرکت آل الکترونیکس باشد. شما می‌توانید با استفاده از جستجوهای رابطه‌ای، مواردی از قبیل "لیست تمام موارد فروخته‌شده در فصل گذشته را به من نشان بده" را شناسایی کنید. زبان‌های رابطه‌ای از عملگرهای جمع‌کننده نیز استفاده می‌کنند، برای مثال: جمع، میانگین، شمارنده، حداکثر و حداقل. با استفاده از عملگرهای جمع‌کننده می‌توانید "کل فروش ماه گذشته را به تفکیک شعبه نشان بده" یا "چه تعداد تراکنش‌های فروش در ماه دسامبر اتفاق افتاده است؟" یا "کدام فروشنده بیشترین فروش را داشته است؟" را جستجو کنید.در کاوش پایگاه‌های داده می‌توان گام را فراتر نهاد و روندها یا الگوهای داده را نیز جستجو کرد. به طور مثال سیستم‌های کاوش داده می‌توانند داده‌های مشتری را برای پیش بینی ریسک اعتباری مشتریان جدید استفاده کنند. این کار بر اساس درآمد، سن و اطلاعات اعتباری قبلی آنها انجام می‌شود.سیستم‌های داده کاوی ممکن است انحرافات را نیز تشخیص دهند. منظور از انحرافات مواردی هستند که فروش آنها در مقایسه با سال گذشته بسیار دور از انتظار بوده‌است. برخی از این انحرافات را می‌توان مورد بررسی‌های بیشتری قرار داد. برای مثال نتیجه داده‌کاوی ممکن است کشف تغییر در بسته‌بندی یک مورد یا افزایش قیمت آن باشد.پایگاه‌های داده رابطه‌ای یکی از مهمترین، معمول‌ترین و در دسترس‌ترین منابع اطلاعاتی موجود هستند. بنابراین می‌توان پایگاه‌های داده رابطه‌ای را یکی از مهمترین شکل‌های داده در مطالعات داده‌کاوی دانست.

داده‌کاوی - قسمت دوم

محمد فعال علوی — Thu, 09 Jul 2020 11:12:19 +0430

داده‌کاوی چیست؟داده‌کاوی به‌عنوان موضوعی میان رشته‌ای - Interdisciplinary- به طرق مختلفی تعریف می‌شود. حتی اصطلاح داده‌کاوی به واقع نمیتواند کلیه مولفه‌های اصلی مورد نظر را یک‌جا در بر گیرد. دقیقا به‌همان تصویر که در فرآیند استخراج طلا از سنگ یا شن و ماسه، به‌جای اصطلاح استخراج سنگ و شن و ماسه، اصطلاح استخراج طلا را به کار می بریم، در فرآیند استخراج داده نیز صحیح‌تر آن است که از اصطلاح "استخراج دانش از داده" استفاده شود که متاسفانه این عبارت تا حدودی طولانی است. اگرچه اصطلاح کوتاه‌تر استخراج دانش ممکن است تاکید ما بر عملیات استخراج دانش از حجم زیادی داده را منعکس ننماید، ولی با این‌حال می توان استخراج را واژه‌ای در نظر گرفت که به وضوح فرآیند یافتن مجموعه‌های کوچک قطعات گران‌بها را از میان مقدار زیادی از مواد خام، توصیف می کند.بسیاری از مردم اصطلاح داده‌کاوی را به عنون مترادف واژه مصطلح دیگر آن یعنی کشف دانش از داده یا KDD به کار می برند. این موضوع در حالی است که دیگران داده‌کاوی را صرفا به عنوان گامی اساسی در فرآیند کشف دانش می‌دانند. فرآیند کشف دانش فرآیندی است که مراحل متوالی و تکرار شونده زیر را در بر می گیرد:1- پاک‌سازی داده‌ها - Data Cleaning - (به منظور حذف داده‌های متناقض)2- یکپارچه‌سازی داده - Data Integration- (که ممکن است در آن منابع چندگانه داده ترکیب گردند)3- انتخاب داده - Data Selection - (که در آن داده‌های مربوط به عملیات تجزیه و تحلیل از پایگاه داده بازیابی می شود)4- تغییر شکل داده - Data Transformation- (که طی آن داده‌ها به منظور انجام عملیات استخراج بوسیله خلاصه‌سازی یا تجمیع به فرم‌های مناسب تغییر شکل داده می شوند.)5- داده‌کاوی (فرآیندی اساسی که طی آن از روش‌های هوشمند برای استخراج الگوهای داده استفاده می شود)6- ارزیابی الگو (برای شناسایی الگوهای جالبی که دانش را در اندازه‌های جالب توجه نشان می دهد)7- ارائه دانش (که در آن از تکنیک‌های تجسمی و نمایشی برای ارائه دانش استخراج شده به کاربران استفاده می شود)طی مراحل 1 تا 4 اشکال مختلف پیش‌پردازش - Preprocessing- برای آماده‌شدن داده برای استخراج انجام می شود. مرحله استخراج داده ممکن است در تعامل با کاربر و یا یک پایگاه دانش انجام شود. الگوهای جالبی که استخراج شده برای کاربر نمایش داده می شود و در صورت تایید کاربر به عنوان دانش جدید در پایگاه دانش ذخیره می شود.دیدگاه قبلی داده‌کاوی را به‌عنوان یکی از گام‌های فرآیند کشف دانش نشان داده است. البته داده‌کاوی یکی از گام‌های اساسی است، زیرا این فرآیند الگوهای پنهان را برای ارزیابی آشکار می کند. اگرچه در صنعت، در رسانه و در محیط پژوهش، واژه و عبارت داده‌کاوی اغلب به عنوان کل فرآیند کشف دانش شناخته ‌می‌شود (ممکن است به این دلیل باشد که عبارت داده‌کاوی بسیار کوتاه‌تر از عبارت کشف دانش از داده‌ها است) بنابراین تا اینجا توانستیم دیدگاهی کلی از عملیات داده‌کاوی به‌دست آوریم. به طور خلاصه داده‌کاوی فرایندی است که در آن از انبوه داده‌های موجود، الگوهای جالب توجه کشف شده و دانش از آنها استخراج می‌شود. منابع داده می‌تواند شامل: پایگاه‌های داده، انباره‌های داده، وب، دیگر مخازن داده یا داده‌ای که بصورت پویا در سیستم جریان دارد، باشد.چه نوع داده‌هایی می‌تواند مورد کاوش قرار گیرد؟داده‌کاوی به عنوان یک فناوری عمومی می‌تواند برای داده‌های متنوعی که برای کاربردهای مختلف مورد نظر ما وجود دارند، به کار گرفته شود. پایه‌ای‌ترین شکل‌های داده برای انجام کاوش عبارتند از: پایگاه‌های داده، انباره‌های داده، و داده‌های تراکنش‌ها. مفاهیم و تکنیک‌های ارائه شده در کتاب حاضر، بر این نوع داده‌ها متمرکز است. همچنین داده‌کاوی را می‌توان برای شکل‌های دیگر داده به کار برد (برای مثال: جریان‌های داده، دنباله‌های داده، گراف‌ها یا شبکه‌ها، داده‌های فضایی، داده‌های متنی، داده‌های چند رسانه‌ای و وب) ما در این کتاب مروری بر انواع دیگر داده خواهیم داشت، تکنیک‌های مورد استفاده برای کاوش در این چنین داده‌هایی در فصل 13 معرفی خواهند شد. در انتها باید این نکته را ذکر کرد که داده‌کاوی به طور قطع با انواع داده‌های نوظهور دیگری در آینده موجه خواهد بود.

داده کاوی - قسمت اول

محمد فعال علوی — Wed, 08 Jul 2020 12:03:55 +0430

معرفیکتاب حاضر مقدمه‌ای در مورد مبحث نوظهور و در حال رشد داده کاوی - Data Mining - (که از آن به‌عنوان اکتشاف دانش از داده - Knowledge Discovery from Data - یا به اختصار KDD نیز یاد می‌شود) است. در این کتاب مفاهیم پایه ای داده کاوی و تکنیک‌های کشف الگوها از داده‌ها برای کاربردهای متنوع توضیح داده شده است. هدف اصلی ما در این کتاب توسعه داده کاوی به عنوان ابزاری اثربخش، کارآمد و قابل توسعه است.چرا داده کاوی؟افلاطون: احتیاج، مادر ابتکار است.ما در دنیایی زندگی می کنیم که روزانه حجم عظیمی از اطلاعات در آن تولید می‌شود و بدین‌سان تحلیل این داده ها را به موضوعی مهم تبدیل کرده است.حرکت به سوی عصر اطلاعاتما در عصر اطلاعات زندگی می کنیم، جمله ای است که تا کنون بسیار شنیده‌اید ولی شاید بهتر باشد بگوییم در عصر داده ها زندگی می کنیم. ترابایت ها یا پتابایت ها - Petabytes برابر هزار ترابایت یا یک میلیون گیگابایت است - داده هر روز به شبکه‌های کامپیوتری، شبکه گسترده جهانی (WWW) و به انواع تجهیزات ذخیره‌سازی داده در کسب و کارهای جامعه، علوم و مهندسی، پزشکی و سایر جنبه‌های زندگی روزانه ما سرازیر می‌شوند.این رشد انفجاری حجم داده‌های در دسترس، نتیجه رایانه‌ای شدن جوامع و توسعه سریع مجموعه داده‌ها و ابزارهای ذخیره‌سازی است. کسب و کارهای جهانی مجموعه داده های عظیمی ایجاد کرده‌اند که تراکنش‌های فروش، سوابق تجاری سهام، توصیف های محصولات، ترویج های فروش، عملکرد و پروفایل شرکت ها و بازخورد مشتریان را شامل می‌شود. به عنوان مثال فروشگاه‌های بزرگی نظیر وال‌مارت هر هفته صدها میلیون تراکنش را از هزاران شعبه در سراسر جهان دریافت، و مدیریت می کنند. پروژه های علمی و مهندسی به طور مستمر به تولید مقادیر بالایی داده مشغولند که از خروجی حس گرهای راه دور، اندازه گیری فرآیند، آزمایش‌های علمی، عملکرد سیستم‌ها، مشاهدات مهندسی و نظارت بر محیط به دست می‌آیند.شاه‌راه‌های مخابراتی جهانی روزانه ده‌ها پتابایت ترافیک داده را انتقال می دهند. صنعت پزشکی و سلامت حجم عظیمی از داده های مرتبط با سوابق پزشکی، نظارت بر بیماران و تصویربرداری پزشکی تولید می‌کند. موتورهای جستجوگر روزانه میلیاردها جستجوی وب را که بالغ بر ده‌ها پتابایت داده هستند، پشتیبانی می‌کنند. جوامع و رسانه‌های اجتماعی به‌طور فزاینده‌ای به منابع داده‌های مهمی از جمله مواردی چون تولید عکس‌ها و ویدئوهای دیجیتال، وبلاگ‌ها، جوامع مبتنی بر وب و انواع مختلف شبکه‌های اجتماعی تبدیل شده‌اند. این ها فهرستی از منابعی هستند که حجم بسیار عظیمی از داده های بی‌پایان را ایجاد می‌کنند.رشد سریع و انفجاری داده، در دسترس بودن گسترده آنها، عصر ما را به عصر داده ها تبدیل کرده‌است، به نحوی که نیاز مبرم به ابزاری قدرتمند و همه‌کاره برای کشف خودکار اطلاعات ارزشمند از حجم بسیار بالای داده و تبدیل داده‌های مذکور به دانش سازمان یافته، بیش از پیش احساس می‌شود. تداوم این نیاز به تولد و پیدایش داده کاوی منجر شده است. داده کاوی، دانشی نو و پویا است که به گام‌های بلند و مستمر ما را در سفر از عصر داده‌ها به عصر اطلاعات کمک خواهد کرد.مثال 1-1 : داده کاوی، مجموعه ای بزرگ از داده را به دانش تبدیل می‌کند.یک موتور جستجو(به‌عنوان مثال گوگل) هر روز به صدها میلیون جستجو پاسخ می‌دهد. هر جستجو را می توان تراکنشی در نظر گرفت که در آن کاربر نیاز اطلاعاتی خود را توصیف می‌نماید. یک موتور جستجو با گذشت زمان چه دانش جدید و مفیدی را می‌تواند از چنین حجم عظیمی از جستجوهای کاربران فرا بگیرد؟ برخی الگوهای یافت شده در جستجوهای کاربران می‌تواند موجب استخراج دانش ارزشمندی شود که به تنهایی از طریق خواندن اطلاعات مربوط به آن فرد قابل دستیابی نیست. به عنوان مثال نموداری که گوگل برای نمایش روند شیوع آنفلوآنزا نشان می‌دهد، از عبارات جستجو شده مشخصی به عنوان نشانگر شیوع آنفلوآنزا استفاده می کند. بررسی ها نشان می‌دهد رابطه نزدیکی بین تعداد افرادی که عبارات مرتبط با آنفلوآنزا را جستجو می‌کنند و تعداد مبتلایان به آنفلوآنزا وجود دارد. در واقع پس از جمع‌آوری همه اطلاعات جستجوهای مربوط به آنفلوآنزا، الگویی مشخص پدیدار می‌شود که با استفاده از آن نمودار روند آنفلوآنزای گوگل می تواند مقدار شیوع این بیماری را تا دوهفته زودتر نسبت به روش‌های سنتی، تخمین بزند. این مثال نشان می‌دهد که چطور داده کاوی می تواند مجموعه‌ای بزرگ از داده را به دانش تبدیل کرده و با استفاده از آن به رویارویی با چالش‌های فعلی جهان بپردازد.داده کاوی به عنوان تکامل فناوری اطلاعاتداده کای را می توان نتیجه طبیعی تکامل فناوری اطلاعات به شمار آورد. توسعه زود هنگام روش‌های جمع آوری داده و مکانیسم های ایجاد پایگاه داده به عنوان پیش نیازی برای توسعه های بعدی موثر برای ذخیره سازی و بازیابی داده ها و همچنین جستجو و پردازش تراکنش ها به شمار می آید. امروزه بسیاری از پایگاه داده‌ها همراه با قابلیت پردازش تراکنش ها و انجام جستجو ارائه می شوند. بدین ترتیب می توان گفت گام بعدی تجزیه و تحلیل پیشرفته داده ها خواهد بود.از سال های 1960 به بعد، پایگاه های داده ئ فناوری اطلاعات به طور روش مندی از شکل سیستم های اولیه پردازش فایل به سمت سیستم های پایگاه داده پیشرفته و قدرتمند تکامل یافت. تحقیق و توسعه انجام شده روی پایگاه های داده از سال های 1970 به بعد، آنها را از سیستم های پایگاه داده شبکه ای و سلسله مراتبی به سیستم های پایگاه داده رابطه ای - Relational Database Systems- (که در آن داده در ساختار جداول رابطه ای ذخیره می‌شود)، ابزار مدل سازی داده و روش های نمایه گذاری - Indexing - تبدیل کرد. این پیشرفت ها کاربران را قادر ساخت تا از طریق رابط کاربری جستجو، بهینه سازی جستجو و مدیریت تراکنش های مالی، دسترسی راحت و قابل انعطاف تری به داده داشته باشند. مجموعه روش‌های کارا برای پردازش تراکنش‌های برخط OLTP که در آن هر جستجو به عنوان یک تراکنش فقط خواندنی در نظر گرفته می شود نیز در راستای تکامل و پذیرش همه جانبه فناوری های رابطه ای توسعه یافتند. از این روش ها به عنوان ابزاری عمده برای ذخیره سازی کارآمد، بازیابی و مدیریت مقادیر انبوه داده استفاده می‌شود.پس از استقرار سیستم های مدیریت پایگاه داده، فناوری پایگاه داده با هدف تحلیل پیشرفته داده ها و تولید پایگاه های داده مبتنی بر وب، به سمت توسعه سیستم های پایگاه داده پیشرفته - Advanced Database Systems- انبار کردن داده و داده کاوی حرکت کرد. به عنوان مثال سیستم های پایگاه داده پیشرفته نتیجه پژوهش های سریع و ناگهانی انجام شده در اواسط سالهای دهه 1980 به بعد است. این سیستم ها مدل های جدید و قدرتمندی نظیر مدل رابطه ای(بسط یافته و مدل شیء گرا) و مدل های استقرایی یا قیاسی را ایجاد کرده اند. سیستم های پایگاه داده برنامه گرا - Application Oriented - در حوزه هایی چون حوزه های فضایی، زمانی، چندرسانه ای، فعال، در جریان، پایگاه داده علمی و مهندسی، دانش محور و مبتنی بر اطلاعات شکوفا شده اند. به طور کلی می توان گفت مسائل مرتبط با توزیع، تنوع و به اشتراک گذاری داده به طور گسترده ای بررسی شده است.تجزیه و تحلیل پیشرفته داده ها از اواخر سال های 1980 به بعد پدیدار گشت. پیشرفت مداوم و خیره کننده تکنولوژی سخت افزار رایانه در سه دهه گذشته منجر به ایجاد ابزارهای متعددی از قبیل رایانه های قدرتمند و مقرون به صرفه، تجهیزات جمع آوری داده و رسانه های ذخیره سازی شده است. این فناوری موجب ارتقا پایگاه داده و صنعت اطلاعات می شود و قادر است تعداد زیادی پایگاه داده و مخازن اطلاعاتی را به منظور مدیریت تراکنش ها، بازیابی اطلاعات و تجزیه و تحلیل داده ها فراهم نماید. داده ها هم اکنون می توانند در انواع مختلفی از پایگاه های داده و مخازن اطلاعاتی ذخیره گردند.یکی از معماری های نوظهور برای ذخیره سازی داده ها، انباره داده ها - Data Warehouse - است. انباره داده، مخزنی از داده های چند گانه ناهمگن سازماندهی شده تحت یک طرح واحد در یک سایت است که هدف آن تسهیل تصمیم گیری های مدیریتی است. فناوری انباره داده شامل پاک سازی داده - Data Cleaning - یکپارچه سازی داده و پردازش تحلیلی آنلاین - Online Analytical Processing - است. این فناوری تکنیک های تجزیه و تحلیل با ویژگی هایی از قبیل خلاصه سازی، ادغام، تجمیع و همچنین توانایی نمایش اطلاعات از زوایای مختلف را داراست. اگرچه ابزار OLAP تجزیه و تحلیل چندبعدی و تصمیم گیری را پشتیبانی می کند، اما برای تجزیه و تحلیل عمیق تر داده ها ابزارهای بیشتری مورد نیاز است. برای این منظور می توان از ابزارهای داده کاوی نام برد که امکان دسته بندی، خوشه بندی، تشخیص داده های دورافتاده - Outlier - یا غیر طبیعی - Anomaly - و خصوصیات تغییر داده را در هر زمان فراهم می کنند.از گذشته تا زمان حال، حجم عظیمی از داده در پایگاه های داده و انبارهای داده انباشته شده است. طی سال های 1990، شبکه جهانی وب و پایگاه های داده مبتنی بر وب (به عنوان مثال پایگاه داده XML) پا به عرصه ظهور نهادند. در ادامه پایگاه های اطلاع رسانی جهانی مبتنی بر اینترنت مانند WWW و انواع مختلف پایگاه های داده پیوسته و ناهمگون به وجود آمدند که امروزه در صنعت اطلاعات نقش حیاتی ایفا می کنند. تجزیه و تحلیل موثر و کارآمد داده از فرم های مختلف آن و با استفاده از یکپارچه سازی اطلاعات، داده کاوی و فناوری های تجزیه و تحلیل شبکه اطلاعات، کاری چالش برانگیز است.به طور خلاصه می توان گفت وفور داده، نیاز به ابزار قدرتمند تجزیه و تحلیل داده را تشدید کرده است. یا به عبارتی دیگر، اگرچه منابع غنی داده وجود دارد، ولی در وضعیت فقر اطلاعاتی به سر می بریم. رشد سریع حجم بسیار بالای داده های جمع آوری و ذخیره شده در مخازن بزرگ و متعدد موجب شده است که درک آنها بدون در اختیار داشتن ابزارهای قدرتمند، خارج از توان بشر باشد. در نبود ابزارهای قدرتمند، مخازن عظیم داده های جمع آوری شده کنونی به مقبره هایی تبدیل شده است که به ندرت از آنها بازدید می شود. در نتیجه اغلب تصمیمات مهم بر مبنای شهود تصمیم گیرندگان و نه بر اساس داده و اطلاعات غنی ذخیره شده در مخازن داده اتخاذ می شوند. این اتفاق به این دلیل اتفاق می افتد که فرد تصمیم گیرنده ابزار استخراج دانش ارزشمند موجود در حجم وسیع داده را در اختیار ندارد. تلاش های زیادی تاکنون به‌منظور تولید سیستم های خبره و فناوری های دانش محور صورت گرفته است که به صورت معمول به ورود دستی دانش به پایگاه های دانش توسط کاربران یا خبرگان آن حوزه تکیه می کنند. متاسفانه فرآیند ورود دستی دانش، مستعد ابتلا به تعصبات و خطاها است و در عین حال بسیار پرهزینه و وقت گیر است. گسترش شکاف بین داده و اطلاعات، توسعه روش مند ابزارهای داده کاوی را می طلبد که به نوبه خود می توانند مقبره های داده ها را به "قطعات طلایی" دانش تبدیل نمایند.