امروز مطلبی رو درباره ادغام سازی داده داشتم می خوندم. دیدم موضوع مهم و جالبی هست و تصمیمی گرفتم بخشی از این مقاله رو که فهمیدم با شما به اشتراک بذارم. پس با من همراه باشید...
ادغام سازی داده به معنی فرایند ترکیب داده ها از منابع مختلف به یکی هست.
ادغام داده، شامل مراحلی مثل پاکسازی، ETL mapping و بحث تبدیل یا transformation میشه.
ادغام داده ها در نهایت این امکان رو به ابزارهای تحلیلی می ده تا هوش تجاری مؤثر و عملی را تولید کنند.
در یک فرآیند ادغام داده معمولی، کلاینت request رو برای (دستیابی به ) داده ها به سرور اصلی ارسال می کنه. بعدش سرور اصلی میاد داده های مورد نیاز رو از منابع داخلی و خارجی دریافت می کنه. (در نتیجه) داده ها از منابع یا سورس ها استخراج می شن، بعدش همین داده های استخراج شده در یک مجموعه داده منسجم و یکپارچه جمع می شن. این سرویس به کلاینت ارائه می شه و اون می تونه بارها و بار ها ازش استفاده کنه.
حتی اگه یک شرکت، تمام داده های مورد نیاز خودشو دریافت کند، این داده ها اغلب در تعدادی از دیتا سورس ها یا منابع داده مستقل و جدا از هم هستند. به عنوان مثال، داده هایی که باید ترکیب بشن امکان داره از سیستم های crm ، ترافیک وب، نرم افزار عملیات بازاریابی، داده های چیز هایی که فروخته شده و حتی داده های کسانی باشه که با ما شریک هستند باشه.
خب منطقی هست که این داده ها از منابع مختلف باید یه جایی یکپارچه بشن تا بتونیم اقدامات تحلیلی عملیاتی رو انجام بدیم و همین امر، برای مهندسان و توسعه دهندگان داده اصلا کار کوچکی نیست.
ادغام داده ها باعث می شه :
در این مورد به چند نکته می شه اشاره کرد :
سود بری زیاد big data
داده ها می تونن بسیار پیچیده و حجیم باشند. مثل شرکت های فیسبوک یا گوگل. خود همین امر نشون می ده که چقدر ادغام داده می تونه در سامان دادن اطلاعات کمک کنه. به خصوص برای شرکت هایی که بحث big data داره بهشون نزدیک می شه.
ساخت data warehouses و data lakes
ادغام داده به خصوص در مشاغل بزرگ، بیشتر برای ایجاد data warehouses استفاده می شه، که میان چندین منبع داده رو در یک پایگاه داده رابطه ای با هم ترکیب می کنند. (توضیح از خودم : اگه نمی دونید تفاوت انبار داده با دریاچه داده چی هست باید بگم توی انبار داده اطلاعاتش کاملا ساختار یافته هست اما دریاچه داده مثل یک کیسه هست که هر چی که هست رو می ریزیم و مهم نیست که ساختارمند باشند یا نباشند.)
ساده شدن business intelligence
وقتی دید یکپارچه از داده ها از منابع مختلف ارائه می شه، باعث می شه تحلیل هایی مربوط به حوزه BI ، ساده بشه. (اگه با نرم افزار های BI آشنایی ندارید، به طور خلاصه می شه گفت که نرم افزاری که میاد داده رو تبدیل به ارزش می کنه!)
یه سوال، ETL چی هست؟ یعنی Extract, Transform, Load
لازم می دونم این توضیح رو اضافه کنم که : در اصل ما دو تا منطق داریم :
ETL و ELT
در ETL، داده‌ها از منابع مختلف جمع آوری شده و پس از تغییرات و تبدیلات مورد نیاز، در انبار داده بارگزاری می‌شوند. اما دقت کنید که در این مورد، منطق ETL به ELT تغییر کرده و به این معنیه که داده ها از منابع مختلف، اول در انبار داده ذخیره می شن، بعدش تجزیه و تحلیل صورت می گیره.
امیدوارم این نوشته برتنون مفید بوده باشه
از همراهیتون صمیمانه ممنونم ...
