ویرگول
ورودثبت نام
Kian
Kianفعال در مهندسی نرم‌افزار با اندکی تجربه از صنعت (عمدتا گوگل) و آکادمی (عمدتا اتلاف عمر). علاقمندم آموخته‌هامون رو رد و بدل کنیم.
Kian
Kian
خواندن ۳ دقیقه·۵ سال پیش

اندر علوم داده (data science)

زمینه‌ی کاری «علوم داده» (data science) الان داغه و دوستان می‌پرسن منبع خوب چیه یا از کجا آغاز کنن، که نمی‌دونم. صرفا پرسش رو این‌جا (و پیش‌تر در در توییتر) بازتاب می‌دم تا اگر شما پیشنهادی دارید بنویسید بلکه به درد کسی بخوره. لطفا اگر لینک گذاشتید برای خواننده توضیح مختصری هم بدید که مطالب چه‌اند.

پراکنده‌ی خودم: «دیتاساینس» الان داغه چنان‌که «بیگ‌دیتا» چند سال پیش بود، و متاسفانه این امر فضا رو نویزی می‌کنه و ادعاها رو زیاد. خودِ این رشته‌سازی و نام‌گذاری، امریست پسندیده و باعث پیشرفت، ولی به عنوان یک شغل مجرد از دانش‌هایی در بقیه‌ی علوم کامپیوتر، جای صحبت داره. یعنی کاراییِ یک دانشمند داده (data scientist)---فرض کنید قراره داده‌های رفتار کاربران رو بکاوه---بدون آشنایی حداقلی و داشتن «شهود» از آمار و احتمال و الگوریتم و یادگیری ماشین و پایگاه داده، جای صحبت داره. البته احتمالا همچنان ارزشمنده، ولی مثلا بنده برای تیمم نخواهم گرفت. هدف البته مانیفست دادن نیست بلکه دید دادن (به نظر سلیقه‌ایِ بنده) درباره‌ی این زیرشاخه‌ایست که به چشم یک تازه وارد شاید «همه چیز هست و هیچ چیز نیست» دیده بشه. در پاسخ به «از کجا آغاز کنم»: از «صورت مساله‌ها»، سپس به سوی «چی یاد بگیرم»، نه برعکس، به ویژه در مورد «ابزار».

در شرکت ما چه شکلیه؟ عنوان جداگانه‌ی «دانشمند داده» خیلی در ادبیات داخلی گوگل جا نیفتاده و مثل خیلی تخصص‌های دیگه این‌طوریه که همه مهندس نرم‌افزارن و برخی تخصص تحلیل داده یا مدل‌سازی یا ... دارن - حتی درباره‌ی کل مقوله‌ی پژوهش/research هم (به جز یک دو زمینه‌ی خاص) همینه، مثلا بیشتر پژوهش‌گران دنیای آکادمی که می‌آن، همون مهندس نرم‌افزارن ولی کارهای پژوهشی‌تر می‌کنن، مانند تیم سابق بنده. البته با عنوان «دانشمند داده» استخدام داریم ولی خیلی تخصصی‌ست و (دست کم ما) به عنوان سابق یعنی «تیم‌های statistican» می‌شناسیمشون. شرکت خیلی بزرگه و شاید در سوی دیگری ادبیات‌ها فرق کنه. خلاصه نام‌ها و عنوان‌ها خیلی مهم نیستن، به ویژه «پس از» استخدام. تخصص‌ها مهمن.

از ابزارها خواهم گفت، ولی دقت کنید که ابزار، فرعی‌ست؛ مهم «شهود روی روش‌ها‌» است.

  • مثال از کار علوم داده‌ای نزدیک به یادگیری ماشین: مساله‌ی سوم در این یادداشت (یا این رشته توییت).
  • مثال از کار علوم داده‌ای نزدیک به الگوریتم: برای تحلیل داده‌ی بزرگی که نیازمد مرتب‌سازی‌ست، نخستین چیزی که به ذهنتون می‌رسه چیه؟ نوشتن یک خط لوله برای distributed sort؟ یا رفتن سوی ایده‌ی ساده‌ی گسسته‌سازی و bucket sort؟ (باید دومی اول به ذهن بیاد و اولی تنها اگر لازم شد.) می‌تونید خطای تخمینتون رو کران‌دار کنید؟
  • مثال از کار علوم داده‌ای نزدیک به آمار: اگر قراره با تحلیل داده‌های فوتبال، یک فرضیه مثلا «احتمال کارت گرفتن بازیکنان رنگین‌پوست بیشتره» رو تایید یا رد کنید، درک مفاهیم p-value و بازه‌ی اطمینان و حساسیت‌سنجی (sensitivity analysis) در فضای N بُعدی پارامترها مهم هستن.

هدف از این مثال‌ها توضیح مفوم «شهود» بود، مشخصا برای مقابله با خطای «چکش داشتن و همه چیز رو میخ دیدن» که در موضوع‌هایی که داغ می‌شن و عجله برای مطرح شدن درشون زیاده، خیلی خیلی شایعه. نهایتا دوتا از پایه‌ای‌ترین ابزارهای ما در کارهای داده‌ای:

  • یکی Colab، ابزاری که query برای داده‌های بزرگ رو با برنامه‌نویسی پایتون و سپس جدول و نمودار و غیره کشیدن و حتی فرم تعاملی ساده ساختن ترکیب می‌کنه. ابزاری بسیار ساده ولی گام نخست در بیشتر کارهای تحلیل داده‌ای. بجویید Google Colab. گویا معادل دیگری هم به نام Jupyter داره.
  • یکی Flume، همون MapReduce سابق، برای نوشتن انواع خط لوله‌های پردازشی (حتی اگر خیلی هم به مدل functional زیرش نیازی نباشه)، که کم و بیش برابر Apache Beam است.

پوزش بابت پراکندگی و عدم انسجام.

پ.ن. هدف اصلی، درخواستیه که در آغاز مطرح شد؛ لطفا معرفی بفرمایید برای دیگران.

پ.ن. منظور از مثال‌ها ترساندن نیست بلکه باز کردن فکره که مثلا برای فوق‌لیسانس معمولا نخست نیاز به لیسانسه.


۱۱
۰
Kian
Kian
فعال در مهندسی نرم‌افزار با اندکی تجربه از صنعت (عمدتا گوگل) و آکادمی (عمدتا اتلاف عمر). علاقمندم آموخته‌هامون رو رد و بدل کنیم.
شاید از این پست‌ها خوشتان بیاید