ویرگول
ورودثبت نام
saralotfi
saralotfi
saralotfi
saralotfi
خواندن ۵ دقیقه·۳ ماه پیش

ColumnTransformer در Scikit-learn؛ مدیریت حرفه‌ای داده‌های ترکیبی در پروژه‌های یادگیری ماشین

در پروژه‌های واقعی یادگیری ماشین، داده‌ها معمولاً فقط عددی نیستند.

فرض کنید می‌خواهیم مدلی بسازیم که ریسک نکول وام را پیش‌بینی کند؛ یعنی تشخیص دهد آیا یک متقاضی احتمال دارد اقساط وام خود را پرداخت نکند یا نه.

داده ما ممکن است شامل چنین ستون‌هایی باشد:

سن درآمد ماهانه مبلغ وام سابقه اعتباری نوع شغل وضعیت تأهل ریسک نکول کارمند متأهل

در این مسئله:

  • ریسک نکول ستون هدف یا y است.

  • مقدار 1 می‌تواند به معنی «ریسک بالا» باشد.

  • مقدار 0 می‌تواند به معنی «ریسک پایین» باشد.

  • مسئله از نوع Classification است.

اما قبل از آموزش مدل، با یک مسئله مهم روبه‌رو هستیم:

ستون‌های عددی و متنی به پردازش یکسانی نیاز ندارند.


مسئله چیست؟

در مثال بالا، ستون‌ها را می‌توان به دو گروه تقسیم کرد:

ستون‌های عددی

سن درآمد ماهانه مبلغ وام سابقه اعتباری

ستون‌های دسته‌ای یا متنی

نوع شغل وضعیت تأهل

ممکن است در داده واقعی برخی مقدارها خالی باشند. مثلاً:

  • درآمد ماهانه یک متقاضی ثبت نشده باشد.

  • نوع شغل یک متقاضی مشخص نباشد.

  • داده‌ها در مقیاس‌های کاملاً متفاوتی قرار گرفته باشند.

برای نمونه:

سن: حدود ۱۸ تا ۷ سابقه اعتباری: حدود ۳۰۰ تا ۹۰۰ درآمد: چند میلیون تا ده‌ها میلیون مبلغ وام: ده‌ها تا صدها میلیون

اگر داده را بدون پردازش به مدل بدهیم، احتمال خطا یا عملکرد ضعیف مدل بالا می‌رود.


ColumnTransformer چیست؟

ColumnTransformer ابزاری در scikit-learn است که اجازه می‌دهد برای ستون‌های مختلف، پردازش‌های متفاوت تعریف کنیم.

در پروژه پیش‌بینی ریسک نکول، ساختار کلی ما چنین است:

داده خام ├── ستون‌های عددی │ ↓ │ جایگزینی داده‌های خالی │ ↓ │ استانداردسازی │ └── ستون‌های متنی ↓ جایگزینی داده‌های خالی ↓ One-Hot Encoding ↓ داده آماده برای مدل

ساخت داده نمونه

import pandas as pd data = pd.DataFrame({ "سن": [32, 27, 41, 35, 29, 48, 38, 31], "درآمد ماهانه": [ 45_000_000, 28_000_000, 70_000_000, None, 35_000_000, 85_000_000, 55_000_000, 40_000_000 ], "مبلغ وام": [ 300_000_000, 450_000_000, 250_000_000, 380_000_000, 500_000_000, 200_000_000, 320_000_000, 410_000_000 ], "سابقه اعتباری": [720, 540, 810, 650, 580, 850, 760, 610], "نوع شغل": ["کارمند", "آزاد", "مدیر", "کارمند", None, "مدیر", "کارمند", "آزاد"], "وضعیت تأهل": ["متأهل", "مجرد", "متأهل", "مجرد", "مجرد", "متأهل", "متأهل", "مجرد"], "ریسک نکول": [0, 1, 0, 0, 1, 0, 0, 1] })

در این داده، عمداً دو مقدار خالی داریم:

  • یک مقدار خالی در درآمد ماهانه

  • یک مقدار خالی در نوع شغل


جداکردن ویژگی‌ها و ستون هدف

X = data.drop("ریسک نکول", axis=1) y = data["ریسک نکول"]

در اینجا:

  • X شامل اطلاعات متقاضیان وام است.

  • y شامل برچسب ریسک نکول است که مدل باید آن را پیش‌بینی کند.


تعیین ستون‌های عددی و متنی

numeric_features = [ "سن", "درآمد ماهانه", "مبلغ وام", "سابقه اعتباری" ] categorical_features = [ "نوع شغل", "وضعیت تأهل" ]

Pipeline مخصوص ستون‌های عددی

برای ستون‌های عددی دو کار انجام می‌دهیم:

  1. مقادیر خالی را با میانه پر می‌کنیم.

  2. مقادیر را استاندارد می‌کنیم.

from sklearn.pipeline import Pipeline from sklearn.impute import SimpleImputer from sklearn.preprocessing import StandardScaler numeric_transformer = Pipeline(steps=[ ("imputer", SimpleImputer(strategy="median")), ("scaler", StandardScaler()) ])

چرا median؟

در داده‌های مالی ممکن است بعضی درآمدها خیلی بزرگ باشند و میانگین را جابه‌جا کنند. میانه معمولاً در برابر چنین داده‌های پرت مقاوم‌تر است.

چرا StandardScaler؟

چون مقیاس ستون‌ها متفاوت است:

content_copy textnote_addویرایش با Canvasسن: 18 تا 70 سابقه اعتباری: 300 تا 900 درآمد ماهانه: چند میلیون تا ده‌ها میلیون مبلغ وام: صدها میلیون

استانداردسازی باعث می‌شود ستون‌هایی با عددهای بزرگ، به‌صورت غیرمنطقی بر مدل‌هایی مثل Logistic Regression، KNN و SVM مسلط نشوند.


Pipeline مخصوص ستون‌های متنی

برای ستون‌های متنی:

  1. مقدار خالی را با پرتکرارترین مقدار پر می‌کنیم.

  2. متن را با One-Hot Encoding به عدد تبدیل می‌کنیم.

from sklearn.preprocessing import OneHotEncoder categorical_transformer = Pipeline(steps=[ ("imputer", SimpleImputer(strategy="most_frequent")), ("onehot", OneHotEncoder(handle_unknown="ignore")) ])

One-Hot Encoding چه می‌کند؟

مثلاً ستون نوع شغل شامل این مقادیر است:

کارمند آزاد مدیر

بعد از One-Hot Encoding به ستون‌هایی شبیه این تبدیل می‌شود:

نوع شغل_آزاد نوع شغل_کارمند نوع شغل_مدیر 0 1 0 1 0 0 0 0 1

این کار مهم است؛ چون مدل معمولاً متن را مستقیماً درک نمی‌کند.

همچنین نباید نوع شغل را به شکل زیر تبدیل کنیم:

کارمند = 1 آزاد = 2 مدیر = 3

چون این تبدیل به مدل القا می‌کند که شاید «مدیر» از «کارمند» بزرگ‌تر یا نزدیک‌تر به «آزاد» است؛ درحالی‌که این دسته‌ها ترتیب عددی واقعی ندارند.


ساخت ColumnTransformer

اکنون مشخص می‌کنیم هر Pipeline روی کدام ستون‌ها اجرا شود:

from sklearn.compose import ColumnTransformer preprocessor = ColumnTransformer( transformers=[ ("num", numeric_transformer, numeric_features), ("cat", categorical_transformer, categorical_features) ] )

این بخش مانند یک مسیردهنده عمل می‌کند:

ستون‌های عددی → numeric_transformer ستون‌های متنی → categorical_transformer

اتصال پیش‌پردازش به مدل

حالا ColumnTransformer را همراه مدل در یک Pipeline قرار می‌دهیم.

from sklearn.pipeline import Pipeline from sklearn.linear_model import LogisticRegression model = Pipeline(steps=[ ("preprocessor", preprocessor), ("classifier", LogisticRegression()) ])

ساختار کامل:

داده خام متقاضی ↓ ColumnTransformer ├── داده‌های عددی: Imputer → StandardScaler └── داده‌های متنی: Imputer → One-Hot Encoding ↓ Logistic Regression ↓ پیش‌بینی ریسک نکول

آموزش و ارزیابی مدل

ابتدا داده را تقسیم می‌کنیم:

from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.25, random_state=42, stratify=y )

استفاده از stratify=y در مسائل طبقه‌بندی کمک می‌کند نسبت کلاس‌های 0 و 1 در داده آموزش و تست تا حد ممکن حفظ شود.

سپس مدل را آموزش می‌دهیم:

Canvasmodel.fit(X_train, y_train)

پیش‌بینی:

Canvaspredictions = model.predict(X_test)

ارزیابی:

from sklearn.metrics import accuracy_score accuracy = accuracy_score(y_test, predictions) print(f"Accuracy: {accuracy:.2f}")

پیش‌بینی برای یک متقاضی جدید

یکی از مزیت‌های بزرگ Pipeline این است که برای داده جدید، نیازی به پردازش دستی نداریم:

new_applicant = pd.DataFrame({ "سن": [30], "درآمد ماهانه": [42_000_000], "مبلغ وام": [350_000_000], "سابقه اعتباری": [680], "نوع شغل": ["فریلنسر"], "وضعیت تأهل": ["مجرد"] })

حالا فقط کافی است بنویسیم:

risk_prediction = model.predict(new_applicant) print(risk_prediction)

حتی اگر مقدار فریلنسر در داده آموزشی وجود نداشته باشد، به دلیل این تنظیم:

OneHotEncoder(handle_unknown="ignore")

Pipeline خطا نمی‌دهد.


چرا این روش حرفه‌ای است؟

استفاده هم‌زمان از ColumnTransformer و Pipeline مزیت‌های مهمی دارد:

  • هر نوع ستون با روش مناسب پردازش می‌شود.

  • مراحل آماده‌سازی داده و مدل در یک ساختار واحد قرار می‌گیرند.

  • احتمال خطا در پردازش داده جدید کمتر می‌شود.

  • از رخ‌دادن Data Leakage تا حد زیادی جلوگیری می‌شود.

  • تغییر مدل، مثلاً از Logistic Regression به Random Forest، ساده‌تر خواهد بود.

  • کد برای استفاده در API، وب‌سایت یا محیط عملیاتی آماده‌تر است.


جمع‌بندی

در داده‌های واقعی، تقریباً همیشه با ترکیبی از ستون‌های عددی، متنی و داده‌های ناقص روبه‌رو هستیم.

ColumnTransformer کمک می‌کند برای هر نوع داده مسیر پردازشی مستقل بسازیم:

ستون عددی: SimpleImputer(median) → StandardScaler ستون متنی: SimpleImputer(most_frequent) → OneHotEncoder هر دو مسیر: ColumnTransformer → Pipeline → مدل

اگر بخواهم در یک جمله خلاصه کنم:

ColumnTransformer پلی میان داده خام و مدلی است که بتواند روی داده‌های واقعی، متنوع و ناقص تصمیم‌گیری کند.

scikit learnیادگیری ماشینپایتوناموزش
۱
۰
saralotfi
saralotfi
شاید از این پست‌ها خوشتان بیاید