در پروژههای واقعی یادگیری ماشین، دادهها معمولاً فقط عددی نیستند.
فرض کنید میخواهیم مدلی بسازیم که ریسک نکول وام را پیشبینی کند؛ یعنی تشخیص دهد آیا یک متقاضی احتمال دارد اقساط وام خود را پرداخت نکند یا نه.
داده ما ممکن است شامل چنین ستونهایی باشد:
سن درآمد ماهانه مبلغ وام سابقه اعتباری نوع شغل وضعیت تأهل ریسک نکول کارمند متأهل
در این مسئله:
ریسک نکول ستون هدف یا y است.
مقدار 1 میتواند به معنی «ریسک بالا» باشد.
مقدار 0 میتواند به معنی «ریسک پایین» باشد.
مسئله از نوع Classification است.
اما قبل از آموزش مدل، با یک مسئله مهم روبهرو هستیم:
ستونهای عددی و متنی به پردازش یکسانی نیاز ندارند.
در مثال بالا، ستونها را میتوان به دو گروه تقسیم کرد:
سن درآمد ماهانه مبلغ وام سابقه اعتباری
نوع شغل وضعیت تأهل
ممکن است در داده واقعی برخی مقدارها خالی باشند. مثلاً:
درآمد ماهانه یک متقاضی ثبت نشده باشد.
نوع شغل یک متقاضی مشخص نباشد.
دادهها در مقیاسهای کاملاً متفاوتی قرار گرفته باشند.
برای نمونه:
سن: حدود ۱۸ تا ۷ سابقه اعتباری: حدود ۳۰۰ تا ۹۰۰ درآمد: چند میلیون تا دهها میلیون مبلغ وام: دهها تا صدها میلیون
اگر داده را بدون پردازش به مدل بدهیم، احتمال خطا یا عملکرد ضعیف مدل بالا میرود.
ColumnTransformer ابزاری در scikit-learn است که اجازه میدهد برای ستونهای مختلف، پردازشهای متفاوت تعریف کنیم.
در پروژه پیشبینی ریسک نکول، ساختار کلی ما چنین است:
داده خام ├── ستونهای عددی │ ↓ │ جایگزینی دادههای خالی │ ↓ │ استانداردسازی │ └── ستونهای متنی ↓ جایگزینی دادههای خالی ↓ One-Hot Encoding ↓ داده آماده برای مدل
import pandas as pd data = pd.DataFrame({ "سن": [32, 27, 41, 35, 29, 48, 38, 31], "درآمد ماهانه": [ 45_000_000, 28_000_000, 70_000_000, None, 35_000_000, 85_000_000, 55_000_000, 40_000_000 ], "مبلغ وام": [ 300_000_000, 450_000_000, 250_000_000, 380_000_000, 500_000_000, 200_000_000, 320_000_000, 410_000_000 ], "سابقه اعتباری": [720, 540, 810, 650, 580, 850, 760, 610], "نوع شغل": ["کارمند", "آزاد", "مدیر", "کارمند", None, "مدیر", "کارمند", "آزاد"], "وضعیت تأهل": ["متأهل", "مجرد", "متأهل", "مجرد", "مجرد", "متأهل", "متأهل", "مجرد"], "ریسک نکول": [0, 1, 0, 0, 1, 0, 0, 1] })
در این داده، عمداً دو مقدار خالی داریم:
یک مقدار خالی در درآمد ماهانه
یک مقدار خالی در نوع شغل
X = data.drop("ریسک نکول", axis=1) y = data["ریسک نکول"]
در اینجا:
X شامل اطلاعات متقاضیان وام است.
y شامل برچسب ریسک نکول است که مدل باید آن را پیشبینی کند.
numeric_features = [ "سن", "درآمد ماهانه", "مبلغ وام", "سابقه اعتباری" ] categorical_features = [ "نوع شغل", "وضعیت تأهل" ]
برای ستونهای عددی دو کار انجام میدهیم:
مقادیر خالی را با میانه پر میکنیم.
مقادیر را استاندارد میکنیم.
from sklearn.pipeline import Pipeline from sklearn.impute import SimpleImputer from sklearn.preprocessing import StandardScaler numeric_transformer = Pipeline(steps=[ ("imputer", SimpleImputer(strategy="median")), ("scaler", StandardScaler()) ])
median؟در دادههای مالی ممکن است بعضی درآمدها خیلی بزرگ باشند و میانگین را جابهجا کنند. میانه معمولاً در برابر چنین دادههای پرت مقاومتر است.
StandardScaler؟چون مقیاس ستونها متفاوت است:
content_copy textnote_addویرایش با Canvasسن: 18 تا 70 سابقه اعتباری: 300 تا 900 درآمد ماهانه: چند میلیون تا دهها میلیون مبلغ وام: صدها میلیون
استانداردسازی باعث میشود ستونهایی با عددهای بزرگ، بهصورت غیرمنطقی بر مدلهایی مثل Logistic Regression، KNN و SVM مسلط نشوند.
برای ستونهای متنی:
مقدار خالی را با پرتکرارترین مقدار پر میکنیم.
متن را با One-Hot Encoding به عدد تبدیل میکنیم.
from sklearn.preprocessing import OneHotEncoder categorical_transformer = Pipeline(steps=[ ("imputer", SimpleImputer(strategy="most_frequent")), ("onehot", OneHotEncoder(handle_unknown="ignore")) ])
مثلاً ستون نوع شغل شامل این مقادیر است:
کارمند آزاد مدیر
بعد از One-Hot Encoding به ستونهایی شبیه این تبدیل میشود:
نوع شغل_آزاد نوع شغل_کارمند نوع شغل_مدیر 0 1 0 1 0 0 0 0 1
این کار مهم است؛ چون مدل معمولاً متن را مستقیماً درک نمیکند.
همچنین نباید نوع شغل را به شکل زیر تبدیل کنیم:
کارمند = 1 آزاد = 2 مدیر = 3
چون این تبدیل به مدل القا میکند که شاید «مدیر» از «کارمند» بزرگتر یا نزدیکتر به «آزاد» است؛ درحالیکه این دستهها ترتیب عددی واقعی ندارند.
اکنون مشخص میکنیم هر Pipeline روی کدام ستونها اجرا شود:
from sklearn.compose import ColumnTransformer preprocessor = ColumnTransformer( transformers=[ ("num", numeric_transformer, numeric_features), ("cat", categorical_transformer, categorical_features) ] )
این بخش مانند یک مسیردهنده عمل میکند:
ستونهای عددی → numeric_transformer ستونهای متنی → categorical_transformer
حالا ColumnTransformer را همراه مدل در یک Pipeline قرار میدهیم.
from sklearn.pipeline import Pipeline from sklearn.linear_model import LogisticRegression model = Pipeline(steps=[ ("preprocessor", preprocessor), ("classifier", LogisticRegression()) ])
ساختار کامل:
داده خام متقاضی ↓ ColumnTransformer ├── دادههای عددی: Imputer → StandardScaler └── دادههای متنی: Imputer → One-Hot Encoding ↓ Logistic Regression ↓ پیشبینی ریسک نکول
ابتدا داده را تقسیم میکنیم:
from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.25, random_state=42, stratify=y )
استفاده از stratify=y در مسائل طبقهبندی کمک میکند نسبت کلاسهای 0 و 1 در داده آموزش و تست تا حد ممکن حفظ شود.
سپس مدل را آموزش میدهیم:
Canvasmodel.fit(X_train, y_train)
پیشبینی:
Canvaspredictions = model.predict(X_test)
ارزیابی:
from sklearn.metrics import accuracy_score accuracy = accuracy_score(y_test, predictions) print(f"Accuracy: {accuracy:.2f}")
یکی از مزیتهای بزرگ Pipeline این است که برای داده جدید، نیازی به پردازش دستی نداریم:
new_applicant = pd.DataFrame({ "سن": [30], "درآمد ماهانه": [42_000_000], "مبلغ وام": [350_000_000], "سابقه اعتباری": [680], "نوع شغل": ["فریلنسر"], "وضعیت تأهل": ["مجرد"] })
حالا فقط کافی است بنویسیم:
risk_prediction = model.predict(new_applicant) print(risk_prediction)
حتی اگر مقدار فریلنسر در داده آموزشی وجود نداشته باشد، به دلیل این تنظیم:
OneHotEncoder(handle_unknown="ignore")
Pipeline خطا نمیدهد.
استفاده همزمان از ColumnTransformer و Pipeline مزیتهای مهمی دارد:
هر نوع ستون با روش مناسب پردازش میشود.
مراحل آمادهسازی داده و مدل در یک ساختار واحد قرار میگیرند.
احتمال خطا در پردازش داده جدید کمتر میشود.
از رخدادن Data Leakage تا حد زیادی جلوگیری میشود.
تغییر مدل، مثلاً از Logistic Regression به Random Forest، سادهتر خواهد بود.
کد برای استفاده در API، وبسایت یا محیط عملیاتی آمادهتر است.
در دادههای واقعی، تقریباً همیشه با ترکیبی از ستونهای عددی، متنی و دادههای ناقص روبهرو هستیم.
ColumnTransformer کمک میکند برای هر نوع داده مسیر پردازشی مستقل بسازیم:
ستون عددی: SimpleImputer(median) → StandardScaler ستون متنی: SimpleImputer(most_frequent) → OneHotEncoder هر دو مسیر: ColumnTransformer → Pipeline → مدل
اگر بخواهم در یک جمله خلاصه کنم:
ColumnTransformerپلی میان داده خام و مدلی است که بتواند روی دادههای واقعی، متنوع و ناقص تصمیمگیری کند.