ویرگول
ورودثبت نام
فرشاد میکائیل
فرشاد میکائیلجامعه‌شناسی، یادگیری عمیق و یادگیری ماشین در جامعه‌شناسی
فرشاد میکائیل
فرشاد میکائیل
خواندن ۱ دقیقه·۶ سال پیش

تبدیل ( Encoding ) داده های طبقه‌بندی شده ( Categorical) در یادگیری عمیق

برای اینکه داده های طبقه‌بندی شده رو تبدیل به داده های بهتری برای استفاده در مدل Artificial Neural Network کنیم می‌تونیم از روش های متفاوتی استفاده کنیم. من وقتی می‌خواستم داده های طبقه‌بندی شده را Encoding کنم از روش One-Hot استفاده کردم.


تبدیل ( Encoding) کردن خیلی ساده‌ست. ما یک سری داده هایی داریم که بصورت ۱و۲و ۳ و غیره طبقه بندی شدند. برای اینکه مدل ما متوجه بشه که این داده ها هیچ مزیتی نسبت به یکدیگر ندارند یا رابطه ای باهم ندارند و فقط به یک سری از انواع اشاره می‌کنند، از Encoding میتونیم استفاده کنیم. مثل اینه میمونه بخوایم مدل متوجه بشه که بین میمون و گاو و شیر ارتباطی وجود نداره، ما مجبوریم Encoding کنیم.( میدونم مثال های خاصی میزنم)



روش One-Hote

چه زمانی از این روش استفاده کنیم:

  1. وقتی که تعداد داده ها نسبتا کمتر است ( برای پردازش سریعتر)
  2. وقتی رابطه ای بین متغیرها وجود ندارد و متغیرهای اسمی(‌بطور مثال جنسیت، اسم ) هستند.

معایب این روش:

  1. در صورت داده های زیاد باعث سرعت کم در پردازش میشه.
  2. هم‌خطی چندگانه (Multicollinearity)
هم‌خطی چندگانه یعنی بین چند متغیر مستقل رابطه خطی وجود دارد.


برای تشخیص وجود هم‌خطی‌چندگانه از Variance Inflation Factor استفاده می‌کنیم:

اگر عدد بالاتر از ۵ باشد پس هم‌خطی‌چندگانه وجود دارد و اگر یکی از کتگوری هارو حذف کنیم، ممکن است هم‌خطی چندگانه از بین برود.

def calculate_vif(data): vif_df = pd.DataFrame(columns = ['Var', 'Vif']) x_var_names = data.columns for i in range(0, x_var_names.shape[0]): y = data[x_var_names[i]] x = data[x_var_names.drop([x_var_names[i]])] r_squared = sm.OLS(y,x).fit().rsquared vif = round(1/(1-r_squared),2) vif_df.loc[i] = [x_var_names[i], vif] return vif_df.sort_values(by = 'Vif', axis = 0, ascending=False, inplace=False) X=df.drop(['Salary'],axis=1) calculate_vif(X)


برای استفاده از روش One-Hot از کد زیر و کتابخانه‌ی sklearn می‌تونیم استفاده کنیم.



from sklearn.preprocessing import OneHotEncoder
# define data
data = asarray([['red'], ['green'], ['blue']])
print(data)
# define one hot encoding
encoder = OneHotEncoder(sparse=False)
# transform data
onehot = encoder.fit_transform(data)
print(onehot)


یادگیری ماشینهوش مصنوعی
۲
۰
فرشاد میکائیل
فرشاد میکائیل
جامعه‌شناسی، یادگیری عمیق و یادگیری ماشین در جامعه‌شناسی
شاید از این پست‌ها خوشتان بیاید