ویرگول
ورودثبت نام
Amin Zare
Amin Zare
Amin Zare
Amin Zare
خواندن ۱ دقیقه·۷ سال پیش

فراخوانی تابع Drop out برای کاهش overfitting در شبکه های عصبی کانوولوشن (CNN) در TensorFlow

معمولا برای کاهش overfitting مدل در شبکه های CNN از عملگر DropOut استفاده می شود. Drop out باید در هنگام train بر روی اتصالات بین لایه ها اعمال شوند و در هنگام ارزیابی و تست شبکه نباید اعمال گردد. به این منظور می توان در هنگام ارزیابی و تست شبکه مقدار احتمال حذف یالها را صفر کرد تا DropOut نادیده گرفته شود و یا از تابع tf.cond برای اعمال شرط بر روی تابع DropOut استفاده کرد و اعمال آن را در هنگام train و تست مدیریت نمود.

نمایی از اعمال عملگر DropOut
نمایی از اعمال عملگر DropOut

اما دقیقا تابع DropOut در تنسورفلو را کجا باید فراخوانی کنیم؟ قبل از انجام عملیات tf.matmul. یعنی دقیقا قبل از اینکه عملیات ضرب وزن ها با ورودی لایه قبل انجام شود باید DropOut را فراخوانی کنیم. در تنسورفلو تابع DropOut (پیاده سازی مقاله [1]) به صورت زیر انجام می شود:

dropped = tf.nn.dropout(prev_layer,keep_prob=current_keep_prob)
dense = tf.matmul(dropped,W)+b

از تابع tf.layers.dropout نیز به عنوان یک تابع سطح بالاتر می توان برای DropOut استفاده کرد. در تابع tf.layers.dropout بجای مقدار keep_prob (احتمال نگه داشتن یال ها) مقدار rate=1-keep_prob (احتمال حذف یال ها) باید استفاده شود. همچنین ورودی training که مقدار true یا false می گیرد نیز برای تعیین مد train یا تست استفاده می شود. این پارامتر در تابع batch_normalization نیز توضیح داده شده است.

dropped = tf.layers.dropout(prev_layer, rate=dropout_rate, training=is_training)

عملگر DropOut بین لایه های fullyconnected قرار می گیرد. اینکه عملگر DropOut را بین کدام یک از این لایه ها قرار دهیم و تعیین احتمال صحیح DropOut معمولا به صورت تجربی است. اما قاعدتاً بهتر است بین لایه هایی که بیشترین اتصالات در آن ها وجود دارد اعمال شود.

کد نهایی را در پست های بعدی خواهید دید

References: [1] https://arxiv.org/abs/1207.0580

۷
۰
Amin Zare
Amin Zare
شاید از این پست‌ها خوشتان بیاید