
معماری ترانسفورمرها یک نوع معماری شبکه عصبی است که برای پردازش دادههای توالی مانند متن در حوزه پردازش زبان طبیعی (NLP) استفاده میشود. این معماری به طور اصلی توسط محققان گوگل در سال 2017 معرفی شد و توسعه یافته بعدی از جمعوجورسازی شبکههای عصبی بازگشتی (RNN) و شبکههای کانولوشنی (CNN) است.
ترانسفورمرها از دو اجزای اصلی تشکیل شدهاند: مکانیزم توجه موجود در لایههای ضربهزن (Attention) و شبکه بستهبندی (Encoder-Decoder) برای ترجمه ماشینی و تولید متن.
مکانیزم توجه در ترانسفورمرها به شبکه این امکان را میدهد تا توجه خود را به ویژگیهای مهم ترنسفورم کند و ارتباطاتی محکمتر بین کلمات را برقرار کند. این مکانیزم بسیار موثر بوده و از آنجا که توانایی درک دوطرفه متن را دارد، بهبود قابل توجهی در کارایی مدلهای NLP مانند BERT داشته است.
بهرهگیری از ترانسفورمرها در پردازش زبان طبیعی منجر به ایجاد مدلهای پیشرفتهتری مانند BERT، GPT و ترانسفورمرهای مبتنی بر توجه گردیده است. این معماری نقش مهمی در پیشرفتهای اخیر در حوزه NLP داشته است. ????
منبع.
theb.ai