ویرگول
ورودثبت نام
سهراب خان‌بدر | Sohrab Khanbadr
سهراب خان‌بدر | Sohrab Khanbadrچیزی مثبت بگو، و چیز مثبت خواهی دید." — جیم تامپسون من کیستم ؟ من کجا هستم ؟ من چه میخواهم ؟
سهراب خان‌بدر | Sohrab Khanbadr
سهراب خان‌بدر | Sohrab Khanbadr
خواندن ۱ دقیقه·۳ سال پیش

معماری ترانسفورمرها یا Transformers چه هستند؟

AI Transformer with create Bing
AI Transformer with create Bing


معماری ترانسفورمرها یک نوع معماری شبکه عصبی است که برای پردازش داده‌های توالی مانند متن در حوزه پردازش زبان طبیعی (NLP) استفاده می‌شود. این معماری به طور اصلی توسط محققان گوگل در سال 2017 معرفی شد و توسعه یافته بعدی از جمع‌وجورسازی شبکه‌های عصبی بازگشتی (RNN) و شبکه‌های کانولوشنی (CNN) است.

ترانسفورمرها از دو اجزای اصلی تشکیل شده‌اند: مکانیزم توجه موجود در لایه‌های ضربه‌زن (Attention) و شبکه بسته‌بندی (Encoder-Decoder) برای ترجمه ماشینی و تولید متن.

مکانیزم توجه در ترانسفورمرها به شبکه این امکان را می‌دهد تا توجه خود را به ویژگی‌های مهم ترنسفورم کند و ارتباطاتی محکمتر بین کلمات را برقرار کند. این مکانیزم بسیار موثر بوده و از آنجا که توانایی درک دوطرفه متن را دارد، بهبود قابل توجهی در کارایی مدل‌های NLP مانند BERT داشته است.

بهره‌گیری از ترانسفورمرها در پردازش زبان طبیعی منجر به ایجاد مدل‌های پیشرفته‌تری مانند BERT، GPT و ترانسفورمرهای مبتنی بر توجه گردیده است. این معماری نقش مهمی در پیشرفت‌های اخیر در حوزه NLP داشته است. ????



منبع.

theb.ai

پردازش زبانشبکه عصبیمعماری
۲
۰
سهراب خان‌بدر | Sohrab Khanbadr
سهراب خان‌بدر | Sohrab Khanbadr
چیزی مثبت بگو، و چیز مثبت خواهی دید." — جیم تامپسون من کیستم ؟ من کجا هستم ؟ من چه میخواهم ؟
شاید از این پست‌ها خوشتان بیاید