احتمالاً برای شما هم پیش اومده که یه فایل یا مستند سنگین را بدید دست هوش مصنوعی و ازش بخواید یه اطلاعات خاص رو از دلش بیرون بکشه، اما مدل دقیقاً همون بخش وسطی رو کاملاً فراموش کنه!
با اینکه این روزها مدلها از پنجرههای زمینه (Context Window) چند صد هزار توکنی و میلیونی پشتیبانی میکنن، اما این مشکل همچنان پابرجا ست.
داستان اینه که مدلهای زبانی بزرگ (LLMs) در پردازش اطلاعات میانی با یسری چالش جدی روبهرو هستن. به این پدیده در دنیای هوش مصنوعی میگن Lost in the Middle. توجه مدل در متون بسیار طولانی، ناهموار توزیع میشه. مدلها معمولاً اطلاعات ابتدای پرامپت (چون تسک و دستورات اصلی از اونجا شروع میشن) و اطلاعات انتهای پرامپت (چون تازه خونده شدن و در حافظه فعالترند) رو با دقت بسیار بالایی حفظ میکنن، اما هرچی به بخشهای میانی متن میرسیم، میزان توجه (Attention) به شدت افت میکنه.
در عمل، این یعنی اگه یک نکته کلیدی، یک قانون مهم یا یک باگ حیاتی وسط صفحهٔ ۲۵ از یک فایل ۵۰ صفحهای پنهان شده باشه، احتمال اینکه مدل متوجه اون نشه خیلی بیشتر از زمانی هست که همون نکته در خطوط اول یا آخر قرار داشته باشه.
راهکارهای عملی برای حل این مشکل: جایگذاری هوشمندانه اطلاعات: اطلاعات و دستورات حیاتی همیشه در ابتدا یا انتهای پرامپت یا مستند قرار داده بشن، نه در بخشهای میانی.
خلاصهسازی مرحلهای: بهجای دادن کل متن به مدل، اون به بخشهای کوچکتر تقسیم بشه یا از تکنیکهای بازیابی اطلاعات (مثل RAG) کمک گرفته بشه. در نهایت، Context Window بزرگ به معنای درک همهجانبه و یکنواخت نیست؛ معماری ترنسفورمر هنوز هم برای حفظ تمرکز در تمام طول مسیرش به مدیریت دقیق مستندات نیاز داره.