مدل زبانی فکر نمیکند. هرچند این جمله عجیب به نظر میرسد، ولی از نظر فنی، درست است.
یک LLM در هر لحظه فقط به این سؤال پاسخ میدهد: "بعد از این توکن، محتملترین توکن بعدی چیست؟" همین.
پس ChatGPT چگونه اینقدر باهوش به نظر میرسد؟
به خاطر چیزی که به آن Emergent Behavior میگویند. وقتی میلیاردها پارامتر آموزش میبینند، از یک کار ساده (پیشبینی توکن بعدی)، رفتارهای پیچیدهای ظاهر میشود.
مثل:
خلاصه کردن
ترجمه
برنامهنویسی
استدلال
حل مسئله
هیچکدام از اینها به صورت جداگانه برنامهریزی نشدهاند.
یک سؤال مهم : اگر مدل فقط توکن بعدی را پیشبینی میکند... پس چگونه کد پایتون مینویسد؟ یا مقاله علمی تولید میکند؟
پاسخ: چون هنگام آموزش، میلیاردها نمونه دیده است. او قواعد زبان برنامهنویسی را «حفظ» نکرده؛ بلکه الگوهای آماری آن را یاد گرفته است.
چرا گاهی مدل اشتباه میکند؟ فرض کن از مدل بپرسی: بهترین زبان برنامهنویسی چیست؟ اصلاً جواب قطعی وجود ندارد. مدل از روی دادههایی که دیده، محتملترین پاسخ را میسازد.
اما اگر بپرسی: امروز قیمت دقیق یک سهم چقدر است؟ اگر به داده زنده دسترسی نداشته باشد، ممکن است پاسخ نادرست بدهد. به همین دلیل در پروژههای واقعی، برای اطلاعات پویا از RAG یا Tool Calling استفاده میشود. وقتی میفهمیم مدل دانش لحظهای ندارد، متوجه میشویم چرا معماریهایی مانند RAG به وجود آمدهاند، یعنی به جای اینکه انتظار داشته باشیم مدل همه چیز را بداند، اطلاعات لازم را قبل از تولید پاسخ در اختیارش قرار میدهیم.