من یه chatbot برای یه شرکت بیمه ساختم. GPT-4 بود و همه چی خوب کار میکرد. یه روز مدیر زنگ زد و گفت ربات داره به مشتری اطلاعات غلط میده. سقف بیمه عمر رو ۵۰ میلیون میگه درحالیکه ۱۰۰ میلیونه. چرا؟ چون مدل از knowledge cutoff خودش حرف میزد. قوانین جدید رو نمیدونست.
این مشکل خیلی از پروژههاست. LLMها از دادههای قدیمی یاد گرفتن. هر روز اطلاعات جدید میاد. نمیتونیم هر روز مدل رو از اول train کنیم. هزینهاش زیاده و زمانبره. راه حل اینه که به مدل یه حافظه خارجی بدیم. همین ایده RAG هست.
RAG یعنی Retrieval-Augmented Generation. یعنی قبل از اینکه مدل جواب بده، اول از یه دیتابیس خارجی اطلاعات مرتبط رو پیدا کنه، بعد با اون اطلاعات جواب بده.
سه مرحله ساده داره:
مرحله اول: Ingestion
یعنی اطلاعات رو آماده کنیم. Document هامون رو میخونیم. میتونه PDF باشه، Word، وبسایت، هر چی. بعد متن رو تکهتکه میکنیم. هر تکه رو به یه vector تبدیل میکنیم. vector یعنی یه لیست از اعداد که معنی متن رو نشون میده. بعد این vector ها رو توی یه دیتابیس خاص به اسم vector DB ذخیره میکنیم.
Chunking خیلی مهمه. یعنی متن رو چطور تکهتکه کنیم. اگه تکهها خیلی بزرگ باشن، اطلاعات اضافی میاد. اگه خیلی کوچیک باشن، context از بین میره. من توی یه پروژه دیدم ۵۱۲ token با ۵۰ token overlap بهترین نتیجه رو داد. یعنی هر تکه ۵۱۲ کلمه، و ۵۰ کلمه با تکه بعدی مشترک باشه.
مرحله دوم: Retrieval
وقتی کاربر سوال میپرسه، سوال رو هم به vector تبدیل میکنیم. بعد توی vector DB دنبال vector های شبیه میگردیم. شبیهترینها رو برمیگردونیم. این کار رو similarity search میگن.
Cosine similarity سادهترین روشه. ولی Hybrid Search بهتره. یعنی هم semantic search کنیم (معنی رو بفهمیم) هم keyword search (کلمات دقیق رو پیدا کنیم). یه بار کاربر پرسید "چطور claim ثبت کنم" ولی توی document نوشته بود "نحوه دریافت خسارت". فقط semantic search جواب نداد. Hybrid search مشکل رو حل کرد.
مرحله سوم: Generation
حالا retrieved context رو به prompt اضافه میکنیم. یعنی به مدل میگیم: "این اطلاعات رو داریم. حالا سوال کاربر رو جواب بده." مدل با این context غنیتر، جواب دقیقتر میده.
یه نکته مهم: توی prompt بگیم "اگه جواب توی context نیست، بگو نمیدونم." این کار hallucination رو خیلی کم میکنه. Hallucination یعنی مدل دروغ بگه. اطلاعات غلط بده. با این قانون، مدل مجبوره فقط از context استفاده کنه.
RAG سریعتر و ارزونتره. knowledge جدید اضافه میکنی و همون لحظه کار میکنه. Fine-tuning زمانبره و هزینه داره. ولی اگه میخوای مدل style خاصی داشته باشه یا behavior خاصی از خودش نشون بده، Fine-tuning لازمه.
قانون ساده: knowledge جدید → RAG. Style و behavior → Fine-tuning. اکثر مواقع ترکیب هر دو بهتره.
Hallucination هنوز هست. RAG کمش میکنه ولی حذف نمیکنه. مدل گاهی context رو اشتباه میفهمه.
Context window limit داریم. GPT-4 یه حداکثر تعداد token میپذیره. اگه خیلی document retrieve کنیم، جا نمیشه. راه حل Map-Reduce یا Refine هست. یعنی document ها رو جداگانه پردازش کنیم.
Latency هم مهمه. Retrieval + Embedding + LLM call = ۲ تا ۵ ثانیه. برای chatbot real-time زیاده. ما caching کردیم. سوالات تکراری رو توی Redis نگه داشتیم. Async pre-fetch هم کردیم. وقتی کاربر تایپ میکنه، embedding رو آماده میکنیم.
من از LangChain برای orchestration استفاده میکنم. Qdrant برای vector DB. OpenAI ada-002 برای embedding. GPT-4 برای LLM. پروژههای ساده رو با custom pipeline میزنم. پروژههای پیچیده LangChain.
RAG فقط vector DB + LLM نیست. ۲۰٪ technology و ۸۰٪ engineeringه. Chunking درست، prompt engineering دقیق، evaluation مداوم، monitoring و feedback loop.
اگه تازه شروع میکنی، از simple شروع کن. Chroma + OpenAI + LangChain. ولی زودتر برو سراغ evaluation. RAG بدون evaluation مثل پرواز توی تاریکیه. نمیفهمی کجایی و کجا میری.