مدل‌های تعبیه‌سازی متن (Text Embedding Models) از اجزای مهم در پردازش زبان طبیعی هستند. وظیفه این مدل‌ها تبدیل داده‌های متنی به بردارهای عددی است؛ بردارهایی که می‌توانند برای مقایسه معنایی، بازیابی اطلاعات و تشخیص ارتباط میان عبارت‌ها استفاده شوند.
Jibay Embedding 1 Mini یک مدل سبک تعبیه‌سازی متن است که با تمرکز بر داده‌های فارسی و انگلیسی توسعه یافته است. این مدل از معماری مبتنی بر Transformer استفاده می‌کند و هدف آن تولید نمایش‌های برداری متراکم برای ورودی‌های متنی است.
مشخصات معماری
این مدل دارای ۳۱٬۲۰۰ پارامتر است و بردارهای خروجی آن ۱۲۸ بُعد دارند. معماری آن شامل یک لایه Transformer و دو سر توجه (Attention Head) است.
مشخصات اصلی معماری:
- تعداد پارامترها: 31,200
- ابعاد Embedding: 128
- Hidden Size: 32
- تعداد لایه‌های Transformer: 1
- تعداد Attention Heads: 2
- Feed-Forward Dimension: 64
- Vocabulary Size: 512
- حداکثر طول ورودی: 64 توکن
- نوع توکن‌سازی: Byte-Level BPE
فرایند آموزش
داده‌های آموزشی مدل از مجموعه OPUS-100 تهیه شده‌اند و شامل حدود ۵۶ هزار جفت متنی فارسی و انگلیسی هستند.
هدف آموزش، نزدیک‌تر کردن نمایش برداری جمله‌هایی است که از نظر معنایی با یکدیگر ارتباط دارند. برای این منظور از تابع هدف Symmetric InfoNCE و بهینه‌ساز AdamW استفاده شده است.
مدت زمان گزارش‌شده برای آموزش مدل حدود ۶ ساعت بوده است.
کاربردها
خروجی برداری این مدل می‌تواند در کاربردهای مختلفی مورد استفاده قرار بگیرد:
- جست‌وجوی معنایی (Semantic Search)
- مقایسه شباهت متون (Semantic Similarity)
- بازیابی اطلاعات (Information Retrieval)
- تطبیق متون میان فارسی و انگلیسی
- خوشه‌بندی متون (Text Clustering)
- شناسایی متون مشابه و تکراری
- بازیابی اطلاعات در سامانه‌های RAG
نتایج ارزیابی و بنچمارک
برای بررسی عملکرد مدل، سه ارزیابی مجزا انجام شده است. این ارزیابی‌ها شامل آزمون دستی فارسی، آزمون دستی انگلیسی و مجموعه ارزیابی Farsick از مجموعه FaMTEB هستند.
ارزیابی فارسی:
- Triplet Accuracy: 80%
- Retrieval Top-1: 10%
- Mean Reciprocal Rank: 0.293
- امتیاز ترکیبی: 54.6 از 100
ارزیابی انگلیسی:
- Triplet Accuracy: 40%
- Retrieval Top-1: 10%
- Mean Reciprocal Rank: 0.296
- امتیاز ترکیبی: 34.8 از 100
ارزیابی Farsick:
- تعداد جفت‌های ارزیابی‌شده: 199
- Spearman Correlation: 0.2448
- امتیاز تبدیل‌شده: 24.48 از 100
آزمون‌های دستی با مجموعه‌های کوچک شامل ۱۵ نمونه Triplet و ۱۰ سند برای بازیابی انجام شده‌اند. بنابراین نتایج آن‌ها بیشتر برای بررسی اولیه رفتار مدل مناسب هستند و معیار یک بنچمارک گسترده محسوب نمی‌شوند.
جمع‌بندی فنی
Jibay Embedding 1 Mini از نظر اندازه معماری، مدلی بسیار کوچک با ۳۱٬۲۰۰ پارامتر و فضای برداری ۱۲۸ بُعدی است. تمرکز آموزشی آن بر داده‌های دوزبانه فارسی و انگلیسی قرار دارد.
نتایج ارزیابی اولیه نشان می‌دهند که عملکرد مدل در آزمون دستی فارسی بهتر از آزمون دستی انگلیسی بوده است. در عین حال، نتیجه Farsick نشان می‌دهد که برای کاربردهای حساس به دقت شباهت معنایی، ارزیابی و بهبود بیشتر همچنان اهمیت دارد.
این مدل تحت مجوز Apache 2.0 منتشر شده است که امکان استفاده، تغییر و بازتوزیع آن را مطابق شرایط این مجوز فراهم می‌کند.
