راستش اولش فکر میکردم بخش جمعآوری خبر سادهترین قسمت ساختن یه پلتفرم خبریه. RSS رو میگیری، پارس میکنی، میریزی تو دیتابیس، تمومه دیگه. چند ساعت کار، نه؟
نه. اصلاً اینطوری نیست.
فیدهای واقعی شدیداً غیرقابل پیشبینیان. هر سایتی یه ساز خودش رو میزنه؛ یکی تاریخ رو غلط میفرسته، یکی انکودینگش قدیمیه، یکی هم یه فایل چند مگابایتی میفرسته که اصلاً معلوم نیست چیه. اگه موتورت رو دفاعی ننوشته باشی، با اولین فید عجیبوغریب از پا درمیای. اینا سه تا باگیان که خودم تو تستها پیداشون کردم.
### چرا با کرون ساده شروع کردم و پشیمون شدم
نسخه اول یه کرونجاب ساده بود؛ هر چند دقیقه همه فیدها رو یکییکی میخوند. مشکل کجا بود؟ فیدها پشت سر هم پردازش میشدن. یعنی اگه یه منبع کند بود یا هنگ میکرد، نوبت به بقیه نمیرسید و کل اخبار سایت عقب میافتاد.
مثلاً یه سایت خبری نیم ساعت down میشد، سیستم منم همون نیم ساعت هیچ خبر تازهای نداشت، چون داشت منتظر همون یه منبع میموند.
آخرش معماری رو بردم سمت صف (Queue). الان هر فید یه کار جداست؛ اگه یکی خراب بشه فقط خودش fail میشه و بعداً دوباره تلاش میکنه، بقیه کار خودشون رو میکنن. خلاصهش یه جملهست: فید سالم نباید گروگان فید خراب بشه.
### باگ اول: یه خبر با تاریخ خراب، کل فید رو میخوابوند
بعضی فیدها تاریخ انتشار رو با فرمتهای خیلی عجیب میفرستن. تو تست دیدم اگه تاریخ یه آیتم نامعتبر باشه، وقتی میخوای ازش Date بسازی خطای RangeError میده و چون این خطا جایی گرفته نشده بود، پردازش کل فید همونجا وایمیستاد.
یعنی عملاً یه دونه خبر خراب، جلوی صد تا خبر سالم رو میگرفت و منم از هیچی خبر نداشتم.
مجبور شدم پارس تاریخ رو برای هر آیتم جدا و امن کنم؛ تاریخ هر خبری خراب بود یا خودش رد میشد یا با یه مقدار جایگزین ادامه میداد، ولی دیگه حق نداشت کل فید رو با خودش بکشه پایین.
### باگ دوم: فید فارسی که متنهاش بههمریخته درمیومد
یه منبع فارسی داشتم که فیدش رو با انکودینگ Windows-1256 میفرستاد، نه UTF-8. نتیجهش این بود که متن خبرها روی سایت به صورت یه مشت کاراکتر عجیبوغریب نشون داده میشد، از اون مدل خرابیهایی که کاربر میبینه و فکر میکنه سایتت کلاً داغونه.
مشکل این بود که من فرض کرده بودم همهچیز UTF-8ـه. اصلاحش این شد که قبل از پارس کردن، انکودینگ واقعی رو از خود هدر XML بخونم و متن رو بر اساس همون باز کنم. درسش؟ هیچوقت روی فرمت ورودی فرض نذار، مخصوصاً وقتی ورودی دست تو نیست.
### باگ سوم: فیدی که هیچ سقفی نداشت
این یکی رو تقریباً شانسی پیدا کردم. سیستم هیچ محدودیتی روی حجم جواب فید نداشت؛ یعنی اگه یه فید یه فایل خیلی بزرگ برمیگردوند، همهش میومد تو حافظه و میتونست پردازش رو بکشه. براش سقف گذاشتم (۵ مگابایت) که جوابهای غیرعادی از همون اول رد بشن.
دو تا ایراد کوچیکتر هم همزمان اصلاح شدن: خبرهای تکراری تو داده اولیه صفحه اصلی (SSR seed) دوبار شمرده میشدن، و ترتیب کوتاهکردن متن و حذف تگها اشتباه بود که خروجی رو خراب میکرد.
### حرف آخر
اگه یه چیزی از این تجربه یاد گرفته باشم اینه: تو سیستمی که داده رو از بیرون جمع میکنه، ورودی نه دشمنته نه رفیقت؛ فقط غیرقابل اعتماده. هر آیتم باید تو انزوای خودش پردازش بشه که اگه خراب بود، خرابیش به بقیه سرایت نکنه.
این موتور RSS فقط یه بخش کوچیک از ORBITـه؛ پلتفرم خبری دوزبانهای که با Next.js و Supabase ساختم و سورسش رو منتشر کردم برای تیمهایی که پروژه خبری دستشونه. دموی زندهش اینجاست: fdgneg.vercel.app