ویرگول
ورودثبت نام
یادستان
یادستان
یادستان
یادستان
خواندن ۸ دقیقه·۳ ماه پیش

خطایی که هیچ لاگی نداشت

خطایی که هیچ لاگی نداشت
خطایی که هیچ لاگی نداشت

یک کانال تلگرام یک روز کامل ساکت ماند. سرویس بالا بود، لاگ‌ها تمیز بودند، داشبورد سبز بود. و دقیقاً همین، سخت‌ترین بخش ماجرا بود.

این نوشته دربارهٔ یک باگ نیست. دربارهٔ دسته‌ای از خرابی‌هاست که سیستم‌های ما را بی‌صدا از کار می‌اندازند: خرابی‌هایی که هیچ‌جا خودشان را گزارش نمی‌کنند. اگر کدی در production دارید، احتمالاً همین حالا یکی از این‌ها را دارید و خبر ندارید.

ماجرا از یک جملهٔ ساده شروع شد


«دیروز تلگرام هیچی ارسال نکرد، ببین چرا.»

یک ربات Go که هر شب خبرهای فناوری را خلاصه می‌کند و در یک کانال می‌گذارد. روی سرور خودش، جدا از سایت اصلی.

اولین کاری که هر کسی می‌کند: ssh به سرور، journalctl -u <service>.

Connection timed out during banner exchange

سرور جواب نمی‌داد. ولی وقتی پورت را تست کردم، باز بود:

82.x.x.x:22 -> True

خب پس سرور زنده است و فقط sshd گیر کرده؟ این تحلیل، دو ساعت وقت من را گرفت. و کاملاً غلط بود.

درس اول: ابزار سنجش هم می‌تواند دروغ بگوید

یک بار دیگر سنجیدم، این‌بار با زمان‌بندی:

connect=0.000965s ttfb=0.000000s

نُه‌دهم میلی‌ثانیه، برای سروری در اروپا؟ این سرعتِ localhost است.

یعنی چیزی روی شبکهٔ خودِ من دست‌دادن TCP را جواب می‌داد و بعد بسته‌ها را می‌انداخت. آن True یک مثبتِ کاذب بود.

نتیجه‌ای که باید همان اول می‌گرفتم: از این ماشین اصلاً به آن سرور دسترسی ندارم. سرور مشکلی نداشت؛ مسیر داشت.

اگر ابزارتان چیزی می‌گوید که با فیزیک نمی‌خواند — تأخیر شبکه‌ای که از سرعت نور کمتر است، حافظه‌ای که منفی است، تستی که در صفر ثانیه پاس می‌شود — به ابزار شک کنید، نه به فیزیک.


درس دوم: نبودِ خطا، دلیلِ نبودِ خرابی نیست

سرور را عوض کردیم. روی میزبان جدید، اسکریپت استقرار یک canary اجرا می‌کند: قبل از اینکه باینری زنده را دست بزند، نسخهٔ جدید را با -check صدا می‌زند تا ببیند اصلاً کار می‌کند یا نه.

worker: config fetched — active=true channels=1 sources=66 worker: check FAILED: Telegram token rejected: Post "https://api.telegram.org/bot<token>/getMe": net/http: TLS handshake timeout

دو خط، دو خبر متضاد:

  • خط اول: ارتباط با سرور اصلی سالم است. راز مشترک درست است، کانفیگ گرفته شده.

  • خط دوم: به تلگرام نمی‌رسد.

و مهم‌تر: خطا می‌گوید «token rejected»، ولی علتش TLS handshake timeout است. یعنی توکن اصلاً بررسی نشده — درخواست هرگز به مقصد نرسیده. پیام خطا، علت را اشتباه اسم برده بود.

علت واقعی: بن‌بستی که وانمود می‌کند باز است

api.telegram.org هم رکورد A دارد (IPv4) هم AAAA (IPv6). روی آن میزبان سنجیدم:

curl -4 https://api.telegram.org/ -> 302, TLS در ۴۰ms curl -6 https://api.telegram.org/ -> هیچ‌وقت هیچ‌چیز curl -6 https://cloudflare-dns.com/ -> 301 (پس IPv6 خودِ ماشین سالم است)

مسیر IPv6 به تلگرام از آن ارائه‌دهنده یک بن‌بست بود. ولی نه از آن بن‌بست‌های محترم که اتصال را رد می‌کنند — از آن‌هایی که دست‌دادن TCP را کامل می‌کنند و بعد هر چیزی را می‌بلعند.

و همین جزئیات، ماجرا را از یک خرابی معمولی به یک تلهٔ واقعی تبدیل می‌کند.

چرا هیچ درمان خودکاری جواب نداد

۱. Happy Eyeballs (RFC 8305). استاندارد مدرن می‌گوید وقتی مقصد هم IPv4 دارد هم IPv6، هر دو را مسابقه بده و هرکدام زودتر وصل شد را نگه دار. Go همین کار را می‌کند.

اینجا IPv6 وصل می‌شود. مسابقه را می‌برد. بعد آویزان می‌ماند. Happy Eyeballs دقیقاً به‌خاطر همین حالت شکست می‌خورد: معیارش «اتصال» است، نه «کار کردن».


۲. /etc/gai.conf. درمان کلاسیک برای «IPv4 را ترجیح بده»:

precedence ::ffff:0:0/96 100

اضافه‌اش کردم، canary را دوباره زدم — دقیقاً همان خطا. چون resolverِ خالصِ Go اصلاً gai.conf را نمی‌خواند؛ سیاست RFC 6724 را خودش پیاده کرده.

این را حدس نزدم. امتحان کردم. و این دومین باری بود که در همین ماجرا، «راه‌حل بدیهی» در عمل هیچ کاری نکرد.

درس سوم: درمان را کجا بگذاریم

سه گزینه روی میز بود:

  • خاموش‌کردن IPv6 در کرنل
    کار می‌کند، ولی وضعیتِ سرور است — با بازساختِ ماشین بی‌صدا برمی‌گردد

  • پین‌کردن IP در /etc/hosts
    امروز کار می‌کند، روزی که تلگرام شماره عوض کند می‌پوسد

  • اصلاح در خودِ باینری
    با کد سفر می‌کند، نسخه‌بندی می‌شود، و نمی‌تواند فراموش شود

سومی را انتخاب کردم:

// اول IPv4، و اگر نشد برگشت به شبکهٔ اصلی. // میزبانی که واقعاً فقط IPv6 دارد باز هم کار می‌کند — // فقط هزینهٔ یک dialِ شکست‌خورده را می‌دهد. func dialIPv4First(ctx context.Context, network, addr string) (net.Conn, error) { d := &net.Dialer{Timeout: 15 * time.Second, KeepAlive: 30 * time.Second} if conn, err := d.DialContext(ctx, "tcp4", addr); err == nil { return conn, nil } return d.DialContext(ctx, network, addr) }

و برای اینکه ثابت شود واقعاً کد درستش کرده، قبل از استقرار، تغییرِ gai.conf را برگرداندم. اگر canary سبز می‌شد، دیگر جای شکی نبود.

سبز شد.

اصل کلی: اگر خرابی با بازساختِ سرور برمی‌گردد، درمانش را در سرور نگذارید. حالتِ سرور، مستنداتِ نانوشته است؛ و مستنداتِ نانوشته با اولین تعویضِ ماشین از بین می‌رود.


و بعد، درسی که از همه گران‌تر بود

وسط همین کار، در لاگ چیز دیگری دیدم:

worker: summarise "..." failed: 401 Unauthorized: {"message":"User not found."}

کلید سرویس هوش مصنوعی هم باطل بود. یعنی حتی با تلگرامِ سالم، هیچ خلاصه‌ای ساخته نمی‌شد و چیزی برای انتشار نمی‌ماند.

دو علتِ مستقل، همزمان، برای یک نشانه. و این خیلی رایج‌تر از چیزی است که فکر می‌کنیم: وقتی سیستمی مدتی بدون نظارت می‌ماند، خرابی‌ها جمع می‌شوند. اولی را که پیدا کردید، فرض نکنید تمام شد.

چرا هیچ‌کدام از این‌ها در لاگ ورکر نبود

اینجا اصل ماجراست.

آن ربات یک ویژگی داشت که تا آن روز کسی متوجهش نشده بود: وقتی ارسال به تلگرام رد می‌شود، هیچ ردی در لاگِ خودش نمی‌ماند. پست ساخته می‌شود، در پایگاه داده ثبت می‌شود، و فقط فراخوانِ آخر شکست می‌خورد. journalctl کاملاً سالم به نظر می‌رسد.

قبلاً همین باعث شده بود یک منبع خبری ماه‌ها هیچ‌چیز منتشر نکند و کسی نفهمد.

و لایهٔ دوم: لاگِ ورکر روی سرورِ خودش بود — تنها جایی که اپراتور نمی‌تواند نگاه کند. وقتی آن سرور از دسترس خارج شد، آن لاگ عملاً وجود نداشت.

راه‌حل: سیستم باید بتواند بگوید چه‌اش شده

سه چیز اضافه کردیم به پنل مدیریت:

۱. نوار فعالیت ۱۴ روزه، با ستون برای هر روز — حتی روزهای خالی.

این جزئیات مهم‌تر از چیزی است که به نظر می‌رسد. یک GROUP BY ساده برای روزی که ربات نچرخیده هیچ ردیفی برنمی‌گرداند. و «ردیف نیست» در چشمِ آدم «مشکلی نبود» خوانده می‌شود. راه‌حل یک خط SQL است:

WITH d AS ( SELECT generate_series( (now() AT TIME ZONE 'Asia/Tehran')::date - 13, (now() AT TIME ZONE 'Asia/Tehran')::date, interval '1 day' )::date AS day ) SELECT d.day, count(*) FILTER (WHERE p.status = 'posted') FROM d LEFT JOIN posts p ON (p.created_at AT TIME ZONE 'Asia/Tehran')::date = d.day GROUP BY d.day ORDER BY d.day;

روزِ ساکت حالا یک صفرِ دیده‌شدنی است، نه یک شکاف. (و تهران، نه UTC — «دیروزِ» کاربر با دیروزِ سرور یکی نیست، و باکتِ UTC یک شبِ ایران را بین دو ردیف می‌شکند.)

۲. یک جملهٔ حکم، نه یک مشت عدد.

این دو حالت در شمارندهٔ «پست‌های امروز» کاملاً یکسان‌اند:

  • ربات اصلاً اجرا نشد → صفر پست

  • ربات اجرا شد و هر ارسال رد شد → صفر پست

و دو تعمیر کاملاً متفاوت می‌خواهند. پس پنل حالا خودش می‌گوید کدام است، به ترتیبِ علتِ بیرونی‌تر: ورکر آفلاین ← ربات خاموش ← «ساخته شد ولی نرفت» ← «اصلاً ساخته نشد».

۳. لاگِ ورکر، در پنل، با زمان.

به‌جای دست‌زدن به ۴۵ نقطهٔ log.Printf، ضبط‌کننده خودش را به‌عنوان مقصدِ اضافهٔ لاگرِ استاندارد نصب می‌کند:

log.SetOutput(io.MultiWriter(os.Stderr, recorder))

یک خط، و هر log.Printf در هر جای باینری ضبط می‌شود — از جمله در نقطه‌ای که سالِ بعد اضافه می‌شود و کسی یادش نمی‌ماند دستی ثبتش کند.

حلقه کران‌دار است (۵۰۰ خط) و قدیمی‌ترین خط را دور می‌ریزد. این هم عمدی است: ورکری که به سرور نمی‌رسد به کارش ادامه می‌دهد و بافرِ بی‌کران یک قطعیِ شبکه را به OOM تبدیل می‌کند. و دلیلِ گیرکردنِ یک سیستم تقریباً همیشه در کاری است که آخر کرده.

و یک تلهٔ آخر، که فوراً گیرمان انداخت

بعد از اینکه همه‌چیز درست شد، پنل هنوز یک کادر قرمز نشان می‌داد: همان خطای کلید هوش مصنوعی.

ولی آن خطا دو ساعت قبل اتفاق افتاده بود و از آن به بعد همه‌چیز سالم بود. مشکل این بود که آن فیلد زمان نداشت.

last_error_at = CASE WHEN EXCLUDED.last_error = '' THEN NULL WHEN EXCLUDED.last_error IS DISTINCT FROM t.last_error THEN now() ELSE t.last_error_at END


خطایی که نمی‌توانید تاریخ‌گذاری کنید، خطایی است که نمی‌توانید ببندید. و پنلی که خطای مرده را مثل خطای زنده نشان می‌دهد، به آدم یاد می‌دهد قرمزها را نادیده بگیرد — که بدترین چیزی است که یک سیستم مانیتورینگ می‌تواند به شما یاد بدهد.

حالا اگر بعد از خطا اجرای موفقی بوده، پنل آن را خاکستری و با برچسبِ «این خطا گذشته است» نشان می‌دهد.

چک‌لیستی که از این ماجرا درآمد

اگر سرویسی دارید که کاری را خودکار انجام می‌دهد، این چند سؤال را از خودتان بپرسید:

۱. اگر امروز هیچ کاری نکند، از کجا می‌فهمم؟ اگر جواب «وقتی کسی شکایت کند» است، مانیتورینگ ندارید.

۲. «صفر کار» و «صفر موفقیت از ده تلاش» را از هم تشخیص می‌دهم؟ اگر نه، نصفِ تشخیص‌ها را کور می‌زنید.

۳. متن خطاهایم زمان دارند؟ خطای بی‌تاریخ، هشدارِ همیشگی است؛ و هشدارِ همیشگی یعنی بی‌هشداری.

۴. لاگ‌هایم جایی هستند که واقعاً می‌توانم بخوانمشان؟ لاگی که فقط روی ماشینِ خراب هست، دقیقاً وقتی لازمش دارید در دسترس نیست.

۵. آیا خرابی‌ام با بازساختِ سرور برمی‌گردد؟ اگر بله، درمان را در جای اشتباه گذاشته‌اید.

۶. روز خالی در گزارشم «صفر» است یا «هیچ ردیف»؟ این تفاوتِ یک خط SQL است و تفاوتِ دیدن و ندیدنِ یک هفته سکوت.

و یک حرف آخر

هیچ‌کدام از این‌ها دانشِ پیچیده‌ای نبود. IPv6 و A/AAAA را همه می‌دانند. generate_series یک تابع معمولی است. io.MultiWriter یک خط است.

چیزی که سخت بود، عادتِ سنجیدن به‌جای حدس‌زدن بود: وقتی Test-NetConnection گفت پورت باز است، حرفش را باور نکردن. وقتی gai.conf «باید» جواب بدهد، امتحان کردن. و وقتی تعمیر جواب داد، برگرداندنِ راه‌حلِ موقت تا معلوم شود واقعاً کدام یکی کار کرده.

این عادت را نمی‌شود از روی مقاله یاد گرفت. فقط با ساختن و خراب کردن و دوباره ساختن به دست می‌آید.


ما در یادستان دقیقاً همین را درس می‌دهیم: نُه خودآموز فارسی — از الگوریتم و ساختار داده تا هوش مصنوعی، داده، وب و رباتیک — که در هر فصلشان چیزی می‌سازی و اندازه می‌گیری، نه اینکه فقط بخوانی. ۵۰۱ فصل، همه رایگان، با آزمایشگاه زنده داخل مرورگر.

اگر این نوشته برایتان جالب بود، احتمالاً بنیاد را دوست خواهید داشت — خودآموزی که کلاً دربارهٔ همین است: چطور قبل از اجرا پیش‌بینی کنی کدت روی دادهٔ واقعی چه می‌کند.

هوش مصنوعیسروررباتدیباگ
۰
۰
یادستان
یادستان
شاید از این پست‌ها خوشتان بیاید