ویرگول
ورودثبت نام
افشین یاری نیا
افشین یاری نیا
افشین یاری نیا
افشین یاری نیا
خواندن ۱۰ دقیقه·۴ ماه پیش

طراحی High-Level یک پلتفرم AdTech شبیه تپسل

Scope disclaimer: این مقاله یک design آموزشی و پیشنهادی برای یک mobile/web ad network در مقیاس بالا است. هرجا از «تپسل‌مانند» استفاده می‌شود، منظور قابلیت‌هایی است که عموماً به‌صورت عمومی برای محصولات AdTech شناخته می‌شوند؛ این متن ادعایی دربارهٔ internal architecture، فناوری‌های دقیق، حجم ترافیک، قراردادها یا فرایندهای عملیاتی شرکت تپسل ندارد.

محتوای تبلیغاتی == Creative

مقدمه — Introduction

یک Ad Network در ظاهر ساده است: اپلیکیشن یک جایگاه تبلیغاتی دارد، درخواست می‌فرستد و یک تبلیغ نمایش داده می‌شود. اما پشت این پاسخ چند ده‌میلی‌ثانیه‌ای، یک سیستم تصمیم‌گیری بلادرنگ قرار دارد که باید هم‌زمان بهترین کمپین را انتخاب کند، بودجه را بی‌رویه مصرف نکند، یک کاربر را با تبلیغ تکراری خسته نکند، فایل خلاقه را سریع تحویل دهد و رویدادهای مالی قابل اتکا ثبت کند.

هدف این طراحی، ساخت یک پلتفرم چندطرفه است:

  • تبلیغ‌دهنده کمپین، مخاطب، بودجه و هدف خود را تعریف می‌کند.

  • ناشر با SDK یا تگ وب، جایگاه تبلیغ را در محصولش عرضه می‌کند.

  • کاربر نهایی تبلیغ را دریافت، مشاهده یا روی آن کلیک می‌کند.

  • پلتفرم میان عرضه و تقاضا تصمیم می‌گیرد، تحویل را اندازه می‌گیرد و تسویه را انجام می‌دهد.

تمرکز ما روی مسیر Serving است، نه روی UI پنل. هر تصمیم باید کم‌تاخیر، قابل حسابرسی و مقاوم در برابر شکست باشد

1. Domain و Requirements

قابلیت‌های عمومی محصول — Public product capabilities

در یک پلتفرم AdTech معمولاً انتظار می‌رود این قابلیت‌ها وجود داشته باشد:

  • ایجاد کمپین CPC، CPM، CPA یا CPI؛ زمان‌بندی، بودجه و سقف هزینه

  • فرمت‌های banner، interstitial، native و rewarded video

  • هدف‌گیری بر اساس کشور، شهر، دستگاه، سیستم‌عامل، نسخهٔ اپ، دسته‌بندی اپ و سگمنت مخاطب

  • گزارش impression، click، conversion، هزینه و درآمد ناشر

  • کنترل frequency capping و budget pacing

  • مدیریت لینک مقصد و tracking URL

  • mediation یا waterfall/bidding

  • billing تبلیغ‌دهنده و تسویه با ناشر

معماری پیشنهادی

مواردی مانند Kafka، Redis، ClickHouse، نحوهٔ امتیازدهی، schema رویدادها و مدل consistency، پیشنهاد معماری هستند. پیاده‌سازی واقعی می‌تواند با ابزارها و مرزهای سرویس کاملاً متفاوت باشد.

نیازمندی‌های عملکردی — Functional requirements

  1. پاسخ به ad request با یک adیا پاسخ no-fill.

  2. اعمال eligibility: وضعیت کمپین، تارگتینگ، budget، cap و محدودیت جایگاه.

  3. ثبت قابل‌اعتماد impression، click، conversion و رویدادهای rewarded.

  4. نگهداری هزینهٔ تبلیغ‌دهنده و درآمد ناشر به‌صورت قابل حسابرسی.

  5. پشتیبانی از reporting نزدیک به real-time و گزارش مالی نهایی.

  6. امکان pause/resume، تغییر budget و آپلود ad در پنل.

نیازمندی‌های غیرعملکردی — Non-functional requirements

تاخیر پاسخ Serving

- هدف پیشنهادی: p99 کمتر از 150ms در منطقهٔ نزدیک کاربر، بدون احتساب دانلود creative

دسترس‌پذیری

- هدف پیشنهادی: 99.95% برای مسیر Serving

صحت مالی

- هدف پیشنهادی: بدون دوبارشماریِ قابل پرداخت؛ reconciliable ledger

مقیاس‌پذیری

- هدف پیشنهادی: رشد افقی serving و ingestion مستقل از پنل

حریم خصوصی

- هدف پیشنهادی: حداقل‌سازی داده، consent-aware targeting و retention محدود

قابلیت مشاهده

- هدف پیشنهادی: trace انتهابه‌انتها برای نمونه‌برداری‌شده و metric

2. فرض‌های مقیاس — Scale assumptions

این اعداد صرفاً برای شکل‌دادن طراحی‌اند، نه آمار هیچ محصول واقعی:

  • 50 هزار درخواست تبلیغ در ثانیه در اوج (50k RPS)

  • 15 هزار event در ثانیه برای impression/click، با burst بالاتر

  • 10 میلیون کاربر فعال روزانه و صدها هزار کمپین فعال

  • 2 تا 5 میلیون creative در CDN، اما تعداد محدودی hot

  • retention خام event: 30 روز؛ دادهٔ تجمیعی: 24 ماه یا مطابق سیاست حقوقی

در 50k RPS، حتی 2ms اضافه در چند dependency مهم است. بنابراین مسیر تصمیم نباید برای هر درخواست به دیتابیس transactional متکی باشد.

3. معماری سطح‌بالا — High-level architecture

اصل مهم این است که control plane و data plane جدا باشند:

  • Control plane: پنل، تعریف کمپین، approval creative، قرارداد، صورتحساب و تغییر تنظیمات. این بخش consistency قوی‌تری می‌خواهد اما latency آن حساس نیست.

  • Data plane: انتخاب و تحویل تبلیغ و ingestion event. این بخش بسیار پرترافیک است و بر cache، index در حافظه و صف رویداد تکیه دارد.

4. مسئولیت اجزا — Component responsibilities

5. جریان Ad request

SDK اطلاعات حداقلی موردنیاز را می‌فرستد: شناسهٔ app و placement، قالب موردنیاز، context، شناسهٔ session/کاربرِ مجاز، consent، device capabilities و یک request ID یکتا.

مراحل پیشنهادی:

  1. Gateway امضای app key، timestamp و rate limit را بررسی می‌کند.

  2. Serving API placement را می‌شناسد، schema را validate و context ناامن را حذف می‌کند.

  3. Candidate retrieval با index بر اساس placement، کشور، فرمت و platform انجام می‌شود.

  4. فیلترها: campaign active، زمان، creative approved، targeting، consent، inventory rule، budget و frequency cap.

  5. Decision Engine کاندیداهای باقی‌مانده را rank می‌کند.

  6. برای برنده reservation کوتاه‌مدت گرفته می‌شود؛ اگر نشد، سراغ نفر بعدی می‌رود.

  7. پاسخ شامل creative CDN URL، expiry، tracking token، impression policy و اطلاعات rewarded در صورت نیاز است.

no-fill یک خطا نیست؛ پاسخ عادی است و باید علت آن (مثلاً NO_ELIGIBLE_CAMPAIGN) به شکل کنترل‌شده برای عملیات ثبت شود، نه لزوماً برای SDK افشا شود.

6. مدیریت Campaign و Indexing

سیستم مدیریت، source of truth را در یک DB transactional نگه می‌دارد. تغییرات کمپین با الگوی outbox منتشر می‌شوند تا فاصلهٔ بین commit دیتابیس و publish event باعث گم‌شدن update نشود. یک indexer، نسخهٔ denormalized کمپین را می‌سازد و به cache/index هر region می‌رساند.

تغییرات control plane ممکن است تا چند ثانیه eventual-consistent باشند. برای pause اضطراری، یک kill switch کوچک و strongly-consistent در Redis/edge config در نظر گرفته می‌شود تا کمپین بلافاصله از serving خارج شود.

7. Targeting و Decisioning

Targeting باید دو مرحله‌ای باشد:

  • Pre-filter ارزان: placement، format، کشور، OS، app bundle و زمان؛ با bitmap/index معکوس.

  • Predicate دقیق: نسخهٔ اپ، نوع اتصال، سگمنت، allow/deny list و قواعد پیچیده.

امتیاز پیشنهادی می‌تواند ترکیبی از bid موثر، کیفیت پیش‌بینی‌شده، pacing و quality باشد:

score = effective_bid × predicted_action_rate × pacing_multiplier × quality_multiplier

این فرمول یک نمونه است. اگر هدف CPM است، expected revenue می‌تواند نزدیک به bid باشد؛ اگر CPC/CPI است، باید احتمال کلیک یا نصب پیش‌بینی شود. مدل ML نباید تنها معیار باشد: policyهای budget، brand safety و fairness باید hard constraint بمانند.

Pacing و Budget

بدون pacing، کمپین‌های پرتقاضا ابتدای روز بودجه را تمام می‌کنند. برای هر کمپین، بودجهٔ روزانه به سهم‌های زمانی تقسیم می‌شود و pacing_multiplier با توجه به spend واقعی نسبت به هدف تنظیم می‌گردد.

  • در مسیر serving یک soft reservation با TTL کوتاه ثبت می‌شود.

  • با impression معتبر، reservation به هزینهٔ واقعی تبدیل می‌شود.

  • reservationهای منقضی‌نشده با job جبرانی آزاد یا reconcile می‌شوند.

  • برای کمپین‌های کوچک، یک counter اتمیک Redis کافی است؛ برای دقت مالی، ledger نهایی مرجع است.

Frequency capping

کلید پیشنهادی: cap:{campaign_id}:{user_or_device_id}:{window}. مقدار counter و expiry انتهای window را دارد. برای anonymous traffic، باید consent و سیاست platform تعیین کند که استفاده از device identifier مجاز است یا نه. در عدم دسترسی cap store، سیاست محافظه‌کارانه (عدم نمایش آن کمپین) از over-delivery بهتر است؛ اما می‌توان fallback سطح placement با TTL کوتاه داشت.

8. تحویل Creative

فایل‌های حجیم هرگز از Serving API عبور نمی‌کنند. creative پس از malware scan، محدودیت اندازه، validation فرمت و approval، در object storage قرار می‌گیرد و از CDN تحویل می‌شود.

  • URL باید نسخه‌دار باشد تا cache invalidation با نام جدید حل شود.

  • پاسخ serving فقط metadata ضروری و URL امن/دارای expiry مناسب را دارد.

  • برای video، manifest و bitrateهای سازگار آماده می‌شوند.

  • SDK باید timeout، preload و fallback creative را کنترل کند.

9. Event tracking، Analytics و Attribution

رویدادهای impression، click، video milestones، reward completion و conversion جدا از Serving API ingest می‌شوند. SDK نباید منتظر processing سنگین بماند؛ server باید سریع 202 Accepted بدهد.

هر event شامل event_id، request_id، impression_id (در صورت وجود)، occurred_at، campaign/creative/placement، app، نوع event، نسخهٔ SDK و provenance است. سرور identityهای قابل اعتماد را از tracking token استخراج می‌کند؛ هرگز campaign_id ارسال‌شدهٔ کلاینت را به‌تنهایی مبنای شارژ قرار نمی‌دهد.

Attribution نصب/خرید معمولاً delayed و چندمنبعی است. ابتدا یک attribution provisional ثبت می‌کنیم و پس از اعمال window، dedupe و ruleهای شریک اندازه‌گیری، نتیجه را final می‌کنیم. گزارش real-time ممکن است با ledger final تفاوت کوچک و موقت داشته باشد.

10. Billing و تسویهٔ Publisher

برای پول، aggregate قابل ویرایش کافی نیست. یک دفترکل immutable، دوطرفه و قابل audit نگه می‌داریم:

  • با event قابل پرداخت، حساب advertiser debit و حساب platform/escrow credit می‌شود.

  • سهم ناشر با قرارداد، revenue share، مالیات و adjustment محاسبه می‌شود.

  • تسویه پس از دورهٔ اعتراض، اعتبارسنجی تقلب و آستانهٔ پرداخت ایجاد می‌شود.

spend_total در dashboard یک projection است؛ حقیقت مالی، سطرهای ledger و وضعیت reconciliation است. chargeback، invalid traffic و اصلاح attribution با entry جبرانی ثبت می‌شوند، نه با update مخفی روی تاریخچه.

11. Mediation

وقتی direct demand مناسب نیست، mediation می‌تواند چند شبکهٔ خارجی را در waterfall یا bidding فراخوانی کند. adapterها باید isolation داشته باشند: timeout کوتاه، circuit breaker، محدودیت concurrency و cache تنظیمات شریک.

ترتیب پیشنهادی:

  1. کمپین‌های direct با قرارداد/اولویت ویژه

  2. bidding یا شبکه‌های mediation با floor price

  3. house ads یا no-fill

لازم است هر پاسخ mediation به request و eventهای بعدی قابل ردیابی باشد، ولی دادهٔ شخصی غیرضروری ارسال نشود.

12. Fraud و کیفیت ترافیک

‫نمونه‌های ریسک: click farm، emulator، spoofed SDK، replay event، fake install و bot traffic

  • امضای request و token کوتاه‌عمر برای اتصال event به ad response

  • rate limit و replay protection با event_id

  • ruleهای stream: CTR غیرعادی، burst، ترتیب ناممکن رویدادها، IP/ASN مشکوک

  • reputation برای app/publisher/device و مدل risk score

  • quarantine برای event مشکوک و امکان manual review

  • withholding یا adjustment مالی فقط با مسیر حسابرسی‌شده

False positive مستقیماً به درآمد ناشر آسیب می‌زند؛ پس ruleها باید قابل توضیح، نسخه‌دار و قابل اعتراض باشند.

13. مدل داده — Data model

14. Sample APIs

POST /v1/ad-requests X-App-Key: ... Idempotency-Key: 5e7... { "request_id": "req_...", "placement_id": "plc_rewarded_01", "format": "rewarded_video", "session_id": "...", "consent": {"personalized_ads": true}, "device": {"os": "android", "app_version": "4.2.0"} }
POST /v1/events { "event_id": "evt_...", "type": "impression", "tracking_token": "signed-short-lived-token", "occurred_at": "2026-08-04T10:15:30Z" }

مدیریت کمپین نیز APIهای CRUD دارد، اما update آن باید با version یا ETag از lost update جلوگیری کند. endpointهای مالی فقط از back-office و با authorization قوی قابل دسترسی‌اند.

15. Kafka topics پیشنهادی

Ordering فقط درون یک partition معنا دارد. برای eventهای یک impression، کلید impression_id مناسب‌تر از campaign_id است؛ برای aggregation کمپین، repartition در stream processor انجام می‌شود.

16. Caching و انتخاب Storage

Cache invalidation با versioning حل می‌شود: response/index یک campaign_version دارد و consumer فقط update جدیدتر را اعمال می‌کند. TTL تنها ابزار صحت نیست.

17. Consistency، Idempotency و مدیریت failure

Serving سریع و غالباً eventual-consistent است؛ پول و settlement باید قوی تر باشند. این مرز را آگاهانه تعریف کنید.

18. Security و Privacy

  • mTLS یا امضای HMAC بین SDK/gateway در کنار app attestation در صورت پشتیبانی platform

  • OAuth/OIDC و RBAC برای پنل؛ MFA برای عملیات مالی

  • رمزنگاری در transit و at rest؛ secret manager و rotation کلیدها

  • validation سخت input، WAF، rate limit و جداسازی tenantها

  • consent propagation تا decisioning و شریک mediation

  • data minimization، retention schedule، deletion/export workflow و access log

  • عدم ثبت identifier حساس یا query parameterهای کامل در logهای عمومی

الزامات قانونی به کشور، بازار و نقش سازمان بستگی دارد؛ طراحی باید با تیم حقوقی/حریم خصوصی نهایی شود، نه با یک فرض عمومی.

19. Observability و عملیات

Metricهای ضروری:

RPS، p50/p95/p99 latency، fill rate، no-fill reason، candidate count، cache hit، timeout mediation، budget reservation failure، lag Kafka، event dedupe rate، invalid traffic rate، ledger reconciliation delta و payout backlog.

هر request_id باید بتواند در trace نمونه‌برداری‌شده مسیر gateway → decision → reservation → response → event را نشان دهد. logها ساخت‌یافته، دارای correlation ID و scrubbed از PII هستند.

20. Deployment و Resilience

  • Serving به‌صورت stateless در چند AZ، با autoscaling بر اساس RPS/latency

  • Kafka، Redis و DB با replication

  • creative در object storage چندمنطقه‌ای و CDN

  • routing نزدیک‌ترین region؛ دادهٔ مالی و control plane با replication کنترل‌شده

  • deploy تدریجی: canary، feature flag، shadow traffic و rollback سریع

  • runbook برای توقف کمپین، lag stream، failure شریک mediation و reconciliation

برای جلوگیری از blast radius، poolهای ناشر/فرمت/region را تا حد معقول isolate کنید. یک ناشر یا شریک کند نباید کل decision engine را معطل کند.

21. گلوگاه‌ها و Trade-offs

  1. دقت budget در برابر latency: رزرو synchronous دقیق‌تر است اما dependency اضافه می‌آورد؛ allocation دوره‌ای سریع‌تر است اما over-delivery بیشتری دارد.

  2. targeting پیچیده در برابر cacheability: ruleهای آزاد و SQL-like انعطاف می‌دهند اما hot path را کند می‌کنند؛ DSL محدود و indexable معمولاً انتخاب بهتری است.

  3. real-time dashboard در برابر حقیقت مالی: نمایش سریع از stream aggregate، و settlement از ledger نهایی.

  4. frequency cap دقیق در برابر availability: cross-device cap دقیق به identity قوی نیاز دارد؛ در نبود consent باید expectations محصول تغییر کند.

  5. mediation breadth در برابر latency: شریک بیشتر ممکن است fill را بالا ببرد، اما timeout و complexity را هم افزایش می‌دهد.

22. مسیر تکامل — Evolution plan

ابتدا correctness مسیر impression تا ledger را ثابت کنید؛ سپس ranking و ML را اضافه کنید. سیستم بسیار هوشمند با eventهای غیرقابل اعتماد، تنها خطای خود را سریع‌تر بزرگ می‌کند.

جمع‌بندی — Conclusion

یک پلتفرم AdTech موفق فقط «انتخاب تبلیغ» نیست؛ یک سیستم distributed است که تصمیم کم‌تاخیر، کنترل هزینه، اندازه‌گیری قابل اعتماد و تسویهٔ قابل حسابرسی را کنار هم قرار می‌دهد. جداسازی control plane از serving، استفاده از index و cache، event log پایدار، idempotency سرتاسری و ledger immutable ستون‌های اصلی این طراحی هستند.

اگر این اصول درست پیاده شوند، قابلیت‌های پیشرفته‌تری مانند bidding، ML ranking، fraud detection و multi-region serving به تکامل طبیعی سیستم تبدیل می‌شوند، نه لایه‌هایی شکننده روی یک هستهٔ نامطمئن

طراحی سیستممعماری نرم‌افزار
۰
۰
افشین یاری نیا
افشین یاری نیا
شاید از این پست‌ها خوشتان بیاید