
یکی از بهترین و محبوبترین شبکههای اجتماعی، توییتر است. با کمک این شبکه اجتماعی میتوان تبلیغات گستردهای انجام داد و ترافیک زیادی را به سمت سایت کشاند. فقط باید بلد باشید چگونه با آن کار کنید و چه نوع محتوایی برای آن تولید کنید. اگر در خاطر داشته باشید، قبلا درباره انواع محتوای توییتر صحبت کردیم که اتفاقا بازخوردهای خوبی هم داشت. امروز خبری درباره مدرن سازی بستر تبلیغات توییتر شنیدیم و خواستیم آن را با شمایی که توییتری هستید و از امکانات آن استفاده میکنید درمیان بگذاریم.
پلتفرم توییتر، تبلیغات خود را در یک طراحی مجدد تکرار و تجزیه و تحلیل داده برای Google Cloud مدرنسازی میکند.
تیمی به رهبری استیو نیمیتز در توییتر، معماری پیشرفته خود را به Google Cloud منتقل کردند تا قابلیت اطمینان و صحت بستر تجزیه و تحلیل تبلیغات توییتر را افزایش دهد. در دهه گذشته، توییتر خطوط قدرتمندی برای تبدیل دادهها ایجاد کرده است تا تعداد کاربران خود را در سراسر جهان افزایش دهد. اولین استقرار برای این خطوط در ابتدا همه در مراکز داده خود توییتر اجرا میشد. برای تأمین رشد پیش بینی شده در زمینه تعامل با کاربران طی چند سال آینده و ساده سازی ویژگیهای جدید، تیم مهندسی Platform Data Revenue Data تصمیم گرفت تا در معماری توییتر تجدید نظر کرده و سیستم انعطاف پذیرتر و مقیاس پذیرتری را در Google Cloud مستقر کند. در واقع همان امر مدرن سازی بستر تبلیغات توییتر!
اولین تکرار مجدد طراحی در اواسط سال 2017 انجام شد و این امر به همکاری گوگل و توییتر منجر شد. خطوط قدیمی Scalding در ابتدا دست نخورده باقی مانده و از طریق مراکز داده توییتر اجرا میشد اما خروجی لایه دستهای به دو مکان جداگانه در Google Cloud تغییر یافت. این تیم مقادیری را از Bigtable و پرسشهای نهایی پردازش شده در (Google Kubernetes Engine (GKE برای بهینه سازی تأخیر دسترسی به دادهها به کار گرفت. آنها در ادامه به توضیح در مورد معماری جدید خود در حوزه مدرن سازی بستر تبلیغات توییتر پرداختند.
در مرحله دوم، تیم توییتر مجدداً لایه موردنظر را به صورت زیر پیاده سازی کرد:
دادهها ابتدا از HDFS بر روی Cloud Storage مرحله بندی شدند. سپس یک کار دستهای از دادهها به طور منظم، دادهها را از Cloud Storage بارگیری میکند، تجمعها را پردازش میکند و نتایج را به صورت دوگانه در BigQuery برای تجزیه و تحلیل موقت و Bigtable برای سیستم سرویس تبلیغاتی مینویسد.
این تیم همچنین یک لایه جریانی کامل و جدید ایجاد کرده است، یک جریان با سرعت 200000 پیام در ثانیه به دو پاب / موضوع فرعی جداگانه تقسیم میشود. جریان دیگر با اطلاعات حیاتی کمتر با سرعت 80000 پیام در ثانیه وارد میشود. در کل سه شغل بیش از 2 میلیون واحد در ثانیه را پردازش میکند. پارتیشنبندی بیشتر با جزئیات توضیح داده شد و با اضافه کردن مزایایی که ارائه میدهد، صورت میگیرد.
تیم توییتر یک سیستم اعلامی سفارشی را اجرا کرد که در آن میتوان پارامترهای مختلفی را برای مشاغل تعیین کرد. Flex Templates برخی از محدودیتهای قبلی را برطرف میکند و اجازه میدهد تا هر کار Dataflow متغیر شود. این تیم همچنین یک ابزار خط فرمان سفارشی برای تنظیم شغل ایجاد کرده است که به توسعه دهندگان این امکان را میدهد تا با انجام خودکار یک فرآیند چند مرحلهای، به روزرسانی شغل را انجام دهند.
شش ماه پس از انتقال کامل پلت فرم دادههای تجزیه و تحلیل تبلیغات خود به Google Cloud، توییتر مزایای زیادی را به همراه داشت. توسعه دهندگان توییتر چابکی به دست آوردند زیرا میتوانند با سهولت بیشتری خطوط داده موجود را پیکربندی کرده و ویژگیهای جدید را بسیار سریعتر بسازند. این روش مدرن سازی بستر تبلیغات توییتر بیشتر به منظور افزایش سرعت پردازش و ظرفیت توسط Pub / Sub ، Dataflow و Bigtable فعال شده است. قابلیت اطمینان و دقت آن را نیز بسیار بالا و بهینه بوده و امکانات خوبی در اختیار کاربران خود قرار میدهد.