شبکه‌های عصبی سیستم‌های تبلیغاتی معمولاً ورودی‌ها را از چندین منبع دریافت می‌کنند، به‌عنوان مثال، ارتباط جستجو با آگهی، ویژگی‌های تبلیغاتی و پرتره های کاربر این ورودی‌ها در ویژگی‌های باینری یک یا چند داغ کدگذاری می‌شوند که معمولاً تنها با یک ویژگی کوچک کسری از مقادیر ویژگی غیر صفر در هر مثال. مدل های یادگیری عمیق در صنایع تبلیغات آنلاین می تواند داشته باشد پارامترهایی در مقیاس ترابایت که نه در حافظه GPU و نه حافظه اصلی CPU در یک گره محاسباتی قرار می گیرند.
به عنوان مثال، یک سیستم تبلیغات آنلاین با حمایت مالی می تواند بیش از 1011 ویژگی پراکنده داشته باشد که باعث می شود
شبکه عصبی یک مدل عظیم با حدود 10 پارامتر ترابایت. در این مقاله، یک GPU توزیع شده را معرفی می کنیم
سرور پارامتر سلسله مراتبی برای سیستم های تبلیغات یادگیری عمیق در مقیاس عظیم. ما یک گردش کار سلسله مراتبی را پیشنهاد می کنیم
که از حافظه با پهنای باند بالا GPU، حافظه اصلی CPU و SSD به عنوان ذخیره سازی سلسله مراتبی 3 لایه استفاده می کند. همه
محاسبات آموزش شبکه عصبی در GPU ها موجود است. آزمایش های گسترده بر روی داده های دنیای واقعی تایید می کند
اثربخشی و مقیاس پذیری سیستم پیشنهادی سرور پارامتر GPU سلسله مراتبی 4 گره می تواند یک مدل را بیش از 2 برابر سریعتر از یک سرور پارامتر توزیع شده در حافظه 150 گره در یک خوشه MPI آموزش دهید. که علاوه بر این، نسبت قیمت به عملکرد سیستم پیشنهادی ما 4-9 برابر بهتر از راه حل MPI-cluster است.
تبلیغات جستجوی Baiduبا موفقیت از داده های ورودی با ابعاد فوق العاده بالا و شبکه های عصبی عمیق با مقیاس فوق العاده بزرگ برای آموزش CTR استفاده کرده است.
برای ناشران تبلیغات آنلاین مانند بایدو، بینگ و گوگل.
وظیفه پیش بینی CTR نقش کلیدی ایفا می کندو بهترین تخصیص فضاهای تبلیغاتی را تعیین کنید زیرا به طور مستقیم
بر تجربه کاربر و سودآوری تبلیغات تأثیر می گذارد. پیش‌بینی CTR ورودی را از چندین منبع دریافت می‌کند - به عنوان مثال، query-ad
ارتباط، ویژگی‌های تبلیغاتی، و پرتره‌های کاربر – سپس تخمین می‌زند
احتمال اینکه کاربر روی یک تبلیغ خاص کلیک کند. این ورودی ها
معمولاً ویژگی های باینری یک داغ/چند داغ فقط با a هستند
کسر کوچکی از مقادیر ویژگی غیر صفر در هر مثال. در
داده های ورودی پراکنده با ابعاد بالا ابتدا از یک لایه تعبیه شده عبور می کنند تا یک جاسازی با ابعاد پایین به دست آید. سپس
نتایج تعبیه شده توسط لایه های کاملاً متصل به هم متصل می شوند. یک سیستم تبلیغات آنلاین حمایت شده در دنیای واقعی می تواند
