ویرگول
ورودثبت نام
روزنامه شریف
روزنامه شریفآخرین متن و حواشی دانشگاه صنعتی شریف از بزرگترین رسانه دانشگاهی کشور
روزنامه شریف
روزنامه شریف
خواندن ۴ دقیقه·۲ سال پیش

ضرب شست چینی‌ها:‌ R1 > O1

بی‌شک، رونمایی از مدل DeepSeek R1 داغ‌ترین اتفاق چند روز گذشته هوش مصنوعی بود. زلزله‌ای که لرزه‌هاش به هوش مصنوعی محدود نموند و پس‌لرزه‌هاش امروز باعث ریزش ۲۰ درصدی قیمت سهام nvidia در ۵ روز گذشته شده و این افت nvidia هم مثل یک دومینو باعث ریزش قیمت بیت کوین و سایررمز‌ارزها شده. اما قضیه کلا از چه قراره و اهمیت DeepSeek R1 در چیه؟

اولا این که این اولین جهش و درخشش DeepSeek نیست. حدود ۲۰ روز پیش این شرکت چینی، مدل DeepSeek V3 خودش رو به صورت اوپن سورس منتشر کرد. مدلی که در عملکرد بالاتر از Llama و در رقابت نزدیک با GPT-4o قرار می‌گیره و البته طبق ادعاش تنها با ۵.۵ میلیون دلار آموزش دیده. اهمیت DeepSeek V3 در این بود که آموزش مدل در اون ابعاد مخصوصا با در نظر گرفتن تحریم GPU‌های H100 که آمریکا روی چینی‌ها تحمیل کرده کار راحتی نیست. در واقع برای آموزش LLM‌هایی در این ابعاد باید تعداد بسیار زیادی H100 به هم متصل بشن و با هم آموزش ببینند و آمریکا هم فروش H100 به چین رو ممنوع کرده. سر همین داستان هم، nvidia یک نسخه دستکاری‌شده از H100 به نام H800 رو که نرخ انتقال داده کمتری نسبت به اون داره رو برای چینی‌ها می‌سازه و بهشون می‌فروشه.. و این حدس زده شد که این‌ چینی‌ها GPU‌های H800 رو به هم متصل کردند و سپس در سطحی پایین‌تر از Cuda اونها رو پروگرم کردند تا به چنین عملکردی بتونن برسند.

دوما اما این که ماجرا به DeepSeek V3 ختم نشد و چینی‌ها پس از پنجه در پنجه انداختن با GPT-4o این بار سراغ زورآزمایی با GPT-o1 رفتند و از مدل DeepSeek R1 رونمایی کردند. نکته این مدل اینه که قدرت reasoning ای در سطح o1 داره، با صرفا ۶ میلیون دلار هزینه درست شده و قیمت اینفرنسش هم نسبت به o1 پایین تره، به طوری که اگر قیمت o1 به ازای هر یک میلیون توکن ورودی و خروجی، ۱۵ دلار و ۶۰ دلاره، این نرخ برای R1 تنها ۰.۵۵ و ۲.۱۹ دلاره!

سوما، اما نکته‌ فنی که نتونستم ازش عبور کنم، نوآوری R1 در نحوه آموزشش هست. مغز نوآوری که چینی‌ها برای این مدل به خرج دادند اینه که به جای استفاده از SFT مستقیما از RL استفاده کردند. دقت کنید که RL و نه RLHF! یعنی مدل رو صرفا در یک ستینگ RL اون هم با دو ریوارد مدل ساده‌ای که یکیشون جواب نهایی رو قراره چک کنه و یکیشون هم قراره که مدل رو ملزم به خروجی داده در یک فورمت خاصی کنه، آموزش دادند. نکته جالب اینه که این ریوارد مدل‌ها یعنی بسیار ساده هستند و صرفا می‌شه Rule-Based شون دید. نکته جالب دیگه این که گفتند استفاده از PRM یا همون Process Reward Model هم براشون سود خاصی نداشته و تکنیک‌های Inference time compute هم تفاوت چندانی در جواب نداشته. در حالی که این تکنیک‌ها، تکیه‌گاه‌های اصلی مدل O1 هستند، R1 بدون چنین تکنیک‌هایی به چنین سطح عملکرد رسیده. از کل این بند همون bitter lesson در ذهن تداعی می‌شه که وجود داده و ظرفیت محاسبه کافی،‌ برای رسیدن به هوش کافیه

چهارما، حالا چرا سیلیکون ولی و nvidia شوک دیدند؟ حرف‌ و حدیث در این زمینه زیاده. بعضی‌ها با عینک خیلی فنی این جوری تحلیل کردند که شاید این که روش R1 تونسته بدون تکیه بر تکنیک‌های Inference Time Compute که مستلزم استفاده بیشتر از قدرت محاسباتی هستند، به AGI نزدیک بشه از اهمیت GPU‌ها کاسته. تکه اولش درسته ولی خب تکه دومش نه، چرا که به هر حال با رواج این مدل هم میزان مصرف GPU‌ها بیشتر میشه. توضیح جالبی که دیدم این بود که اولا این یک شوک موقتی هست و ناشی از سه چیزه. اولا این که بالاخره چینی‌ها تونستند در زمینه مدل‌های زبانی به رقابت نزدیک به آمریکا برسند و در حالی که همیشه آزمایشگاه‌های هوش مصنوعی چینی عقب‌تر از آمریکایی‌‌ها بودند، R3 به مثابه یک شوک و نقطه عطف برای مونوپلی آمریکا در هوش می‌تونه باشه. دوما این که قیمت پایین‌ آموزش و اینفرنس R1 می‌تونه باعث یک تکانه به وابستگی به nvidia باشه که البته صرفا در حد یک شوک موقته. و سوما هم این که از این زاویه می‌شه نگاه کرد که DeepSeek تونسته تحریم‌های آمریکا در زمینه GPU رو کم‌اثرتر بکنه و شاید این روند در آینده ادامه دار باشه.

پنجما، آیا DeepSeek برده؟ نه خیر و نه هنوز. چرا که o3 هنوز عملکرد بسیار بهتری نسبت به R1 داره، با این وجود R1 کاراتره، هم می‌تونه روی دیوایس‌ها اجرا بشه و هم هزینه اینفرنس پایین‌تری داره و هم با اوپن سورس کردنش فشار رو برای کاهش قیمت به مدل‌هایی مثل o1 و o1-mini وارد می‌کنه. باید دید رقابت بین آمریکایی‌ها و چینی‌ها در ادامه چه خواهد شد. الله اعلم.


محمدمهدی سمیعی | ۱۳۹۹ دکتری مهندسی کامپیوتر

هوش مصنوعیچت جی پی تیدانشگاه شریفروزنامه شریف
۲
۰
روزنامه شریف
روزنامه شریف
آخرین متن و حواشی دانشگاه صنعتی شریف از بزرگترین رسانه دانشگاهی کشور
شاید از این پست‌ها خوشتان بیاید