آیا واقعا مدل‌های زبانی بزرگ عاشق واژه‌های طولانی و خط‌فاصله‌های بلندند؟
حالا دیگه مدت‌هاست که این اشباح همه‌فن‌حریف در نوشته‌های ما پرسه می‌زنند و هر اونچه که بخوایم، از نثر، شعر، زبان روزنامه‌نگاری و زبان رسمی ادارات و شرکت‌ها تا غزل‌های شکسپیر یا حتی رمان‌های کم‌مایه‌ی عامه‌پسند رو تقلید و تولید می‌کنند.
هوش مصنوعی همه‌جا هست! طبق یک برآورد، بیشتر از یک‌سوم وب‌سایت‌های تازه‌ساخته رو همین‌ها نوشته‌ند. هوش مصنوعی به‌طرز ترسناکی هم سریعه و هزاران کلمه در دقیقه تولید می‌کنه. (همینگوی به‌ندرت چنین حجمی رو در یک روز می‌نوشت و برای این کار به نوشیدنی به مراتب بیشتری هم نیاز داشت.) الکی نیست که اهل قلم نگران آینده‌ی کارشون هستند.
اگه نویسنده‌ی محتوا هستید و به‌خاطر استفاده از ترکیب‌ها و عبارت‌های طولانی یا خط فاصله در متن‌هاتون بهتون گفته شده که نوشته کار خودتون نیست و از دستیارهای هوش مصنوعی کمک گرفتید، اسلایدها رو ورق بزنید تا ببینید راه تشخیص ردپای AI از دید مقاله‌ی جدید اکونومیست چیه.
همین ابتدای مقاله یک نکته‌ی جالب بگم، اون هم اینکه نویسنده‌ی مقاله هوش مصنوعی رو در این مقاله ghost writer خطاب کرده که مشغول پرسه‌زدن در زبان انگلیسیه. نویسنده باور داره که این اشباح زبانی همه‌فن‌حریف می‌تونند دستشون رو به هر چیزی بند کنند: ازنثر، شعر، زبان روزنامه‌نگاری و زبان رسمی ادارات و شرکت‌ها، تا غزل‌های شکسپیر یا یک رمان کم‌مایه‌ی عامه‌پسند که آدم ها موقع آفتاب‌گرفتن لب ساحل می‌خونند. AI به‌طرز ترسناکی هم سریعه و هزاران کلمه در دقیقه تولید می‌کنه. (همینگوی به‌ندرت چنین حجمی رو در یک روز می‌نوشت و برای این کار به نوشیدنی به مراتب بیشتری نیاز داشت.) برای همینه که اهل قلم وحشت‌زده‌ند.
مدل‌های زبانی بزرگ ویژگی‌های سبکی خاص خودشون رو دارند. معمولا بیش از اندازه از خط‌فاصله (—) استفاده می‌کنند و کلماتی رو به کار می‌برند که ممکنه برای استفاده‌ی روزمره قلمبه سلمبه به نظر برسند. نویسنده در جایی از متن گفته که اونها دوست دارند با استفاده از کلماتی مثل deep dive، delve و rich tapestry بازی کنند و جمله بسازند. بر این اساس، نوشتار هوش مصنوعی رو نمی‌شه با یک کلمه یا عبارت توصیف کرد؛ بلکه باید اون رو بافته‌ای غنی از چیزهای مختلف دونست.
راهی برای تشخیص ردپای هوش مصنوعی هست؟
تشخیص متن‌های هوش مصنوعی می‌تونه چالش‌برانگیز باشه. بخشی از دلیلش اینه که برای این کار باید فراتر از چند کلمه یا خط‌فاصله دنبال شواهد بگردیم: اینکه بگیم متنی به‌خاطر استفاده از یک کلمه‌ی قلمبه سلمبه یا ثقیل، که ممکنه کاربرد روزانه‌ی کمتری داشته باشه، ساخته‌ی هوش مصنوعیه، مثل اینه که به‌خاطر یک کلمه‌ی پرکاربرد، یک متن بخصوص رو به نویسنده‌ای مثل جین آستین ربط بدیم. ربات‌ها هم به شیوه‌های کمی متفاوت از هم می‌نویسند. کارولینا رودنیکا، زبان‌شناس دانشگاه گدانسک لهستان، باور داره که همون‌طور که سبک واحدی برای نوشتار انسانی وجود ندارده، نوشتار هوش مصنوعی هم سبک و سیاق مشخصی نداره. نویسندگان [انسانی] ویژگی‌های خاص خودشون رو دارند؛ برای نمونه، امیلی دیکنسون عاشق خط‌فاصله بود. پس شاید بشه گفت ربات‌ها هم اینطور باشند.
با این حال راه‌هایی برای شناسایی متن تولیدشده با مدل‌های زبانی بزرگ وجود داره. یکی از این راه‌ها استفاده از الگوریتم‌های تشخیصه که برای شناسایی بافت نثر انسانی یا هوش مصنوعی آموزش دیده‌ند. پنگرام (Pangram)، یکی از شرکت‌های پیشرو در این زمینه، مدعیه ۹۹/۹۸ درصد دقت داره. اما از اونجایی که این ابزارهای تشخیص هیچ دلیلی برای نتیجه‌گیری‌شون ارائه نمی‌کنند، ممکنه نتایج مثبت کاذب ارائه بدهند.
می‌شه با مقایسه‌ی نوشتار انسان و ماشین، نشانه‌های هوش مصنوعی رو کشف کرد. برای این کار به یک معیار سنجش نیاز دارید که هم متمایز باشه و هم آشنا. اکونومیست به سراغ نثری رفته که مطمئن بوده انسانیه و خوانندگان هم اون رو می‌شناسند: یعنی یکی از مقاله‌های خودشون. پژوهشی طراحی کرده تا از برترین مدل‌های زبانی بزرگ، شامل چت‌جی‌پی‌تیِ (ChatGPT) اوپن‌ای‌آی، کلادِ (Claude) آنتروپیک، جمنایِ (Gemini) گوگل و گروک (Grok) ایکس‌ای‌آی، بخواد بدون جست‌وجو در وب، نسخه‌هایی از مقاله‌های اکونومیست بنویسند.
این کار مجموعه‌ای از آثار انسانی و آثار هوش مصنوعی در اختیار گذاشت که اونها رو در ۵۵,۹۴۰ جمله و ۱/۲ میلیون کلمه با هم مقایسه کردند. برای اطمینان از اینکه دارند ویژگی‌های خاص هوش مصنوعی رو شناسایی می‌کنند، نه ویژگی‌های نوشتاری خودشون رو، متن‌های هوش مصنوعی رو با گزارش‌های خبری سی‌ان‌ان، نیویورک‌تایمز و واشنگتن‌پست هم سنجیدند. بخش‌هایی از رمان‌های پرفروش منتشرشده بین سال‌های ۱۹۵۰ تا ۲۰۲۲ هم بررسی شدند.
به یافته‌های شگفت‌انگیزی هم دست پیدا کردند. نوشتار هوش مصنوعی از نظر گزینش واژه و نشانه‌گذاری، ساختار جمله و پاراگراف قابل تشخیصه. اما نشونه‌ها اون چیزی نیست که انتظارش رو دارید؛ تا حدی به این دلیل که سبک نوشتاریش با هر به‌روزرسانی نرم‌افزاری تغییر کرده: نثرشون فاقد وضوح و ظرافته و اغلب کلیشه‌ای و قالبی به نظر می‌رسه. پس اونهایی که آرزو دارند داستان‌سرایان تأثیرگذاری باشند، بهتره از ویژگی‌های زیر در نثر خودشون پرهیز کنند.
ربات‌ها عاشق کلمات چندهجایی و واژه‌پردازی متظاهرانه شده‌ند
دایره‌ی واژگان ربات‌ها تغییر کرده: در نسخه‌های انگلیسی، دیگه از کلماتی مثل delve و tapestries به اندازه‌ی گذشته استفاده نمی‌کنند. در عوض، کاربرد کلمات چندهجایی مثل significant، increasingly و consequences در نوشته‌ها بیشتر شده. اونها نسبت به انسان‌ها کلمات کم‌کاربردتر (interdependence یا reindustrialisation) و اصطلاحات علمی بیشتری (parameter و methodology) به‌کار می‌برند و به ساختن اسم از فعل، مثل کلمه‌ی expansion از فعل expand علاقه پیدا کرده‌ند. همه‌ی مدل‌های زبانی موردمطالعه‌ی این پژوهش به‌ویژه جمینای و کلاد از چنین کلماتی استفاده می‌کنند.
بخش زیادی از این زبان رو می‌شه در همون دسته‌بندی «واژه پردازیِ متظاهرانه»ی جورج اورول (نویسنده‌ی کتاب ۱۹۸۴) قرار داد. اورول علیه نویسندگانی موضع می‌گرفت که به قول خودش «بیانات ساده را با واژه‌ها و اصطلاحات پیچیده می‌آرایند تا باهوش‌تر به نظر برسند». اورول می‌گفت: «چنین قلم‌فرسایانِ خودنمایی بر این باورند که واژه‌های لاتین یا یونانی، شکوهمندتر از واژه‌های ساکسون‌اند». به نظر می‌رسه حالا ربات‌ها هم در دسته‌ی همون نویسنده‌ها قرار می‌گیرند.
ربات‌ها دیگه به اندازه‌ی قبل عاشق خط فاصله (em dash) نیستند
بسیاری باور دارند که مدل‌های زبانی بزرگ نثرشون رو با خط فاصله (em-dashe) پر می‌کنند، اما این باور در آپدیت‌های اخیر دیگه صدق نمی‌کنه. امروز تنها کلاد بیشتر از نویسندگان انسانی از خط فاصله استفاده می‌کنه، درحالی‌که چت‌جی‌پی‌تی به‌طرز چشمگیری کمتر از هر نویسنده‌ی دیگه‌ای در این پژوهش از اون بهره می‌بره. پس به نظر می‌رسه که نویسنده‌ها می‌تونند دوباره از خط فاصله استفاده کنند :)).
راه بهتر برای تشخیص نوشتار تولیدشده با هوش مصنوعی، نشانه‌گذاری‌های کمتره
مدل‌های زبانی بزرگ در این‌باره «جویسی» عمل می‌کنند (به سبک جیمز جویس، نویسنده‌ای که در نثرش نشانه‌گذاری رو به حداقل می‌رسونه): اونها کمتر از انسان‌ها از ویرگول و نقطه‌ویرگول استفاده می‌کنند (و تقریباً هیچ پرانتزی به‌کار نمی‌برند). دلیل استفاده‌ی کمتر از نشانه‌گذاری در نوشتار اونها تا حدی اینه که جمله‌های طولانی‌تری می‌نویسند، که در بین اونها «و» پرکاربردترین کلمه‌ست، و تا حدی هم به این دلیله که کمتر نقل‌قول می‌کنند.
جمله‌های ربات‌ها معمولاً طولانی‌اند
در این پژوهش، در جمله‌هایی که هوش مصنوعی تولید کرده، پاراگراف‌ها به‌ندرت با جمله‌های کوتاه و ضربتی قطع می‌شوند. چه‌قدر هم کسل‌کننده! وقتی مدل‌های زبانی بزرگ قصد دارند جمله‌هاشون رو پرشورتر کنند، اغلب به سراغ ابزارهای بلاغی می‌روند. از بین محبوب‌ترین آرایه‌ها، «نه X بلکه Y»، «نه‌تنها… بلکه همچنین…» و «قاعده‌ی سه‌گانه» (دسته‌بندی ایده‌ها در قالب سه‌تایی، درست همون‌طور که در جمله‌ی قبلی انجام دادیم) بیشتر استفاده شدند. چت‌جی‌پی‌تی و کلاد در هر هزار جمله، بیشتر از باقی مدل‌های زبانی و انسان‌ها از این ساختارها استفاده می‌کنند.
پس برای تشخیص ردپای هوش مصنوعی، دست‌کم فعلاً باید دنبال نثر کسل‌کننده و متظاهرانه‌ای بگردید که از واژه‌های لاتین‌تبار پرطمطراق اشباع شده. پژوهش اکونومیست نشون می‌ده که با هر آپدیت، نوشتار هوش مصنوعی بیشتر و بیشتر شبیه نثر انسانی می‌شه. پنگرام در شناسایی متن‌های تولیدشده با هوش مصنوعی موفق عمل کرد، اما ممکنه در آینده با دشواری روبه‌رو بشه.
تامی یوزک، از دانشگاه ایالتی فلوریدا، این موضوع رو مطرح کرده که مدل‌های زبانی بزرگ روی نوشتار انسانی آموزش می‌بینند و از بازخورد انسانی یاد می‌گیرند، چیزهایی رو که مردم تحسین‌برانگیز می‌دونند انتخاب می‌کنند و چیزهایی رو که نمی‌پسندند، کنار می‌گذارند.
به نظر من، نکته‌ی مهم این پژوهش اینه که نباید فراموش کنیم ربات‌ها سریع یاد می‌گیرند و اشباح همه‌فن‌حریفی هستند که به دقت فعالیت ما رو دنبال می‌کنند.
