ویرگول
ورودثبت نام
وب‌بان
وب‌بانوب‌بان — سازندهٔ ابزارهای بومی وردپرس برای فارسی‌زبانان؛ از جمله متن‌بان، منتشرشده در مخزن رسمی WordPress.org. وب‌سایت: webbanwp.ir
وب‌بان
وب‌بان
خواندن ۷ دقیقه·۱ ماه پیش

دو ساعت دنبال کاراکترهای نامرئی گشتم — بعد ابزاری ساختم که خودش پیدایشان می‌کند

دو سال پیش، فایل پایان‌نامهٔ یک دوست را گرفتم تا «یک نگاه» به آن بیندازم. ۱۴۰ صفحه، جدول‌دار، پانوشت‌دار، با فهرست خودکار. یک نگاه انداختم و دو ساعت بعد هنوز داشتم «می‌روم»ها را درست می‌کردم.

نکتهٔ خنده‌دار این بود که او آدم بی‌دقتی نبود. او فقط از کیبورد گوشی و از Word استفاده کرده بود. و Word، مثل خیلی چیزهای دیگر، برای فارسی ساخته نشده.

آن شب یک چیز را فهمیدم که بعداً کل مسیر کاری‌ام را عوض کرد: مشکل او غلط املایی نبود. مشکلش یک کاراکتر نامرئی بود.


کاراکتری که وجود دارد ولی دیده نمی‌شود

«می‌روم» و «می روم» در نگاه اول شبیه هم‌اند. در واقع هم شبیه هم نیستند — فقط چشم ما فرقشان را یاد نگرفته.

در حالت اول، بین «می» و «روم» یک نویسه نشسته به نام نیم‌فاصله یا Zero-Width Non-Joiner، با کد U+200C. این کاراکتر سه کار می‌کند:

  • اتصال دو حرف را می‌شکند،

  • هیچ فاصلهٔ قابل‌دیدن‌ای ایجاد نمی‌کند،

  • و برای کامپیوتر، یک کاراکتر کامل و مستقل است.

در حالت دوم، یک فاصلهٔ معمولی (U+0020) نشسته. و این‌جاست که ماجرا جدی می‌شود: برای یک ماشین، این دو، دو نوشتهٔ متفاوت‌اند.

موتور جست‌وجو متن را توکنایز می‌کند و فاصله، مرز توکن است. وقتی شما «کتاب ها» می‌نویسید، «کتاب» و «ها» دو توکن جدا می‌شوند؛ وقتی «کتاب‌ها» می‌نویسید، یک توکن. این دو هم‌ارزی کامل ندارند. یعنی هرچه متن شما از نوشتار درستی که کاربر تایپ می‌کند فاصله داشته باشد، شانس دیده‌شدنش کم‌تر می‌شود.

همین برای «بزرگ تر»، «رفته ام»، «خانه ی»، «به عنوان» و ده‌ها مورد دیگر هم صادق است.

و بدترین بخش؟ Word هیچ‌وقت به شما نمی‌گوید. غلط‌یاب Word فارسی را می‌فهمد، ولی قواعد تایپوگرافی فارسی را — که نیم‌فاصله فقط یکی‌شان است — عملاً نمی‌شناسد. Yoast هم برای انگلیسی ساخته شده و خوانایی فارسی‌اش خاموش است.

یعنی جایی که بیشترین خطا رخ می‌دهد، هیچ زنگ خطایی به صدا درنمی‌آید.


چرا این کار سخت‌تر از «Find & Replace» است

اولین فکری که به ذهن هر برنامه‌نویسی می‌رسد، این است: «خب، همهٔ فاصله‌ها را با نیم‌فاصله عوض کن، تمام.»

بگذارید نشانتان بدهم چرا این ایده در پنج دقیقه می‌شکند.

قبل از هر چیز، یک نمونه از چیزی که واقعاً اتفاق می‌افتد:

قبل:

دانشجویان پایان نامه های خود را غیر مطلوب می نویسند ، هر چند استادان نا خشنود نمی شوند ولی میگویند بی ربط است ؟

بعد:

دانشجویان پایان‌نامه‌های خود را غیرمطلوب می‌نویسند، هر چند استادان ناخشنود نمی‌شوند ولی می‌گویند بی‌ربط است؟

ده اصلاح، در یک عبور. حالا ببینیم چرا نوشتن این ده اصلاح، دو سال طول کشید.

تلهٔ اول: «تر» دو معنی دارد

جملهٔ «هوا خشک و تر شد» را در نظر بگیرید.

یک ابزار سادهٔ find & replace، «تر» را پسوند صفت برتر می‌بیند و می‌سازد: «هوا خشک وتر شد» — که حالا یک غلط جدید، روی یک جملهٔ درست ساخته است.

در نسخهٔ اول ابزار من، دقیقاً همین اتفاق می‌افتاد. اولین بار که نسخهٔ منتشرشده را روی یک متن واقعی تست کردم، خودم «خشک و‌تر» تحویل گرفتم. بعد قاعده را عوض کردم: «تر» فقط وقتی می‌چسبد که واژهٔ قبلش دست‌کم دو حرف داشته باشد. «خشک و تر» سالم می‌ماند، «بزرگ تر» به «بزرگ‌تر» تبدیل می‌شود.

تلهٔ دوم: «می» اسم است، نه پیشوند فعل

«می» در فارسی دو زندگی دارد. یک‌جا پیشوند فعلی است («می‌روم»)، جای دیگر اسم است: میخانه، جامِ مِی، ماهِ مِی.

ابزار خوب باید بداند در جملهٔ «این می را ببین»، آن «می» مفعول است و نباید به «را» بچسبد.

تلهٔ سوم: ندا، شناسهٔ فعل نیست

«گفت که ای کاش می‌آمد» را در نظر بگیرید. «ای» این‌جا علامت ندا است. ابزار ساده آن را شناسهٔ دوم‌شخص فعل می‌بیند و می‌سازد: «گفت کهای کاش».

هر سهٔ این‌ها را من از تجربهٔ شکستن یاد گرفتم، نه از کتاب. و هر سه‌شان الان تست رگرسیون دارند تا دوباره برنگردند.


درس مهم‌تر: چیزهایی که عمداً درست نمی‌کنم

یک نمونه هست که هیچ‌وقت اصلاحش نمی‌کنم: فعل «می‌دانی».

چرا؟ چون «میدانی» می‌تواند سه چیز باشد: «می‌دانی» (فعل)، «میدانی» (میدان + ی)، و حتی بخشی از نام «میرسلیم». هر تصمیمی که برای یکی درست باشد، دو تای دیگر را خراب می‌کند.

تصمیم من: این یکی را رها می‌کنم. یک غلط باقی‌مانده، بهتر از یک متن درست است که به‌غلط خراب شده.

این جمله را هر جا می‌گویم، آدم‌ها فکر می‌کنند دارد تعارف می‌کند. ندارد. در یک ابزار اصلاح متن، مثبت کاذب بدتر از منفی کاذب است — چون به اعتماد کاربر آسیب می‌زند. کاربری که یک بار ببیند متن درستش خراب شده، دیگر به هیچ اصلاحی اعتماد نمی‌کند.


مشکل واقعیِ Word — و چرا همه این‌جا شکست می‌خورند

این بخش فنی‌ترین قسمت مقاله است، ولی به نظرم جالب‌ترینش.

یک فایل .docx در واقع یک آرشیو zip است. بازش کنید، داخلش یک فایل XML به نام word/document.xml هست. و این XML، برخلاف تصور، هر پاراگراف را یک تکه متن ساده ذخیره نمی‌کند.

Word متن را به قطعه‌های کوچک می‌شکند که به آن‌ها run می‌گویند. هر run یک قالب‌بندی جداگانه دارد. مثلاً جملهٔ «این مهم است» در XML ممکن است سه run باشد:

<w:r>این </w:r> <w:r><w:b/>مهم</w:r> <w:r> است</w:r>

حالا تصور کنید می‌خواهید در این جمله «می رود» را اصلاح کنید و آن عبارت، دقیقاً روی مرز دو run افتاده باشد — یکی نصفش این‌طرف، یکی نصفش آن‌طرف. ابزاری که فقط تک‌تک runها را نگاه می‌کند، می‌بیند «می» و «رود» هیچ‌کدام در run خودشان کامل نیستند، و از کنارش رد می‌شود.

این دقیقاً همان جایی است که هر ابزاری که runها را تک‌تک می‌خواند شکست می‌خورد.

راه‌حلی که در نسخهٔ ۱.۰.۱ پیاده کردم

۱. متن همهٔ runهای یک پاراگراف به هم وصل می‌شود.

۲. کل پاراگراف یک‌جا اصلاح می‌شود.

۳. با یک الگوریتم diff نویسه‌ای (Myers) خروجی به همان runهای قبلی برگردانده می‌شود.

نتیجه: فونت، رنگ، بولد و ایتالیک هر run ذره‌ای دست‌نخورده می‌ماند، ولی متن درست می‌شود — حتی اگر اصلاح دقیقاً روی مرز فاصله افتاده باشد.

یک نکتهٔ ریز دیگر: فقط w:t پردازش می‌شود. کدهای فیلد (w:instrText)، متن حذف‌شده (w:delText) و فرمول‌ها (m:t) اصلاً لمس نمی‌شوند. وگرنه یک لینک HYPERLINK یا یک معادلهٔ ریاضی هم قربانی می‌شد.


چه چیزی ساختم

حاصل کار، ابزاری است که روی ویندوز اجرا می‌شود و این‌طور کار می‌کند:

فایل Word را در پنجرهٔ برنامه رها می‌کنید ← پیش‌نمایش قبل/بعد را می‌بینید ← دکمهٔ اصلاح را می‌زنید ← فایل اصلاح‌شده در پوشهٔ «خروجی» ذخیره می‌شود.

سه تصمیم طراحی که برایم غیرقابل‌مذاکره بود:

۱. کاملاً آفلاین. فایل شما روی همان کامپیوتر پردازش می‌شود و هیچ‌جا ارسال نمی‌شود. برای پایان‌نامه‌ای که هنوز دفاع نشده، یا قراردادی که هنوز امضا نشده، این تنها حالت قابل‌قبول است.

۲. فایل اصلی هرگز تغییر نمی‌کند. همیشه یک نسخهٔ جدا با پسوند «-اصلاح-شده» ساخته می‌شود. هیچ‌وقت فایلی را به‌عنوان «تغییر داده شد» تحویل نمی‌دهم.

۳. قواعد مشخص، نه هوش مصنوعی. این نکته شاید عجیب به نظر برسد، ولی عمدی است. مدل‌های زبانی وقتی متن را «بهتر» می‌کنند، گاهی تصمیم‌هایی می‌گیرند که شما نگفته‌اید. برای پایان‌نامه، می‌خواهید ابزار دقیقاً همان ۲۱ قاعده را اجرا کند و چیزی از خودش اضافه نکند. خروجی باید قابل پیش‌بینی باشد.

و همهٔ قواعد را می‌شود تک‌تک خاموش کرد. اگر سبک نگارش شما با قاعده‌ای نمی‌سازد، همان یکی را خاموش می‌کنید.

آن ۲۱ قاعده، به‌طور خلاصه

  • نیم‌فاصلهٔ «می/نمی»، «بی»، «ها»، «تر/ترین»، شناسهٔ فعل و یای میانجی

  • تبدیل حروف و ارقام عربی (ي، ك، ة، ٤٥) به فارسی

  • علائم نگارشی فارسی (، ؛ ؟)، گیومهٔ فارسی و علامت درصد

  • حذف کشیده، فاصله‌های تکراری و نویسه‌های نامرئی

  • واژه‌های مرکب: پایان‌نامه، همچنین، چطور

  • «غیر» و «نا» چسبیده: غیرممکن، ناامید

  • «می» چسبیدهٔ فعل: میخوانیم ← می‌خوانیم


و حالا صادقانه — این ابزار چه کاری نمی‌کند

هر مقاله‌ای که در معرفی یک نرم‌افزار فقط از خوبی‌هایش بگوید، به نظر من تبلیغ است نه معرفی. پس:

فقط docx می‌گیرد، نه doc. فرمت قدیمی داکیومنت را باید یک بار در Word با Save As به docx تبدیل کنید.

فایل رمزدار نمی‌گیرد. اگر روی فایل پسورد گذاشته‌اید، اول بردارید.

هوش مصنوعی نیست. اگر دنبال «بازنویسی» یا «خلاصه‌سازی» هستید، این ابزار کار شما نیست. این یک اصلاح‌کنندهٔ تایپوگرافی است، با ۲۱ قاعده.

غلط‌یاب املایی هم نیست. فعلاً نه. نسخهٔ بعدی قرار است داشته باشد، ولی من ترجیح می‌دهم چیزی را که وجود ندارد وعده ندهم.

اولین بار ویندوز هشدار SmartScreen می‌دهد. طبیعی است — نرم‌افزار تازه منتشر شده و هنوز امضای دیجیتال ندارد. روی «اطلاعات بیشتر» و بعد «اجرا در هر صورت».

و یک محدودیت که خودم دوستش دارم: متن‌های دوپهلو را اصلاح نمی‌کند. همان‌طور که گفتم، رهایشان می‌کند. اگر انتظار «صد در صد» دارید، این ابزار ناامیدتان می‌کند. اگر انتظار «۹۵ درصد بدون خرابکاری» دارید، این‌جاست.


یک حرف آخر

من این ابزار را نساختم چون فکر می‌کردم بازار خوبی دارد. ساختم چون دو سال پیش، دو ساعت از عمرم را صرف پیدا کردن کاراکترهای نامرئی در فایل یک دوست کردم و فکر کردم: «این کار نباید کار آدم باشد.»

اگر شما هم فایلی دارید که «می رود» و «كتاب» و «٤٥» تویش قل می‌زند — پایان‌نامه، مقاله، گزارش، هر چه — نمونهٔ واقعی و تصاویر پنل را در صفحهٔ محصول ببینید:

نسخهٔ ویندوز: webbanwp.ir/fileban/matnban-desktop-aslah-gr-writing-persian-file-word/

و اگر فقط می‌خواهید سایت وردپرسی‌تان را درست کنید، نسخهٔ وردپرسیِ همان موتور، رایگان در مخزن رسمی وردپرس است. کافی است در پیشخوان، افزونه‌ها ← افزودن را بزنید و «Matnban» را جست‌وجو کنید — یا مستقیم بروید به:

نسخهٔ رایگان: wordpress.org/plugins/matnban/


اگر این مطلب برایتان مفید بود، خوشحال می‌شوم در کامنت بگویید کدام «غلط فارسی» بیشتر از همه اذیتتان می‌کند. جدی می‌گویم — چند قاعدهٔ همین ابزار از گزارش‌های کاربران اضافه شده‌اند.

نویسنده: توسعه‌دهندهٔ مستقل وردپرس

نگارش فارسینیم‌فاصلهوردپرسwordتایپوگرافی
۰
۰
وب‌بان
وب‌بان
وب‌بان — سازندهٔ ابزارهای بومی وردپرس برای فارسی‌زبانان؛ از جمله متن‌بان، منتشرشده در مخزن رسمی WordPress.org. وب‌سایت: webbanwp.ir
شاید از این پست‌ها خوشتان بیاید