
ویدیو مربوط به این مقاله: (کلیک کن)
تو دنیای کامپیوتر تمام اطلاعات به صورت باینری (0 و 1) ذخیره و پردازش میشن.
ساختار سختافزاری کامپیوترها بر اساس سیستم باینری عمل میکند. اما ما انسانها با کاراکترها (A - B - C)، نمادها (! - #) و غیره سروکار داریم. پس باید راهی برای تبدیل این کاراکترها به اعداد باینری و برعکس وجود داشته باشه. این کار از طریق سیستمهای کدگذاری کاراکتر انجام میشه که قوانین و استانداردهایی را برای این تبدیل تعریف میکنند.
اولین سیستم یا استانداردی که ساخته شد تا متن های قافل فهم توسط انسان ها بصورت باینری داخل کامپیوتر ذخیره و پردازش بشه، ASCII بود. سیستم ASCII از 7 بیت برای هر کاراکتر استفاده میکنه، یعنی میتونست 128 کاراکتر مختلف رو کدگذاری کنه.
این 128 کاراکتر شامل حروف بزرگ و کوچک انگلیسی، اعداد، علائم نگارشی (مثل ! # ، @ و…) و برخی کاراکترهای کنترلی (مثل n\ برای خط جدید) بودن.
تو سیستم ASCII هر کاراکتر یک کد عددی مشخص داره که بهش کد ASCII میگن. به عبارت دیگه، هر کاراکتر داخل ASCII دارای یک مقدار عددی (از 0 تا 127) هست که نماینده آن کاراکتره. مثلا:
حرف A در ASCII کد عددی 65 داره.
حرف B در ASCII کد عددی 66 داره.
کاراکتر خط جدید کد عددی 10 داره.
این کد ها به Binary تبدیل میشن و درآخر تو حافظه کامپیوتر قرار میگیرن. برای مثال عدد 65 بصورت باینری میشه 01000001 که معادل حرف A هست.
سیستم ASCII خیلی زود مشکلاتش مشخص شد.
ASCII فقط 128 کاراکتر رو پوشش میداد که برای زبانهای مختلف جهانی و حتی ایموجی ها یا نمادهای دیگر کافی نبود.
راه حل چی بود ؟ Unicode

با گسترش استفاده از کامپیوتر در سراسر جهان و نیاز به پوشش دادن زبانها و کاراکترهای مختلف، نیاز به یک سیستم کدگذاری جامعتر به وجود اومد. اینجا بود که Unicode وارد میدان شد. هدف از ایجاد Unicode این بود که تمام کاراکترها، زبانها و نمادها در سراسر جهان پوشش داده بشن.
تو سیستم Unicode هر کاراکتر دارای یک کد عددی خاصه که بهش Code Point میگن (مثل ASCII) این کدها بصورت Hexadecimal نمایان هستن و اغلب با پیشوند +U معرفی میشن. به عنوان مثال:
کد یونیکد حرف A مقدار U+0041عه.
کد یونیکد حرف B مقدار U+0042عه.
کد یونیکد ایموجی 😊 مقدار U+1F60Aعه.
سیستم Unicode سه روش رو برای ذخیره و انتقال Code Point های خودش ارائه داده که عبارتند از:
UTF-8: در UTF-8 هر کاراکتر میتونه بین 1 تا 4 بایت باشه. این یعنی حروف ساده (مثل حروف انگلیسی) فقط 1 بایت و کاراکترهای پیچیدهتر (مثل ایموجیها) بایت های بیشتر نیاز دارند.
---------------------------------------
UTF-16: در UTF-16 هر کاراکتر میتونه 2 یا 4 بایت باشه. بیشتر کاراکترهای فارسی در 2 بایت ذخیره میشن، اما ایموجی به 4 بایت نیاز داره.
---------------------------------------
UTF-32: در UTF-32 هر کاراکتر دقیقا 4 بایت هست، بدون توجه به پیچیدگی کاراکتر.
---------------------------------------
هرکدوم از این UTF ها مزیت های خودشون رو دارن! برای مثال UTF-8 انعطاف پذیری بالایی داره چون به کاراکترهای ساده مثل حروف انگلیسی فقط 1 بایت اختصاص میده اما به کاراکترهای پیچیدهتر 4 بایت و مثل UTF-32 نیست که به هر نوع کاراکتری 4 بایت بده.
نوع UTF کجا و چطور مشخص میشه؟
هنگام ارسال دادهایی، Header اطلاعاتی وجود داره که نوع کدگذاری رو مشخص میکنه. مثلا:
Content-Type: text/plain; charset=UTF-8
به این شکل نرمافزار طرف مقابل میدونه که باید از UTF-8 برای decode کردن استفاده کنه.
تمرین با پایتون

پایتون یه متد مفید به نام encode داره که کمک میکنه متنها رو به بایتها تبدیل کنیم.
تو پایتون، رشتهها بصورت پیشفرض با استفاده از Unicode ذخیره میشن، اما برای ارسال اونها از طریق شبکه، نیاز به متد تبدیل رشته به بایت داریم. متد encode برای همین منظور استفاده میشه.
متد encode اگه هیچ آرگومانی بهش داده نشه، با UTF-8 رشته رو به بایت تبدیل میکنه اما میتونم براش تنظیم کنم که مثلا UTF-32 باشه. مثال:
text = "سلام 😊" # utf-8 ذخیره بصورت utf8_data = text.encode("utf-8") print(utf8_data) # Result : b"\xd8\xb3\xd9\x84\xd8\xa7\xd9\x85 \xf0\x9f\x98\x8a" # utf-16 ذخیره بصورت utf16_data = text.encode("utf-16") print(utf16_data) # Result : b"\xff\xfe3\x06(\x06-\x06(\x06M\x06 \x00=\xd8\n\xde" # utf-32 ذخیره بصورت utf32_data = text.encode("utf-32") print(utf32_data) # Result : b"\xff\xfe\x00\x002\x06\x00\x00(\x06\x00\x00-\x06\x00\x00(\x06\x00\x00M\x06\x00\x00 \x00\x00\x00=\xd8\n\xde"
چرا خروجی UTF-8 و UTF-16 یه اندازست اما UTF-32 بیشتره؟
برای کاراکترهای فارسی، حجم خروجی UTF-8 و UTF-16 تقریبا یکیه (هر کاراکتر 2 بایت) اما UTF-32 به دلیل استفاده از 4 بایت برای هر کاراکتر حجم بیشتری داره.
b ابتدای رشتهها به چه معناست؟
وقتی شما تو پایتون از encode استفاده میکنید، یک رشته از نوع بایت (byte string) تولید میشه.
byte stringها، رشتههایی هستن که به جای کاراکترهای پیچیده، از بایتهای خام تشکیل شدن.
این b به شما میگه که این رشته از نوع باینریه و هر کاراکتر در آن، یک بایته.
چرا خروجیها بدین شکل \xff\xfe\x00\x00h\x00\x00\x00… نمایش داده میشن؟
اگه یک بایت را بصورت 8 بیت (0 و 1) نمایش بدیم، خوندن و درکش برای انسان مشکله.
بنابراین، به جای نمایش دبنالهایی از 0 و 1 ها، بایت ها قرار میگیرن. یک بایت شامل 8 بیته که یجورایی میشه گفت رشتههای باینری رو فشرده کردیم و داخل بایت ها که بصورت دو رقمی های Hexadecimal قرار گرفتن نمایش میدیم.
به عنوان مثال هر xff\ در باینری برابر است با 11111111.
ابتدا x\ قرار میگیره و بعدش از 00 تا ff که برای Hexadecimal هست قرار میگیره تا بیت های اون رو مشخص کنه.
متد decode برعکس encode عمل میکنه. یعنی بایتها رو به یک رشته Unicode تبدیل میکنه. مثال:
a = "سلام 😊".encode("utf-8") print(a) # Result : b"\xd8\xb3\xd9\x84\xd8\xa7\xd9\x85 \xf0\x9f\x98\x8a" b = a.decode("utf-8") print(b) # Result : سلام 😊
توضیحات اصلی مقاله تموم شد. اما در ادامه میخوام یه نیمچه کمال گرایی رو جلو ببرم و یه موضوع دیگه رو بررسی کنم.
a = "Hello" print(a.encode("utf-8")) # Result : b'Hello' print(a.encode("utf-16")) # Result : b'\xff\xfeH\x00e\x00l\x00l\x00o\x00' print(a.encode("utf-32")) # Result : b'\xff\xfe\x00\x00H\x00\x00\x00e\x00\x00\x00l\x00\x00\x00l\x00\x00\x00o\x00\x00\x00'
داخل متغیر a متن Hello رو بصورت یک رشته عادی قرار دادم.
در ابتدا با UTF-8 رمزگذاریش کردم و خروجی 'b'Hello برگشت.
بعدش با UTF-16 و UTF-32 رمزگذاریش کردم اما خروجی های متفاوتی برگردوند. دلیلش چیه؟
تمام کاراکترهای انگلیسی با یک عدد (که معادل یک بایت یا 8 بیته) نمایش داده میشه.
b اول تو خروجی نشون میده که با بایتها سر و کار داریم.
این بایتها داخل کامپیوتر بصورت 0 و 1 ذخیره میشن. اما وقتی پایتون میخواد این بایتها رو به ما نشون بده، اونها رو به شکل کاراکتری (در صورتی که معادل کاراکتری داشته باشن) نشون میده و اگه معادل کاراکتری نداشته باشن، بصورت Hexa نمایش میده که فضای زیادی گرفته نشه.
در UTF-16 هر کاراکتر معمولا با دو بایت نمایش داده میشه. به خاطر همین، هر حرف Hello در خروجی دو بایت اشغال میکنه، مثلا H بدین شکل x00\ نمایش داده میشه و نمیشه همون H رو قرار داد چون مثل UTF-8 یک بایت نیست که همون یک بایت نماینده این کاراکتر باشه، بلکه برای H دو بایت وجود داره و میاد این دو بایت رو در قالب Hexa نمایش میده.
به کد زیر دقت کن:
print("salam".encode("ascii")) # b'salam' # اینجا خطایی وجود نداره چرا که تمام کاراکتر های داخل رشته داخل اسکی هم وجود دارن # print("سلام".encode("ascii")) # اینجا خطایی به وجود میاد که میگه این کاراکتر ها معادلش داخل اسکی وجود نداره print("سلام".encode("utf-8")) # هیچ خطایی نمیده چرا که کاراکتر های داخل رشته درون این سیستم کدگذاری وجود داره و میتونه معادلش رو بدست بیاره print(ord("س")) # 1587 # کد عددی کاراکتری که بهش دادم رو از سیستم 'یونیکد' برمیگردونه print(chr(1587)) # کد عددی یک کاراکتر رو بهش میدیم و اون کاراکتر رو برامون نمایش میده # Result : س
این سایت رو بررسی کنید
https://onlinetools.com/utf8#tools