
هوش مصنوعی میتواند در چند ثانیه درباره موضوعات مختلف پاسخ تولید کند؛ از یک سؤال ساده علمی گرفته تا نوشتن مقاله، خلاصهکردن یک متن، پیشنهاد ایده یا توضیح یک مسئله پیچیده.
سرعت و روان بودن پاسخها گاهی باعث میشود کاربر تصور کند با یک منبع کاملاً قابل اعتماد روبهرو است.
اما این تصور میتواند خطرناک باشد.
هوش مصنوعی ممکن است پاسخی کاملاً اشتباه را با لحنی بسیار مطمئن ارائه کند.
مؤسسه ملی استاندارد و فناوری آمریکا، NIST، این پدیده را در مورد هوش مصنوعی مولد «confabulation» مینامد؛ یعنی تولید و ارائه محتوای نادرست یا ساختگی با اطمینان. این پاسخها حتی ممکن است شامل استدلال یا ارجاعاتی باشند که ظاهراً پاسخ را معتبر نشان میدهند، در حالی که خود آنها نیز ممکن است نادرست باشند.
بنابراین یک قانون مهم وجود دارد:
روان بودن پاسخ AI به معنی درست بودن آن نیست.
اصطلاح AI Hallucination یا «توهم هوش مصنوعی» برای زمانی استفاده میشود که یک سیستم مولد، اطلاعات نادرست، ساختگی یا ناسازگار تولید میکند.
برای مثال ممکن است AI:
یک واقعیت تاریخی را اشتباه بیان کند.
نام یک کتاب یا مقاله غیرواقعی بسازد.
آمار نادرست ارائه دهد.
یک نقلقول ساختگی تولید کند.
منبعی را معرفی کند که وجود ندارد.
درباره یک موضوع تخصصی پاسخ اشتباه بدهد.
دو واقعیت متفاوت را با یکدیگر ترکیب کند.
مشکل اصلی این است که پاسخ ممکن است کاملاً طبیعی و حرفهای به نظر برسد.
NIST نیز تأکید میکند که این خطاها میتوانند در زمینههای مختلف رخ دهند و در پرسشهای باز و حوزههایی که به دانش تخصصی و زمینه دقیق نیاز دارند، اهمیت بیشتری پیدا کنند.
یکی از اشتباهات رایج این است که تصور کنیم AI مانند یک انسان ابتدا حقیقت را پیدا میکند و سپس آن را به زبان طبیعی بیان میکند.
مدلهای زبانی مولد اساساً بر اساس الگوهای آماری و پیشبینی توالی متن کار میکنند.
به همین دلیل ممکن است متنی تولید کنند که از نظر زبانی بسیار مناسب باشد، اما از نظر واقعیت نادرست باشد.
یعنی:
پاسخ خوب نوشتهشده ≠ پاسخ درست
این تفاوت یکی از مهمترین نکاتی است که کاربران AI باید بدانند.
اگر یک موتور جستوجوی معمولی نتیجهای اشتباه نشان دهد، ممکن است کاربر با مشاهده چند لینک متوجه شود که باید بررسی بیشتری انجام دهد.
اما AI پاسخ را به شکل یک گفتوگوی طبیعی ارائه میکند.
مثلاً ممکن است بنویسد:
«بر اساس تحقیقات انجامشده...»
و سپس توضیحی کاملاً منطقی ارائه کند.
کاربر ممکن است تصور کند پشت این جمله حتماً یک پژوهش واقعی وجود دارد.
در حالی که ممکن است چنین پژوهشی اصلاً وجود نداشته باشد.
NIST نیز هشدار میدهد که مدلهای مولد میتوانند حتی منطق یا استنادهایی تولید کنند که ظاهراً پاسخ را توجیه میکنند، اما خود آنها نیز نادرست هستند.
مشکل فقط «یک جواب اشتباه» نیست.
مشکل زمانی جدی میشود که کاربر بر اساس آن جواب تصمیم بگیرد.
مثلاً:
اطلاعات اشتباه → باور کردن → تصمیم گرفتن → پیامد واقعی
هرچه موضوع حساستر باشد، اهمیت بررسی نیز بیشتر میشود.
این یکی از مهمترین نمونههاست.
WHO هشدار داده است که پاسخهای مدلهای زبانی ممکن است قانعکننده و معتبر به نظر برسند اما کاملاً اشتباه باشند؛ این مسئله در اطلاعات سلامت اهمیت ویژهای دارد.
فرض کنید فردی درباره یک علامت جسمی از AI سؤال کند و بر اساس پاسخ آن تصمیم بگیرد که نیازی به مراجعه به پزشک ندارد.
اگر پاسخ اشتباه باشد، پیامد آن ممکن است جدی باشد.
بنابراین:
AI میتواند ابزار کمکی برای فهم اطلاعات باشد، اما پاسخ آن نباید جای تشخیص یا توصیه حرفهای را بگیرد.
اطلاعات مالی نیز حساس هستند.
ممکن است AI درباره:
قیمت
مالیات
قوانین
سرمایهگذاری
شرایط یک قرارداد
نرخها
وضعیت اقتصادی
اطلاعات قدیمی یا نادرست ارائه دهد.
بهخصوص اطلاعاتی که دائماً تغییر میکنند باید از منابع بهروز بررسی شوند.
قانون ثابت نیست.
ممکن است یک مقررات تغییر کرده باشد، اما مدل بر اساس اطلاعات قدیمی پاسخ بدهد.
بنابراین اگر سؤال درباره یک قانون، مقررات یا الزام رسمی است، باید متن رسمی و بهروز آن بررسی شود.
دانشجویان و نویسندگان نیز باید مراقب باشند.
یکی از خطاهای معروف این است که کاربر از AI میخواهد:
«چند منبع علمی برای این موضوع معرفی کن.»
AI ممکن است عنوان مقاله، نام نویسنده یا حتی مشخصات یک مجله را تولید کند که واقعی نیست.
بنابراین:
هر منبعی که AI معرفی میکند باید جداگانه بررسی شود.
صرف اینکه عنوان یک مقاله علمی بسیار واقعی به نظر میرسد، کافی نیست.
حتی در موضوعات سادهتر نیز امکان خطا وجود دارد.
AI ممکن است:
تاریخ یک رویداد را اشتباه بگوید.
نام افراد را جابهجا کند.
دو شخصیت را با هم ترکیب کند.
اطلاعات دو کشور یا دو محصول را مخلوط کند.
این خطاها گاهی کوچکاند، اما اگر بدون بررسی منتشر شوند، به اطلاعات نادرست تبدیل میشوند.
مدلهای جدیدتر میتوانند در بسیاری از آزمونها و وظایف عملکرد بهتری داشته باشند، اما هیچ مدل مولد را نمیتوان بهطور مطلق بدون خطا دانست.
حتی NIST در چارچوب مدیریت ریسک GenAI، «confabulation» را همچنان بهعنوان یکی از ریسکهای مهم سیستمهای مولد در نظر میگیرد. این سند در سال ۲۰۲۴ منتشر شد و در آوریل ۲۰۲۶ بهروزرسانی شده است.
بنابراین پیشرفت مدلها به معنی حذف کامل خطا نیست.
نه همیشه.
این نکته بسیار مهم است.
ممکن است مدل پاسخی اشتباه بدهد و در همان لحظه با اطمینان ادامه دهد.
بنابراین نباید تصور کنیم:
«اگر AI مطمئن نباشد، حتماً به من میگوید.»
گاهی چنین اتفاقی میافتد، اما تضمینی نیست.
به همین دلیل کاربر باید در موضوعات مهم، خودش فرایند بررسی را انجام دهد.
یک روش ساده میتواند این باشد:
آیا سؤال شما:
عمومی است؟
تخصصی است؟
پزشکی است؟
مالی است؟
حقوقی است؟
مربوط به اخبار روز است؟
درباره یک محصول جدید است؟
هرچه موضوع حساستر یا متغیرتر باشد، بررسی بیشتری لازم است.
مثلاً به جای:
«این موضوع را توضیح بده.»
بپرسید:
«منابع معتبر این ادعا را معرفی کن.»
اما اینجا یک نکته بسیار مهم وجود دارد:
منبعی که AI معرفی میکند را نیز باید بررسی کنید.
درخواست منبع، جای بررسی منبع را نمیگیرد.
اگر AI به یک گزارش، مقاله علمی، سایت رسمی یا سند دولتی اشاره کرد، بهتر است خود منبع اصلی را ببینید.
مثلاً:
AI → معرفی گزارش → مراجعه به گزارش اصلی → بررسی ادعا
این روش بسیار قابل اعتمادتر از پذیرش مستقیم پاسخ است.
برای موضوعات مهم، فقط به یک پاسخ تکیه نکنید.
مثلاً:
پاسخ AI + منبع رسمی + منبع معتبر مستقل
اگر هر سه با یکدیگر سازگار باشند، اطمینان بیشتری ایجاد میشود؛ هرچند باز هم به معنای تضمین صددرصدی نیست.
این مورد برای موضوعات متغیر بسیار مهم است.
مثلاً:
قیمت محصولات
قوانین
اخبار
مشخصات نرمافزار
سیاستهای شرکتها
اطلاعات پزشکی جدید
وضعیت بازار
ممکن است در مدت کوتاهی تغییر کنند.
بنابراین همیشه باید پرسید:
این اطلاعات مربوط به چه تاریخی است؟
اگر پاسخ AI برایتان خیلی قطعی به نظر میرسد، دوباره سؤال کنید:
«چه بخشهایی از پاسخ قبلی ممکن است اشتباه باشند؟»
یا:
«برای این پاسخ چه شواهدی وجود دارد؟»
یا:
«آیا منبع اصلی برای این ادعا وجود دارد؟»
این کار میتواند نقاط ضعف پاسخ را آشکارتر کند.
نه.
هدف این مقاله ایجاد بیاعتمادی کامل به AI نیست.
هوش مصنوعی میتواند برای:
توضیح مفاهیم
ایدهپردازی
خلاصهسازی
یادگیری
ترجمه
تحلیل اولیه
کمک به نوشتن
بسیار مفید باشد.
مشکل زمانی ایجاد میشود که اعتماد به AI جای بررسی را بگیرد.
بنابراین بهتر است رابطه ما با AI اینگونه باشد:
نه اعتماد کورکورانه، نه بیاعتمادی کامل؛ بلکه استفاده همراه با بررسی.
میتوانیم پاسخهای AI را به شکل ساده در سه گروه ببینیم:
مثلاً:
«چند ایده برای صبحانه بده.»
نیازی به بررسی جدی ندارد.
مثلاً:
«تاریخچه یک فناوری چیست؟»
بهتر است منابع معتبر نیز بررسی شوند.
مثلاً:
«آیا این دارو را مصرف کنم؟»
یا:
«آیا این قرارداد از نظر قانونی درست است؟»
یا:
«آیا این سرمایهگذاری مناسب است؟»
در این موارد نباید تصمیم مهم را فقط بر اساس پاسخ AI گرفت.
با گسترش AI، سواد اطلاعاتی اهمیت بیشتری پیدا میکند.
در گذشته ممکن بود سؤال این باشد:
«این اطلاعات را از کجا پیدا کنم؟»
اما امروز سؤال دیگری نیز وجود دارد:
«آیا این اطلاعات واقعاً درست است؟»
یونسکو در بحث آموزش در عصر AI نیز بر ضرورت توانایی کاربران برای پرسشگری انتقادی درباره خروجیهای AI تأکید کرده است و هشدار میدهد که این سیستمها درک مستقلی از حقیقت ندارند.
بنابراین یکی از مهارتهای مهم آینده، توانایی ارزیابی خروجی AI خواهد بود.
میتوانیم یک قانون بسیار ساده داشته باشیم:
هرچه تصمیم مهمتر، بررسی بیشتر.
برای یک ایده سرگرمی، ممکن است یک پاسخ AI کافی باشد.
اما برای سلامت، پول، قانون، امنیت یا تصمیمهای مهم زندگی، باید چند مرحله بررسی انجام شود.
قبل از اینکه یک پاسخ مهم را قبول کنیم، این هفت سؤال را بپرسیم:
منبع این اطلاعات چیست؟
آیا منبع واقعاً وجود دارد؟
اطلاعات مربوط به چه تاریخی است؟
آیا منبع رسمی یا معتبر دیگری آن را تأیید میکند؟
آیا موضوع ممکن است اخیراً تغییر کرده باشد؟
آیا AI در پاسخ خود بیش از حد مطمئن به نظر میرسد؟
اگر این پاسخ اشتباه باشد، چه پیامدی خواهد داشت؟
سؤال هفتم بسیار مهم است.
چون میزان بررسی باید با هزینه احتمالی اشتباه متناسب باشد.
کودکان و دانشآموزان باید از همان ابتدا یاد بگیرند که:
AI منبع حقیقت مطلق نیست.
یونسکو نیز در رویکرد خود به آموزش و AI بر اهمیت تفکر انتقادی و حفاظت از حقوق یادگیرندگان تأکید میکند.
به جای اینکه فقط بگوییم:
❌ «از AI استفاده نکن.»
بهتر است آموزش دهیم:
✅ «از AI استفاده کن، اما پاسخ آن را بررسی کن.»
این مهارت در آینده میتواند به اندازه توانایی استفاده از خود ابزار مهم باشد.
در مجله اوپاکالا، هدف از معرفی و بررسی فناوری فقط نشان دادن قابلیتهای جذاب هوش مصنوعی نیست.
شناخت محدودیتهای AI نیز اهمیت دارد.
وقتی کاربر بداند که یک پاسخ ممکن است اشتباه باشد، روش استفاده او از فناوری تغییر میکند.
در چنین شرایطی AI دیگر یک «منبع حقیقت» نیست؛ بلکه به یک ابزار برای فکر کردن، جستوجو، بررسی و یادگیری تبدیل میشود.
آیا پاسخهای هوش مصنوعی همیشه درست هستند؟
خیر.
مدلهای هوش مصنوعی میتوانند پاسخهایی تولید کنند که بسیار روان، منطقی و قانعکننده به نظر برسند، اما حاوی اطلاعات نادرست باشند. NIST این مسئله را یکی از ریسکهای مهم هوش مصنوعی مولد میداند.
راهحل نیز کنار گذاشتن AI نیست.
راهحل، استفاده آگاهانه است:
سؤال بپرس → پاسخ بگیر → منبع را بررسی کن → با منابع معتبر مقایسه کن → سپس تصمیم بگیر.
هرچه موضوع حساستر باشد، مرحله بررسی اهمیت بیشتری پیدا میکند.
در عصر هوش مصنوعی، شاید یکی از مهمترین مهارتها دیگر فقط پیدا کردن پاسخ نباشد؛ بلکه تشخیص پاسخ قابل اعتماد از پاسخ غیرقابل اعتماد باشد.
بله. مدلهای مولد ممکن است محتوای نادرست یا ساختگی تولید کنند و آن را با لحن مطمئن ارائه دهند.
مدلهای مولد برای تولید متن بر اساس الگوهای آماری آموزش دیدهاند و «درک حقیقت» به معنای انسانی آن ندارند؛ بنابراین ممکن است خروجی زبانی روان اما واقعاً نادرست تولید کنند.
نه لزوماً. نام، عنوان یا مشخصات یک منبع نیز ممکن است اشتباه تولید شود. بهتر است منبع اصلی را جداگانه پیدا و بررسی کنید.
برای اطلاعات عمومی میتواند به فهم موضوع کمک کند، اما WHO درباره پاسخهای ظاهراً معتبر اما نادرست LLMها در حوزه سلامت هشدار داده است. برای تصمیمهای پزشکی مهم باید از متخصص و منابع معتبر استفاده کرد.
از AI منبع بخواهید، منبع اصلی را بررسی کنید، اطلاعات را با منابع مستقل مقایسه کنید و برای موضوعات حساس از متخصص یا منبع رسمی کمک بگیرید.