ویرگول
ورودثبت نام
نادر رنجه
نادر رنجهنادر رنجه | مدرس حکمرانی و استراتژی داده در سازمان اداری و استخدامی کشور؛ جستجوگر و علاقه‌مند به توسعه ایران. درباره داده، هوش مصنوعی و بهبود تصمیم‌گیری و خدمات عمومی می‌نویسم.
نادر رنجه
نادر رنجه
خواندن ۸ دقیقه·۱۳ روز پیش

هوش مصنوعی تصمیم می‌گیرد؛ اما چه کسی پاسخ‌گوست؟

هوش مصنوعی دیگر فقط پاسخ تولید نمی‌کند. در بسیاری از سازمان‌ها، مدل‌های هوشمند اعتبار افراد را ارزیابی می‌کنند، پرونده‌ها را اولویت‌بندی می‌کنند، تقلب را تشخیص می‌دهند، متقاضیان دریافت خدمات را بررسی می‌کنند و حتی بخشی از فرایند تصمیم‌گیری را به‌طور مستقل پیش می‌برند.

این تحول یک پرسش اساسی ایجاد می‌کند: اگر تصمیم یک سامانه هوشمند بر حق، منفعت، فرصت یا دسترسی یک شهروند به خدمات عمومی اثر بگذارد و آن تصمیم مورد اعتراض قرار گیرد، چه کسی باید پاسخ‌گو باشد؟ آیا سازمان می‌تواند توضیح دهد تصمیم بر اساس چه داده‌هایی، با چه منطقی و تحت نظارت چه فرد یا نهادی اتخاذ شده است؟

گزارش «تأثیر داده و هوش مصنوعی: اقتصاد جدید اعتماد» که در سپتامبر ۲۰۲۶ از سوی SAS و با پشتیبانی پژوهشی IDC منتشر شده، تلاش می‌کند به همین مسئله پاسخ دهد. این گزارش بر پایه دیدگاه ۲۶۹۹ تصمیم‌گیر در ۲۸ کشور و چهار حوزه بانکداری، بیمه، علوم زیستی و بخش عمومی تهیه شده است.

پیام اصلی گزارش روشن است: ارزش واقعی هوش مصنوعی فقط از قدرت مدل حاصل نمی‌شود؛ بلکه به توان سازمان برای اثبات کیفیت، شفافیت، انصاف، نظارت و پاسخ‌گویی آن بستگی دارد.

اعتماد و قابل‌اعتمادبودن یکسان نیستند

یکی از مهم‌ترین نکات گزارش، تفکیک میان دو مفهوم «اعتماد ادراک‌شده» و «قابل‌اعتمادبودن» است.

اعتماد ادراک‌شده (Perceived Trust) نشان می‌دهد مدیران، کارکنان و کاربران تا چه اندازه به هوش مصنوعی اطمینان دارند. این اعتماد می‌تواند بر تجربه شخصی، شهرت یک فناوری، تبلیغات یا برداشت ذهنی افراد استوار باشد.

در مقابل، قابل‌اعتمادبودن (Trustworthiness) به سازوکارها و قابلیت‌های عینی سازمان مربوط است؛ یعنی آیا کیفیت داده کنترل می‌شود؟ آیا مدل تحت نظارت است؟ آیا تصمیم آن قابل توضیح است؟ آیا امکان ممیزی وجود دارد؟ آیا مسئولیت‌ها مشخص‌اند؟ و آیا سازمان می‌تواند در برابر پیامدهای تصمیم پاسخ‌گو باشد؟

بر اساس گزارش، امتیاز جهانی اعتماد ادراک‌شده به هوش مصنوعی ۷۰٫۷ از ۱۰۰ و امتیاز قابل‌اعتمادبودن ۶۱٫۳ است. فاصله این دو شاخص نسبت به سال قبل از ۲۳٫۳ به ۹٫۴ واحد کاهش یافته است. این کاهش نشان می‌دهد سازمان‌ها در حال ایجاد کنترل‌ها و زیرساخت‌های واقعی اعتماد هستند؛ هرچند هنوز میان تصور کاربران و توان اثبات‌شده سازمان‌ها فاصله وجود دارد.

این تمایز برای سیاست‌گذاری اهمیت زیادی دارد. اعتماد عمومی را نمی‌توان صرفاً با اعلام اینکه یک سامانه دقیق یا امن است ایجاد کرد. سازمان باید بتواند با شواهد نشان دهد که سامانه واقعاً شایسته اعتماد است.

هرچه اختیار هوش مصنوعی بیشتر می‌شود، اعتماد کاهش می‌یابد

یافته مهم دیگر گزارش به تفاوت میان هوش مصنوعی مولد و هوش مصنوعی عامل‌محور مربوط است.

اعتماد پاسخ‌دهندگان به هوش مصنوعی مولد ۷۶ درصد بوده است؛ اما این رقم برای هوش مصنوعی عامل‌محور که می‌تواند برنامه‌ریزی کند، چند مرحله را پیش ببرد و اقدام انجام دهد، به ۶۶ درصد کاهش می‌یابد. در همین حال، ۸۹ درصد پاسخ‌دهندگان گفته‌اند عامل‌های هوش مصنوعی آنها به‌نوعی در تصمیم‌گیری نقش دارند.

این اعداد یک شکاف مهم را آشکار می‌کنند: استفاده عملی از هوش مصنوعی خودمختار، سریع‌تر از اعتماد و نظام نظارت بر آن توسعه یافته است.

این وضعیت در بخش عمومی حساس‌تر است؛ زیرا یک تصمیم نادرست ممکن است بر ایمنی، حقوق اشخاص، دسترسی به خدمات، فرصت‌های اقتصادی یا اعتماد عمومی اثر بگذارد. در چنین محیطی، دقت فنی شرط لازم است، اما کافی نیست. حدود اختیار سامانه، نقاط مداخله انسان و مسئول پاسخ‌گویی نیز باید از ابتدا مشخص شوند.

چرا انسان تصمیم هوش مصنوعی را کنار می‌گذارد؟

بر اساس گزارش، ۷۹ درصد سازمان‌ها در بیش از ۱۰ درصد موارد، توصیه هوش مصنوعی را تغییر می‌دهند یا کنار می‌گذارند. دلایل این مداخله انسانی به‌ترتیب عبارت‌اند از:

  • نبود توضیح کافی یا شفافیت: ۳۴٫۵ درصد

  • درنظرنگرفتن کامل زمینه تصمیم: ۲۵٫۶ درصد

  • سوگیری، بی‌عدالتی یا مشکل اخلاقی: ۱۶٫۹ درصد

  • نادرستی واقعی یا کیفیت ناکافی خروجی: ۱۴٫۸ درصد

  • ناایمن یا پرخطر بودن تصمیم: ۸٫۳ درصد

نکته قابل تأمل این است که «اشتباه‌بودن پاسخ» در جایگاه نخست قرار ندارد. در بسیاری از موارد، کاربر به این دلیل در تصمیم مداخله می‌کند که نمی‌تواند منطق آن را بفهمد یا اطمینان یابد که همه شرایط و اطلاعات مرتبط در نظر گرفته شده‌اند.

نبود توضیح و نادیده‌گرفتن زمینه، در مجموع بیش از ۶۰ درصد دلایل مداخله را تشکیل می‌دهند. بنابراین ممکن است یک خروجی از نظر فنی درست باشد، اما چون مسیر رسیدن به آن قابل مشاهده نیست، کاربر حاضر نباشد مسئولیت پذیرش آن را بر عهده بگیرد.

از این منظر، توضیح‌پذیری یک ویژگی تزئینی برای سامانه نیست؛ بخشی از زیرساخت پاسخ‌گویی سازمانی است.

پنج پایه هوش مصنوعی قابل‌اعتماد

گزارش، قابل‌اعتمادبودن هوش مصنوعی را بر اساس پنج بُعد ارزیابی می‌کند:

۱. کیفیت و حکمرانی داده (Data Quality & Governance): اطمینان از صحت، کامل‌بودن، انسجام، به‌هنگام‌بودن و قابلیت ردیابی داده‌های مورد استفاده.

۲. حکمرانی و نظارت بر مدل (Model Governance & Oversight): تعیین ضوابط توسعه، تصویب، تغییر، پایش و توقف مدل و مشخص‌کردن نقاط مداخله انسان.

۳. توضیح‌پذیری و انصاف (Explainability & Fairness): توان توضیح منطق تصمیم، شناسایی سوگیری و بررسی آثار متفاوت سامانه بر گروه‌های مختلف.

۴. خط‌مشی هوش مصنوعی مسئولانه (Responsible AI Policy): تعیین اصول، حدود استفاده، الزامات اخلاقی و ضوابط قانونی و آموزش آنها به مدیران و کارکنان.

۵. ممیزی و پاسخ‌گویی (Audit & Accountability): ثبت شواهد، نگهداری سوابق تصمیم، تعیین مسئولیت‌ها و فراهم‌کردن امکان بررسی مستقل و رسیدگی به اعتراض‌ها.

در سطح جهانی، «خط‌مشی هوش مصنوعی مسئولانه» با امتیاز ۶۷٫۵ بالاترین جایگاه را دارد. در مقابل، «حکمرانی و نظارت بر مدل» با امتیاز ۵۸٫۹ و «کیفیت و حکمرانی داده» با امتیاز ۵۹٫۵ در رتبه‌های پایین‌تر قرار گرفته‌اند.

این الگو نشان می‌دهد تدوین سیاست، تعیین اصول و تهیه اسناد سریع‌تر از ایجاد زیرساخت‌های داده‌ای و کنترل‌های فنی پیش رفته است. نوشتن ضابطه نسبتاً آسان‌تر است؛ اما ایجاد تبارشناسی داده، پایش مستمر مدل، ثبت تغییرات و نمایش منطق تصمیم به سرمایه‌گذاری فنی و سازمانی مداوم نیاز دارد.

بلوغ داده؛ پیش‌شرط هوش مصنوعی قابل‌اعتماد

فقط ۱۷٫۵ درصد سازمان‌های بررسی‌شده، زیرساخت داده خود را در بالاترین سطح بلوغ، یعنی «بهینه‌شده»، ارزیابی کرده‌اند. بیشتر سازمان‌ها در حالی هوش مصنوعی را توسعه می‌دهند که زیرساخت داده آنها هنوز از تبارشناسی، اعتبارسنجی و توضیح‌پذیری مورد نیاز سامانه‌های خودمختار پشتیبانی کامل نمی‌کند.

مقایسه سازمان‌های دارای زیرساخت داده بهینه‌شده با سازمان‌های دارای وضعیت موردی نشان می‌دهد گروه نخست:

  • ۶ برابر بیشتر ابزارهای کیفیت داده را برای تمام پروژه‌های هوش مصنوعی الزامی می‌کنند؛

  • ۶ برابر بیشتر کنترل‌های توضیح‌پذیری دارند؛

  • ۵ برابر بیشتر اعتبارسنجی و پایش مستمر و خودکار انجام می‌دهند؛

  • نزدیک به ۴ برابر بیشتر انتظار بازده قوی از سرمایه‌گذاری هوش مصنوعی دارند.

پیام این بخش برای مدیران روشن است: نمی‌توان پروژه هوش مصنوعی را مستقل از بلوغ حکمرانی داده ارزیابی کرد. اگر منشأ داده، کیفیت آن، مجوز دسترسی و تغییرات اعمال‌شده بر آن مشخص نباشد، توضیح و دفاع از تصمیم مدل نیز ممکن نخواهد بود.

آیا حکمرانی مانع سرعت است؟

گاهی حکمرانی به‌عنوان مجموعه‌ای از محدودیت‌ها و کنترل‌های بازدارنده تلقی می‌شود؛ درحالی‌که یافته‌های گزارش تصویر دیگری ارائه می‌دهد.

سازمان‌های دارای امتیاز بالای قابل‌اعتمادبودن، ۱۵ برابر بیشتر از سازمان‌های ضعیف، بازده قوی یا بسیار قوی گزارش کرده‌اند؛ ۶۲ درصد در برابر ۴ درصد. این آمار به این معنا نیست که میزان بازده آنها ۱۵ برابر است؛ بلکه احتمال گزارش بازده قوی در این گروه ۱۵ برابر بیشتر بوده است.

این سازمان‌ها به‌جای باقی‌ماندن در مرحله آزمایش، هوش مصنوعی را با اطمینان بیشتری وارد فرایندهای واقعی می‌کنند. اعتبارسنجی مستمر، مشکلات را پیش از استقرار شناسایی می‌کند؛ توضیح‌پذیری، نیاز به بازبینی دستی را کاهش می‌دهد؛ و تعیین مسئولیت، تصمیم‌گیری درباره حدود مجاز استفاده را سریع‌تر می‌کند.

بنابراین، حکمرانی هوش مصنوعی سرعت‌گیر تحول نیست؛ زیرساختی است که امکان حرکت سریع‌تر، ایمن‌تر و در مقیاس بزرگ‌تر را فراهم می‌کند.

وضعیت بخش عمومی؛ سیاست جلوتر از زیرساخت

بخش عمومی با امتیاز کلی ۵۵٫۵ از ۱۰۰، در هر پنج بُعد قابل‌اعتمادبودن از بانکداری، بیمه و علوم زیستی عقب‌تر است:

  • کیفیت و حکمرانی داده: ۵۲

  • حکمرانی و نظارت بر مدل: ۵۲٫۳

  • توضیح‌پذیری و انصاف: ۵۲٫۶

  • ممیزی و پاسخ‌گویی: ۵۴٫۷

  • خط‌مشی هوش مصنوعی مسئولانه: ۶۰٫۵

بالاتربودن امتیاز خط‌مشی و پایین‌بودن کیفیت و حکمرانی داده، نشانه یک شکاف آشناست: دولت‌ها در تدوین سیاست، اصول و دستورالعمل پیشرفت بیشتری داشته‌اند، اما زیرساخت داده، سازوکارهای نظارت عملیاتی و قابلیت توضیح تصمیم هنوز به همان اندازه توسعه نیافته‌اند.

تفاوت میان سازمان‌های پیشرو و ضعیف بخش عمومی نیز چشمگیر است. ۹۱ درصد سازمان‌های پیشرو، خط‌مشی هوش مصنوعی مسئولانه را به همه کارکنان آموزش داده‌اند؛ این رقم در سازمان‌های ضعیف فقط ۵ درصد است. همچنین ۵۰ درصد پیشروها بازده قوی یا بسیار قوی گزارش کرده‌اند، درحالی‌که این رقم برای سازمان‌های ضعیف ۴ درصد بوده است.

این یافته نشان می‌دهد داشتن یک سند کافی نیست. سیاست باید به آموزش، تقسیم مسئولیت، فرایند تصویب، کنترل فنی، پایش و رفتار روزمره کارکنان تبدیل شود.

این گزارش برای نظام اداری ایران چه پیامی دارد؟

با گسترش استفاده از هوش مصنوعی در دستگاه‌های اجرایی، ارزیابی پروژه‌ها نباید فقط بر قابلیت‌های فنی، سرعت پردازش یا میزان کاهش هزینه متمرکز باشد. پیش از اجرای هر سامانه‌ای که بر تصمیم‌های اداری یا ارائه خدمت به مردم اثر می‌گذارد، باید به چند پرسش پاسخ داده شود:

  • مسئله عمومی یا اداری مورد نظر دقیقاً چیست و چرا هوش مصنوعی برای حل آن انتخاب شده است؟

  • داده‌های مبنای تصمیم از کجا آمده‌اند و کیفیت آنها چگونه سنجیده می‌شود؟

  • چه کسی اجازه ایجاد، تغییر، استقرار یا توقف مدل را دارد؟

  • در چه شرایطی مداخله و تأیید انسان الزامی است؟

  • آیا منطق تصمیم برای مدیر، ناظر و شهروند قابل توضیح است؟

  • سوگیری و آثار ناعادلانه چگونه شناسایی و اصلاح می‌شوند؟

  • مسئول پاسخ‌گویی درباره نتیجه چه شخص یا واحدی است؟

  • شهروند چگونه می‌تواند تصمیم را مشاهده، اصلاح یا به آن اعتراض کند؟

  • آیا سوابق داده، نسخه مدل و مسیر تصمیم برای ممیزی نگهداری می‌شود؟

پاسخ روشن به این پرسش‌ها باید بخشی از معیار تصویب و ارزیابی پروژه‌های هوش مصنوعی در دستگاه‌های اجرایی باشد. در غیر این صورت، ممکن است سامانه‌ای از نظر فنی پیشرفته باشد، اما از منظر حقوق شهروندی، پاسخ‌گویی اداری و اعتماد عمومی آمادگی بهره‌برداری نداشته باشد.

جمع‌بندی

مهم‌ترین نتیجه گزارش این است که مزیت آینده متعلق به سازمانی نیست که بیشترین تعداد ابزارهای هوش مصنوعی را به کار می‌گیرد؛ بلکه متعلق به سازمانی است که می‌تواند با اطمینان، شفافیت و پاسخ‌گویی بیشتری از آنها استفاده کند.

هوش مصنوعی قابل‌اعتماد از کیفیت داده آغاز می‌شود، با حکمرانی و نظارت بر مدل ادامه می‌یابد و با توضیح‌پذیری، ممیزی و پاسخ‌گویی معنا پیدا می‌کند. اگر سازمان نتواند توضیح دهد که یک تصمیم چگونه و بر اساس چه داده‌ای اتخاذ شده است، هنوز برای واگذاری تصمیم‌های مهم به هوش مصنوعی آماده نیست.

در نهایت، آزمون واقعی هوش مصنوعی در دولت این نیست که آیا سامانه می‌تواند تصمیم بگیرد؛ بلکه این است که آیا دولت می‌تواند مسئولیت آن تصمیم را بپذیرد، آن را توضیح دهد و در برابر مردم از آن دفاع کند؟


منبع

SAS & IDC. (2026). Data and AI Impact Report: The New Economics of Trust. September 2026



هوش مصنوعیکیفیتسازمان هااعتماد
۲
۰
نادر رنجه
نادر رنجه
نادر رنجه | مدرس حکمرانی و استراتژی داده در سازمان اداری و استخدامی کشور؛ جستجوگر و علاقه‌مند به توسعه ایران. درباره داده، هوش مصنوعی و بهبود تصمیم‌گیری و خدمات عمومی می‌نویسم.
شاید از این پست‌ها خوشتان بیاید