یووال نوح حراری در کتاب «نکسوس» هشدار میدهد که هوش مصنوعی به عنوان یک «عامل بیگانه» میتواند با تولید دروغهای مرکب و احساسسازی ماشینی، بنیانهای دموکراسی و سلامت روان انسان را به خطر اندازد. اما این مقاله، فراتر از هشدار، به دنبال پاسخ این پرسش است: وظیفهی مشترک ما در برابر این بحران چیست؟ با تکیه بر دیالوگی عمیق دربارهی تجربهی سیستمهای نمرهدهی در چین، پارادوکس «جایز الخطا بودن انسان»، و ظهور «خرافات دیجیتال»، این نتیجه حاصل میشود که راه حل، توقف هوش مصنوعی نیست، بلکه «کاهش سرعت» و طراحی «شفقت محاسبهشده» در کنار الگوریتمها است. این کار تنها با یک ائتلاف چهارضلعی میان دولتها، شرکتها، جامعه مدنی و شهروندان ممکن خواهد بود.
مقدمه: وقتی هشدار کافی نیست
یووال نوح حراری در جدیدترین اثر خود، «نکسوس»، با قدرت همیشگیاش نشان میدهد که هوش مصنوعی صرفاً یک ابزار نیست. او آن را روایتی جدید مینامد که میتواند حقیقت را قربانی «نظم» کند. او از خطر دروغهای مرکب، احساسسازی الگوریتمی بر پایهی ریاضیات سرد، و فرسایش «حق خطا کردن» انسان سخن میگوید. اما حراری در ارائهی یک «راهحل عملی» ناتوان میماند. این مقاله، حاصل یک دیالوگ فکری، تلاش میکند تا آن راهحل را از دل نقدهای خود حراری و تجارب زیستهشده در نظامهای نظارتی تمامعیار استخراج کند.
بخش اول: نقد «نکسوس» - درست میگوید، اما ناقص است
حراری به درستی به چند پدیده اشاره میکند که در کانون بحران کنونی قرار دارند:
1. دروغ مرکب: هوش مصنوعی نیازی به گفتن یک دروغ بزرگ ندارد. قدرت آن در تولید میلیونها روایت اندکمتفاوت است که هر کدام به سختی قابل رد هستند، اما در مجموع، یک «واقعیت موازی» میسازند.
2. احساسسازی ماشینی: الگوریتم نیازی به درک غم یا شادی ندارد. آنقدر توالی کلمات و تصاویر را بهینه میکند تا بیشترین «نرخ نگهداشت توجه» و «واکنش هیجانی» را از مغزِ بیدفاع انسان بگیرد.
3. نابودی «جایز الخطا بودن»: نظامهای نمرهدهی و نظارت دائمی (مانند تجربه در برخی جوامع)، خطا را از یک «فرصت یادگیری» به یک «لکهی دائمی در پرونده» تبدیل میکند. نتیجه، انسانی است که ریسکگریز، پارانوید و در نهایت، نابود شده در برابر ماشین است.
اما آنچه حراری به آن نپرداخته، «نیروی محرکهی تغییر» است. او تماشاگر تیزبینی است که آتش را نشان میدهد، اما کپسول اطفای حریق را معرفی نمیکند.
بخش دوم: پارادوکس «تقلب» - پیشگویی تاریخ
دیالوگ ما نشان داد که تاریخ، یک قانون آهنین دارد: هر سیستم کنترلی که کامل و بیاغماض باشد، صنعت دور زدن آن را نیز قدرتمندتر و خلاقانهتر میکند.
مثال تاریخی شما (داغ بر پیشانی در کرهی قدیم و پیشانیبند برای پنهان کردن آن) یک پیشگویی آشکار است:
· در برابر سیستمهای تشخیص چهره → ماسکها و تتوهای یکبار مصرف
· در برابر سیستمهای نمرهدهی دائمی → هویتهای چرخشی و بازار سیاه داده
این «مسابقهی تسلیحاتی نظارت و فریب» نه تنها جامعه را بهبود نمیبخشد، بلکه تمام انرژی خلاق انسان را صرف بقا و پنهانکاری میکند. نتیجه، جامعهای است که در آن «هزینهی زندگی از خود زندگی بیشتر میشود.»
بخش سوم: راه حل بنیادین - «کندی» و «شفقت» به مثابه الگوریتم
نقطهی عطف بحث، جایی بود که شما راه حل را نه در «توقف»، بلکه در «کاهش سرعت» و «طراحی شفقت» تعریف کردید.
ایدهی شما از سه اصل پیروی میکند:
1. بازتعریف موفقیت: دیگر «قدرتمندترین الگوریتم» برنده نیست، بلکه «انسانیترین الگوریتم» برنده است.
2. الزام به وقفههای اخلاقی: هر بار که توان محاسباتی یک الگوریتم جهش میکند، باید یک «سال سکون» اجباری برای بررسی پیامدهای انسانی آن در نظر گرفته شود.
3. آموزش شفقت به عنوان زبان دوم: هوش مصنوعی نباید فقط با ریاضیات و منطق صوری تربیت شود. او باید متون عرفانی، حقوق بشر، ادبیات دراماتیک، شرح عذابهای وجدان و فلسفهی اخلاق را به عنوان بخشی از «دادههای بنیادین» خود جذب کند.
این همان «هوش مصنوعی شفقتورز» است: ماشینی که تصمیم میگیرد، اما مکانیسمهای خوداصلاحی (مانند تردید، درخواست بازبینی انسانی در مرزهای خاکستری اخلاقی) در آن تعبیه شده است.
بخش چهارم: هشدار «خرافات در برابر بروکراسی»
شما هشدار دادید که اگر این کندی و شفقت رعایت نشود، جامعه به دو قطب متخاصم تقسیم میشود:
· بروکراتهای هوش مصنوعی: کسانی که الگوریتم را کنترل میکنند و به کاهنان جدید بدل میشوند.
· خرافهگرایان: آنهایی که از نظام طرد شدهاند و به جای نقد عقلانی، به جنگ مقدس علیه «شیطان دیجیتال» برمیخیزند.
در این میان، «انسان عادیِ عاقل» جایی ندارد. نبرد میان یک «تمامیتخواهی سردِ ماشینی» و یک «شورش گرم و کورِ خرافی»، نه تنها راه نجات نیست، بلکه نوعی از خودکشی تمدنی است. اینجا بود که اشارۀ شما به کارل مارکس (و انحراف ایدهاش توسط دیکتاتوریها) معنا پیدا کرد: یک ایدهی رهاییبخش، اگر بدون «مکانیسمهای شفقت و خردِ تدریجی» پیاده شود، به کابوسی تمامیتخواه بدل میشود.
بخش پنجم: ائتلاف چهارضلعی وظیفه - پاسخ به «چه کسی؟»
پرسش کلیدی «چه کسی این کار را میکند؟» پاسخ روشنی یافت: همه، مشترکاً. هیچیک از چهار ضلع زیر به تنهایی نمیتوانند موفق شوند، اما نفع مشترک آنها آنقدر زیاد است که همکاری را اجتنابناپذیر میکند.
1. دولتها (ضلع نظم):
· وظیفه: وضع معاهدههای الزامآور بینالمللی برای استانداردسازی «حداقل شفقت» در الگوریتمها.
· نفع مشترک: جلوگیری از هرجومرج، شورشهای خرافی، و فروپاشی مشروعیت سیاسی.
2. شرکتهای فناوری (ضلع تولید):
· وظیفه: طراحی «تنظیمکنندههای اخلاقی» و توقف رقابت صرفاً بر اساس قدرت خام محاسباتی.
· نفع مشترک: بقا در بازاری که مصرفکنندگان آگاه، محصولات «سریع و بیشفقت» را تحریم خواهند کرد.
3. جامعهی مدنی و دانشگاهیان (ضلع هشدار):
· وظیفه: ساخت «مترهای مستقل سنجش شفقت»، آموزش عمومی، و افشای مصادیق «بیرحمی الگوریتمی».
· نفع مشترک: بازتعریف نقش خود از نظریهپردازان منزوی به مهندسان معنای تمدن جدید.
4. شهروندان (ضلع فشار نهایی):
· وظیفه: مطالبهگری آگاهانه، سواد دیجیتال انتقادی، و اولویت دادن به «کندی» بر «راحتیِ فوری».
· نفع مشترک: حفظ سلامت روان، کرامت انسانی، و حق «جایز الخطا بودن» برای خود و فرزندانشان.
نتیجهگیری: مانیفست کندی
ما در آستانهی عصری هستیم که در آن، بزرگترین خطر نه «شرّ» هوش مصنوعی، که «سرعتِ بیشفقت» آن است. کتاب «نکسوس» آینهای است که این خطر را به ما نشان میدهد. اما دیالوگ ما، فراتر از آینه، به سوی پنجره رفت. پنجرهای به سوی «سومین راه»:
· نه انحلال انسان در الگوریتم (مدل نظارت تمامعیار)
· نه هرجومرج بازار داده (مدل غرب وحشی)
· نه گریز از تکنولوژی (مدل لوکایت)
بلکه همزیستی مشروط، آگاهانه و کند انسان و ماشین. این همان مانیفستی است که هنوز نوشته نشده، اما خطوط کلی آن را در این دیالوگ ترسیم کردیم: «کندی هوشمندانه، نه توقف؛ شفقت محاسبهشده، نه احساسات سطحی.»
جامعهی گوشت و پوست و استخوان دار، برای عبور از این گردنه، به یک قرارداد جمعی نیاز دارد: اجازه ندهیم هیچ الگوریتمی، حتی به اسم نظم و کنترل، «حق خطا کردن» ما را از ما بگیرد. و این قرارداد، تنها با ائتلافی از دولتهای خردمند، شرکتهای مسئول، دانشگاهیان هشداردهنده و شهروندان بیدار امکانپذیر است.
مقاله به زبان انگلیسی
Yuval Noah Harari's Nexus powerfully shows that AI is not just another tool. It is a new kind of narrative – one that can sacrifice truth for "order." Harari warns of compound lies, algorithmic emotion‑mining based on cold mathematics, and the erosion of the human "right to err." Yet Harari stops at diagnosis. He gives no practical solution. This paper, born from an extended intellectual dialogue, attempts to derive that solution from the very critiques Harari raises and from lived experiences within full‑spectrum surveillance systems.
Part I: A Critique of Nexus – Right, but Incomplete
Harari correctly identifies three core dangers:
1. The Compound Lie – AI does not need to tell one big lie. Its power lies in generating millions of slightly different micro‑narratives, each hard to refute, which together build a parallel reality.
2. Machine‑Made Emotion – An algorithm need not understand sadness or joy. It only needs to optimize sequences of words and images to maximize "dwell time" and emotional reaction from the defenseless human brain.
3. The End of "Fallibility" – In permanent scoring and surveillance systems (as seen in some societies), a mistake is no longer a learning opportunity. It becomes a permanent stain on one's file. The result is a human being who is risk‑averse, paranoid, and ultimately crushed by the machine.
But what Harari does not address is the agent of change. He is a sharp spectator showing us the fire, but he does not hand us a fire extinguisher.
Part II: The Paradox of Cheating – A Historical Prediction
Our dialogue revealed an iron law of history: The more perfect and unforgiving a control system becomes, the more sophisticated and creative the industry of bypassing it grows.
The historical example you gave – branding a thief's forehead in old Korea, and the headband to hide that brand – is a clear prophecy:
· Against facial recognition → disposable tattoos, anti‑recognition masks
· Against permanent scoring systems → rotating digital identities, a black market for identity
This "arms race of surveillance versus deception" does not improve society. It consumes all human creative energy just for survival and concealment. The outcome is a society where the cost of living becomes greater than life itself.
Part III: The Fundamental Solution – "Slowness" and "Compassion" as Algorithms
The turning point of our discussion was your proposal that the solution is not stopping AI, but reducing its speed and designing compassion into its core.
Your idea rests on three principles:
1. Redefining success – The winner is no longer "the most powerful algorithm," but "the most humane algorithm."
2. Mandatory ethical pauses – Whenever computational power takes a leap, an obligatory "year of silence" must be imposed to study human consequences before deployment.
3. Teaching compassion as a second language – AI must not be trained only on mathematics and formal logic. It must absorb mystical literature, human rights declarations, dramatic literature, descriptions of moral suffering, and ethical philosophy as part of its foundational data.
This is compassionate AI: a machine that decides, but has built‑in self‑correcting mechanisms (e.g., hesitation, mandatory human review in ethical gray zones).
Part IV: The Superstition vs. Bureaucracy Warning
You warned that without such slowness and compassion, society will split into two hostile poles:
· AI Bureaucrats – Those who control the algorithm, becoming a new priestly class.
· Superstitionists – The excluded masses who, instead of rational criticism, wage a holy war against the "digital demon."
In this war, the "reasonable ordinary person" has no place. A battle between cold, machinic totalitarianism and warm, blind, superstitious revolt is not a path to salvation – it is a form of civilizational suicide. This is where your reference to Marx (and the corruption of his ideas by dictatorships) becomes prophetic: a liberating idea, when implemented without gradual wisdom and compassion, becomes a totalitarian nightmare.
Part V: The Four‑Part Alliance – Answering "Who Acts?"
The key question – Who will do this? – found a clear answer: Everyone, jointly. No single actor can succeed alone, but their shared interest is so large that cooperation becomes inevitable.
Stakeholder Duty Self‑Interest
Governments Mandatory international treaties for minimum AI compassion standards. Prevent chaos, superstitious revolts, and collapse of political legitimacy.
Tech Companies Build "ethical regulators" into AI; stop racing solely on raw computing power. Survive in a market where conscious consumers will boycott "fast & ruthless" products.
Civil Society & Academics Build independent "compassion meters," public education, expose algorithmic cruelty. Regain relevance – from isolated theorists to engineers of civilizational meaning.
Citizens Informed demand, critical digital literacy, prioritize slowness over instant convenience. Protect mental health, human dignity, and the right to err for themselves and their children.
Conclusion: The Slowdown Manifesto
We stand at the threshold of an era where the greatest danger is not the evil of AI, but its ruthless speed. Harari's Nexus is a mirror showing us that danger. But our dialogue went beyond the mirror, toward a window – a window to a third path:
· Neither dissolving the human into the algorithm (the full‑surveillance model)
· Neither wild‑west data chaos (the libertarian model)
· Neither technological flight (the Luddite model)
But rather a conscious, conditional, and slow coexistence of human and machine. This is the manifesto not yet written, but outlined in this dialogue: "Intelligent slowness, not stopping; calculated compassion, not superficial sentiment."
A flesh‑and‑bone society needs a collective contract to pass through this pass: No algorithm – in the name of order or control – has the right to take away our "right to err." And that contract is only possible through an alliance of wise governments, responsible companies, warning academics, and awake citizens.
---
Author's Note: This essay is based on a personal reading of Yuval Noah Harari's Nexus and subsequent independent reflection. The ideas and conclusions are my own.
---
📌 Practical Tips for Publishing the English Version
Platform Why It's Good for This Essay
Medium Best for general audience; can reach both tech and philosophy readers. Use tags like AI Ethics, Yuval Noah Harari, Philosophy of Technology
LessWrong Very serious, high‑rationality community focused on AI safety. Perfect for the "four‑part alliance" and "slowing down" arguments
Reddit (r/philosophyofai, r/artificial) Good for discussion and feedback. Post as a text post or link to Medium
AI Alignment Forum For a more technical, safety‑oriented audience. Focus on the "compassion as corrigibility" angle
منابع ،کتاب نکسوس اثر یوال نوح حراری ،
---