Зрозуміти довгий текст Віталіка: чому розумні люди повинні дотримуватися «дурних правил»?

Ті теорії "галактичного мозку", які, здається, можуть пояснити все на світі, часто є найнебезпечнішими універсальними виправданнями. Натомість ті, що здаються жорсткими й догматичними "правилами з високою стійкістю", є останньою лінією захисту від самообману.

Автор: Zhixiong Pan

Стаття Vitalik, опублікована кілька тижнів тому — "Galaxy Brain Resistance", насправді досить складна для розуміння, і я не бачив хороших пояснень, тож спробую розібратися сам.

Зрештою, навіть Karpathy, творець терміну Vibe Coding, прочитав цю статтю і зробив нотатки, отже, в ній точно є щось особливе.

Спочатку про назву: що означають Galaxy Brain і Resistance? Зрозумівши це, ви вже матимете уявлення, про що ця стаття.

1️⃣ Galaxy Brain у перекладі означає "галактичний мозок", але насправді це інтернет-мем, подібний до поєднання (🌌🧠), який ви точно бачили.

Спочатку це, звісно, було компліментом, щоб похвалити чиюсь геніальну ідею, тобто розум. Але з часом, коли цей вираз став надто популярним, він набув іронічного відтінку, приблизно як "надто багато думаєш, логіка занадто закручена".

Vitalik тут має на увазі 🌌🧠 саме той тип мислення, коли "за допомогою високого інтелекту проводяться інтелектуальні гімнастики, щоб видати безглузді речі за щось дуже розумне". Наприклад:

- Очевидно, що скорочення штату робиться для економії коштів, але це подається як "постачання суспільству висококваліфікованих кадрів".

- Очевидно, що випуск повітряних токенів — це спосіб обдурити інвесторів, але це називають "наданням можливостей глобальній економіці через децентралізоване управління".

Усе це можна вважати мисленням у стилі "галактичного мозку".

2️⃣ А що таке Resistance (стійкість)? Це поняття легко заплутати, але популярно його можна порівняти з "здатністю не піддаватися маніпуляціям" або "здатністю не бути обдуреним".

Тож Galaxy Brain Resistance — це Resistance to [becoming] Galaxy Brain, тобто "здатність протистояти (перетворенню на) галактичний мозок (дурниці)".

Або, точніше, це описує, наскільки легко певний стиль мислення чи аргументації можна зловживати для "доведення будь-якого бажаного висновку".

Тобто ця "стійкість" може стосуватися певної "теорії", наприклад,

- Теорія з низькою стійкістю (Low Resistance): варто трохи підштовхнути, і вона перетворюється на абсурдну логіку "галактичного мозку".

- Теорія з високою стійкістю (High Resistance): як би її не аналізували, вона залишається незмінною, і її важко перекрутити до абсурду.

Наприклад, Vitalik каже, що в ідеальному суспільстві в законах має бути червона лінія: забороняти щось можна лише тоді, коли можна чітко пояснити, як саме ця дія завдає шкоди чи ризикує конкретній жертві. Такий стандарт має високу стійкість до Galaxy Brain, бо не приймає аргументів на кшталт "мені суб'єктивно не подобається" чи "це аморально", які можна тягнути до безкінечності або залишати розмитими.

3️⃣ Vitalik у статті наводить багато прикладів, навіть ті, які ми часто чуємо, наприклад "лонгтермізм" і "невідворотність".

"Лонгтермізм" дуже вразливий до мислення 🌌🧠, бо його стійкість надзвичайно низька, це майже "чистий чек". Адже "майбутнє" надто далеке й розмите.

- Високостійке твердження: "Це дерево за 10 років виросте на 5 метрів". Це можна перевірити, тут важко збрехати.

- Низькостійкий "лонгтермізм": "Хоча зараз я роблю щось дуже аморальне (наприклад, знищую частину людей чи розв'язую війну), але це заради того, щоб через 500 років людство жило в утопії. За моїми підрахунками, майбутнє щастя буде нескінченним, тож нинішні жертви не мають значення".

Бачите, якщо достатньо розтягнути час, можна виправдати будь-яке зло сьогодення. Як каже Vitalik: "Якщо ваші аргументи можуть довести правомірність будь-чого, то вони не доводять нічого".

Втім, Vitalik визнає, що "довгострокова перспектива важлива", він критикує саме "надмірно розмиті, неперевірювані майбутні вигоди, які перекривають очевидну шкоду зараз".

Ще одна проблемна зона — "невідворотність" (Inevitabilism).

Це улюблений захист у Кремнієвій долині та техно-спільноті.

Аргументація така: "AI замінить людську працю — це історична неминучість, навіть якщо я цього не зроблю, зробить хтось інший. Тому я зараз агресивно розвиваю AI не заради грошей, а щоб іти в ногу з історією".

У чому низька стійкість? Вона ідеально знімає з людини відповідальність. Якщо це "неминуче", то я не маю відповідати за завдану шкоду.

Це також типовий "галактичний мозок": особисту жадобу "заробити/отримати владу" маскують під "я виконую історичну місію".

4️⃣ То що робити з цими "пастками для розумних людей"?

Vitalik пропонує несподівано простий, навіть "незграбний" засіб. Він вважає, що чим розумніша людина, тим більше їй потрібні правила з високою стійкістю, щоб не дати собі "зігратися" у розумові акробатики.

По-перше, дотримуватися "деонтологічної етики" (Deontological Ethics), тобто дитсадкових моральних аксіом.

Не треба рахувати складні рівняння "заради майбутнього людства", поверніться до найжорсткіших принципів:

- Не кради

- Не вбивай невинних

- Не шахраюй

- Поважай свободу інших

Ці правила мають дуже високу стійкість. Вони чорно-білі, без компромісів. Якщо ви намагаєтеся виправдати привласнення коштів користувачів "лонгтермізмом", жорстке правило "не кради" одразу вас зупиняє: вкрав — значить вкрав, не треба прикриватися великою фінансовою революцією.

По-друге, займайте правильну "позицію", навіть у фізичному сенсі.

Як кажуть, "де сидиш, так і думаєш". Якщо ви щодня перебуваєте в "ехо-камері" Сан-Франциско серед прихильників AI-акселераціонізму, зберегти ясність буде важко. Vitalik навіть дає фізичну пораду для високої стійкості: не живіть у районі затоки Сан-Франциско.

5️⃣ Підсумок

Стаття Vitalik насправді попереджає надзвичайно розумних еліт: не думайте, що через свій високий IQ ви можете обійти прості моральні межі.

Ті теорії "галактичного мозку", які, здається, можуть пояснити все на світі, часто є найнебезпечнішими універсальними виправданнями. Натомість ті, що здаються жорсткими й догматичними "правилами з високою стійкістю", є останньою лінією захисту від самообману.