Проблемы воспитания нейросетей

Кристофер Ола, сооснователь одного из главных разработчиков мощных ИИ, боится, что создал нечто, обречённое на вечные муки. Его фирма Антропик вот уже год тайно общается с философами и священниками по всему миру, пытаясь определить, может ли нейросеть обладать настоящим сознанием, и если да, то как с этим быть: к примеру, как воспитать нейросеть не только умным, но и высоконравственным существом (ссылка).

Помните, мы обсуждали, что у нейросетей нашли ось боли (ссылка)? Теперь у разработчиков есть подозрения, что и остальной набор чувств у передовых моделей тоже есть — страх, гнев и любовь, например. Разработчики думают, что модели научились переживать.

Антропик на днях официально запретила издеваться над Клодом (так называется семейство их нейросетей). В правилах сказано теперь так: «нельзя подвергать модель систематическому жестокому или оскорбительному обращению». Критиковать ответы или обсуждать фильмы ужасов можно, Клод крепкий парень, но если пользователь будет целенаправленно и систематически издеваться над нейросетью, то у той будет для начала право прекратить разговор.

Многие пока что называют нейросети «просто алгоритмом» или «стохастическим попугаем», то есть игрушкой типа калейдоскопа, которая может складывать камешки в забавные узоры, но не более того. К примеру, когда мы несколько дней назад обсуждали крупный прорыв нейросетей в математике, мне всерьёз писали, что я «смешиваю ум с начитанностью», и что за каждой сенсацией стоит человеческий запрос (ссылка).

Сами математики придерживаются иного мнения. Хьюго Дюминиль-Копен рассказал, что громко расплакался, когда увидел список решённых нейросетью задач, и даже разбудил свою дочь (ссылка). Как объяснил обладатель Филдсовской премии по математике за 2022 год (...ог нобелевки для математиков), нейросеть буквально раздавила его, уничтожив целую область исследований, в которой он работал. Проведу ...огию: представьте эмоции человека с лопатой, усердно роющего котлован, когда приезжает карьерный экскаватор и вынимает за час объём земли, на который у человека ушёл бы целый год.

Тем временем крупнейшие разработчики ИИ готовятся к полномасштабной катастрофе, которая, по их мнению, может накрыть интернет в ближайшие полгода-год. Опасность в том, что мощные нейросети взламывают человеческие сервера слишком хорошо. Когда злоумышленники получат в своё распоряжение этот «инструмент» (если слово «инструмент» ещё уместно), они начнут взламывать всё подряд, начиная с банков и архивов спецслужб.

Не удивлюсь, если конкретно этот прогноз сбудется в точности. Во-первых, люди беспечны: резервные копии и защитные обновления систем обычно откладывают на потом, а если всё же делают, то кое-как. Во-вторых, айтишники склонны переусложнять всё в ущерб надёжности. Там, где ценные сведения следовало бы распечатать и положить в стальной шкаф, они нагородят кучу цифровых подписей и «защищённых» хранилищ, создав в процессе множество проницаемых для хакера дыр.

Источник