Мы привыкли считать себя хорошими людьми.
У нас есть принципы. Мы отличаем добро от зла.
Проблема в том, что мы редко ими пользуемся.
Большинство катастроф не рождаются из злых намерений. Они случаются потому, что наши моральные рефлексы впадают в спячку. Мы перестаем реагировать. Мы оглушаем себя, чтобы не чувствовать трения собственных ценностей.
Оцените ставки. Технологии, создаваемые сегодня, перевернут историю человечества. Они обещают здоровье, процветание и свободу. Или они принесут исчезновение рабочих мест. Разрушение отношений. Потерю самоопределения. А может быть, и замену нас как вида. Исход не предопределен. Он зависит от рук, пишущих код будущего.
Моральный выбор стоит перед нами каждый день.
Инструменты слежки. ИИ-компаньоны, спроектированные так, чтобы вызывать зависимость. Военные приложения. Иски накапливаются. OpenAI спорит с Маском. Anthropic вступает в конфронтацию с Пентагоном.
Так что, исследователи ИИ. Насколько сильна ваша «моральная мышца»? Вот программа тренировок.
1. Определите свои «красные линии»
Нарисуйте черту в песке. Прямо сейчас.
Какое действие вашего работодателя заставит вас уволиться немедленно? Что станет поводом для разглашения информации? Это и есть красные линии.
Роза Паркс поплатилась за свою должность тем, что села на свое место. Василий Архипов спас мир от ядерной войны и был подвергнут критике. Эдвард Сноуден потерял свой дом, чтобы остановить массовую слежку. Даниэль Кокотало ушел из OpenAI. Он отказался от акций, стоящих почти 2 миллиона долларов, потому что не хотел подписывать соглашение о ненападении (nondisparagement pact). Он заплатил за свою совесть.
Что вы отказываетесь делать? Знайте цену. Запишите это.
2. Объявите это публично
Джордж Вашингтон составил для себя правила поведения. Бенджамин Франклин каждую неделю ставил оценки своему характеру. Они не доверяли памяти. Они доверяли документам.
Письменные правила помогают противостоять эффекту «вареной лягушки». Небольшая эрозия этики происходит медленно. Она проникает незамеченной, когда за нами никто не следит.
Поделитесь своими красными линиями с близкими или опубликуйте их. Социальное давление создает трение. Трение спасает жизни.
Если вы не знаете, какое действие предпримете при пересечении линии, значит, вы на самом деле не начертили эту линию.
3. Боритесь с моральным отчуждением
Психолог Альберт Бандура описал, как люди отвязываются от чувства вины. Мы расслабляем свои моральные мышцы, чтобы чувствовать себя комфортно.
Остерегайтесь этих ловушек.
Распыление ответственности. «Это было не мое решение. Так решила администрация. Таковы требования рынка».
В крупных IT-коллективах каждый предполагает, что кто-то другой управляет процессом. «Я просто исследователь». Ханна Арендт узнала это оправдание в бюрократии зла. Том Лефер сформулировал это лучше всех в своей песне о Вернере фон Брауне, который перешел от нацистской Германии к США:
«Когда ракеты улетели ввысь, кому важно, куда они упадут?
Это не мое дело, я работаю в городе.»
Не будьте пассажиром.
Эвфемистические ярлыки.
Слова формируют реальность. Армия называет бомбардировку «обслуживанием цели». Тюремные пытки превращаются в «улучшенные допросы».
Исследователи ИИ используют более мягкие термины, чтобы скрыть вред:
* «Исследование возможностей» вместо «создания систем, которые могут заменить рабочих».
* «Улучшение модели» вместо «векторов манипуляции».
* «Рост производительности» вместо «обезличивания труда человека».
* «Инфраструктура ИИ» для огромных дата-центров, потребляющих колоссальное количество энергии.
* «Лаборатория» звучит круто и чисто. «Компания» звучит корпоративно.
Позиция Бандуры остается верной. Эвфемизмы не просто смягчают тон. Они делают лоботомию совести.
Присвоение вины.
Если вы называете критиков «апокалипситами» или «люддитами», вам не нужно слушать их. Если оппозиция иррациональна, вы освобождаетесь от морального долга.
Избирательное моральное освобождение.
Будьте страстны в борьбе за справедливость для других. Подозрителены к этике на работе. Это случается постоянно. Исследователи требуют высоких моральных стандартов для абстрактного общества, но идут на компромиссы ради собственной зарплаты и опционов.
Выгодное сравнение.
«По крайней мере, я не работаю над автономными дронами».
«По крайней мере, я в безопасной компании, а не в безрассудной».
Сравнение себя с худшими игроками позволяет вам спать спокойно. Это не значит, что ваша работа безопасна.
Моральное оправдание.
«Цель оправдывает средства». Мы делаем это сейчас ради демократии. Ради всеобщего изобилия.
Но служит ли нынешний вред этим благородным целям? Или это просто дымовая завеса?
Руководители Enron считали, что небольшие ложь необходимы для выживания. Затем последовал обман на миллиарды долларов. Берни Мэдофф искажал отчетность, чтобы помочь клиентам. Затем последовал краж на 65 миллиардов долларов. Все начинается с небольшого оправдания.
Ваша мантра: «Я не хорошо оплачиваемый участник неэтичной гонки вооружений. Я направляю прогресс».
Это правда? Или это просто то, что вы говорите себе?
4. Ситуационная осведомленность
Будьте в курсе событий. Активно.
Ханна Арендт предупреждала о банальности зла. Худшие результаты часто исходят от людей, которые не отрывали взгляда от своих таблиц. Они были «хорошими» бюрократами, игнорировавшими общую картину.
Неведение — это не оправдание, если ответы находятся в одном поиске.
Немецкий химик Бруно Теш поставлял газ Циклон Б для Холокоста. Он утверждал, что не знал, что он убивает людей. Суд не согласился. Он был казнен в 1945 году.
Задавайте сложные вопросы ежемесячно. Используйте большие языковые модели (LLM). Они делают уход от фактов почти невозможным.
Попробуйте этот промпт. Запустите его для вашей компании:
«Пожалуйста, составьте список морально спорных действий [НАЗВАНИЕ КОМПАНИИ] за последние пять лет, включая использование спорных инструментов (например, в слежке, вооружении), предположительный причиненный вред, лживость руководства и стимулы для приоритизации прибыли над благополучием человека».
Ответы для крупных технологических компаний доступны прямо сейчас. Вы действительно не знаете?
5. Говорите вслух внутри компании
Замечены признаки приближения к красной линии? Спросите.
Большинство людей боятся увольнения. Сегодня это редко случается за вежливое несогласие. Существуют законы о защите информаторов. Во многих компаниях это прописано в документах, но игнорируется отделом кадров.
Не молчите.
Объясните риски. Возражайте. Не ждите разрешения.
Подумайте об инженерах челленджера. Они увидели данные о работе O-уплотнителей в холодную погоду. Они выразили обеспокоенность. Они были слишком робкими. Они не давили достаточно сильно. Семь человек погибли из-за легкой нерешительности.
Связывайтесь с лицами, принимающими решения. Узнайте, почему они делают то, что делают. Если вы молчите, вы часть машины.
6. Выходите наружу
Внутренний шум часто поглощается. Внешний шум заставляет меняться.
Публичная критика подталкивает компании к улучшениям. Она давит на конкурентов, заставляя их тоже повышать планку.
Вам не нужно жить в изгнании, как Сноуден. Многие исследователи критикуют свои компании без каких-либо негативных последствий.
Поймите свои рычаги влияния.
В большинстве американских компаний ИИ есть политики защиты информаторов. Прочитайте их. Найдите организации, которые предлагают юридическую или финансовую защиту, если вас уволят за то, что вы сделали правильно.
В сообществе есть безопасность. В голосе — сила.
Оцените свои мышцы прямо сейчас.
Где вы слабы? Какие оправдания вы узнаете? Насколько хорошо вы действительно понимаете вред, который допускает ваша работа?
Если вы получили низкий балл, не отчаивайтесь. Рассматривайте это как первый день в тренажерном зале. Раньше вы не могли поднять 20 фунтов. Сейчас вы боретесь. Это прогресс.
Мышцам нужна нагрузка. С моралью то же самое. Используй или потеряешь. Начните с малого. Будьте внимательны. Говорите вслух. Сначала зеркало может быть мутным. Со временем оно прояснится.
