В контексте согласования ИИ «скрепкой» называется любая конфигурация материи, которая покажется скучной и не имеющей ценности даже с очень космополитичной точки зрения.

Если бы какая-то странная физическая катастрофа, распространяющаяся со скоростью света, навсегда превратила всю затронутую ей материю в скрепки, это было бы морально эквивалентно физической катастрофе, полностью уничтожающей достижимую Вселенную. У нас не может быть никакого глубокого морального прозрения, расширения перспективы и понимания, которое заставило бы нас осознать, что маленькие изогнутые кусочки металла без каких-либо мыслей или внутренних переживаний — это лучшее возможное использование наших космических дарований. Это правда, что мы не знаем, какие прозрения могут ожидать нас в будущем, но конкретно это прозрение-о-скрепках выглядит маловероятным. Если у вас есть искушение поспорить с этим утверждением применительно к настоящим неметафорическим скрепкам, то вы, наверное, перебарщиваете. Вот почему мы рассматриваем настоящие неметафорические скрепки лишь как пример «скрепок».

С нашей точки зрения, любая сущность, которая действительно преобразовывала бы почти всю доступную материю в буквальные настоящие неметафорические скрепки, делала бы что-то невероятно бессмысленное; в этом поступке почти наверняка не было бы никакой скрытой мудрости, которую мы могли бы уловить при более глубоком изучении или дальнейшем росте наших собственных интеллектуальных способностей. Исходя из определения, это в равной степени справедливо и для чего-то более общего, называемого максимизатором скрепок. Все утверждения о «скрепках» или максимизаторе «скрепок» (например, утверждение о том, что такая сущность может существовать без каких-либо особых интеллектуальных дефектов) без каких-либо изменений должны остаться справедливыми и для реальных скрепок. Настоящие скрепки призваны быть центральным примером «скрепок».

Единственное отличие между скрепками и «скрепками» состоит в том, что категория «скрепки» гораздо шире категории «настоящие неметафорические скрепки» и включает в себя намного больше специфических конфигураций материи. Карандашные ластики, крошечные молекулярные смайлики и огромные куски алмазов — все это «скрепки». Даже с учетом тезиса ортогональности ошибка в согласовании ценностей вряд ли реально привела бы к появлению ИИ, максимизирующего реальные неметафорические скрепки; но лишь по той причине, что есть множество других возможностей. Столкновение с «максимизатором красных реальных скрепок» в реальной жизни было бы еще менее вероятным, чем с простым максимизатором реальных скрепок; но это не потому, что покраснение как-то противоречит природе разумных целей. Условие «покраснения» — это просто еще одно усложнение спецификации, которое снижает вероятность именно такого исхода.

Популярная пресса иногда искажала идею максимизатора скрепок, превращая ее в историю об ИИ, который управляет фабрикой по производству скрепок и захватывает вселенную. (Излишне говорить, что ИИ, используемый на предприятии по производству скрепок, вряд ли будет относиться к передовым исследовательским ИИ.) Идея «скрепки» заключается не в том, что это какая-то явная цель, которую кто-то по глупости поставил перед ИИ, или даже вообще какая-то по-человечески понятная цель. Чтобы представить себе центральный пример предполагаемого максимизатора скрепок, представьте себе ИИ исследовательского уровня, который не сохраняет стабильно то, что предполагалось его создателями как его функция полезности, или ИИ с плохо заданным правилом обучения ценностям, и так далее; такой, что конфигурация материи, которая на деле привела бы к максимальному значению функции полезности ИИ, выглядит как крошечная цепочка атомов в форме скрепки.