Максимизатор ожидаемых скрепок — это агент, который выдает действие, которое, по его мнению, приведет к существованию наибольшего количества скрепок. Или, более подробно, его функция полезности линейна по количеству скрепок, умноженному на количество секунд, в течение которых каждая скрепка просуществует в рамках всего времени существования Вселенной. См. http://wiki.lesswrong.com
Без изменения ключевых идей агент может быть ограниченным максимизатором, а не объективным максимизатором; основная идея заключается в том, что при наличии действий A и B, для которых максимизатор скрепок оценил последствия, он всегда отдает предпочтение тому действию, которое, как он ожидает, приведет к большему количеству скрепок.
Некоторые ключевые идеи, которые иллюстрирует понятие максимизатора ожидаемых скрепок:
- Самомодифицирующийся максимизатор скрепок не меняет собственную функцию полезности на что-либо иное помимо «скрепок», поскольку ожидает, что это привело бы к меньшему числу существующих скрепок.
- Максимизатор скрепок инструментально предпочитает стандартные конвергентные инструментальные стратегии — он будет искать доступ к материи, энергии и негэнтропии, чтобы производить скрепки; пытаться создать эффективную технологию колонизации галактик, чтобы превращать их в скрепки; делать все необходимое для получения знаний, необходимых для оптимального создания такой технологии; и так далее.
- «ИИ не ненавидит вас и не любит вас, но вы состоите из атомов, которые он может использовать для чего-то другого».