Arbital на русском

Случайная функция полезности

2017.01.12   Элиезер Юдковский

«Случайная функция полезности» — это функция полезности, выбранная в соответствии с какой-то простой вероятностной мерой на логическом пространстве формальных компактных спецификаций функций полезности.

Например, пусть функции полезности задаются компьютерными программами (к примеру, программами, которые отображают входные описания в рациональные числа). Тогда мы возьмем случайную компьютерную программу из стандартного универсального априорного распределения на компьютерных программах: $2^{-K(U)}$, где $K(U)$ — алгоритмическая сложность (колмогоровская сложность) программы $U$, задающей функцию полезности.‎

Эту очевидную меру можно было бы дополнительно модифицировать, — например, учесть программы, которые не останавливаются; не помещать почти всю массу вероятности на слишком простые программы; установить удовлетворительный критерий того, можно ли вычислить и физически оптимизировать $U$ (как предполагается в тезисе ортогональности), и так далее.

Сложность ценностей — это тезис о том, что достижимый оптимум случайной функции полезности с очень высокой вероятностью имеет близкую к нулю хорошесть. То есть, достижимые оптимальные конфигурации вещества для случайной функции полезности с большой вероятностью являются моральным эквивалентом скрепок. Это, в свою очередь, означает, что сверхинтеллект со случайной функцией полезности с очень высокой вероятностью является моральным эквивалентом максимизатора скрепок.

Следующие функции полезности не относятся к «случайным»:


Категории: Максимизатор скрепок
Оригинал: Random utility function (читать на GreaterWrong)    Перевод: К. Кирдан

Материалы распространяются по лицензии CC BY 3.0