Arbital на русском

Рефлексивная последовательность

Система принятия решений является «рефлексивно последовательной», если она может одобрить создание точно таких же систем принятия решений. Например, если у вас есть удовлетворитель ожидаемой полезности (он либо выполняет пустое действие, либо действие с ожидаемой полезностью, превышающей $\theta$), то этот агент может модифицировать себя в любого другого агента, устроенного так, что он тоже либо не предпринимает никаких действий, либо утверждает план с ожидаемой полезностью большей, чем $\theta$. Он мог бы одобрить и превращение себя в максимизатора ожидаемой полезности (если ожидает, что сама эта самомодификация приведет к ожидаемой полезности не меньше $\theta$), но, по меньшей мере, одобрит замену себя другим удовлетворителем ожидаемой полезности. С другой стороны, сторонник причинной теории принятия решений, получивший возможность самомодифицироваться, одобрит создание лишь того, что не является сторонником причинной теории принятия решений. Свойство удовлетворяет более строгому условию рефлексивной устойчивости, если системы принятия решений с этим свойством одобряют замену себя лишь теми системами, которые тоже обладают этим свойством. Например, максимизатор скрепок при обычных обстоятельствах одобряет только те изменения своего кода, которые сохраняют свойство максимизации скрепок, поэтому «желание делать скрепки» рефлексивно устойчиво, а не просто рефлексивно последовательно.


Категории: Винджевская рефлексия
Оригинал: Reflective consistency (читать на GreaterWrong)    Перевод: К. Кирдан (добавлены ссылки)

Материалы распространяются по лицензии CC BY 3.0