Arbital на русском

Максимизация пользователя

Разновидность манипуляции пользователем. Если вы сформулировали ИИ в терминах $argmax$ на $X$ или инструкции «оптимизируй $X$», и $X$ включает в себя взаимодействие с пользователем как компонент, то вы только что сказали ИИ, чтобы он оптимизировал пользователя. К примеру, предположим, что критерием действия для ИИ будет «выбирай политику, максимизируя/оптимизируя вероятность $X$ того, что инструкции пользователя будут выполнены». Если инструкции пользователя являются переменной, входящей в формулу $X$, а не константой за ее пределами, то вы только что сказали ИИ попытаться заставить пользователя давать ему более простые инструкции.


Категории: Манипуляция пользователем
Оригинал: User maximization (читать на GreaterWrong)    Перевод: К. Кирдан

Материалы распространяются по лицензии CC BY 3.0