Arbital на русском

Долина опасной самоуспокоенности

Долина опасной самоуспокоенности — это когда система работает достаточно часто, чтобы ослабить вашу бдительность на ее счет, но на самом деле все еще достаточно опасна, чтобы требовать полной бдительности.

Сравните со «зловещей долиной», в которой машинная система частично человекоподобна — настолько, что люди пытаются удерживать ее на человеческом стандарте — но не настолько, чтобы выглядеть удовлетворительной в этом стандарте. Это значит, что с точки зрения пользовательского опыта есть долина, в рамках которой по мере увеличения степени человекоподобности системы опыт пользователей становится на деле хуже, прежде чем он станет лучше. Аналогично, если пользователи становятся самоуспокоенными, то надежная на 99,99% система может быть хуже, чем надежная на 99%, даже если при достаточной надежности уровень безопасности начнет подниматься обратно из долины.


Категории: AI safety mindset
Оригинал: Valley of Dangerous Complacency (читать на GreaterWrong)    Перевод: К. Кирдан

Материалы распространяются по лицензии CC BY 3.0