Долина опасной самоуспокоенности — это когда система работает достаточно часто, чтобы ослабить вашу бдительность на ее счет, но на самом деле все еще достаточно опасна, чтобы требовать полной бдительности.

• Если бы роботизированный автомобиль принимал правильное решение 99% времени, вам нужно было бы каждодневно держаться за руль, вы были бы бдительны, и ваши навыки перехвата робота-автомобиля оставались бы острыми.
• Если бы роботизированный автомобиль принимал правильное решение 100% времени, вы бы расслабились и потеряли бдительность, но в этом не было бы ничего плохого.
• Если роботизированный автомобиль принимает правильное решение 99,99% времени — так, что вы врежетесь в 1 из 100 дней, если не будете брать руль на себя, — то задача слежения за автомобилем будет чувствоваться слишком неоправданной, и автомобиль будет казаться довольно безопасным. Вы потеряете бдительность и ваши навыки вождения заржавеют. Через пару месяцев машина разобьется.

Сравните со «зловещей долиной», в которой машинная система частично человекоподобна — настолько, что люди пытаются удерживать ее на человеческом стандарте — но не настолько, чтобы выглядеть удовлетворительной в этом стандарте. Это значит, что с точки зрения пользовательского опыта есть долина, в рамках которой по мере увеличения степени человекоподобности системы опыт пользователей становится на деле хуже, прежде чем он станет лучше. Аналогично, если пользователи становятся самоуспокоенными, то надежная на 99,99% система может быть хуже, чем надежная на 99%, даже если при достаточной надежности уровень безопасности начнет подниматься обратно из долины.