Arbital на русском

Намеченная цель

«Намеченной целью» называется интуитивное намерение программиста-человека, когда он выполняет некоторую формальную директиву или цель внутри ИИ. Например, если программист хотел создать достойное счастье, а ИИ в итоге засыпал вселенную крошечными молекулярными смайликами, мы бы сказали, что достойное счастье (в каком-то интуитивном, возможно, довербальном смысле, существующем в уме программиста) было «намеченной целью», в отличие от результата оптимизации формальной функции полезности, фактически закодированной в ИИ (которая, как оказалось, имеет максимум в крошечных молекулярных смайликах).


Категории: Согласование ИИ
Оригинал: Intended goal (читать на GreaterWrong)    Перевод: К. Кирдан (добавлены ссылки)

Материалы распространяются по лицензии CC BY 3.0