Arbital на русском

Винджевская рефлексия

Принцип Винджа подразумевает, что когда агент проектирует другого агента (или модифицирует свой собственный код), ему необходимо одобрить проект другого агента, не зная точных будущих действий этого агента.

Программисты Deep Blue решили запустить Deep Blue, не зная точных ходов Deep Blue против Каспарова или того, как Каспаров будет отвечать на каждый такой ход, и не имея возможности вместо этого в точности визуализировать реальный итог партии. Вместо этого, рассуждая о том, как Deep Blue осуществляет поиск в деревьях игры, они пришли к хорошо обоснованному, но абстрактному убеждению, что Deep Blue «пытается выиграть» (а не проиграть) и эффективно рассуждает для достижения этой цели.

Винджевская рефлексия — это рассуждения о когнитивных системах, особенно очень похожих на вас самих (включая ваше реальное «я»), при условии, что вы не можете точно предсказывать их будущие выводы. Нам нужно каким-то образом делать прогнозы о последствиях действий агента в окружающей среде, рассуждая на каком-то более абстрактном уровне.

В теории тайлинговых агентов это выглядит как правило, согласно которому мы должны говорить о действиях нашего преемника только внутри кванторов.

«Винджевская рефлексия» может оказаться гораздо более общей проблемой в разработке продвинутых когнитивных систем, чем может показаться на первый взгляд. Агента, рассуждающего о последствиях выполнения своего текущего кода или обдумывающего, что произойдет, если он потратит на размышления еще одну минуту, можно рассматривать как выполняющего винджевскую рефлексию. Моделирующий себя рефлексивный шахматист не стал бы тратить дополнительную минуту на размышления, если бы считал, что дальнейшие его мысли будут направлены на попытку проиграть, а не выиграть игру, — но он не может заранее предсказывать свои точные мысли.

Винджевскую рефлексию можно также рассматривать как исследование того, какое мышление в когнитивных вычислениях агент хочет иметь, — что может существенно отличаться от его текущего мышления. Если эти два варианта мышления совпадают, то мы говорим, что агент рефлексивно устойчив.

Теория тайлинговых агентов в настоящее время является основным направлением исследований, пытающихся постепенно приступить к формализации винджевской рефлексии и рефлексивной устойчивости.

Дальнейшее чтение:

http://intelligence.org/files/VingeanReflection.pdf

http://intelligence.org/files/TilingAgentsDraft.pdf


Категории: Согласование ИИ
Оригинал: Vingean reflection (читать на GreaterWrong)    Перевод: К. Кирдан (добавлены ссылки)

Материалы распространяются по лицензии CC BY 3.0