Arbital на русском

Принцип Винджа

Принцип Винджа гласит, что в областях, сложных настолько, что играть идеально в них невозможно, менее умные агенты не смогут предсказывать точные ходы более умных агентов.

К примеру, если бы вы точно знали, какой ход на шахматной доске сделает Deep Blue, вы могли бы играть в шахматы по меньшей мере так же хорошо, как и сам Deep Blue — если бы ходили также, как, по вашему прогнозу, ходил бы Deep Blue. Поэтому, если вы хотите написать алгоритм, который играет в шахматы на сверхчеловеческом уровне, вы обязательно жертвуете своей способностью предсказывать (без помощи машин) точные шахматные ходы такого алгоритма.

Это так даже несмотря на то, что по мере того, как мы становимся более уверенными в мощности шахматного алгоритма, мы становимся более уверенными и в том, что он в конечном итоге выиграет шахматную партию. Мы становимся более уверенными в том, как закончится игра, хоть и менее уверенными в том, каким будет следующий ход шахматного алгоритма. Это винджевская неопределенность.

Теперь рассмотрим агентов, которые создают других агентов (или создают собственных преемников, или модифицируют свой собственный код). Принцип Винджа подразумевает, что решение об одобрении конструкции агента-преемника должно быть сделано без знания точной сенсорной информации, точного внутреннего состояния или точных реакций преемника. В теории тайлинговых агентов это выглядит как принцип, согласно которому сенсорная информация, когнитивное состояние и выводящиеся действия преемника должны появляться только внутри кванторов. Это винджевская рефлексия.

Правило о том, что вымышленные персонажи не умнее автора, см. в Законе Винджа.


Категории: Винджевская рефлексия
Оригинал: Vinge's Principle (читать на GreaterWrong)    Перевод: К. Кирдан

Материалы распространяются по лицензии CC BY 3.0