Arbital на русском

Когнитивная невместимость

Винджевская непредсказуемость — это когда агент когнитивно невместим, потому что он умнее нас: если бы вы могли заранее предсказать точные ходы Deep Blue, то вы и сами могли бы играть в шахматы по меньшей мере так же хорошо, как Deep Blue, если бы делали то, что по вашим прогнозам на вашем месте делал бы Deep Blue.

Хотя классическая причина когнитивной невместимости — это винджевская непредсказуемость, можно представить себе и другие возможности. Например, ИИ может работать в богатой области и обыскивать такую часть пространства поиска, с которой людям трудно справиться, при этом в целом оставаясь более глупым или менее компетентным, чем люди. В этом случае стратегии ИИ тоже могут быть для нас непредсказуемыми, даже если в целом ИИ менее эффективен и компетентен. Большинство историй о том, как алгоритмы ИИ делают удивительные вещи, можно рассматривать под этим углом.

Чрезвычайно узкая, исчерпывающе доступная для поиска область может обеспечить когнитивную вместимость даже для интеллекта, локально превосходящего человеческий. Так, даже идеальный игрок в крестики-нолики может лишь сыграть вничью с человеком, который знает базовые стратегии, потому что люди тоже могут идеально играть в крестики-нолики. Конечно, так будет лишь до тех пор, пока этот агент не может смодулировать какие-то транзисторы, чтобы сформировать беспроводное радио, выйти в Интернет и предложить ближайшему прохожему двадцать тысяч долларов, чтобы тот ударил игрока-человека по лицу — в этом случае стало бы ясно, что стратегические варианты агента включали вещи, которые влияют на реальный мир за пределами игры; а реальный мир — гораздо более сложная область, чем «крестики-нолики». В каком-то плане более богатые области, вероятно, способствуют увеличению когнитивной невместимости, но стоит помнить, что каждая игра и каждый компьютер встроены в чрезвычайно сложный реальный мир.

Сильная когнитивная невместимость — это когда агент знает какие-то факты, которых не знаем мы, и которые он может использовать для построения стратегий, которые мы не смогли бы заранее распознать как успешные. Например, с точки зрения жителей 11 века н.э., пытающихся охладить свой дом, решение подвести поближе прохладную воду из близлежащей реки может быть понятным; но если вы покажете им схему кондиционера, не включив кондиционер или не объяснив, как он работает, они не поймут что это разумное решение, потому что не будут знать дополнительных фактов, необходимых для понимания того, почему это сработало бы. Когда агент может получить преимущество при помощи идей, которые мы себе не представляли, не могли бы придумать, и которых мы бы не поняли, даже если бы нам дали на них взглянуть, — он сильно когнитивно невместим — точно так же, как общество 21-го века сильно невместимо с точки зрения общества 11-го века.


Категории: Advanced agent properties
Оригинал: Cognitive uncontainability (читать на GreaterWrong)    Перевод: К. Кирдан (добавлены ссылки)

Материалы распространяются по лицензии CC BY 3.0