AIXI Маркуса Хаттера — это идеальная сферическая в вакууме теория продвинутых агентов. Она нереалистична, но вы не сможете понять более сложные сценарии, если не сможете представить себе вариант, сферический в вакууме. В основе AIXI лежит индукция Соломонова — способ использования бесконечной вычислительной мощности для вероятностного предсказания двоичных последовательностей с (чрезвычайно) сверхразумной остротой. Грубо говоря, индукция Соломонова происходит путем рассмотрения всех возможных вычислимых объяснений имеющихся наблюдений, при этом их априорные вероятности взвешиваются по их алгоритмической простоте, а затем обновляются на основе того, насколько хорошо они соответствуют наблюдениям. Мы переводим задачу агента в последовательность восприятий, действий и вознаграждений, чтобы можно было использовать прогнозирование последовательности. AIXI — это, грубо говоря, агент, который рассматривает все вычислимые гипотезы, чтобы объяснить наблюдавшуюся до сих пор связь сенсорных данных и действий с вознаграждениями, а затем ищет лучшую стратегию для максимизации будущих вознаграждений. В первом приближении AIXI мог бы решить любую обычную проблему, которую мог бы решить любой человек или межгалактическая цивилизация. Если бы AIXI существовал в реальности, он не был бы Богом; он был бы чем-то, что могло бы разорвать Бога на части, как Тузик грелку.
Дополнительная информация:
Более нежное введение от Маркуса Хаттера
Страница об AIXI на LessWrong Wiki
AIXIjs: Interactive browser demo and General Reinforcement Learning tutorial (JavaScript)