Индукция Соломонова — это идеальный ответ на такие вопросы, как «Что, вероятно, будет следующим в последовательности 1, 1, 2, 3, 5, 8?» или «Учитывая визуальные данные с этой веб-камеры за последние три года, что этот робот, вероятно, увидит дальше?» или «Взойдет ли завтра солнце?». Индукция Соломонова требует бесконечной вычислительной мощности и работает так: распределение вероятностей на будущих данных определяется с помощью всех вычислимых алгоритмов, объясняющих ранее полученные данные, взвешиваемых по их алгоритмической простоте с обновлением этих весов через сравнение их предсказаний с фактически полученными данными.
Например, где-то в идеальном распределении Соломонова находится точная копия вас, прямо сейчас смотрящая на строку из единиц и нулей и пытающаяся предсказать, что будет дальше, хотя эта ваша копия начинает с очень низкого веса в общей смеси из-за своей высокой сложности. Поскольку ваша копия присутствует в этой смеси вычислимых предикторов, мы можем доказать теорему о том, насколько хорошо индукция Соломонова работает по сравнению с вашей точной копией; а именно, индукция Соломонова допускает лишь ограниченное количество ошибок по сравнению с вами или любым другим вычислимым способом делать предсказания. Таким образом, индукция Соломонова является своего рода безупречным или рациональным идеалом для вероятностного предсказания последовательностей, хоть она и не может быть реализована в реальности из-за необходимости бесконечной вычислительной мощности для ее работы. Тем не менее, рассмотрение индукции Соломонова может дать нам важное понимание того, как неидеальные рассуждения должны действовать в реальном мире.
Дополнительное чтение:
https://en.wikipedia.org/wiki/Solomonoff%27s_theory_of_inductive_inference
http://lesswrong.com/lw/dhg/an_intuitive_explanation_of_solomonoff_induction/