Задача идентификации ценностей

Категория подзадач в задаче согласования ценностей, которая связана с выявлением продвинутым агентом ценных последствий и отличием их от тех, которые не имеют ценности. Утверждается, что, например, проблемы реализации краев и идентификации онтологии — это предсказуемые трудности для идентификации ценностей. Центральная из предвидимых трудностей идентификации ценностей — это сложность ценностей.

Связанное:

Ontology identification problem

How do we link an agent's utility function to its model of the world, when we don't know what that model will look like?
- Ontology identification problem: Technical tutorial
  
  Technical tutorial for ontology identification problem.
- Diamond maximizer
  
  How would you build an agent that made as much diamond material as possible, given vast computing power but an otherwise rich and complicated environment?
Edge instantiation

When you ask the AI to make people happy, and it tiles the universe with the smallest objects that can be happy.
Environmental goals

The problem of having an AI want outcomes that are out in the world, not just want direct sense events.
Goal-concept identification

Figuring out how to say "strawberry" to an AI that you want to bring you strawberries (and not fake plastic strawberries, either).
Максимизатор счастья
Identifying causal goal concepts from sensory data

If the intended goal is "cure cancer" and you show the AI healthy patients, it sees, say, a pattern of pixels on a webcam. How do you get to a goal concept *about* the real patients?

Оригинал: Value identification problem (читать на GreaterWrong)

Перевод: К. Кирдан

Arbital на русском