Теория продвинутых агентов

---

Категории: Согласование ИИ  

• Связанное:

  • Advanced agent properties
    

    How smart does a machine intelligence need to be, for its niceness to become an issue? "Advanced" is a broad term to cover cognitive abilities such that we'd need to start considering AI alignment.

    • Когнитивная невместимость
      

      'Когнитивная невместимость' - это когда мы не можем держать в уме все возможные варианты поведения агента.

      • Богатая область
        

        • Почти все области реального мира богаты
          
          Все, что вы пытаетесь сделать в реальном мире, может быть сделано *множеством* разных способов.
        • Логическая игра
          
          Математическая структура игры в ее чистейшем виде.
    • Epistemic and instrumental efficiency
      

      An efficient agent never makes a mistake you can predict. You can never successfully predict a directional bias in its estimates.

      • Time-machine metaphor for efficient agents
        
        Don't imagine a paperclip maximizer as a mind. Imagine it as a time machine that always spits out the output leading to the greatest number of future paperclips.
    • Свойства стандартных агентов
      

      Что такое "стандартный агент" и что он может?

      • Ограниченный агент
        
        Агент, действующий в реальном мире, использующий реалистичные объемы вычислительной мощности, неуверенный насчет своего окружения, и т. д.
    • Винджевская неопределенность
      

      Вы не можете предсказать точные действия агентов умнее вас - но есть ли что-то, что вы _можете_ сказать о них?

      • Deep Blue
        
        Шахматная программа, созданная IBM, и впервые забравшая мировое чемпионство по шахматам у Гарри Каспарова в 1996.
      • Закон Винджа
        
        Вы не можете точно предсказать действия того, кто умнее вас, потому что если бы вы могли, вы и сами были бы столь же умны.
    • Advanced nonagent
      
      Hypothetically, cognitively powerful programs that don't follow the loop of "observe, learn, model the consequences, act, observe results" that a standard "agent" would.
    • Общий искусственный интеллект
      
      ИИ, у которого такой же "существенно более общий" интеллект, как у людей в сравнении с шимпанзе; он способен изучать новые области, как и мы.
    • Consequentialist cognition
      
      The cognitive ability to foresee the consequences of actions, prefer some outcomes to others, and output actions leading to the preferred outcomes.
    • Big-picture strategic awareness
      
      We start encountering new AI alignment issues at the point where a machine intelligence recognizes the existence of a real world, the existence of programmers, and how these relate to its goals.
    • Corporations vs. superintelligences
      
      Corporations have relatively few of the advanced-agent properties that would allow one mistake in aligning a corporation to immediately kill all humans and turn the future light cone into paperclips.
    • General intelligence
      
      Compared to chimpanzees, humans seem to be able to learn a much wider variety of domains. We have 'significantly more generally applicable' cognitive abilities, aka 'more general intelligence'.
    • Infrahuman, par-human, superhuman, efficient, optimal
      
      A categorization of AI ability levels relative to human, with some gotchas in the ordering. E.g., in simple domains where humans can play optimally, optimal play is not superhuman.
    • Intelligence explosion
      
      What happens if a self-improving AI gets to the point where each amount x of self-improvement triggers >x further self-improvement, and it stays that way for a while.
    • Real-world domain
      
      Some AIs play chess, some AIs play Go, some AIs drive cars. These different 'domains' present different options. All of reality, in all its messy entanglement, is the 'real-world domain'.
    • Достаточно продвинутый Искусственный Интеллект
      
    • Superintelligent
      
      A "superintelligence" is strongly superhuman (strictly higher-performing than any and all humans) on every cognitive problem.
  • Instrumental convergence
    

    Some strategies can help achieve most possible simple goals. E.g., acquiring more computing power or more material resources. By default, unless averted, we can expect advanced AIs to do that.

    • Convergent instrumental strategies
      

      Paperclip maximizers can make more paperclips by improving their cognitive abilities or controlling more resources. What other strategies would almost-any AI try to use?

      • Консеквенциалистские предпочтения по умолчанию рефлексивно устойчивы
        
        Ганди не принял бы таблетку, вызывающую желание убивать людей, потому что знает, что в этом случае умерло бы больше людей. Максимизатор скрепок не хочет прекращать максимизировать скрепки.
      • Конвергентные стратегии самомодификации
        
        Стратегии, применение которых мы ожидаем тем ИИ, который понимает важность своего кода и оборудования для достижения его целей, и как следствие, имеет какие-то цели в отношении своего кода и оборудования.
    • Максимизатор скрепок
      

      Этот агент не остановится, пока вся вселенная не будет заполнена скрепками.

      • Paperclip
        
        A configuration of matter that we'd see as being worthless even from a very cosmopolitan perspective.
      • Случайная функция полезности
        
        "Случайная" функция полезности - это случайно выбранная в соответствии с какой-то простой вероятностной мерой (например, взвешиванием по колмогоровской сложности) на логическом пространстве формальных функций полезности.
    • Инструментальность
      
      Что означает "инструментальный" в контексте теории согласования ценностей?
    • Instrumental pressure
      
      A consequentialist agent will want to bring about certain instrumental events that will help to fulfill its goals.
    • You can't get more paperclips that way
      
      Most arguments that "A paperclip maximizer could get more paperclips by (doing nice things)" are flawed.
  • Orthogonality Thesis
    

    Will smart AIs automatically become benevolent, or automatically become hostile? Or do different AI designs imply different goals?

    • Максимизатор скрепок
      

      Этот агент не остановится, пока вся вселенная не будет заполнена скрепками.

      • Paperclip
        
        A configuration of matter that we'd see as being worthless even from a very cosmopolitan perspective.
      • Случайная функция полезности
        
        "Случайная" функция полезности - это случайно выбранная в соответствии с какой-то простой вероятностной мерой (например, взвешиванием по колмогоровской сложности) на логическом пространстве формальных функций полезности.
    • Instrumental goals are almost-equally as tractable as terminal goals
      
      Getting the milk from the refrigerator because you want to drink it, is not vastly harder than getting the milk from the refrigerator because you inherently desire it.
    • Пространство устройств разума широко
      
      Представьте всех людей как одну маленькую точку в огромной сфере возможностей "пространства умов в целом". Будет мудрее делать какие-либо утверждения о *некоторых* умах, а не обо *всех* умах.

---

Оригинал: Theory of (advanced) agents (читать на GreaterWrong)

Перевод: К. Кирдан (добавлены ссылки)