Человек не сможет управлять сверхразумным искусственным интеллектом

В литературе и кинематографе уже давно идет дискуссия о взаимоотношениях сверхмощного ИИ и человека, однако ученые лишь сегодня обоснованно ответили на вопрос: сможет ли человек управлять суперинтеллектом высокого уровня. К сожалению, ответ для человечества неутешительный – нет.

Ученые Института человеческого развития им. Макса Планка представили доказательства пессимистичного прогноза. Сверхразум выходит далеко за пределы человеческого понимания. Для управления необходима его симуляция, которую человек может проанализировать. Но если человек не понимает, что же такое сверхразум, то и создать симуляцию он не сможет. Иными словами, если компьютерная система начнет работать на уровне, который превышает возможности программистов, они не смогут устанавливать ограничения, следовательно, команда «не причиняй людям вреда» может быть не выполнена.

Кроме того, суперинтеллект теоретически способен мобилизовать для достижения целей такие ресурсы, которые непонятны для людей. В этом случае человек не сможет контролировать использование этих ресурсов. Однако уже сегодня существуют машины, которые самостоятельно выполняют определенные задачи, и программисты не понимают, как они научились этому. Поэтому закономерно возникает второй вопрос: когда ИИ станет неуправляемым и опасным для человечества?