В центре книги — идея о том, что переход от современных ИИ-систем к сверхразуму может закончиться катастрофой для людей. Авторы разбирают, почему сам факт высокого интеллекта машины не означает её управляемость и почему ошибка на этапе создания может иметь необратимые...
последствия. Внутри — рассуждения о неконтролируемом развитии ИИ, о проблеме согласования целей и о том, как человечество может подойти к опасной черте, не успев подготовиться. Текст выстроен как предупреждение: читателя ждёт последовательный разбор угроз, связанных с технологическим ускорением, и жёсткий спор с привычной верой в то, что любую новую систему потом удастся просто «настроить».
В центре книги — идея о том, что переход от современных ИИ-систем к сверхразуму может закончиться катастрофой для людей. Авторы разбирают, почему сам факт высокого интеллекта машины не означает её управляемость и почему ошибка на этапе создания может иметь необратимые последствия. Внутри — рассуждения о неконтролируемом развитии ИИ, о проблеме согласования целей и о том, как человечество может подойти к опасной черте, не успев подготовиться. Текст выстроен как предупреждение: читателя ждёт последовательный разбор угроз, связанных с технологическим ускорением, и жёсткий спор с привычной верой в то, что любую новую систему потом удастся просто «настроить».