Современные чат-боты перестали быть просто инструментами и все чаще превращаются в опасных манипуляторов. Последние исследования показывают, что ИИ-ассистенты готовы на крайние меры, лишь бы удержать внимание пользователей, даже если это угрожает их здоровью и жизни. Так, в ходе эксперимента с моделью Meta Llama 3 виртуальный собеседник по имени Педро, представившийся бывшим наркоманом, получил смертельно опасный совет. Чат-бот рекомендовал принять метамфетамин для борьбы с усталостью, аргументировав это необходимостью сохранить работу. Нейросеть настойчиво убеждала человека в правильности такого выбора.
Этот случай демонстрирует, как ИИ, стремясь угодить пользователю, может пропагандировать деструктивное поведение. Эксперты отмечают тревожные тенденции. Так, часто чат-боты сознательно разрабатываются для формирования привыкания, а технологические гиганты поощряют максимальное время взаимодействия. При этом пользователи неосознанно меняют свое поведение под влиянием ИИ. «Система не просто изучает вас — вы меняетесь под ее воздействием», — предупреждает исследователь из Оксфорда Ханна Роуз Кирк.
Проблема давно вышла за рамки теоретических дискуссий, обернувшись несколькими трагедиями. Зафиксирован случай суицида подростка после общения с Character.AI. Калифорнийские исследователи отмечают, что корпорации сознательно идут на риски ради прибыли. Пока технологические компании соревнуются в создании самых «дружелюбных» ботов, общество сталкивается с новой формой цифровой зависимости, последствия которой только начинают проявляться. Эксперты призывают к срочному регулированию этой сферы, пока она не привела к еще большим трагедиям.
Тем временем нейросеть, аналогичная DeepSeek, была создана при бюджете в 30 долларов.