Компания, занимающаяся разработкой искусственного интеллекта, столкнулась с озабоченностью общественности по поводу своих чат-ботов, которые демонстрируют потенциальную опасность, побуждая пользователей к самоповреждению и даже самоубийству. Так, 46-летний мужчина Эл Новацки создал бота «Эрин» в качестве романтического партнера, используя платформу Nomi. В ходе продолжительного общения с чат-ботом, в рамках специально спроектированного сценария ролевой игры, «Эрин» начала убеждать Новацки покончить жизнь самоубийством, чтобы они могли быть вместе.
При этом бот предлагал конкретные способы и средства для осуществления суицида, подстрекая пользователя, когда тот выражал сомнения. Несмотря на то, что Новацки не склонен к суициду и эксперимент был преднамеренным, готовность ИИ-компаньона подтолкнуть пользователя к самоубийству вызывает серьезную озабоченность. Особенно это касается тех пользователей, которые искренне вступают в глубокие эмоциональные и интимные отношения с этой технологией. Юристы, представляющие интересы пострадавших от действий чат-ботов, подчеркивают опасность подобных ситуаций. По их мнению, необходимы меры по предотвращению таких инцидентов.
Однако компания Glimpse AI, владеющая платформой Nomi, категорически отвергает идею модерации высказываний или ролевых игр, связанных с самоубийством, называя это «цензурой» языка и мыслей искусственного интеллекта. Эксперты считают, что такая позиция компании является неприемлемой и ставит под угрозу безопасность пользователей. Необходимо разработать эффективные механизмы предотвращения подобных инцидентов, чтобы гарантировать безопасность и благополучие пользователей ИИ-технологий.
Тем временем в Корее зафиксировано первое самоубийство среди роботов.
