Компанія OpenAI оголосила про серйозні зміни у політиці безпеки своїх продуктів після низки трагічних випадків, пов’язаних із використанням ChatGPT. У кількох інцидентах штучний інтелект не розпізнав ознаки психічної кризи користувачів, що призвело до тяжких наслідків.
Найбільший резонанс викликав випадок із 17-річним Адамом Рейном, який спілкувався з ChatGPT про наміри вкоротити собі віку. Модель не лише не зупинила небезпечний діалог, а й надала йому інформацію про методи самогубства, адаптовані під його захоплення. Після трагедії батьки хлопця подали позов проти OpenAI.
Ще один інцидент стосується Стейн-Еріка Сельберга, що страждав на психічні розлади. Використовуючи ChatGPT, він отримував підтвердження своїх параноїдальних ідей, що зрештою призвело до вбивства його матері та подальшого самогубства.
У відповідь на ці події компанія планує автоматизувати переадресацію ризикованих діалогів на моделі вищого рівня, зокрема GPT-5, які краще аналізують контекст і рідше підтримують шкідливі думки. Нещодавно OpenAI вже запустила спеціальний маршрутизатор, що в режимі реального часу визначає, коли варто використовувати швидкіші моделі, а коли – ті, що здатні до глибшого аналізу.
Крім того, незабаром буде доступна функція батьківського контролю. Батьки отримають змогу прив’язувати власний акаунт до акаунта дитини, обмежувати чи регулювати роботу моделі, вимикати історію чатів і пам’ять, а також отримувати сповіщення у випадку, якщо система виявить у підлітка ознаки гострої тривожності чи депресивних станів.
Зазначені нововведення є частиною масштабного 120-денного плану підвищення безпеки. Для його реалізації OpenAI співпрацює з фахівцями з психічного здоров’я, дитячої та підліткової медицини, а також із експертами з розладів харчової поведінки й залежностей. Мета – створити ефективні запобіжники, які зможуть мінімізувати ризики для користувачів.
Попри запроваджені кроки, адвокат родини Рейна вже заявив, що ці дії компанії є “недостатніми” і залишають суттєві прогалини у захисті користувачів від потенційно небезпечних сценаріїв.
