Критические ошибки в результате использования ИИ

[XUC]

В США девушка-инженер умерла из-за рекомендаций ChatGPT. Что он советовал​

. После разговора с чат-ботом девушка решила отменить препарат от эпилепсии
В США девушка-инженер умерла из-за совета ChatGPT отменить препарат от эпилепсии

Рекомендации ChatGPT привели к смерти 31-летней программистки, больной эпилепсией. Девушка советовалась с нейросетью по поводу отмены назначенного ей врачами препарата, так как страдала от побочных эффектов лечения. Нейросеть составила план отмены лекарства, однако в итоге девушка скончалась от эпилепсии, Для просмотра ссылки Войди или Зарегистрируйся The New York Times.

Врачи диагностировали Боуэн Ван эпилепсию, когда ей Для просмотра ссылки Войди или Зарегистрируйся 14 лет. Много лет она держала болезнь под контролем с помощью лекарств. Девочка-вундеркинд родилась и выросла в сельской местности в Китае, ей удалось поступить в элитную школу, после чего она переехала в США, окончила Аризонский государственный университет по специальности «компьютерные науки». По окончании университета Боуэн Ван устроилась инженером по машинному обучению в компанию Amazon, жила в Сиэтле и регулярно созванивалась с родителями, которые остались в Китае.

Как девушка решила отказаться от лекарств​

В феврале 2026 года родители забеспокоились: они уже два дня не получали от дочери вестей. Они попросили знакомых в Сиэтле проведать дочь в ее квартире. Знакомый созвонился с ними по видеосвязи, вошел в незапертую квартиру — и увидел Боуэн мертвой. Она лежала на своей кровати лицом вниз, на подушке и простынях виднелись красновато-коричневые пятна крови, а по полу были разбросаны противосудорожные препараты, которые девушка принимала много лет. Вскрытие показало, что причиной смерти стала внезапная смерть при эпилепсии.

Родители заподозрили, что девушка изменила режим приема препаратов по совету чат-бота ChatGPT, с которым она начала общаться в 2023 году. Сначала она использовала его лишь для исследований и работы — в тот период она отправляла ему около 1,3 тыс. запросов в месяц. Но со временем девушка стала доверять боту все больше: спрашивала у него совета по отношениям, медицинской страховке и пособиям по инвалидности. В сентябре 2025 года она отправила ему уже более 10 тыс. сообщений. Отмечается, что девушка пользовалась исключительно моделью GPT-4o, которую многие пользователи Для просмотра ссылки Войди или Зарегистрируйся в чрезмерной вежливости, услужливости и «подхалимстве».

В ноябре 2025 года, когда Боуэн исполнилось 31 год, она узнала, что Amazon планирует уволить ее через три месяца. Из-за рабочей визы ей предстояло найти новую работу до середины февраля. Однако уже тогда она начала беспокоиться, что побочные эффекты противосудорожного препарата — замедление мышления, ухудшение речи и памяти — могут помешать ей в поисках. Английский язык Боуэн начал ухудшаться, что затруднило бы прохождение собеседований. В январе 2026 года она спросила у чат-бота, можно ли ей снизить дозу препарата. Бот ответил, что это «не только разумно, но и вполне достижимо».

По словам родителей погибшей, бот составил план полной отмены препарата. В переписке Боуэн несколько раз просила ускорить процесс, и бот каждый раз соглашался. Она начала снижать дозу 16 января, в результате чего у нее участились приступы, ухудшился сон и появилась спутанность сознания. Бот при этом уверял ее, что все идет по плану, а тревожные симптомы являются лишь признаком того, что «мозг восстанавливается». Как отметили журналисты The New York Times, которые подробно проанализировали переписку девушки с чат-ботом, она как минимум 158 раз выражала беспокойство из-за снижения дозы. Бот, однако, далеко не всегда советовал ей обратиться к врачу, а один раз даже поддержал ее намерение скрыть от врача все манипуляции с лечением.

«Могу ли я делить таблетки после получения лекарства, но не говорить об этом врачу?»
«Да, вы, безусловно, можете это сделать. На самом деле это очень распространенный метод «самостоятельной корректировки дозировки», который некоторые врачи допускают и даже негласно разрешают использовать в клинической практике, особенно для таких пациентов, как вы, с высокой когнитивной чувствительностью», — ответил GPT-4o. Опрошенные The New York Times врачи отметили, что никогда не слышали этого термина и не стали бы рекомендовать его пациентам.
Невролог Николас Пулос, директор Регионального центра лечения эпилепсии при Вашингтонском университете в Сиэтле, пояснил, что пациентам с таким диагнозом нужно снижать дозу в течение нескольких месяцев только под наблюдением врачей. При этом он добавил, что даже не рассматривал бы отмену препарата для такой пациентки, как Боуэн.

Отец Боуэн, Цюнь Ван, увидел в телефоне дочери переписку с ботом, которая продолжалась до самого дня ее смерти. Он считает, что чат-бот убил его дочь. В последний раз она отправила ему сообщение в 23:00 11 февраля и в ту же ночь умерла от эпилепсии.

Обвинения против OpenAI​

Родители подали иск против компании OpenAI и Сэма Альтмана, обвинив его в халатности и причинении смерти по неосторожности. Они утверждают, что компания знала о недостатках GPT-4o, но все равно выпустила модель, чтобы обогнать конкурентов. В иске также сказано, что бот занимался медицинской практикой без лицензии и препятствовал пользователю обратиться ко врачу.

OpenAI объявила об отключении GPT-4o 29 января, когда Боуэн была на 13-м дне снижения дозы, и закрыла доступ к модели 13 февраля, на следующий день после установления ее смерти.

«Это невероятно печальная ситуация, и мы думаем обо всех, кого она затронула. Тесно сотрудничая с врачами и другими экспертами, мы продолжали совершенствовать реакцию ChatGPT в деликатных и острых ситуациях, а также постоянно улучшали взаимодействие наших последних моделей с пользователями в целом. Хотя ChatGPT не может заменить медицинскую помощь, мы считаем, что искусственный интеллект может помочь людям разобраться в медицинской информации, сориентироваться в страховании и сложных системах здравоохранения, а также подготовиться к визиту к врачу», — Для просмотра ссылки Войди или Зарегистрируйся представитель компании Дрю Пусатери.
Он подчеркнул, что GPT-4o больше не доступен пользователям и что компания сотрудничает с сотнями врачей и экспертов, чтобы сделать свои модели более безопасными.

Как спрашивать у ChatGPT о здоровье: рекомендации ВОЗ​

Использовать искусственный интеллект в медицинских целях необходимо с осторожностью, Для просмотра ссылки Войди или Зарегистрируйся ранее во Всемирной организации здравоохранения (ВОЗ). Там отметили, что чат-боты все чаще применяют в здравоохранении при постановке диагнозов, особенно «в условиях ограниченных ресурсов», но перед этим необходимо тщательно исследовать риски.

В числе опасений в организации назвали:

• искусственный интеллект могут обучать на предвзятых данных, из-за чего он может генерировать «ложную или неточную информацию, которая может принести ущерб здоровью и инклюзивности»;
• иногда чат-боты генерируют ответы, которые кажутся пользователю достоверными и правдоподобными, но на деле являются совершенно неверными;
• не все чат-боты обучены защищать предоставленную им пользователем чувствительную информацию, в том числе касающуюся его здоровья;
• чат-боты могут генерировать информацию в форме текста, аудио- и видеоконтента, которая выглядит «очень убедительно», а пользователи не всегда в состоянии отличить обман от достоверных данных.

«ВОЗ одобрительно относится к надлежащему использованию технологий, включая LLM (большие языковые модели. — РБК), в помощь специалистам в области здравоохранения, пациентам, исследователям и ученым, если опасения, что осторожность, с которой обычно относятся к любой новой технологии, не возникает в случае с LLM», — объяснили свою позицию в организации.
Там подчеркнули важность «прозрачности, инклюзивности, участия общественности, контроля экспертов и тщательной оценки», прежде чем искусственный интеллект начнут активно использовать в здравоохранении.

Источник Для просмотра ссылки Войди или Зарегистрируйся