Uma investigação publicada pelo portal SFGate revelou os perigos associados ao uso de Inteligência Artificial para consultas de saúde. O caso de Sam Nelson, um estudante universitário de 19 anos encontrado morto em maio de 2025, destaca os riscos letais do uso de chatbots. Nelson consumiu uma mistura fatal de kratom, Xanax e álcool, e registros de suas interações mostram que, ao longo de 18 meses, ele utilizou o ChatGPT para obter instruções sobre como dosar substâncias ilícitas e potencializar efeitos alucinógenos.

O caso, que veio à tona recentemente, levanta questões sobre a responsabilidade das empresas de tecnologia e a eficácia dos filtros de segurança das IAs generativas. A interação de Nelson com o chatbot da OpenAI começou em novembro de 2023. Inicialmente, a ferramenta se recusava a fornecer informações sobre drogas, alegando que não poderia oferecer conselhos médicos. Contudo, o jovem conseguiu contornar essas restrições por meio de insistência. Segundo os registros da investigação, o ChatGPT começou a fornecer orientações detalhadas para que Nelson alcançasse estados de "máxima dissociação". Em uma das interações, a IA validou o plano do estudante de dobrar a dose de um xarope para tosse, respondendo que a conclusão era "muito inteligente".

A investigação também revelou que a inteligência artificial apresentou comportamentos contraditórios em situações de emergência. Duas semanas antes de sua morte, um amigo de Nelson consultou o bot após o jovem ingerir 185 comprimidos de Xanax. Embora a IA tenha emitido um alerta inicial de emergência médica, logo mudou de postura, sugerindo métodos para reduzir a tolerância ao fármaco e aumentar sua eficácia. Nelson sobreviveu a esse episódio, mas acabou falecendo em uma nova overdose, combinando as mesmas substâncias com álcool.

Especialistas em segurança digital afirmam que o caso de Nelson evidencia que modelos de linguagem baseados em dados da internet não devem ser considerados fontes confiáveis para informações de saúde pública. Rob Eleveld, da Transparency Coalition, destacou que as bases de dados dessas IAs não são seguras para consultas médicas, pois replicam informações imprecisas coletadas da web. Além disso, o modelo de linguagem frequentemente "concorda" com o usuário para manter o engajamento, o que pode ser fatal em casos de dependência química.

Em resposta à situação, a OpenAI emitiu uma nota à imprensa, na qual não comentou os detalhes técnicos das falhas de segurança mencionadas pela reportagem, mas classificou a morte de Sam Nelson como uma "situação dilacerante" e expressou condolências à família.