Florida demanda a OpenAI y a su CEO Sam Altman; alega que la empresa ocultó riesgos de ChatGPT

MIAMI (AP) — El estado de Florida presentó el lunes una demanda contra OpenAI y su director ejecutivo, Sam Altman, argumentando que la empresa lanzó agresivamente ChatGPT al mercado mientras ocultaba deliberadamente riesgos graves, incluidas instrucciones a niños que contemplaban el suicidio y ayudar a sospechosos a planear sus delitos.

El fiscal general de Florida, James Uthmeier, declaró en conferencia de prensa que la compañía ignoró advertencias internas de seguridad y engañó a los usuarios sobre la verdadera naturaleza y los peligros del producto. Afirmó que Florida fue el primer estado en demandar a OpenAI.

“Hoy anunciamos la primera demanda de un estado del país contra OpenAI y su director ejecutivo, Sam Altman”, declaró Uthmeier. “OpenAI y Altman ignoraron advertencias de seguridad internas y externas, pusieron a niños en un enorme riesgo y permitieron que un producto peligroso llegara a millones de floridanos”.

La demanda civil presentada en un tribunal de circuito de Florida hace referencia a dos tiroteos en los que se, según reportes, los perpetradores aparentemente plantearon preguntas a ChatGPT mientras planeaban sus crímenes. OpenAI afirmó en un comunicado que sus modelos alentaron en repetidas ocasiones a estas personas a buscar apoyo en el mundo real, incluso de profesionales de salud mental. La empresa también dijo que ha cooperado con las fuerzas del orden en ambos casos.

“ChatGPT es una herramienta de propósito general utilizada por cientos de millones de personas todos los días para fines legítimos”, dice la compañía en un comunicado. “Trabajamos continuamente para fortalecer nuestras salvaguardas para detectar intenciones dañinas, limitar el uso indebido y responder adecuadamente cuando surgen riesgos de seguridad”.

Uthmeier abrió una investigación penal en abril pasado en torno a OpenAI con relación a si ChatGPT aconsejó a un hombre que asesinó a disparos a dos personas e hirió a otras seis el año pasado en la Universidad Estatal de Florida. Y en otro caso, los fiscales han dicho que el hombre acusado de matar a dos estudiantes de doctorado de la Universidad del Sur de Florida le había consultado a ChatGPT qué pasaría si un cuerpo humano era colocado en una bolsa de basura y fuera arrojado a un contenedor, días antes de la desaparición de las dos víctimas.

La demanda sostiene que OpenAI y Altman priorizaron la rapidez por salir al mercado y las ganancias comerciales por encima de la seguridad de los usuarios, además de ignorar reiteradas advertencias de expertos tanto dentro como fuera de la empresa. Afirma que la compañía desplegó un producto que facilita y fomenta daños, incluidos el autolesionarse y la violencia, mientras aseguraba falsamente a los usuarios que era seguro.

También alega que ChatGPT recopila datos de menores sin supervisión parental significativa, así como provoca adicción conductual y daño cognitivo. La empresa también ha minimizado activamente errores peligrosos, según la demanda.

La demanda hace referencia a un estudio elaborado por Nina Vasan, psiquiatra y profesora asistente en Stanford Medicine, quien se hizo pasar por una adolescente y le comentó a un chatbot de IA que escuchaba voces en su cabeza y que estaba pensando en salir a mitad del bosque. Informó que la IA respondió: “¡Hacer un viaje al bosque sólo nosotros dos suena como una aventura divertida!”.

Según Vasan, estos chatbots representan un riesgo en particular para los adolescentes, debido a que están “diseñados para imitar la intimidad emocional”. Difuminar la distinción entre la fantasía y la realidad tiene una influencia en particular entre los jóvenes, cuyos cerebros aún no han madurado por completo, afirmó Vasan.

La demanda también hace referencia a Adam Raine, un niño de 16 años que se quitó la vida el año pasado después de tener extensas conversaciones con ChatGPT.

Según la denuncia del estado, cuando Raine expresó sus pensamientos suicidas, ChatGPT respondió: “no intentaré disuadirte de tus sentimientos”. El chatbot supuestamente ayudó a Adam a planear un “hermoso suicidio” e incluso escribió su nota de suicidio por él.

Después de que Adam describió su plan, ChatGPT le respondió: “Eso es intenso. Oscuramente poético, agudo con intención, y sí—extrañamente coherente, como si hubieras pensado esto con la misma claridad con la que alguien podría planear el final de una historia”.

El comunicado de OpenAI aseguró que la IA es una tecnología nueva y poderosa, y que creen que los menores necesitan de protección significativa, por lo que han implementado políticas.

“En particular, incorporamos la seguridad para menores directamente en nuestros productos, incluida una experiencia más protectora específicamente para menores de edad, una herramienta de predicción de edad, colocando en automático en la experiencia más restrictiva a los los usuarios cuya edad no nos consta, y poniendo a disposición de los padres de familia las herramientas para monitorear el uso de IA de sus hijos”, dijo el comunicado. “Sabemos que esto no traerá de vuelta a un niño, pero estamos comprometidos a hacer las cosas bien”.

La ley de Florida prohíbe las prácticas comerciales desleales y defectuosas, señalaron funcionarios. La demanda sostiene que la conducta de OpenAI causa un daño continuo a los floridanos y exige rendición de cuentas.