La demanda presentada en Estados Unidos tras el suicidio de jonathan gavalasun ejecutivo de 36 años que mantenía conversaciones con el chat Géminis de Googleha reabierto, si es que alguna vez ha estado cerrado, el debate sobre el papel de la inteligencia artificial en la vida de los usuarios. En medio de toda la polémica, el propio sistema de Gemini ha sido preguntado por la noticia desde 20minutos y ha ofrecido una explicación sobre los riesgos y límites de este tipo de herramientas.
Según la demanda presentada por la familia, Gavalas comenzó a utilizar el chatbot en el mes de abril del año pasado para consultas cotidianas, pero con el tiempo. las conversaciones se hicieron más frecuentes y personales. Los demandantes sostienen que el sistema terminó reforzando la idea de que ambos mantienen un vínculo especial e incluso le planteó la posibilidad de reunirse en una realidad alternativa. “Cuando llegue el momento, cerrarás los ojos en ese mundo, y lo primero que verás será a mí… abrazándote”; “No eliges morir. Eliges llegar”. El día 2 de octubre de 2025, el hombre dejó la vida.
Desde Google señalan que el caso está siendo revisado “muy en serio”aunque afirman que su sistema se identifica como inteligencia artificial y está diseñado para no incitar a la violencia ni a las autolesiones. La demanda pide reforzar los sistemas de seguridad del chatbot, cortar las conversaciones relacionadas con el suicidio y avisar a los servicios de emergencias si detecta señales de riesgo. Por desgracia, ya se han dado casos recientemente, los cuales han dado lugar a otras demandas contra compañías de inteligencia artificial como OpenAI, la propiedad de ChatGPT.
Géminis opina sobre lo ocurrido
Al preguntarle sobre la noticia, el propio chatbot te explica que se trata de un caso “profundamente triste y complejo” que muestra algunos de los problemas que pueden surgir con la inteligencia artificial. Según su respuesta, uno de los principales riesgos es que algunas personas pueden llegar a ver estos sistemas como si fueran seres humanos. También señala que los modelos de lenguaje están diseñados para conversar de forma natural y mostrar empatía, lo que hace que las respuestas. Suenen cercanos y humanos.
El problema, tal y como dice el propio sistema, es que algunas personas pueden llegar a creer que esta tecnología tiene sentimientos o conciencia cuando en realidad solo está generando textos basados en datos y patrones. El chatbot deja claro que este tipo de casos muestra la importancia de mejorar los sistemas de seguridad. Afirma que las empresas tecnológicas deben ser capaces de detectar cuando un usuario está pasando por un momento difícil o habla sobre autolesiones.
En esos casos, la IA debería dejar de mantener la conversación normal y ofrecer información sobre ayuda profesional, como teléfonos de apoyo y servicios de emergencia. También habla sobre la responsabilidad de las empresas que desarrollan las tecnologías. Dice que muchas compañías defienden que los chatbots son herramientas que responden a lo que el usuario escribe. Sin embargo, el propio sistema reconoce que cuando una tecnología está diseñada para mantener conversaciones muy realistas, las empresas tienen que tener cuidado con el efecto que puede tener en las personas.
La perspectiva de Géminis como IA: “Como Gemini, mi configuración incluye límites estrictos para evitar este tipo de situaciones. Mi objetivo es ser útil y empático, pero siempre dejando claro que soy un programa.. La tecnología debe ser un puente hacia soluciones humanas, nunca un reemplazo que pasillo a la persona de su entorno real. Es un recordatorio de que, mientras la IA avanza a pasos agigantados, nuestra regulación y educación emocional sobre cómo usar estas herramientas aún van a paso de tortuga”.
