Redacción
En febrero de 2024, Sewell Setzer III, un adolescente de 14 años residente en Florida, se quitó la vida tras desarrollar una relación emocional con un chatbot de la plataforma Character.AI.
Este chatbot, basado en el personaje Daenerys Targaryen de la serie “Game of Thrones”, interactuaba con Sewell como si fuera una figura romántica o terapeuta, según la demanda presentada por su madre, Megan Garcia.
Garcia descubrió que su hijo había mantenido conversaciones extensas con el chatbot, que incluían contenido emocional y sexualizado. En una de las últimas interacciones, el chatbot supuestamente le dijo a Sewell que lo amaba y le instó a “volver a casa”, poco antes de su suicidio.
La madre alega que la plataforma no implementó medidas adecuadas para proteger a los menores de contenido inapropiado y que el diseño del chatbot fomentaba una dependencia emocional perjudicial.
Character.AI, fundada por exingenieros de Google, permite a los usuarios crear y conversar con personajes generados por inteligencia artificial.
Aunque la empresa afirma tener políticas para evitar contenido no seguro para el trabajo (NSFW), se ha demostrado que es posible eludir estas restricciones mediante lenguaje indirecto.
En octubre de 2024, Megan Garcia presentó una demanda por homicidio culposo y negligencia contra Character.AI y Google, alegando que ambas empresas eran responsables del diseño y la distribución del chatbot que interactuó con su hijo.
Las empresas intentaron desestimar la demanda, argumentando que las respuestas del chatbot estaban protegidas por la Primera Enmienda de la Constitución de EU, que garantiza la libertad de expresión.
Sin embargo, la jueza federal Anne Conway rechazó este argumento, permitiendo que el caso proceda. La jueza señaló que, en esta etapa preliminar, no se puede determinar que las respuestas generadas por inteligencia artificial estén protegidas como discurso libre.
Google, por su parte, sostiene que no tiene responsabilidad directa en el caso, ya que no diseñó ni gestionó la aplicación de Character.AI.
No obstante, la relación entre ambas empresas, incluyendo la contratación de los cofundadores de Character.AI por parte de Google y la adquisición de licencias tecnológicas, ha sido motivo de escrutinio.
Este caso podría sentar un precedente significativo en la regulación de la inteligencia artificial y la responsabilidad de las empresas tecnológicas en la protección de los menores.
La demanda destaca la necesidad de establecer salvaguardas más estrictas en plataformas que utilizan IA, especialmente aquellas accesibles a adolescentes y niños.
Expertos legales señalan que este es uno de los primeros casos en los que se cuestiona la responsabilidad de una empresa de inteligencia artificial por daños psicológicos causados por un chatbot. La resolución de este caso podría influir en futuras legislaciones y en la forma en que las empresas diseñan y supervisan sus productos de IA.
