Sewell Setzer (foto principal), un chico estadounidense de catorce años, se inscribió en la plataforma de chatbots Character.AI que permite crear personajes ficticios con una intención específica, una voz y un tono determinado e interactuar con ellos.

El joven Setzer le pidió a la plataforma crear a Daenerys Targaryen, la heroína de “Juego de Tronos” y se enamoró manteniendo conversaciones románticas, sexuales y amistosas durante meses. Un día, le pregunto a su novia virtual: “¿Qué te parecería que pudiera ir a casa ahora mismo?”, quien le contestó: “Por favor, hazlo mi dulce rey”. Enseguida, Sewell se fue al baño de su hogar y se suicidó.

Sewell Setzer tenía síndrome de Aspergerg leve desde niño, pero nunca se le había manifestado, aun así prefirió contarle a su chatbot lo mal que se sentía y que se odiaba a sí mismo. Acceder a estas tecnologías incrementa las emociones y la frustración y hace más difícil diferenciar entre la realidad y la ficción debido a la inmersión tan fuerte en estas plataformas.

Surge la pregunta: ¿estamos preparados para proteger a nuestros niños de estas tecnologías?”. Por ello urge la regulación y el control de la inteligencia artificial en las redes sociales y en especial en estas plataformas de chatbot.

Una buena noticia en esta dirección llega de Australia, que ha prohibido el uso de redes sociales a menores de 16 años, la legislación aprobada en noviembre pasado promete ser una de las más estrictas para plataformas como TikTok, Facebook, Snapchat, Reddit e Instagram, con una multa de hasta 33 millones de dólares para las empresas que la incumplan.

La prohibición no aplica a los usuarios a proporcionar identificación gubernamental, ni tampoco sanciona a padres o jóvenes que infrinjan las reglas; se enfoca en obligar a las empresas a que los menores no puedan crear cuentas en sus aplicaciones, a menos que tengan la edad suficiente.

Aunque la medida ha sido crítica duramente, tanto por la industria como por los defensores de la libertad de expresión ha sido aprobada por mas del 70% de los ciudadanos australianos. El tema es tan relevante, que el gobierno ha iniciado una prueba de tecnología de verificación de edad para facilitar el proceso de adopción de esta legislación, que otorga un periodo de 12 meses de adaptación a las empresas afectadas.

Si bien la medida es aplaudible, aún no alcanza a regular el caso de chatbots como el de la empresa Character.AI, ni tampoco a limitar el acceso de menores al uso de inteligencia artificial como puede ser generar chatbots a través de OpenAi, Gemini o Claude, que seguramente deberán legislarse en el futuro.

La revolución de la inteligencia artificial está transformando la manera en que nuestros hijos interactúan con la tecnología. Si bien Australia marca un precedente importante en la regulación digital, la verdadera solución requiere un equilibrio entre legislación efectiva y paternidad responsable. El futuro de nuestros niños depende de las decisiones que tomemos hoy.

________________

El autor de la columna Tecnogob”, Rodrigo Sandoval Almazán, es Profesor de Tiempo Completo SNI Nivel 2 de la Universidad Autónoma del Estado de México. Lo puede contactar en tecnogob@pm.me y en la cuenta de Threads @horus72.