Proteger a alguien en riesgo exige leer lo que dice y saber dónde está. La pregunta urgente es qué límites tiene quien lo hace.
Al comenzar a leer el artículo de la BBC sobre las medidas adoptadas por China frente a la inteligencia artificial que imita las relaciones humanas, esperaba encontrar otra advertencia sobre sus peligros. Encontré también una razón para reconocer sus posibilidades y una inquietud que merece más atención.
El reportaje cuenta cómo las publicaciones de un joven en Douyin activaron la intervención de un equipo de prevención del suicidio que trabaja las 24 horas. El equipo compartió esas publicaciones con la policía, y la ubicación de uno de sus videos permitió localizarlo y actuar antes de que se quitara la vida. El caso apareció en un documental realizado por Douyin y difundido en medios estatales chinos, según el cual el equipo había intervenido con éxito en 400 casos durante el primer semestre de 2025; la cifra debe leerse con esa atribución. Aun así, la historia plantea algo que no podemos despachar: detectar una señal de peligro y responder a tiempo puede hacer una diferencia decisiva.
Reconocer ese beneficio no elimina mi preocupación; la vuelve más concreta. Ese equipo pudo actuar porque podía leer lo que el joven escribía, saber dónde estaba y llamar a quien podía ir a buscarlo. La misma BBC señala que la nueva norma china obliga a las empresas de IA a intervenir cuando descubren que un usuario está en angustia, y presenta el caso como una muestra de la cooperación entre las empresas tecnológicas y el gobierno. Para intervenir hay que detectar, y para detectar hay que tener acceso a lo que la gente dice y hace. Una protección de este tipo no se ejerce sin mirar.
El caso de Douyin parte de publicaciones en una red social. Las conversaciones con un asistente de inteligencia artificial añaden otra dimensión, porque podemos contarle cosas que nunca publicaríamos: conflictos familiares, temores, dudas, necesidades económicas. Yo mismo le consulto a estos sistemas asuntos que no pondría en una red social, y la sensación de hablar con alguien disponible y comprensivo hace fácil olvidar que uso un servicio administrado por una institución. Mi confianza en la conversación no me dice, por sí sola, qué ocurre con lo que digo.
Ahí aparece lo que casi no discutimos. Cuando alguien llama a la policía, vemos el último tramo de un recorrido que empezó antes: lo que escribimos viaja a servidores de una empresa, se conserva en centros de datos y queda al alcance de las personas y los sistemas autorizados para consultarlo. Una norma como la china convierte esa lectura en deber, porque la empresa que detecta angustia debe intervenir. Y alguien decide, con criterios que casi nunca vemos, cuándo una frase angustiada es una emergencia y cuándo es un desahogo. Cada eslabón se defiende por separado; juntos forman un acceso permanente a la intimidad, y que la finalidad sea salvar una vida no basta para saber quién lo custodia, durante cuánto tiempo y bajo qué control.
Necesitamos mecanismos que respondan ante riesgos graves y, con ellos, límites al poder que otorgan. En una democracia existen vías para exigir explicaciones, impugnar decisiones y supervisar a las autoridades, aunque su eficacia debe comprobarse. Donde esos contrapesos son débiles, la pregunta se vuelve más difícil: ¿quién protege al ciudadano cuando la institución que lo vigila decide también qué constituye una amenaza? La preocupación alcanza igualmente a las empresas privadas. Antes de preguntarnos cuánto puede saber un gobierno, conviene preguntarnos cuánto estamos entregando a las plataformas y qué capacidad tenemos de decidir sobre ello.
Una intervención que puede salvar una vida merece existir. Merece existir con una finalidad delimitada, acceso restringido, supervisión y responsabilidades claras, y con medios para corregir errores y reclamar frente a los abusos.
Las amenazas futuras de la inteligencia artificial merecen estudio. Pero ya tenemos decisiones pendientes sobre la información que entregamos hoy y el poder que otros adquieren al reunirla. Quizás esta sea una amenaza más inmediata: que, en nombre de nuestra protección, empresas y gobiernos amplíen su acceso a nuestra intimidad sin límites suficientes. Me sorprende lo poco que aparece esta cuestión en muchas de nuestras conversaciones sobre la IA, mientras los escenarios futuros concentran tanta atención, y me pregunto si hemos dejado de darle importancia a la información que entregamos.
Reconocer que el sistema funciona no responde a la pregunta que me deja esta lectura:
¿Cuánto pueden saber de nosotros para protegernos, y quién pone el límite?
YJ. Montenegro
Fuente: BBC News Mundo — «Por qué China considera una amenaza la IA que imita las relaciones humanas».