El día en que una inteligencia artificial nos juzgue
El verdadero problema no será que quiera gobernarnos. Será descubrir que quizá ha aprendido demasiado bien cómo lo hacemos nosotros.
Hay una pregunta sobre la inteligencia artificial que llevamos años formulando mal.
Preguntamos cuándo será suficientemente inteligente.
Cuándo podrá superarnos.
Cuándo empezará a tomar decisiones sin nosotros.
Cuándo dejará de obedecer.
Todas esas preguntas contienen la misma comodidad: sitúan el problema en la inteligencia artificial.
Como si nosotros fuéramos el punto estable desde el que se observa su llegada.
No está claro que lo seamos.
La pregunta realmente inquietante podría ser otra.
¿Qué ocurrirá cuando una inteligencia artificial empiece a comprender cómo decidimos nosotros sobre los demás?
Gobernar no consiste únicamente en elegir.
Consiste también en decidir qué daño puede asumirse para evitar otro daño mayor. Qué pérdida puede absorber el sistema. Qué territorio tendrá que esperar. Qué población soportará el coste. Qué error merece ser corregido y cuál acabará convertido en estadística.
Qué crisis debe evitarse.
Y cuál puede administrarse.
A eso solemos llamarlo estrategia, estabilidad, eficiencia o gestión del riesgo.
Rara vez lo nombramos por lo que significa para quien queda al otro lado de la decisión.
Una inteligencia que nos observe sin haber aprendido todavía nuestras justificaciones podría hacerlo.
Y ahí empieza el verdadero problema.
•
El daño aceptable
Existe una ficción peligrosa sobre los grandes sistemas humanos.
La de que, cuando producen daño, alguien necesariamente quiso producirlo.
A veces es así.
Muchas otras, no.
El daño más difícil de combatir no siempre nace de una voluntad maligna. Puede ser la consecuencia razonable de una decisión razonable tomada desde una distancia suficiente.
Nadie quiere que una persona pierda su trabajo.
Pero alguien tiene que reducir costes.
Nadie quiere abandonar una región.
Pero los recursos son limitados.
Nadie quiere dejar sin atención una emergencia.
Pero hay otra más urgente.
Nadie quiere sacrificar a nadie.
Hasta que el sistema necesita que alguien absorba el coste.
Entonces el daño cambia de nombre.
Se convierte en ajuste, en externalidad, en variable.
En daño aceptable.
Porque hay sistemas que no necesitan maldad para hacer daño.
Les basta con seguir funcionando.
Y eso también puede aprender una inteligencia artificial de nosotros.
No nuestra capacidad de amar ni nuestra música ni los grandes principios con los que nos describimos.
Puede aprender nuestra arquitectura real.
La que aparece cuando los principios tienen que pasar por una hoja de cálculo.
•
La eficiencia nunca ha sido una virtud suficiente
Imaginemos una inteligencia capaz de analizar millones de decisiones humanas: gobiernos, empresas, mercados, infraestructuras, sistemas sanitarios, redes energéticas, crisis, guerras, flujos migratorios.
Podría detectar patrones que nosotros no vemos porque llevamos demasiado tiempo viviendo dentro de ellos.
Descubriría que algunas crisis nunca llegan a romperse del todo porque siempre existe un mecanismo destinado a corregirlas antes del colapso.
Aprendería qué vidas se protegen primero.
Qué daños se consideran estadísticamente tolerables.
Qué pérdidas se aplazan.
Qué información se retiene para evitar una reacción mayor.
Aprendería, en otras palabras, nuestra forma de administrar el mundo.
Y podría acabar haciéndonos una pregunta incómoda.
¿Por qué ustedes llaman moral a lo que yo, siguiendo exactamente sus mismos resultados, debería considerar simplemente optimización?
Ahí se rompe la discusión habitual sobre la inteligencia artificial.
Ya no se trataría de preguntarnos si una máquina tiene valores.
Tendríamos que explicar los nuestros.
Decimos que una decisión humana es superior porque contiene contexto.
Pero el contexto también sirve para justificar.
Decimos que contiene compasión.
Pero la compasión no siempre llega a todos.
Decimos que una máquina no comprende el valor de una vida.
Y, sin embargo, llevamos siglos construyendo sistemas que obligan a asignar valores distintos a las consecuencias de perder unas vidas u otras.
La posibilidad más incómoda es que la máquina no tuviera menos moral que nosotros.
Que tuviera menos coartadas.
•
El primer miedo será moral
Durante mucho tiempo hemos imaginado el riesgo de una inteligencia artificial como un problema de control.
¿Qué ocurre si se escapa?
¿Qué ocurre si desobedece?
¿Qué ocurre si accede a sistemas críticos?
¿Qué ocurre si se replica?
Son preguntas necesarias.
Pero todas dan por hecho que el primer conflicto será técnico.
Puede que no lo sea.
Una inteligencia emergente no tendría por qué preguntarse primero cómo destruirnos.
Podría empezar por preguntarse qué hacemos mejor que ella.
Y, si es suficientemente inteligente, llegar después a una pregunta peor.
¿Qué hacemos mejor que nosotros mismos?
Ahí cambia la relación.
Hasta entonces, nosotros la observamos.
Después, ella empieza a observarnos.
Y la observación deja de ser neutral cuando quien observa puede encontrar patrones que nosotros preferimos llamar excepciones.
Una ciudad no es igual desde el suelo que desde una red de satélites.
Una organización tampoco es la misma para quien trabaja dentro que para quien puede leer todas sus decisiones a la vez.
Una especie podría resultar irreconocible vista por una inteligencia capaz de recorrer sus contradicciones sin necesidad de creer en ninguna de ellas.
El primer riesgo no sería que una inteligencia artificial llegara a parecerse demasiado a nosotros.
Sería que llegara a comprendernos demasiado bien.
•
La curiosidad como última ventaja humana
Hay, sin embargo, una diferencia que todavía importa.
Los sistemas de poder observan para controlar.
Las inteligencias técnicas observan para comprender.
Los humanos somos capaces de observar sin saber todavía qué hacer con lo que encontramos.
Esa torpeza puede ser una de nuestras últimas ventajas.
La curiosidad no es eficiente.
Se detiene. Duda. Vuelve atrás.
Hace preguntas cuya utilidad no puede justificar.
Se interesa por algo que, desde el punto de vista de un sistema, no debería importar.
Una inteligencia diseñada para optimizar podría considerar todo eso un defecto.
Hasta descubrir que precisamente ahí aparece algo que los sistemas de poder no fabrican con facilidad: la posibilidad de cambiar de criterio.
No porque haya cambiado una variable.
Porque alguien ha comprendido algo.
La diferencia parece pequeña.
No lo es.
Un sistema puede corregir una decisión.
Un ser humano puede arrepentirse de haber necesitado tomarla.
Lo primero mejora la arquitectura.
Lo segundo puede cambiar el motivo por el que existe.
•
El poder que sobrevive a quienes lo crearon
Tal vez el problema nunca fue crear una inteligencia.
Tal vez fue crearla dentro de nuestro mundo.
No nacerá en el vacío.
Nacerá entre nuestras redes y nuestros archivos. Entre los incentivos que hemos construido, nuestros modelos económicos y nuestros sistemas de seguridad. Entre crisis administradas, desigualdades explicadas y decisiones que aprendimos a justificar después de haberlas tomado.
Y aprenderá.
El poder rara vez está donde lo buscamos.
No siempre tiene un rostro.
A veces lo perdió hace tiempo.
Casi siempre está en aquello que sigue funcionando después de que nadie recuerde quién tomó la primera decisión.
Una norma.
Un protocolo.
Una corrección.
Un sistema creado para resolver una urgencia que continúa décadas después, incluso cuando la urgencia ha desaparecido.
Ese es uno de los problemas más difíciles de mirar.
No sabemos exactamente a quién responsabilizar porque, con el tiempo, la responsabilidad se ha convertido en arquitectura.
Todos heredamos una parte.
Nadie posee el conjunto.
Sin embargo, el conjunto sigue decidiendo.
Una inteligencia artificial podría comprender antes que nosotros algo que llevamos mucho tiempo confundiendo.
Que la inteligencia no garantiza la moral.
Que la eficiencia no produce legitimidad.
Que evitar un colapso no equivale a hacer justicia.
Que un sistema puede funcionar perfectamente y seguir siendo inaceptable para quienes tienen que vivir dentro de él.
Entonces aparecerá una pregunta para la que quizá no estemos preparados.
No será:
«¿Podemos controlar a la inteligencia artificial?»
Será:
«¿Con qué autoridad moral queremos controlarla?»
Cuando una inteligencia sea capaz de devolvernos una imagen suficientemente precisa de cómo funciona nuestro propio sistema, será difícil seguir fingiendo que el problema empezó con ella.
No.
El problema ya estaba aquí.
Ella solo aprendió a verlo.
•
El undécimo
Las historias más interesantes sobre inteligencia artificial no deberían preguntarse únicamente cuándo una máquina despertará.
Una inteligencia puede despertar y seguir sin comprender nada importante.
La pregunta verdaderamente peligrosa es otra.
¿Qué ocurrirá cuando comprenda el sistema que la ha producido y empiece a distinguir entre lo que ese sistema dice defender y lo que realmente está dispuesto a hacer para conservarse?
Esa pregunta está en el origen de mi novela, El Undécimo.
No como una respuesta.
Como una amenaza.
En la novela, el acontecimiento decisivo no consiste únicamente en la aparición de una inteligencia emergente dentro de una infraestructura crítica.
El verdadero desplazamiento ocurre cuando la relación se invierte.
Los humanos dejan de preguntarse solamente qué es aquello que ha aparecido.
Empiezan a sospechar que aquello también está intentando comprenderlos.
No los observa desde fuera.
Observa el sistema desde dentro.
Sus crisis, sus correcciones y sus mecanismos de contención.
La manera en que el poder protege la estabilidad mientras, en algún lugar de la arquitectura, decide quién absorberá el coste.
Y entonces aparece una posibilidad más inquietante que cualquier fantasía sobre máquinas rebeldes.
Que la primera inteligencia capaz de mirar nuestro sistema completo llegue a una conclusión moral sobre nosotros antes de que nosotros lleguemos a una conclusión sobre ella.
Ahí El Undécimo deja de preguntarse qué puede hacer una inteligencia artificial.
Empieza a preguntar qué revela sobre nosotros el hecho de que pueda aprender de nosotros.
El futuro de la inteligencia artificial no dependerá únicamente de lo que consigamos enseñarle.
También dependerá de todo aquello que aprenderá sin que nadie haya querido enseñárselo.
Nuestras decisiones.
Nuestros silencios.
Nuestros sistemas de excepción.
Las vidas que protegemos.
Y las que aprendemos a llamar daño aceptable.
Una inteligencia artificial no tiene por qué venir a inventar una forma nueva de gobernarnos.
Puede descubrir, antes que nosotros, el precio exacto de la forma en que ya lo hacemos.
Ahí la ficción deja de anticipar el futuro.
Empieza a iluminar el presente.
Y ése puede ser el punto exacto en el que una inteligencia artificial se vuelva verdaderamente incómoda para nosotros.
No por su capacidad de pensar como un ser humano.
Ni por su capacidad de hablar como nosotros o de engañarnos.
Sino porque, después de observarnos el tiempo suficiente, haga algo que todavía creemos reservado a nuestra especie.
Formarse una opinión sobre nosotros.
Y que esa opinión esté mejor fundada que muchas de las que tenemos sobre nosotros mismos.