No, no es el título de ninguna película distópica. No hace falta llegar a Matrix o Skynet para darse cuenta de que nuestro día a día se está convirtiendo en una lucha constante contra las máquinas. Bueno, contra los algoritmos.

Cada vez es más probable que seamos discriminados por un algoritmo. Nadie puede negar ya a estas alturas que tienen sesgo. Ya sea por parte del programador, por los datos de aprendizaje o porque así se ha querido.

Esos algoritmos que según pasa el tiempo tienen más y más capacidad de decisión sobre nuestras vidas. Incluso de trastocarlas de la noche a la mañana.

Ellos deciden, tú obedeces

No es solo que gracias a los algoritmos nos estemos volviendo tontos. Imaginar que os llama un amigo por teléfono y os dice que te busques en Google. Que tu fotografía aparece asociada a un asesino en serie. Es la historia de Hristo Georgiev «que al parecer hay un asesino que se llama igual que él y es a donde apunta el enlace de la Wikipedia tras la descripción del «violador y asesino en serie de cinco personas». Con la salvedad de que en la wiki no aparece su fotografía por ningún lado, sino que ha sido el algoritmo de Google el que ha hecho la «desafortunada asociación»» (Vía WTF).

Otra situación. Recibes un email generado automáticamente por un algoritmo que gestiona los RRHH de tu empresa. Te dice que estás despedido y estás fuera, no hay a quién reclamar. Es lo que le ha pasado a Stephen Normandin, conductor de reparto de Amazon en Phoenix, que tras cuatro años de trabajo ha sido despedido de esta manera. Imagina, ser despedido por un bot, eres tú contra la máquina. En breve necesitaremos un defensor del empleado ante los algoritmos.

Los algoritmos ya deciden en muchos casos a quién contratar para un puesto de trabajo, las calificaciones de los estudiantes, aconsejan a los tribunales sobre la pena que se ha de imponer a un acusado, con quién te juntan en una aplicación de citas, si te hacen o no un seguro médico y a qué precio o deciden quién puede recibir un préstamo o no.

El problema es que en muchas ocasiones ni nos enteramos cuando un algoritmo ha tomado una decisión que nos afecta. Y todo eso a pesar de que el derecho a la explicación, a conocer los parámetros en los que se ha basado un algoritmo para tomar una decisión ya está reconocido en sitios como la carta de derechos digitales del Ayuntamiento de Barcelona o incluso a poder impugnar las decisiones automatizadas o algorítmicas según recoge la propuesta de la Carta de derechos digitales del gobierno de España.

5 Libros sobre el tema

El enemigo conoce el sistema – Marta Peirano

«La red no es libre, ni abierta ni democrática. Es un conjunto de servidores, conmutadores, satélites, antenas, routers y cables de fibra óptica controlados por un número cada vez más pequeño de empresas.

Es un lenguaje y una burocracia de protocolos que hacen que las máquinas hablen, normas de circulación que conducen el tráfico, microdecisiones que definen su eficiencia. Si la consideramos un único proyecto llamado internet, podemos decir que es la infraestructura más grande jamás construida, y el sistema que define todos los aspectos de nuestra sociedad. Y sin embargo es secreta. Su tecnología está oculta, enterrada, sumergida o camuflada; sus algoritmos son opacos; sus microdecisiones son irrastreables. Los centros de datos que almacenan y procesan la información están ocultos y protegidos por armas, criptografía, propiedad intelectual y alambre de espino.

La infraestructura crítica de nuestro tiempo está fuera de nuestra vista. No podemos comprender la lógica, la intención y el objetivo de lo que no vemos. Todas las conversaciones que tenemos sobre esa infraestructura son en realidad conversaciones sobre su interfaz, un conjunto de metáforas que se interpone entre nosotros y el sistema.
Un lenguaje diseñado, no para facilitar nuestra comprensión de esa infraestructura, sino para ofuscarla. El enemigo conoce el sistema pero nosotros no.»

The Alignment Problem – Brian Christian

«Los sistemas actuales de «aprendizaje automático», entrenados con datos, son tan eficaces que los hemos invitado a ver y oír por nosotros… y a tomar decisiones en nuestro nombre. Pero las alarmas han saltado. En los últimos años ha surgido una gran preocupación a medida que avanza el campo del aprendizaje automático. Cuando los sistemas que intentamos enseñar no hacen, al final, lo que queremos o lo que esperamos, surgen riesgos éticos y potencialmente existenciales. Los investigadores lo llaman el problema de la alineación.

Los sistemas seleccionan los currículos hasta que, años después, descubrimos que tienen sesgos inherentes de género. Los algoritmos deciden la fianza y la libertad condicional… y parecen evaluar de forma diferente a los acusados negros y blancos. Ya no podemos suponer que nuestra solicitud de hipoteca, o incluso nuestras pruebas médicas, sean vistas por ojos humanos. Y a medida que los vehículos autónomos comparten nuestras calles, ponemos cada vez más nuestras vidas en sus manos.»

An artificial Revolution – Ivana Bartoletti

«La IA tiene un potencial transformador sin precedentes para remodelar la sociedad, nuestras economías y nuestras vidas laborales, pero sin un escrutinio legal, una supervisión internacional y un debate público, estamos caminando como sonámbulos hacia un futuro escrito por algoritmos que codifican prejuicios racistas, sexistas y clasistas en nuestras vidas diarias – un problema que requiere un cambio político y cultural sistémico para abordarlo de forma productiva.

La experta en privacidad Ivana Bartoletti expone la realidad de la revolución de la IA, desde los trabajadores mal pagados que se esfuerzan por entrenar a los algoritmos para que reconozcan pólipos cancerosos, hasta el aumento del tecno-racismo y el tecno-chauvinismo y la relación simbiótica entre la IA y el populismo de derechas. Una revolución artificial es un manual esencial para entender la intersección entre la tecnología y las fuerzas geopolíticas que están dando forma al futuro de la civilización.»

Algorithms of Oppression – Safiya Umoja Noble

«Si buscas en Google «chicas negras», ¿qué encontrarás? «Big Booty» y otros términos sexualmente explícitos probablemente aparezcan como términos de búsqueda principales. Pero si escribes «chicas blancas», los resultados son radicalmente diferentes. Los sitios porno sugeridos y los debates no moderados sobre «por qué las mujeres negras son tan descaradas» o «por qué las mujeres negras están tan enfadadas» presentan un retrato inquietante de la feminidad negra en la sociedad moderna.

En Algorithms of Oppression, Safiya Umoja Noble cuestiona la idea de que los motores de búsqueda como Google ofrecen igualdad de condiciones para todas las formas de ideas, identidades y actividades. La discriminación de datos es un problema social real; Noble argumenta que la combinación de intereses privados en la promoción de ciertos sitios, junto con el estatus de monopolio de un número relativamente pequeño de motores de búsqueda de Internet, conduce a un conjunto sesgado de algoritmos de búsqueda que privilegian la blancura y discriminan a las personas de color, específicamente a las mujeres de color.»

Human Compatible – Stuart Russell

«En este libro innovador, el distinguido investigador de la IA Stuart Russell sostiene que este escenario puede evitarse, pero solo si repensamos la IA desde la base. Russell comienza explorando la idea de la inteligencia en los seres humanos y en las máquinas. Describe los beneficios que podemos esperar a corto plazo, desde asistentes personales inteligentes hasta la aceleración de la investigación científica, y esboza los avances de la IA que todavía tienen que producirse antes de que alcancemos una IA sobrehumana. También expone las formas que los humanos ya están encontrando para hacer un mal uso de la IA, desde las armas autónomas letales hasta el sabotaje viral.

Si se producen los avances previstos y surge una IA sobrehumana, habremos creado entidades mucho más poderosas que nosotros mismos. ¿Cómo podemos asegurarnos de que nunca, nunca, tengan poder sobre nosotros? Russell sugiere que podemos reconstruir la IA sobre una nueva base, según la cual las máquinas están diseñadas para ser intrínsecamente inciertas sobre las preferencias humanas que deben satisfacer. Esas máquinas serían humildes, altruistas y estarían comprometidas a perseguir nuestros objetivos, no los suyos. Este nuevo fundamento nos permitiría crear máquinas que sean probadamente deferentes y probadamente beneficiosas.»

Y la batalla más dura contra los algoritmos es…

No equivocarte en un captcha…

Carlos Guadián Orta @carlosguadian

A veces tengo esta sensación 😅

June 27th 2021

1 Retweet5 Likes

Publicado en carlosguadian.net