Es fácil echarle la culpa al algoritmo, sobre todo cuando no entendemos qué es lo que sucede en este mundo digital que todavía no terminamos de entender. Los algoritmos se han convertido en sinónimo de algo altamente técnico y difícil de entender: es un árbitro de la verdad objetiva o, en el otro extremo del espectro, algo totalmente poco fiable. O quizá ambas cosas.

«Es culpa del algoritmo», es la frase que se escucha con mayor recurrencia toda vez que son más los procesos, los aspectos de su vida y las interacciones con entidades que son analizadas por un algoritmo en lugar de por una persona. Sus aplicaciones a una universidad o a un trabajo, pasan primero por un algoritmo que las barre, las analiza, las filtra y las selecciona o rechaza para que luego un humano complete el proceso.

Por ejemplo, su solicitud para un crédito o un seguro, pasa por un algoritmo que mide el riesgo que usted representa a partir de mucha más información que la que cualquier humano puede analizar. Información que se complementa más con datapoints de lo que llamamos nuestra identidad digital, esas huellas que dejamos cada vez que nos conectamos a Internet y utilizamos cualquier dispositivo tecnológico o servicio en línea.

Son innumerables los casos en que una persona ha sido arrestada porque «el algoritmo» los ha identificado erróneamente. Son decenas de miles de hojas de vida las que se han ido a la basura porque estaban escritas para ser leídas por un humano y no contenían las palabras claves que usó el algoritmo. Son miles de millones las aplicaciones descartadas y negadas porque el algoritmo encontró una correlación (que nadie sabe de dónde salió) que afectó la calificación final de la persona.

El debate crece porque más y más aspectos de nuestra vida son analizados por algoritmos y estos terminan generando recomendaciones, influenciando nuestras decisiones o tomando acciones que nos afectan directamente. ¿Debe una empresa que utiliza estas herramientas informarles a sus clientes, empleados, proveedores, personas interesadas en trabaja/estudiar en ella sobre su existencia? ¿Deben los gobiernos que usan estas herramientas hacer público su uso y la forma en que fueron entrenados?

Los algoritmos no son sinónimo de ultramodernidad, no son nada nuevo, ya que los humanos empezaron (¿empezamos?) a usar los protoalgoritmos desde que comenzaron (¿comenzamos?) a razonar en épocas remotas.

Si uno va a Wikipedia, se trata de «un conjunto de instrucciones o reglas definidas y no ambiguas, ordenadas y finitas, que permite solucionar un problema, realizar un cómputo, procesar datos y llevar a cabo tareas o actividades». Se trata de una especificación no ambigua para hacer cálculo, procesar datos y para el razonamiento automático. Como concepto, podríamos simplificar esto y decir que una receta es un algoritmo. Si uno no cocina los fideos antes de servirlos, no es pasta: el orden importa.

Cuando el hombre aún vivía de la pesca y de la caza sabía que, si se le acercaba un enemigo, debía defenderse con el hacha, pero si advertía un ciervo, lo cazaba con la lanza. Los algoritmos no dejan de ser instrucciones que se accionan cuando se dan ciertas condiciones, que se formalizaron en el siglo nueve, con el matemático y astrónomo persa al-Juarismi (de la deformación de su nombre dicen, salió algoritmo).

Escribimos y utilizamos algoritmos desde mucho antes de existir las computadoras

Ya en la época babilónica, los humanos los escribían para hacer las ecuaciones matemáticas que les permitían gestionar su sociedad agrícola. O sea, muchísimo antes de que a alguien se le diera por fabricar una computadora.

Pero las máquinas, en la segunda mitad del siglo pasado, permitieron que los algoritmos llegaran a otro nivel, con el desarrollo del software, la capacidad creciente de procesamiento de datos y la cantidad de datos disponibles para producir lo que conocimos como una verdadera revolución digital, desde que Serguei Brin y Larry Page, los fundadores de Google, desarrollaron los primeros algoritmos que imitaron la jerarquización aplicada a las citas académicas: cuanto más citado, más valioso.

El algoritmo Page Rank de Google comenzó a nutrirse de la inteligencia colectiva para aprender qué es lo relevante para cada uno. El conocimiento antes fragmentado en individualidades, ahora se podía reunir en un algoritmo al servicio del colectivo.

En lugar de depender solo de la información dentro de una página para determinar lo relevante que era para un término de búsqueda, el algoritmo del motor de búsqueda incorporó una serie de señales que le ayudarían a sacar a la superficie los mejores resultados, como cuántos enlaces apuntaban al artículo y qué reputación tenían esos artículos, basándose en cuántos enlaces apuntaban a esas páginas, y así sucesivamente.

Brin y Page comenzaron a recibir apoyos financieros que empresas y grupos que esperaban recuperar su inversión. Empezaba el negocio. Si había gente buscando síntomas de la gripe, se daba la oportunidad para ofrecer productos para combatirla, afinando la información, los datos, para ofrecer más consumidores probables a los anunciantes.

Shoshama Zubf, señala en La era del capitalismo de vigilancia, que los datos sirvieron como insumo para predecir el comportamiento de sus usuarios, y así la publicidad dirigida facilitó primero el camino para el éxito financiero y abrió el camino para la elaboración del capitalismo de vigilancia: lo que caracteriza a la sociedad actual es que el capital se basa en conocer detalladamente el comportamiento social presente para producir comportamientos futuros y ofrecerlos en el mercado, señaló. Con la potencia de su algoritmo, Google construyó la base de un monopolio sobre las búsquedas.

Este modelo exitoso de Google fue seguido por Amazon, Facebook, Spotify y Netflix después. La fiebre por algoritmos se expandió a la llamada industria 4.0 que busca conocer los detalles de qué hace cada máquina para mejorar su productividad.

Los algoritmos que utilizaban computadoras adquirieron importancia por primera vez a mediados del siglo XX, cuando los militares comenzaron a escribir fórmulas para, por ejemplo, determinar dónde apuntar un misil a un objeto en movimiento. El concepto se trasladó luego a la administración de empresas, con computadoras que ejecutaban fórmulas para administrar las nóminas y demás; y en la ciencia, para rastrear los movimientos en el cielo... y el de los ciudadanos en sus actividades diarias.

Pero también a los gobiernos les gustó la oportunidad. Hay jueces en Estados Unidos a los que los algoritmos les indica la probabilidad de que un convicto reincida en caso de ofrecerle libertad condicional. También se usa en el sistema educativo, para decidir la renovación de un contrato a un docente en base a los resultados de los exámenes de sus estudiantes. Sin embargo, los algoritmos no explican cómo se llegó a determinada conclusión… y de ahí los despidos sin causa de docentes, y los juicios que sobrevienen.

Cada vez más, el mundo se maneja desarrollado por varones blancos, occidentales y jóvenes que habitan y trabajan en la estadounidense Sillicon Valley, con una mirada del mundo basada en aumentar las ventas, que influye en la calidad de los datos. Cathy O´Neil, autora de Armas de Destrucción Matemática, señala que en EEUU la policía detiene con más frecuencia y brutalidad a los jóvenes negros para revisarlos por posesión de drogas, basado en un algoritmo con información fundada en prejuicios.

Los pobres pagan más intereses por sus créditos porque los algoritmos los consideran riesgosos por ser, precisamente, pobres, lo que sin duda profundiza su pobreza y la desigualdad. O´Neil señala que «el modelo se optimiza para la eficiencia y la ganancia, no para la justicia. Esta es la naturaleza del capitalismo».

Facebook, Google, Amazon y otras grandes compañías de tecnología han sido criticados intensamente por restringir las opciones de los consumidores y encapsularlos en burbujas que solo reflejan lo que estas compañías quieren ver. Ellas confían en los algoritmos para servir contenido y productos a sus clientes (y también para manipularlos).

Facebook y la contaminación tóxica en la red

Facebook despertó un fuerte debate cuando Mike Hudack, su director de Producto, publicara un mensaje de estado en el que criticaba a los periodistas por no ejercer periodismo de verdad y solo dedicarse a escribir sobre cosas superfluas. La respuesta no se hizo esperar y periodistas de medios internacionales acusaron a Facebook de ser el problema al premiar en su algoritmo a historias superfluas sobre noticias serias.

Facebook anunció más de 9.000 millones de dólares en ganancias trimestrales y que su rango de usuarios aumentó a 2.910 millones, horas después de que un colectivo de medios estadounidenses publicara en octubre último una avalancha de informes devastadores que argumentan que la compañía prioriza su crecimiento y sobre todo sus ganancias sobre la seguridad de las personas.

La megaempresa enfrenta una tormenta de críticas desde que su exempleada Frances Haugen filtró estudios internos que demuestran que la empresa conocía el daño potencial que provocaban sus sitios web, lo que llevó a legisladores estadounidenses a renovar la presión para su regulación. Los informes culpan al jefe de Facebook, Mark Zuckerberg, de que la plataforma permite que el discurso de odio aumente a nivel internacional debido a deficiencias lingüísticas y sabe que su algoritmo alimenta la polarización tóxica en línea.

«Estos documentos condenatorios subrayan que los líderes de Facebook ignoraron crónicamente las alarmas internas graves, eligiendo anteponer las ganancias a las personas», señaló en un comunicado el senador estadounidense Richard Blumenthal, crítico de las grandes compañías tecnológicas.

The New York Times, The Washington Post y Wired se encuentran entre los que recibieron acceso al conjunto de documentos internos de Facebook que Haugen filtró originalmente a las autoridades estadounidenses y que fueron la base de una serie de mordaces artículos del periódico The Wall Street Journal.

Haugen, que declaró ante los legisladores británicos, dijo que «Facebook no estuvo dispuesto a aceptar que se sacrifiquen incluso pequeñas cantidades de ganancias por la seguridad, y eso no es aceptable», denunció y agregó que el contenido que enoja o impulsado por el odio «es la forma más fácil de hacer crecer» la plataforma.

¿Algoritmos buenos?

Pero hay otros algoritmos presentes en nuestras vidas, como el que determina cuándo el lavavajillas debe pasar de lavar a secar, o cómo un automóvil regula la entrada de combustible y sabe cuándo su tanque está lleno, o cómo las sombras aparecen en una película animada digitalmente para replicar perfectamente el sol en el mundo real.

Quizá los algoritmos no tienen la culpa, pero es más cómodo culpar a los algoritmos, como es cómodo culpar a los videojuegos por la violencia en nuestras sociedades. Al responsabilizarlos, en lugar de señalar a ejecutivos y organizaciones, invisibilizamos el problema. La diferencia fundamental entre los algoritmos y las recetas de cocina es que algunos algoritmos toman decisiones, y que esas decisiones pueden afectar nuestras vidas. Porque son creados por personas que viven en ciertos contextos, y son capaces de reproducir prejuicios y formas de ver el mundo.

No sería raro que contuvieran errores que, repetidos a escala industrial por máquinas que hacen cómputo a velocidades incomprensibles, pueden conducir a un desastre. Hace unos años comenzaron a aparecer acusaciones señalando que Amazon estaba abusando de su posición en el mercado forzando a las editoriales a aceptar sus reglas a cambio de no ver cómo sus libros desaparecían de sus estantes virtuales.

Cuando el sistema falla, la culpa no es de la tecnología, es de las personas, afirma Cassie Kozyrkov, del departamento científico de Google, quien insiste en que «el propósito para el que sirva el sistema dependerá de quién lo haya construido» y en que una persona al mando con malas habilidades puede ser una enorme «amenaza» cuando se trata de construir sistemas inteligentes cuyas misiones son críticas y tendrán un gran impacto en la vida de las personas.

Sin dudas, las decisiones de los algoritmos tienen que estar supervisadas por humanos, porque es peligroso dejarlos decidiendo solos. La inteligencia artificial, cuando la dejas completamente sola, puede no ser muy inteligente y no darse cuenta de que está cayendo en problemas o en errores. Se puede auditar un algoritmo para saber cómo toma decisiones, porque se puede revisar el código y entender por qué clasificó a una persona o a un renglón de un dato o lo que fuera, dentro de una categoría.

«Lo más interesante, lo más complejo, es lo que hoy en día se llama explicabilidad: cuando un experto tiene que tomar una decisión en base a su experiencia lo puede explicar, pero cuando un algoritmo toma una decisión en base a su aprendizaje automático, en muchos casos no lo puede explicar y entonces no se entiende fácilmente por qué se tomó una decisión», explica Esteban Feuerstein, profesor de la Facultad de Ciencias Exactas y Naturales de la Universidad de Buenos Aires.

Explainability o explicabilidad significa que programar algoritmos que a priori nos permitan explicar, justificar la decisión. Entonces si un algoritmo le va a decir a un experto: «Este edificio hay que arreglarlo porque tiene un altísimo riesgo de caerse», es necesario que incluya parámetros e indique si son demasiado bajos o altos, o «cosas semejantes sucedieron en edificios que tuvieron problemas, etcétera. En general hoy en día se pretende que haya alguna explicación, alguna justificación o dato de por qué la recomendación es tal o cual», añade.

Despidos sin causa

La estadounidense Amazon y la rusa XSolla protagonizaron polémicos casos en los últimos años, con empleados que fueron calificados de improductivos por un sistema de inteligencia artificial.

En agosto de este año, cerca de 150 personas de las 500 que trabajaban en las oficinas rusas, ubicadas en Perm y Moscú, de la empresa de servicios de pago para gaming XSolla, recibieron un mail en el que se les informaba que serían despedidos porque, luego de un análisis sobre su actividad laboral de big data hecho por un sistema de inteligencia artificial contratado por la compañía, se había concluido que eran improductivos o poco comprometidos, informó la revista Forbes.

Antes, en 2019, en Estados Unidos, varios empleados del servicio de reparto de Amazon, Flex, denunciaron a Bloomberg que la empresa de Jeff Bezos estaba utilizando, al menos en esa división, un sistema de inteligencia artificial para contratar, evaluar y despedir funcionarios, sin que un solo ser humano se pusiera en contacto con ellos en algún momento del proceso.

Estos casos han puesto en cuestionamiento la aplicación de los algoritmos y los sistemas de machine learning o aprendizaje automático en el ámbito laboral, y de qué manera se los educa para definir qué es productividad y qué no.

En el caso de XSolla, por ejemplo, el mensaje del despido indicaba que se concluyó que los trabajadores eran «improductivos» porque durante los momentos más complicados de la pandemia del coronavirus en Rusia, momento en que todos estaban trabajando de manera remota, se redujo su actividad en chats corporativos, comunicaciones a través de Gmail o el acceso a documentos y plataformas utilizadas por la empresa.

El director ejecutivo de la empresa, Aleksandr Agapitov, defendió el uso de este sistema porque su empresa buscaba «que todos los empleados piensen diariamente en cómo sus acciones y decisiones afectan el destino y el éxito de la empresa, porque tenemos metas muy ambiciosas para los próximos años». Ninguna de las personas despedidas ocupaba un alto cargo, algo sorprendente cuando se considera que esta resolución se tomó en un momento en que la empresa sufrió una caída de 40% en su crecimiento, según Forbes.

En el caso de Amazon Flex, además, se les informa a los postulantes que para trabajar en el servicio por un salario de 25 dólares la hora deben aceptar ser monitoreados por el sistema de la compañía a través de una app, la misma que tienen que utilizar para organizar sus entregas de reparto. También se ha detectado que estos algoritmos no tienen en cuenta algunas variables que pueden generar complicaciones a la hora de trabajar.

En el caso de Amazon, por ejemplo, el sistema evaluaba negativamente a los repartidores cuando no podían entregar un paquete porque el complejo de viviendas en el que residía el comprador se encontraba cerrado. Otra trabajadora dijo que su calificación bajó cuando reportó un pinchazo en las ruedas de su vehículo, que la obligó a demorar en realizar algunas entregas.

Además, si los repartidores quieren impugnar un despido mediante el sistema de Amazon, deben empezar por pagar 200 dólares por la impugnación. De todos modos, nunca llegan a ponerse en contacto con una persona. A los directivos de la empresa no parece molestarles la situación.

Desde su lanzamiento en 2015, más de cuatro millones de personas descargaron la app de Amazon Flex para trabajar como repartidores a través de ella, algo que la empresa de Bezos considera un éxito rotundo. En declaraciones a Bloomberg, la vocera Kate Kudrna calificó de «anecdóticos» los casos en los que se denuncia una mala gestión por parte del sistema de inteligencia artificial.

En el caso de XSolla, mientras tanto, al menos 60 de los 150 despedidos consiguieron hablar con sus superiores directos y que se cancelara su despido. En paralelo, Agapitov, que en el mail de despido invitaba a los empleados notificados a buscar un nuevo empleo en el que «podrán ganar más y trabajar aún menos», dijo a Forbes Rusia que se vio obligado a acatar la resolución del sistema de machine learning porque ya se había acordado en el directorio de accionistas.

Las posturas de Amazon y XSolla se pueden enmarcar en un cambio en el paradigma de cómo se ve el mercado del trabajo a través de las (ya no tan) nuevas empresas tecnológicas. En 2019, el periodista de Bloomberg que escribía sobre la situación de los repartidores de Flex, Spencer Soper, explicaba que Normandin, el repartidor entrevistado, apelaba a «una cultura del esfuerzo y la dignidad del trabajo, mientras que compañías como Amazon basan su modelo en una creciente automatización de los procesos productivos y las rutinas laborales que excluye casi por completo el factor humano».

Vamos con más casos, en EEUU. En 2017 el distrito escolar independiente de Houston, tuvo que pagar 237.000 dólares por los costos del juicio que perdieron frente a siete docentes injustamente despedidos. En realidad, nadie sabía cuáles fueron las razones: la decisión había sido tomada por el Sistema de Evaluación de Valor Agregado de Educación (EVAAS), un algoritmo que tomaba el recorrido de los estudiantes en las evaluaciones para calificar al docente que habían tenido ese año y rescindir contratos o entregar bonos extra a los más destacados.

El problema es que el algoritmo no midió si el año anterior los estudiantes habían sido ayudados por un docente o si al año siguiente había ocurrido alguna situación de estrés particular que había afectado el desempeño escolar. Para el algoritmo la ecuación era simple: el docente era responsable y había que cambiarlo. Uno de los despedidos, Daniel Santos, contó en el documental Coded Bias el efecto terrible que le provocó ser señalado como un mal docente, algo que lo incentivó a buscar una explicación que nadie podía darle.

Frente al veredicto del algoritmo, muchos abandonan su trabajo sin preguntarse nada y no siempre recuperan la confianza en su propio desempeño. Luego del juicio, en Houston se abandonó el EVAAS, pero sistemas similares siguen funcionando en otras instituciones negativas educativas.

Plataformas y derechos

Esta etapa del desarrollo de internet desafía de plano las reglas de juego para proteger derechos humanos y civiles como los datos personales, la libertad de expresión, el acceso y la diversidad de los recursos de la cultura y la comunicación, el respeto a los consumidores, la seguridad de las infraestructuras críticas y la competencia en una economía con efectos de red.

Todos se preguntan hoy cómo regular las plataformas, término que comprende desde compañías abocadas al intercambio de flujos de comunicaciones y a la comercialización de publicidad digital, como Google o Facebook, o servicios de streaming como Netflix o Disney+, hasta a empresas de comercio electrónico, de logística, transporte o servicios de alojamiento, pero el problema no tiene resolución simple.

La «plataformización» de internet es reciente y su programación algorítmica asume características inéditas en las actividades de información y comunicación. Un puñado de big tech decide cancelar ciertos contenidos y premiar otros, a veces expresiones radicalizadas (antivacunas, racistas), acumular y procesar datos personales de miles de millones de personas y organizaciones, alterar las coordenadas de la privacidad y copar los segmentos mayorista y minorista de la publicidad y comercialización online.

Así como hoy internet es distinta a la de hace una década, la garantía y ampliación de derechos humanos y civiles, o su vulneración, serán la guía para evaluar el sentido de la mutación en curso que engendra la internet del futuro, explica el argentino Martín Becerra, doctor en Ciencias de la Información.

¿Democracia?

Una sociedad disgregada, dividida, es una sociedad que queda a merced de los grandes poderes facticos, como las GAFAM ¿qué interés tendría Facebook de impedir que esto se produzca, siendo que le permite su exorbitante valorización? Algunas claves de este nuevo mundo que necesitan regulación político institucional urgente son los datos y el extractivismo de información, las escalas de estas corporaciones, la monopolización de las TIC, el contenido de internet y la regulación del espectro digital.

Lo que mostraron las filtraciones, es que las reglas acerca de cuál es la información circula en sus múltiples redes sociales las pone Facebook. Y hace «excepciones para personas poderosas», y que a pesar de tener información acerca de las afectaciones en salud mental que produce el funcionamiento de los algoritmos en los adolescentes no ha hecho nada por revertirlo (ya que necesita que estén conectados a sus plataformas permanentemente para obtener los valiosos datos).

Además, se recompensan los contenidos más viralizados (es más redituable), más allá de que el contenido sean mensajes de odio y profundicen la polarización social. De manera estructural genera un estado de emocionalidad permanente en las sociedades. Facebook gana más dinero cuando se consume más contenido. La gente se involucra más con cosas que provocan una reacción emocional. Y a cuanta más rabia se les expone, más interactúan y más consumen.

El acuerdo sobre un impuesto mínimo global del 15% a las multinacionales, va a afectar directamente a corporaciones como Facebook y Amazon. Al mismo suscriben 136 países y es impulsado por Joe Biden y Janeth Yelen (secretaria del Tesoro de Estados Unidos) y muestra la necesidad del propio capital, en medio de la crisis, de reconfigurar las reglas de juego internacionales, porque se encuentran en juego millones de dólares.

Pero en la posibilidad de generar una redistribución también se encuentran en juego miles de millones de datos personales y la democracia como sistema político institucional. Estas transnacionales cambian las reglas de juego, con manipulaciones, privilegiando la instalación masiva de mensajes en función de acuerdos políticos y comerciales, utilizando los datos para inducir al candidato al que tenemos que votar.

El sistema legal en el cual se manejan las GAFAM son un problema para muchos otros sectores del poder. The Wall Street Journal, cuyo dueño es News Corp (Roper Murdock), plantea: «sería bastante fácil concluir que Facebook es terriblemente poderoso y que solo podremos controlarlo con una intervención agresiva del gobierno», mientras que el presidente estadounidense Joe Biden expone que plataformas como Facebook «están matando a la gente por la desinformación».

Pocas grandes empresas se han hecho dominantes y monopólicas en internet y en las TIC, y han avanzado en la apropiación privada y corporativa de la comunicación e incluso de la socialidad. Estas corporaciones son hijas del modelo neoliberal financiero especulativo, y en este mundo de las TIC, sin reglas claras, avanzan exponencialmente para lograr sus objetivos geopolíticos.

La desregulación ha llegado a un grado tan alto que se produjo una ofensiva por parte del parlamento de EEUU para desmonopolizar a estas corporaciones de las tecnologías. Pero parece que un algoritmo no les permite ir más a fondo…