El investigador peruano Omar Flórez se prepara para un futuro "muy, muy cercano" en el que las calles estarán llenas de cámaras de vigilancia capaces de reconocer nuestros rostros y recabar información sobre nosotros a medida que caminemos por la ciudad.
Explica que lo harán sin nuestro permiso, ya que son espacios públicos y la mayoría no solemos taparnos la cara al salir de casa.
Nuestro rostro se convertirá en nuestra contraseña y, cuando entremos a una tienda, esta nos reconocerá e investigará datos como si somos clientes nuevos o asiduos, o en qué lugares hemos estado antes de cruzar la puerta. De toda la información que recabe, dependerá el trato que nos dé esa empresa.
Flórez quiere evitar que aspectos como nuestro género o color de piel formen parte de los criterios que esas compañías evalúen a la hora de decidir si merecemos un descuento u otra atención especial. Algo que puede suceder sin que las mismas firmas se den cuenta.
La inteligencia artificial no es perfecta: incluso si no es programado para hacerlo, el software puede aprender por su cuenta a discriminar.
Este ingeniero nacido en Arequipa hace 34 años, se doctoró en Ciencias de la Computación por la Universidad Estatal de Utah (Estados Unidos) y actualmente trabaja como investigador en el banco Capital One.
Es uno de los pocos latinoamericanos que estudia los aspectos éticos del machine learning o aprendizaje automático, un proceso que define como "la capacidad de predecir el futuro con datos del pasado utilizando computadoras".
Una tecnología basada en algoritmos que se usa para desarrollar el auto sin conductor o para detectar enfermedades como el cáncer de piel, entre otros.
Flórez está trabajando en un algoritmo que permita a las computadoras reconocer rostros pero sin poder descifrar el sexo o el origen étnico de la persona. Su sueño es que, cuando ese futuro llegue, las empresas incluyan su algoritmo en sus sistemas informáticos para evitar tomar decisiones racistas o machistas sin ni siquiera saberlo.
Siempre decimos que no podemos ser objetivos justamente porque somos humanos. Se ha intentado confiar en las máquinas para que ellas lo sean, pero parece que tampoco pueden?
Porque son programadas por un ser humano. De hecho, nos hemos dado cuenta hace poco que el algoritmo mismo es una opinión. Yo puedo resolver un problema con algoritmos de distintas maneras y cada una de ellas, de alguna forma, incorpora mi propia visión del mundo. De hecho, elegir cuál es la forma correcta de juzgar un algoritmo ya es una observación, una opinión sobre el algoritmo mismo.
Digamos que yo quiero predecir la probabilidad de que alguien vaya a cometer un crimen. Para eso recolecto fotos de las personas que han cometido crímenes, dónde viven, de qué raza son, su edad, etc. Después, utilizo esa información para maximizar la exactitud del algoritmo y que pueda predecir quién puede delinquir después o incluso dónde puede suceder el siguiente crimen. Esta predicción puede resultar en que la policía se enfoque más en zonas donde de repente hay más afrodescendientes porque hay una mayor cantidad de delitos en esa área o que empiece a detener latinos porque es muy probable que no tengan documentos en regla.
Entonces, para alguien que sí tenga residencia legal o sea afrodescendiente y viva en esa zona pero no cometa crímenes, será el doble de difícil desprenderse de ese estigma del algoritmo. Porque para el algoritmo tú eres parte de una familia o una distribución, así que es mucho más difícil para ti, estadísticamente, salir de esa familia o distribución. De alguna forma, estás influenciado negativamente por la realidad que te rodea. Básicamente, hasta ahora, hemos estado codificando los estereotipos que nosotros tenemos como seres humanos.
Ese elemento subjetivo está en los criterios que elegiste a la hora de programar el algoritmo.
Exactamente. Existe una cadena de procesos para hacer un algoritmo de aprendizaje automático: recolectar datos, elegir qué características son importantes, escoger el algoritmo mismo?Luego hacer una prueba para ver cómo funciona y reducir los errores y finalmente, lo sacamos al público para que lo use. Nos hemos dado cuenta de que los prejuicios están en cada uno de esos procesos.
Una investigación de ProPública destapó en 2016 que el sistema judicial de varios estados de Estados Unidos utilizaba software para determinar qué procesados tenían más probabilidades de volver a delinquir. ProPública descubrió que los algoritmos favorecían a las personas blancas y penalizaban a las negras, pese a que el formulario con el que se recababa los datos no incluía preguntas sobre el tono de piel? De cierta forma, la máquina lo adivinó y lo utilizó como un criterio para valorar pese a que no haya sido diseñada para hacerlo, ¿no?
Lo que sucede es que hay datos que ya codifican la raza y tú ni te das cuenta. Por ejemplo, en Estados Unidos tenemos el código postal. Existen zonas donde solamente o mayormente vive gente afroamericana. Por ejemplo, en el sur de California, mayormente vive gente latina. Entonces, si tú usas el código postal como característica para alimentar un algoritmo de aprendizaje automático, también estás codificando el grupo étnico sin darte cuenta.
¿Hay alguna forma de evitar esto?
Al parecer, al final del día la responsabilidad recae en el ser humano que programa el algoritmo y en cuán ético pueda ser. O sea, si yo sé que mi algoritmo va a funcionar con un 10% más de error y dejo de utilizar algo que pueda ser sensible para caracterizar al individuo, entonces simplemente lo saco y me hago responsable de las consecuencias, tal vez, económicas que pueda tener mi empresa. Así que, ciertamente hay una barrera ética entre decidir qué va y qué no va en el algoritmo y muchas veces recae en el programador.
Se supone que justamente los algoritmos son para procesar grandes volúmenes de información y ahorrar tiempo. ¿No hay una forma de que sean infalibles?
Infalibles no. Porque siempre son una aproximación de la realidad o sea, está bien tener cierto grado de error. Sin embargo, existen actualmente trabajos de investigación muy interesantes en los que tú explícitamente penalizas la presencia de datos sensibles. Así, el ser humano básicamente elige qué dato puede ser sensible o no y el algoritmo deja de utilizarlo o lo hace de una manera que no muestre correlación. Sin embargo, honestamente, para la computadora todo son números: o es un 0 o un 1 o un valor en el medio, no tiene sentido común. A pesar de que hay muchos trabajos interesantes que permiten tratar de evitar los prejuicios, hay una parte ética que siempre recae en el ser humano.
¿Existe algún área en la que tú como experto creas que no deba dejarse en manos de la inteligencia artificial?
Creo que en este momento deberíamos estar preparados para usar la computadora para asistir en vez de automatizar. La computadora debería decirte: estos son a quienes deberías procesar primero en un sistema judicial. Sin embargo, también debería ser capaz de decirte por qué. A esto se le llama interpretación o transparencia y las máquinas deberían ser capaces de informar cuál es el razonamiento que las llevó a tomar tal decisión.
Las computadoras tienen que decidir de acuerdo a patrones, ¿pero no son los estereotipos patrones? ¿No resultan útiles para que el sistema pueda detectar patrones?
Si tú, por ejemplo, quieres minimizar el error, es una buena idea numéricamente utilizar prejuicios porque te da un algoritmo más exacto. Sin embargo, el desarrollador tiene que darse cuenta de que hay un componente ético al hacer esto. Existen en este momento regulaciones que te prohíben usar ciertas características para cosas como el análisis de crédito o incluso en el uso de videos de seguridad, pero son muy incipientes. De repente, lo que necesitamos es eso. Saber que la realidad es injusta y que está llena de prejuicios.
Lo interesante es que, a pesar de eso, algunos algoritmos permiten tratar de minimizar este nivel de prejuicio. O sea, yo puedo utilizar el tono de piel, pero sin que sea más importante o que tenga la misma relevancia para todos los grupos étnicos. Así que respondiendo a tu pregunta, sí, uno puede pensar que, en realidad, usando esto va a tener resultados más exactos y muchas veces ese es el caso. Ahí está, de nuevo, ese componente ético: yo quiero sacrificar cierto nivel de exactitud a favor de no dar una experiencia mala al usuario ni usar ningún tipo de prejuicios.
Especialistas de Amazon se dieron cuenta de que una herramienta informática que habían diseñado para selección de personal discriminaba los currículos que incluían la palabra "mujer" y favorecían términos que eran más empleados por los hombres. Es una cosa bastante sorprendente, porque para evitar el sesgo uno tendría que estar adivinando qué términos suelen usar más los hombres que las mujeres en los currículos.
Incluso para el ser humano es difícil darse cuenta.
Pero a la vez, ahora intentamos no hacer diferencias entre géneros y decir que las palabras o la ropa no son masculinas ni femeninas, sino que todos las podemos usar. El aprendizaje automático parece ir en el sentido contrario, ya que tienes que admitir las diferencias entre hombres y mujeres y estudiarlas.
Los algoritmos solo recogen lo que pasa en la realidad y la realidad es que sí, los hombres utilizan unas palabras que las mujeres, tal vez, no. Y la realidad es que la gente a veces conecta mejor con esas palabras porque también son hombres los que evalúan. Entonces, decir lo contrario tal vez es ir en contra de los datos. Ese problema se evita recolectando la misma cantidad de currículos de hombres y de mujeres. Ahí el algoritmo le asignará el mismo peso a ambos o a las palabras que utilicen ambos géneros. Si solo eliges los 100 currículos que tienes sobre la mesa, tal vez solo dos de ellos sean de mujeres y 98, de hombres. Entonces creas un prejuicio porque estás modelando solamente lo que pasa en el universo de los hombres para este trabajo.
Entonces, no es una ciencia para quienes se preocupan por ser políticamente correctos porque más bien tienes que ahondar en las diferencias?
Has tocado un gran punto, que es la empatía. El estereotipo que uno tiene del ingeniero es el de alguien muy analítico y puede que hasta poco social. Sucede que estamos empezando a necesitar cosas en los ingenieros que pensábamos que no eran tan relevantes o que nos parecía bien que fuera así: la empatía, la ética? Necesitamos desarrollar esos temas porque tomamos tantas decisiones durante el proceso de implementar un algoritmo y muchas veces hay un componente ético. Si ni siquiera eres consciente de eso, no te vas a dar cuenta.
¿Se notan las diferencias entre un algoritmo diseñado por una persona y uno diseñado por 20?
En teoría, deberían reducirse los prejuicios en un algoritmo hecho por más gente. El problema es que muchas veces, ese grupo está compuesto por gente muy parecida entre sí. Quizá todos son hombres o todos sean asiáticos. Tal vez, sea bueno tener a mujeres para que se den cuenta de cosas de las que no se da cuenta el grupo en general. Es por eso que la diversidad es tan importante hoy en día.
¿Se puede decir que un algoritmo refleja los prejuicios de su autor?
Sí.
¿Y que hay algoritmos con prejuicios justamente por la poca diversidad que hay entre los que hacen algoritmos?
No solamente por eso, pero es una parte importante. Yo diría que también se debe en parte a los datos mismos, que reflejan la realidad. En los últimos 50 años nos hemos esforzado por crear algoritmos que reflejen la realidad. Ahora nos hemos dado cuenta de que muchas veces reflejar la realidad también refuerza los estereotipos en la gente.
¿Crees que en el sector hay suficiente consciencia de que los algoritmos pueden tener prejuicios o que es una cosa a la que no se le da mucha importancia?
A nivel práctico, no se le da la importancia que debería. A nivel de investigación, muchas empresas están empezando a investigar este tema seriamente creando grupos llamados FAT: Fairness, Accountability and Transparency (Justicia, Responsabilidad y Transparencia).
Este artículo es parte de la versión digital del Hay Festival Arequipa 2018, un encuentro de escritores y pensadores que se realiza en esa ciudad peruana entre el 8 y el 11 de noviembre.
Ahora puedes recibir notificaciones de BBC Mundo. Descarga la nueva versión de nuestra app y actívalas para no perderte nuestro mejor contenido.
