English (Inglés) Español العربية (Árabe)

Imagina esta situación:

Una pareja casada ha trabajado duro por varios años, y finalmente han logrado ahorrar lo suficiente para dar un depósito para una pequeña casa. Al fin, piensan, podremos dejar esta casa arrendada y mudarnos a nuestro propio hogar. Rellenan los formularios necesarios para la hipoteca y los envían al banco. Luego, por varias semanas, esperan con ansias que el sobre marrón con su aceptación finalmente entre por su buzón. Eventualmente llega un sobre, pero les trae una carta de rechazo. Incrédulos, miran la carta. Por qué los rechazaron? La mujer hace una llamada telefónica al banco para consultar al respecto.

De acuerdo al Reglamento General de Protección de Datos de la Unión Europea, el “derecho a una explicación” señala que se les debe entregar dicha información, pero el hombre al otro lado del teléfono no sabe la respuesta. La postulación a la hipoteca fue procesada por un sistema de inteligencia artificial que la compañía acaba de instalar después de muchos gastos, pero no provee indicaciones del origen de sus resultados. La aplicación entra y la respuesta sale. Pero, por ley, el empleado del banco debe encontrar una explicación y entregársela a sus clientes.

Acude donde los científicos computacionales del banco y les pregunta por qué el sistema rechazó la postulación. La inteligencia artificial aprendió de otras aplicaciones y tomó la decisión por si misma. Nadie sabe por qué.

Cuando el empleado del banco llama de vuelta a la pareja y les cuenta esto, ellos no pueden creerlo. Están muy enojados. Se supone que los computadores deben ayudar a la gente, pero ahora los están controlando en maneras que no fueron programadas pero aprendidas. Esta falta de transparencia no solo afecta a las industrias que se apoyan en métodos autónomos para tomar decisiones, sino que también afecta la confianza de las personas y puede permitir que haya parcialidad y discriminación en la toma de decisiones.

Yo trabajo con este tipo de problemas. Soy científica computacional especializada en inteligencia artificial (AI, por sus siglas en inglés) y quiero aumentar la confianza de la gente en las decisiones que toman los algoritmos. Les doy herramientas a expertos, por ejemplo a consultores financieros, para que puedan entender por qué y cómo un algoritmo toma una decisión. Esto también les permite detectar parcialidades y eliminarlas.

Hay una gran cantidad de literatura sobre la relación entre explicación y confianza. Se ha demostrado que mientras más fácil es explicar el resultado entregado por un sistema, es más probable que las personas confíen en ese resultado. Pero no todos los algoritmos que se usan hoy en día para tomar decisiones pueden ser explicados fácilmente. Por ejemplo, métodos tipo “caja negra” como las redes neuronales –redes artificiales inspiradas por el cerebro humano, capaces de “aprender” a partir de ejemplos sin ser programadas explícitamente para hacerlo– no son transparentes.

Desarrollo métodos para pasar de modelos tipo caja negra a modelos transparentes. Esto facilita la explicación de los resultados del proceso de toma de decisiones, haciéndolo entendible para las personas.

Convenciendo con argumentos

Cuando queremos llegar a un acuerdo, es común para las personas razonar intercambiando argumentos a favor o en contra de una cierta decisión. Uno de los métodos que uso para entregar razonamientos entendibles por las personas es argumentar. Supón que el algoritmo toma una decisión por ti, o te hace una recomendación. Como usuario, puedes entrar en un diálogo y desafiar la decisión o recomendación brindando argumentos en su contra. Para que el algoritmo te convenza, tiene que contraatacar tus argumentos con otros argumentos, hasta que ya no hayan más argumentos para presentar.

Por ejemplo, imagina que eres médico y hay un sistema para tomar decisiones que te permite especificar la información y condiciones de un paciente con cáncer (datos o imágenes) para obtener consejos sobre cuál es el mejor tratamiento. Si el sistema recomienda quimioterapia, el médico podría argumentar “por qué no radioterapia?”. El contraargumento puede ser un resultado de un estudio reciente sobre la poca efectividad de la radioterapia en otros casos similares al del paciente en cuestión.

Convencer usando diagramas

Después de trabajar en dar explicaciones con argumentos, llegué al grupo de investigación liderado por Mateja Jamnik en el Laboratorio Computacional de Cambridge para trabajar en un proyecto que investiga el poder de los diagramas para entregar explicaciones. Estos diagramas representan conceptos, individuos, y las relaciones entre ellos. Usar diagramas para razonar de la manera en que lo hacen las personas es un tema basado en la neurociencia, que muestra que la gente encuentra los razonamientos mucho más fáciles de seguir cuando se usan diagramas. Construyendo una serie de diagramas que corresponden a cada etapa de razonamiento del algoritmo, podemos explicar sus decisiones finales.

Similar al caso anterior, imagina que tenemos un sistema que puede recomendar qué medicina usar en cada paciente. El médico puede querer indagar en el razonamiento del algoritmo. Por ejemplo, una simple razón para recomendar cierto medicamento podría ser que los síntomas del paciente son muy similares a los síntomas de otra enfermedad para la cual dicho medicamento ha probado ser efectivo.

Esta es mi trayectoria personal y profesional, enfocada en controlar los resultados de la inteligencia artificial y los cambios que está trayendo a nuestras vidas. Mi esperanza es que este tipo de investigación sea reconocida no sólo por los aspectos negativos de la inteligencia artificial, como la discriminación. Tenemos un gran camino para recorrer, pero a los investigadores nos importa encontrar estas respuestas!

Traducido por Francisca Concha-Ramírez.

Francisca Concha-Ramírez es chilena, astrónoma y científica en computación. Actualmente cursa un doctorado en astrofísica computacional en la Universidad de Leiden, en los Países Bajos.

English (Inglés) Español العربية (Árabe)