Apple Card: acusaron o sistema de utilizar un algoritmo sexista que favorece aos homes

Steve Wozniak e David Heinemeier Hansson contaron que, a pesar de ter unha situación crediticia similar, a tarxeta outórgalle máis crédito a eles que ás súas esposas. Isto disparou unha polémica nas redes e agora o Departamento de Servizos Financeiros de Nova York iniciou unha investigación para avaliar as prácticas detrás deste instrumento financeiro.
Publicado por o día 16/11/2019 na sección de Internet

Apple Card: acusaron o sistema de utilizar un algoritmo sexista que favorece aos homes
Nos últimos días, algúns usuarios queixáronse en Twitter respecto de que o algoritmo detrás de Apple Card ten unha configuración sexista porque, ante unha mesma situación financeira, outórgalles maior crédito aos homes que ás mulleres.
 
Agora, por mor dunha cantidade de queixas que se viralizaron nas redes, os reguladores financeiros de Estados Unidos están a investigar as prácticas nas que se basea este instrumento financeiro.
 
Todo comezou cun tweet do desarrollador de software e creador de Ruby on Rails David Heinemeier Hansson. O emprendedor publicou en Twitter que Apple Card ofrecíalle a el unha liña de crédito 20 veces máis alta que á súa esposa, a pesar de que os dous presentan declaracións de impostos conxuntas, e que, segundo di, non parecese haber un motivo financeiro que xustificase esta diferenza.
 
 
 
Ademais, criticou o feito de que aínda cando ela paga a totalidade da cota en data, a tarxeta impídelle realizar novos gastos ata o próximo período de facturación. Noutro tweet contou que buscaron respostas por parte de TransUnion, unha axencia estadounidense de informes de crédito ao consumo e déronse conta de que o puntaje crediticio dela era mesmo superior ao del o cal fai menos comprensible o motivo polo cal Apple Card outórgalle un beneficio menor.
 
O seu comentario non foi o único: houbo outros usuarios que se queixaron sobre o que parece ser unha decisión sexista, entre eles está Steve Wozniak. O cofundador de Apple respondeu un dos tuits de Hansson dicindo que el atravesara unha situación similar. “Eu obtiven un límite de crédito 10 veces superior. Non temos contas de crédito ou bancaria separadas, nin outros activos separados”, explicou.
 
A tarxeta de crédito de Apple lanzouse en agosto, no marco dun acordo con Goldman Sachs. Este lanzamento é parte dunha estratexia para incrementar os ingresos que chegan por parte da prestación de servizos, un segmento que vén crecendo nos últimos meses, por sobre a venda de iPhones.
 
 
Que puido xerar estas diferenzas? Hansson contou que a súa esposa púxose en contacto con representantes de Apple, quen se limitou a dicir que non se trata de discriminación senón que simplemente son decisións baseadas nun algoritmo.
 
Agora ben: que hai detrás dese algoritmo? Que información nutriu o desenvolvemento dese sistema? Como se sabe que non houbo rumbos no desenvolvemento dese algoritmo ou na selección de información que se utilizou para programalo? Son varias preguntas que non teñen resposta polo momento.
 
O que deixa en claro esta situación é que a medida que crece o uso de intelixencia artificial na industria resulta necesario instrumentar mecanismos para asegurarse de que as decisións das máquinas non vaian en detrimento de algúns usuarios por rumbos. Non é a primeira vez que se identifican problemas deste estilo. Houbo varios casos onde, por diferentes cuestións, os algoritmos terminaron reproducindo rumbos ou discriminando de diferentes formas.
 
A entidade reguladora de seguros en Nova York anunciou a semana pasada que iniciou unha investigación sobre un algoritmo de UnitedHealth Group Inc. que daría maior prioridade á atención de pacientes brancos que a pacientes negros, segundo publicou o New York Times.
 
De acordo cunha investigación da Universidade Carnegie Mellon realizada en 2015, as mulleres tiñan, naquel entón, menos chance que os homes de ver anuncios sobre empregos ben remunerados na web.
 
En 2016, Microsoft tivo que finalizar co proxecto de Tay, un bot para Twitter, cando resultou que, en menos de 24 horas de entrar en acción pasou de ser divertida e amable a agredir a outros usuarios e a facer apoloxía nazi. O sistema nutríase da interacción con outros usuarios e así foi como tras ser exposta a diferentes comentarios de odio nesa plataforma se conviritó nunha intelixencia artificial nociva.
 
A lista segue. O punto en cuestión é que non é a tecnoloxía per se o que xera discriminación senón a forma en que se desenvolve e aplica.
 
Goldman Sachs publicou un comunicado onde dixo que os solicitantes de Apple Card foron avaliados de forma independente, de acordo cos seus ingresos e solvencia, @teniendo en cuenta factores como a puntuación crediticia e as súas débedas persoais.
 
Neste sentido, dixo que era posible que dous membros da familia recibisen créditos diferentes, e aseguraron que non tomaron nin tomarán decisións en función de cuestións de xénero.
 
 
Pola súa banda, o Departamento de Servizos Financeiros de Nova York dixo que estaba a iniciar unha investigación respecto diso. “A lei de Nova York prohibe a discriminación contra as clases protexidas de individuos”, escribiu Linda Lacewell, a superintendente do Departamento de Servizos Financeiros do Estado de Nova York, nun post.
 
Haberá que ver a que conclusión chega esta investigación. O que si queda claro é que na era do machine learning, xorden novos desafíos. As máquinas son programadas por humanos. Nese sentido, é fundamental que os humanos que xeran eses programas, e seleccionan a información que se usa para nutrir os sistemas de aprendizaxe automática teñan en conta a diversidade e contemplen a maior cantidade de variantes posibles para evitar a reprodución automática de patróns discriminatorios.
 
Kate Crawford, investigadora de AI Now Research Institute da Universidade de Nova York e profesora do MIT Media Lab, durante unha entrevista con Infobae, que levou a cabo en novembro de 2018, advertía: “é moi difícil lidar cos rumbos”, advertiu a especialista. E neste sentido dixo que é fundamental que se xeren, en compañías e gobernos, equipos multidisciplinarios, que inclúan filósofos e sociólogos, á hora de desenvolver este tipo de tecnoloxía.
 
“Á hora de analizar estas tecnoloxías hai que preguntarse quen recibirá os maiores beneficios e quen corren os maiores riscos”, reflexionou Crawford. Sen dúbidas, é unha pregunta que hai que comezar a facerse antes de implementar calquera desenvolvemento que pode impactar directamente na vida dos usuarios como pode ser un sistema que decida quen obtén préstamos ou como se implementarán diferentes sistemas.