O viés invisível dos algoritmos

  A tomada de decisão com base em dados tem se beneficiado enormemente da automação, dos algoritmos e da IA – inteligência artificial. Os processos se tornam mais assertivos, mais justos, mais produtivos quando trabalhamos com indicadores fornecidos por números exatos, em vez de nos apoiarmos em hipóteses subjetivas.

  No entanto, os sistemas computacionais não surgem do nada, por um truque de mágica. São pensados e construídos por seres humanos, que carregam em suas mentes as suas histórias de vida, as suas crenças, e que estão a serviço de organizações que têm determinados interesses e objetivos.

  Assim, os dados utilizados para elaborar algoritmos e desenvolver modelos de inteligência artificial, por sua própria natureza, carregam um viés. E, como as máquinas aprendem aquilo que lhes é ensinado, elas acabam por refletir os padrões de pensamento daqueles que as programam, reproduzindo seus vieses. É fundamental, portanto, reconhecer quando sistemas tomam decisões automáticas com vieses que geram resultados de forma incorreta, ou injusta, ou racista, ou sexista ou classista.

  Se pensarmos em um sistema de reconhecimento facial, por exemplo, é preciso considerar que, em geral, os desenvolvedores de software para aprendizado de máquina são homens, brancos. Esse padrão tornou-se a referência visual. Para minimizar os impactos dos vieses, pesquisadores da Universidade de Princeton desenvolveram uma ferramenta chamada Revealing Visual Biases (Revise, ou, revelando vieses visuais), que analisa datasets de imagens para identificar potenciais vieses.

  Disponível em formato open-source, o Revise tem como foco três tipos de vieses: objeto, gênero e geografia. Junto com as imagens, a ferramenta considera anotações e medidas como a contagem de objetos, a presença conjunta de pessoas e objetos, e a origem geográfica das imagens, revelando os padrões que destoem das distribuições medianas esperadas em datasets não enviesados.

  Nos EUA, um debate atual questiona o poder dos algoritmos sobre as leis que defendem o direito à habitação justa. Acontece que os proprietários de imóveis se utilizam cada vez mais dos serviços automatizados de triagem para eliminar locatários indesejados. Em Connecticut, um juiz levou a julgamento um processo por discriminação racial contra a empresa de triagem CoreLogic – em vez de acionar o locador. A decisão foi uma vitória para os defensores da habitação justa, para os quais os serviços de triagem de inquilinos são propensos a erros, resultam em discriminação racial e, em grande parte, não respondem ao questionamento feito.

  O caso envolveu Carmen Arroyo, que indagou à administradora de seu apartamento se seu filho, Mikhail, poderia morar com ela após ter sofrido um acidente grave, ficando incapaz de cuidar de si mesmo. Ela teve o pedido negado porque uma verificação de antecedentes descobriu uma acusação de furto no passado de Mikhail.

  Arroyo e seus advogados argumentaram que o algoritmo de triagem usado, o CrimSafe, isola desproporcionalmente candidatos negros e latinos ao se basear em registros criminais, e não dá aos candidatos a chance de explicar seus atenuantes por meio de avaliações individualizadas. De acordo com eles, a CrimSafe relatou um registro de “desqualificação” sem fornecer detalhes, o que teria permitido ao gerente da propriedade liberdade na decisão. O relatório de triagem simplesmente informou que foi encontrada uma “ação judicial criminal”.

  Ficou provado que o sistema de triagem enviesado, no caso, racista, foi o responsável por permitir um ato enviesado, de injustiça.