Na semana passada, vimos o que é Big esempenoata e como essa ferramenta pode nos ajudar no dia-a-dia. Bem, em que pese serem, de fato, muito úteis, elas têm seu lado sombrio, como pode ser visto no livro Weapons of Math Destruction (“armas de destruição matemática”, em tradução livre), da pesquisadora norte-americana Cathy O’Neil.

A autora, no dizer de meu amigo e colunista do Convergência Digital, Eduardo Prado, “tem garrafa vazia pra vender”, isto é, é credenciada a não poder mais. Formada em matemática pela prestigiosa universidade de Harvard, trabalhou como pesquisadora em métodos numéricos e, em seguida, foi utilizar seus conhecimentos no mercado de ações dos EUA. Lá, viu o Big Data em ação, em toda sua “exuberância”. Firmas de investimento, no fim das contas, dependem da análise de quantidades gigantescas de dados, a fim de prever para onde caminha o mercado e quais serão os melhores investimentos.

Foi, durante seu trabalho com Hedge Funds, que a autora começou a perceber como os algoritmos que processam os dados de Big Data podem ser nocivos. Em muitos casos, populações inteiras têm suas características ignoradas com exceção de algumas poucas situações, invariavelmente ligadas ao lucro que podem gerar. Leituras tortas e injustas são usadas para definir uma situação, e geram um mecanismo de feedback pelo qual a situação é intensificada e perpetuada. Com base em Big Data, por exemplo, bairros mais pobres são policiados mais ostensivamente, em alguns casos até independente dos dados de criminalidade, e esse ato tende a remover dali as pessoas de maior poder aquisitivo, gerando mais pobreza e contribuindo com o aumento de violência. Depois de presenciar o mau uso do Big Data por quatro anos, ela decidiu se dedicar a estudar o fenômeno e seu livro explica porque a matemática — geralmente um elemento “neutro” — pode ser e é usada de maneira prejudicial na análise de dados.

O’Neil caracteriza as tais armas de destruição matemática como tendo três pontos principais sobre os quais se alicerçam:

• Opacidade – Algoritmos e métodos de análise são desconhecidos dos elementos analisados (elementos esse que incluem, muitas vezes, você e eu);
• Escala – as análises são capazes de afetar grandes grupos de pessoas, com base em grandes massas de dados, mas que nem sempre abrangem toda a população afetada;
• Nocividade – quando analisados os resultados, os algoritmos são prejudiciais, ou por incluírem vieses raciais, econômicos e que tais, ou por gerarem resultados que vão ser usados contra as populações

A autora apresenta vários exemplos da cada um desses três “pilares”, mostrando na prática como surgem as armas de destruição matemática.

Vejamos um exemplo da questão da opacidade na análise desses dados: vários casos de alunos exemplares na escola secundária sendo preteridos em seu primeiro emprego por conta de alguma característica psicológica obscura (nunca revelada pelos analistas, mas detectada segundo algum critério utilizado) que nunca os impediu de ter um bom desempenho acadêmico. Em outros casos, os preconceitos de gênero, de raça, de idade, de religião, entre outros, emergem nos resultados por conta de alguma característica inserida nos algoritmos, relacionada a esses aspectos.

No caso da escala, O’Neil faz uma análise histórica dos empréstimos bancários, lembrando o tempo em que os gerentes dos bancos conheciam pessoalmente seus clientes, e podiam levar em conta seu histórico na hora de decidir pela concessão ou não de um empréstimo. Em contraste, hoje em dia apenas os dados e comportamentos financeiros de uma pessoa são levados em consideração, e o modelo criado com base nesses dados — modelo esse que não leva em consideração questões regionais, situações pessoais passageiras, como no caso de um desemprego pregresso, e outras características importantes — e esse modelo é usado para decidir sobre populações inteiras. Essa rigidez economiza tempo para o banco, certamente, e até permite um certo grau de segurança. Mas causa enormes prejuízos para um levante de bons pagadores, que têm seus pedidos negados. Na mesma veia, os algoritmos utilizados para determinar custos e franquias de seguro de automóvel nos EUA punem em muitos casos bons motoristas e deixam franquias mais baratas para motoristas menos capazes. O modelo usado para o cálculo leva em conta idade e profissão, por exemplo, mas desconsidera o histórico dos motoristas. E também não leva em conta o local ou as condições de trânsito a que o motorista está atrelado em função de sua localização geográfica. Aí o modelo é usado em todo o país e, frequentemente, exportado para países em que as condições são bastante diferentes.

Exemplos de nocividade, terceira base do tripé, são vastos, e a eles se juntam os anteriores. O ranking de universidades norte-americanas, provido extraoficialmente (mas “oficialmente de fato”) pelo grupo U.S. News premia as universidades tradicionais, e apenas por meio de mecanismos menos que éticos, outras universidades conseguem melhorar suas posições. A Universidade do Rei Abdulaziz, na Arábia Saudita, por exemplo, conseguiu atingir o sétimo lugar no ranking da U.S. News em 2014, ficando à frente do MIT e de Cambridge. Como conseguiram? Ofereceram uma bolsa de US$72.000,00 para vários pesquisadores de matemática do mundo afora, todos com grande quantidade e qualidade de publicações, para passarem 2 semanas por ano no campus da universidade, como professores adjuntos. Para aproveitarem essa “mamata”, deveriam se filiar à Universidade, com suas publicações (artigos e livros) sendo credenciadas a ela. Como um dos principais fatores do ranking é a quantidade e a qualidade das publicações (leia-se: de autores renomados), a Universidade do Rei Abdulaziz saltou dezenas de posições em um único ano, causando uma percepção errônea em alunos do mundo todo.

No sistema judicial, as armas de destruição matemática também podem ser vistas: algoritmos que auxiliam no policiamento contribuem para que três vezes mais negros e hispânicos sejam investigados do que caucasianos, Mais: as penas para essas minorias chegam a ser duas vezes maiores do que para os caucasianos, para crimes equivalentes. Nesse caso, mais que nos outros, o Big Data contribui para uma piora na qualidade de vida de parcelas significativas da população.

OK, esses são, em linhas gerais, os problemas. A primeira questão que vem à mente é: “Puxa, será que diante de tantos despautérios ainda vale a pena mexermos com esse negócio de Big Data?” Claro que vale. O processo, em si, não é nocivo nem positivo: é neutro. Os benefícios e os malefícios surgem não do Big Data em si, mas de como criamos modelos para as situações que queremos mapear, e como aplicamos os algoritmos de análise.

Cathy O’Neil alerta para os problemas, mas afirma tacitamente que o refinamento dos algoritmos é possível e desejável. Dá trabalho, exige investimentos e — o mais importante — constante ajuste dos processos de análise. As condições econômicas, as tendências sociais, a tecnologia mudam e todos esses fatores devem ser levados em consideração. O processo de “desarme” de uma arma de destruição matemática é constante e resulta do refinamento tanto dos modelos quanto dos algoritmos de análise. Os investimentos necessários nem sempre atraem os olhares dos responsáveis (muito pelo contrário, aliás), mas são necessários. É mais fácil, claro, chegar a um modelo que funciona “bem o suficiente”. Na maioria dos casos, o Big Data gera resultados úteis, como lucro. Mas as exceções são, muitas vezes, medidas em dezenas ou centenas de milhares de pessoas, que não podem e não devem ser ignoradas. Até porque o que é um simples “resto” estatístico, na verdade afeta vidas, afeta economias familiares e pessoais, gente que tem direitos como todos nós temos. Não deveriam jamais ser descartados somente porque dá trabalho refinar um modelo ou um algoritmo.

Nós, usuários e alvos desses sistemas, podemos contribuir estando sempre vigilantes. Sempre que formos classificados de alguma forma por um desse programas, é nosso direito entender como essa classificação foi obtida. É importante que estejamos cientes de como as coisas funcionam, não nos tornando vítimas passivas da obscuridade dos modelos e algoritmos. Dá trabalho essa vigilância, mas os usuários de armas de destruição matemática contam com nossa passividade.

O livro Weapons of Math Destruction é um alerta importante. Não elimina obviamente o valor do Big Data e os enormes benefícios que esta tecnologia tem o potencial de nos trazer. Ainda assim, lança luz sobre a necessidade premente de nos precavermos, de mantermos os olhos bem abertos, e de batermos nossas panelas virtuais sempre que desconfiarmos estar sendo vitimados em casos de má conduta por parte de empresas e programas.