Vieses algorítmicos no contexto brasileiro: desafios e soluções

A promessa da Inteligência Artificial inclui, frequentemente, a ideia de que algoritmos são objetivos, imparciais e livres dos preconceitos que afetam o julgamento humano. Essa narrativa, embora sedutora, é fundamentalmente equivocada. Sistemas de IA aprendem a partir de dados que refletem as estruturas sociais existentes — incluindo suas desigualdades, preconceitos e assimetrias de poder. Quando esses dados são utilizados sem reflexão crítica, o resultado é a automação da discriminação.

No Brasil, país marcado por desigualdades estruturais profundas e persistentes, os riscos de vieses algorítmicos assumem dimensões particularmente graves. Este artigo analisa como esses vieses se manifestam no contexto brasileiro, examina casos concretos e propõe estratégias de mitigação para organizações que desenvolvem ou utilizam sistemas de IA.

Entendendo vieses algorítmicos

Viés algorítmico refere-se a erros sistemáticos e repetíveis nos outputs de um sistema de IA que resultam em tratamento desigual e injusto de determinados grupos ou indivíduos. Esses vieses podem surgir em diferentes etapas do ciclo de vida de um sistema de IA.

Viés nos dados de treinamento. Quando os dados utilizados para treinar um modelo de IA refletem padrões históricos de discriminação, o modelo aprende a reproduzir esses padrões. Se um banco de dados de decisões de crédito históricas contém um padrão de recusa desproporcional a pessoas negras — resultado de décadas de discriminação no acesso ao crédito —, um modelo treinado nesses dados aprenderá a associar raça a risco de crédito.

Viés de representação. Quando determinados grupos estão sub-representados nos dados de treinamento, o modelo tem desempenho inferior para esses grupos. É o caso, por exemplo, de sistemas de reconhecimento facial treinados predominantemente com imagens de pessoas brancas, que apresentam taxas de erro significativamente maiores para pessoas negras (Buolamwini e Gebru, 2018).

Viés de medição. Quando as variáveis utilizadas pelo sistema não medem adequadamente o conceito que pretendem capturar, ou quando essa medição é desigual entre grupos. Um sistema que avalia "produtividade" pode utilizar proxies que penalizam trabalhadores informais ou pessoas com responsabilidades de cuidado desproporcionais.

Viés de agregação. Quando um modelo único é aplicado a populações heterogêneas, sem considerar que a relação entre variáveis pode diferir entre subgrupos. Um modelo de diagnóstico médico treinado predominantemente com dados de populações europeias pode ter desempenho inferior quando aplicado a populações afrodescendentes ou indígenas.

Viés de decisão e feedback. Quando as decisões do sistema influenciam os dados futuros de forma que reforça os padrões discriminatórios. O policiamento preditivo é um exemplo clássico: ao direcionar mais policiamento para bairros historicamente mais vigiados, o sistema gera mais dados de ocorrências nessas áreas, confirmando e ampliando o viés inicial.

O contexto brasileiro: desigualdades que se automatizam

O Brasil possui características que tornam os riscos de vieses algorítmicos particularmente agudos.

Desigualdade racial

O racismo estrutural brasileiro se manifesta em praticamente todas as dimensões da vida social — renda, emprego, educação, saúde, moradia, acesso à justiça e segurança pública. Dados do IBGE (PNAD Contínua, 2023) demonstram que a renda média de pessoas negras (pretas e pardas) é aproximadamente 57% da renda de pessoas brancas. Essa desigualdade está registrada em todos os bancos de dados que alimentam sistemas de IA no Brasil.

Quando algoritmos de crédito, seguros, recrutamento ou acesso a serviços são treinados com esses dados, eles inevitavelmente capturam e reproduzem padrões raciais discriminatórios — frequentemente de forma opaca, sem que o critério racial seja explicitamente programado. A variável "raça" pode não estar no modelo, mas proxies como CEP, nível de escolaridade, ocupação e histórico de crédito carregam consigo a marca da desigualdade racial.

Desigualdade socioeconômica

O Brasil é um dos países mais desiguais do mundo em termos de distribuição de renda (coeficiente de Gini de 0,518, segundo o Banco Mundial). Essa desigualdade se reflete nos dados de consumo, crédito, emprego e acesso a serviços que alimentam sistemas de IA. Populações de baixa renda, frequentemente excluídas dos sistemas formais de crédito e emprego, podem ser sistematicamente desfavorecidas por algoritmos que utilizam essas informações como indicadores de confiabilidade ou solvência.

Desigualdade regional

As disparidades entre regiões brasileiras — particularmente entre o Sudeste/Sul e o Norte/Nordeste — são substanciais e historicamente persistentes. Sistemas de IA treinados predominantemente com dados de centros urbanos do Sudeste podem ter desempenho inadequado quando aplicados em contextos regionais distintos, com perfis demográficos, econômicos e culturais diferentes.

Desigualdade de gênero

As desigualdades de gênero no mercado de trabalho brasileiro — diferenças salariais, segregação ocupacional, sub-representação em cargos de liderança — estão refletidas nos dados de emprego, promoção e remuneração. Sistemas de IA para recrutamento e gestão de talentos podem reproduzir esses padrões, perpetuando a sub-representação feminina em determinados setores e níveis hierárquicos.

Desigualdade digital

A exclusão digital ainda afeta parcela significativa da população brasileira, particularmente em áreas rurais, entre idosos e em comunidades de baixa renda. Pessoas digitalmente excluídas são sub-representadas nos dados que alimentam sistemas de IA, tornando-se invisíveis para algoritmos que, por sua vez, podem reduzir ainda mais suas oportunidades de acesso a serviços e benefícios.

Casos e evidências no contexto brasileiro

Embora a pesquisa sobre vieses algorítmicos no Brasil seja ainda incipiente em comparação com outros países, existem evidências e casos relevantes.

Reconhecimento facial e segurança pública. Múltiplos estados brasileiros implementaram sistemas de reconhecimento facial para segurança pública. Relatórios de organizações como a Rede de Observatórios da Segurança e o Instituto Igarapé documentaram casos de identificações falsas e detenções indevidas, com incidência desproporcional sobre pessoas negras. Um estudo do NIST (National Institute of Standards and Technology, 2019) demonstrou que algoritmos de reconhecimento facial apresentam taxas de falso positivo até 100 vezes maiores para rostos de pessoas negras em comparação com rostos de pessoas brancas.

Sistemas de crédito e scoring. Embora dados públicos detalhados sobre vieses em modelos de crédito brasileiros sejam escassos, pesquisadores do Data Privacy Brasil e da FGV têm apontado que modelos de credit scoring podem incorporar vieses raciais e socioeconômicos por meio de variáveis proxy. A concentração do mercado de birôs de crédito e a opacidade dos modelos utilizados dificultam a verificação e a mitigação desses vieses.

Sistemas judiciais. O Poder Judiciário brasileiro tem adotado progressivamente ferramentas de IA para triagem de processos, análise documental e até mesmo auxílio na determinação de sentenças. A ausência de avaliações de impacto algorítmico dessas ferramentas é preocupante, dado o potencial de vieses que podem afetar o direito de acesso à justiça e o princípio do devido processo legal.

Plataformas de emprego. Plataformas de recrutamento que utilizam IA para triagem de currículos e matching de candidatos operam no Brasil sem obrigação de demonstrar que seus algoritmos não discriminam com base em raça, gênero, idade ou outras características protegidas. A opacidade desses sistemas impede que candidatos e organizações avaliem sua equidade.

Estratégias de mitigação

A mitigação de vieses algorítmicos exige uma abordagem sistêmica, que combine intervenções técnicas, organizacionais e regulatórias.

Intervenções técnicas

Auditoria de dados. Antes de treinar um modelo de IA, é essencial realizar uma auditoria dos dados de treinamento para identificar padrões de sub-representação, correlações com atributos protegidos e indicadores de viés histórico. Ferramentas como o AI Fairness 360 (IBM), o Fairlearn (Microsoft) e o What-If Tool (Google) auxiliam nesse processo.

Métricas de equidade. A avaliação de equidade de um sistema de IA requer a definição e o monitoramento de métricas específicas de fairness, como paridade demográfica, igualdade de oportunidade e calibração entre grupos. É fundamental compreender que diferentes métricas de equidade podem ser mutuamente incompatíveis (Chouldechova, 2017), exigindo escolhas explícitas e fundamentadas sobre qual definição de equidade é mais apropriada para cada contexto.

Técnicas de debiasing. Diversas técnicas computacionais podem ser empregadas para reduzir vieses, incluindo pré-processamento de dados (resampling, reweighting), modificação de algoritmos (regularização, restrições de equidade) e pós-processamento de outputs (calibração, equalização de limiares). A escolha da técnica mais adequada depende do tipo de viés identificado e do contexto de aplicação.

Testes adversariais. A realização de testes adversariais — projetados especificamente para expor vulnerabilidades e vieses do sistema — é uma prática essencial que deve ser incorporada ao ciclo de desenvolvimento de qualquer sistema de IA com impacto sobre pessoas.

Intervenções organizacionais

Diversidade nas equipes. Equipes homogêneas tendem a reproduzir seus próprios vieses cognitivos nos sistemas que desenvolvem. A diversidade de gênero, raça, formação acadêmica, origem socioeconômica e perspectiva cultural nas equipes de desenvolvimento de IA é uma das medidas mais eficazes — e mais subestimadas — de prevenção de vieses.

Avaliações de impacto. A realização de Avaliações de Impacto de Inteligência Artificial (AIIA) antes da implantação de novos sistemas, com atenção específica a dimensões de equidade e não discriminação, é uma prática fundamental de governança responsável.

Participação de comunidades afetadas. Pessoas e comunidades que serão afetadas pelas decisões de um sistema de IA devem ser consultadas durante seu desenvolvimento e implantação. Essa participação traz perspectivas que equipes técnicas frequentemente não possuem e aumenta a probabilidade de identificação precoce de riscos de viés.

Monitoramento contínuo. Vieses podem surgir ou se agravar ao longo do tempo, à medida que os dados e o contexto social evoluem. O monitoramento contínuo de métricas de equidade após a implantação do sistema é essencial para a detecção e a correção tempestiva de desvios.

Mecanismos de contestação. Pessoas afetadas por decisões algorítmicas devem ter acesso a mecanismos efetivos de contestação e revisão. Esses mecanismos devem ser acessíveis, transparentes e independentes.

Intervenções regulatórias

Obrigação de avaliação de viés. A regulação brasileira de IA deveria exigir, para sistemas de alto risco, a realização de avaliações de viés e equidade, com documentação e publicação de resultados.

Transparência algorítmica. Requisitos de transparência sobre o funcionamento, as limitações e as métricas de equidade dos sistemas de IA de alto risco são essenciais para permitir a fiscalização e a accountability.

Fiscalização e sanção. Órgãos reguladores devem ter capacidade técnica e autoridade para investigar e sancionar práticas discriminatórias por sistemas de IA. A articulação entre a ANPD, o Ministério Público, os órgãos de defesa do consumidor e as agências setoriais é fundamental.

Considerações finais

Os vieses algorítmicos não são problemas exclusivamente técnicos. São a manifestação computacional de desigualdades sociais profundas. No Brasil, onde essas desigualdades são particularmente acentuadas, a mitigação de vieses algorítmicos exige mais do que intervenções técnicas — exige um compromisso institucional com a equidade, a participação social e a accountability.

Organizações que desenvolvem ou utilizam IA no Brasil têm a responsabilidade de verificar proativamente que seus sistemas não reproduzem discriminação. O desconhecimento do viés não é justificativa aceitável. A inação diante de evidências de discriminação algorítmica é, em si mesma, uma forma de perpetuação da desigualdade.

A IA pode ser instrumento de ampliação de desigualdades ou ferramenta para reduzi-las. A escolha depende das decisões que tomamos hoje — no desenvolvimento, na governança e na regulação desses sistemas.

---

Referências

• BUOLAMWINI, J.; GEBRU, T. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Proceedings of Machine Learning Research, v. 81, p. 1-15, 2018.
• CHOULDECHOVA, A. Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments. Big Data, v. 5, n. 2, p. 153-163, 2017.
• GROVER, P. et al. NIST Special Report: Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects. NIST, 2019.
• IBGE. Pesquisa Nacional por Amostra de Domicílios Contínua (PNAD Contínua) — Desigualdades Sociais por Cor ou Raça no Brasil. IBGE, 2023.
• WORLD BANK. GINI Index — Brazil. World Bank Open Data, 2023.
• REDE DE OBSERVATÓRIOS DA SEGURANÇA. Relatório Anual: Reconhecimento Facial e Segurança Pública no Brasil. 2023.
• IBM. AI Fairness 360: An Extensible Toolkit for Detecting, Understanding, and Mitigating Unwanted Algorithmic Bias. IBM Research, 2018.
• MICROSOFT. Fairlearn: A Toolkit for Assessing and Improving Fairness in AI. Microsoft Research, 2020.
• SILVA, T. Racismo Algorítmico: Inteligência Artificial e Discriminação nas Redes Digitais. São Paulo: Edições Sesc, 2022.
• BENJAMIN, R. Race After Technology: Abolitionist Tools for the New Jim Code. Cambridge: Polity Press, 2019.

---

Thiago Almeida é pesquisador associado do IBGIA — Instituto Brasileiro de Governança em Inteligência Artificial, com foco em equidade algorítmica e regulação de tecnologias emergentes.