‘O racismo algorítmico traz uma série de riscos para a sociedade’

Na era da inteligência artificial, das redes sociais e do domínio das big techs, um perigo crescente vem chamando a atenção de pesquisadores ao redor do mundo: o racismo algorítmico. Ele pode se manifestar de diversas formas, como em scores enviesados para concessão de crédito ou em filtros de mídias sociais que, durante muito tempo, discriminavam rostos e peles negras.

Em alguns casos, as consequências podem ser ainda mais graves, como o uso do reconhecimento facial, como explica o pesquisador Tarcízio Silva nesta entrevista exclusiva ao A TARDE. “Essa tecnologia, no fim das contas, pode resultar em violência estatal e na restrição da liberdade de pessoas inocentes”, diz ele, que é autor do livro ‘Racismo Algorítmico: inteligência artificial e discriminação nas redes digitais’.

Em novembro, Tarcízio será o palestrante de abertura do 7º Encontro Nacional de Juízas e Juízes Negros (Enajun), que será realizado em Salvador. Saiba mais sobre o racismo algorítmico na entrevista a seguir.

Sua pesquisa aponta para um viés racializado, que tem a branquitude como padrão no aprendizado da inteligência artificial generativa. Como isso se dá na prática?

O que acontece na prática é que já temos mais de 10 anos de descobertas sobre o que a gente tem chamado de ‘racismo algorítmico’. Que é basicamente os diferentes níveis de resultados a depender dos grupos envolvidos ou usuários dessas tecnologias digitais. Tem vários motivos técnicos e políticos para essas diferenças, e aí a disputa é como combater isso, considerando essa corrida por quem implementa essas tecnologias mais rápido.

Quais são os erros mais comuns cometidos por esses sistemas por conta desse viés de racismo?

Há um histórico já documentado em vários repositórios relacionados a questões econômicas, como por exemplo o score de crédito enviesado. Tem questões relacionadas à saúde na priorização de pacientes ou não, na segurança pública e nas mídias sociais. A rigor, na mesma medida em que a inteligência artificial hoje é vista como algo que perpassa todas as esferas da vida, todas as esferas que envolvem dados pessoais, há muitas pesquisas. Jornalistas em torno do mundo também têm descoberto esses problemas e tentado denunciar.

Quais são os riscos que esses erros podem causar para a sociedade de forma geral?

O primeiro risco óbvio é mais consumerista, digamos. Porque se a gente observa um software que age de uma forma com mais qualidade para um grupo do que outro, isso já é uma discriminação que tem efeitos. Posso citar um bem básico, que são os filtros em mídias sociais que durante muito tempo discriminavam rostos e peles negras. Em outras áreas, temos riscos de discriminação econômica e até riscos de vida, como quando a gente pensa o reconhecimento facial que tem sido implementado em diferentes espaços no mundo. A Bahia foi ponta de lança no Brasil na implementação do reconhecimento facial no espaço público. Essa tecnologia, ao fim das contas, pode significar violência estatal e restrição da liberdade de alguém inocente, por exemplo.

Tudo isso que o senhor está falando se insere dentro desse conceito de racismo algorítmico. Como você define esse conceito em sua pesquisa?

No meu livro, eu defino o racismo algorítmico como o modo pelo qual a supremacia branca global operacionalizou esse capitalismo tecnológico para aumentar desigualdades ao custo de grupos minoritários. Isso envolve a exploração global do trabalho, com precarização, sobretudo em países do sul global. Níveis diferentes de qualidade no desenvolvimento tecnológico, e também o aumento de tecnologias de vigilância, que são utilizadas justamente para aumentar o esforço da violência estatal como um aparato de defesa da propriedade, e não das pessoas.

O racismo algorítmico pode ser considerado uma extensão do racismo estrutural?

Sim. O racismo estrutural ou sistêmico tem sido elaborado há décadas por pensadoras juristas como Isis Conceição e Dora Bertulio, que apontaram como as relações de poderes institucionais têm servido a essas disparidades. Atualmente, a principal ideologia da inteligência artificial, é a abordagem de aprendizado de máquina, que basicamente se baseia em uma grande quantidade de dados para tomar decisões. São modelos construídos em grandes bases de dados para tomar decisões para um fim, sobretudo comercial, sem um cuidado com as minúcias desses dados. Em consequência, o que temos visto é que isso é uma tendência ao reforço da discriminação, uma vez que o nosso histórico, enquanto sociedade mundial, é um histórico cheio de obsessões. A gente não pode simplesmente replicar. É necessário curadoria, análise e cautela no desenvolvimento dessas tecnologias.

Já existe uma maior percepção também na academia da necessidade de projetos de pesquisa em relação às interfaces de comunicação e os impactos dessas tecnologias?

Há um aumento de pesquisas na área, mas em alguns países como o Brasil, temos uma dificuldade no acesso a recursos para desenvolvimento de pesquisa. E, cada vez mais, a pesquisa tem sido impulsionada ou financiada pelo próprio setor privado, pelas próprias big techs, que acabam diminuindo a independência dos pesquisadores. Em um contexto global, atualmente, os maiores estudos especificamente de inteligência artificial e sistemas da informação, têm sido dominados por pesquisadores das próprias big techs. Pesquisadores que trabalham full time, o tempo inteiro, em grupos de pesquisa e desenvolvimento dessas big techs e que acabam dominando a produção e análise de modelos. Nesse sentido, há uma disparidade que é problemática para a defesa de direitos.

O que pode ser feito para se ter estudos mais independentes?

O primeiro ponto é o fomento estatal à pesquisa independente. Recentemente, o governo federal lançou o Plano Brasileiro de Inteligência Artificial, que tem um foco maior na questão de desenvolvimento de tecnologias e um pouco menos na defesa dos direitos. Mas esse é um passo, na medida em que há um fomento e uma postura para estudos sobre inteligência artificial e seus impactos. Mas eu acredito, sobretudo, que a gente precisa de abordagens multissetoriais que analisem e desenvolvam tecnologias a depender dos interesses da sociedade de forma mais múltipla. E não tanto um foco, por exemplo, em tecnologia de vigilância, como a gente vê hoje. Mas também um foco maior em questões ligadas à segurança alimentar, à sustentabilidade, que não são tão, digamos, vistosas quanto reconhecimento facial ou robótica, mas que em termos de futuro são mais interessantes.

Além da questão da inteligência artificial, a pesquisa do senhor demonstrou também que as mídias sociais foram muito coniventes com práticas racistas, como foi o caso das buscas por garotas negras. Como o senhor avalia o impacto dos algoritmos das mídias sociais na questão racial?

As grandes empresas de plataformas de mídias sociais, como a Meta, que é dona do Facebook, Instagram, e a Alphabet, que é dona do YouTube, da Google, têm implementado tecnologias em todo o mundo sem os testes necessários e têm fugido do controle social. Há um histórico e várias disputas relacionadas a esses impactos negativos que envolvem representações nocivas de grupos minoritários, como o que foi mencionado, sobre a hiperssexualização ou representações negativas de mulheres negras em buscadores. Envolve a leniência com discurso de ódio, que vitimiza mulheres, e no caso do Brasil, sobretudo mulheres negras. E também a circulação de desinformação ou conteúdos nocivos extremistas. As big techs têm, nos últimos anos, lutado fortemente contra a regulamentação. Inclusive em países como o Brasil, o que demonstra uma necessidade enorme de articulação social por esse controle, uma vez que hoje boa parte do Estado está de mãos atadas por causa do desafio que é regulamentar. Sem trazer outros aspectos nocivos, como por exemplo, possibilidades de censura e afins.

Quais são os efeitos desse racismo algorítmico na vida real?

O primeiro efeito é a distribuição de recomendação de conteúdo. Ele desfavorece produtores de conteúdos negros ou negras, ou páginas de empreendimentos liderados por pessoas negras. Isso significa, imediatamente, uma perda financeira. Um segundo ponto é a própria liberdade de expressão, que tem repercussões em todas as esferas da vida. Quando a gente analisa, por exemplo, que o ativismo de grupos minoritários tende a ser invisibilizado ou mesmo excluído da possibilidade de utilizar as plataformas para a expressão da informação. Há, por exemplo, um coletivo de criadores negros nas mídias sociais que se chama Frente Negro Online, que acabou de fazer um ano e está denunciando como as plataformas restringem a publicação de informações relacionadas à cultura negra, às religiões afro-brasileiras e afins. Nesse sentido, temos as disparidades ligadas à liberdade de expressão e comunicação, os impactos econômicos e também temos impactos relacionados à própria figura, à auto-estima e à honra das pessoas. As plataformas não estão realizando os mecanismos mínimos para cortar discursos de ódio, racismo e misoginia que no ordenamento jurídico brasileiro são considerados infrações. O que a gente vê é que as plataformas de mídias sociais, em grande medida, tentam aplicar uma lógica estadunidense sobre liberdade de expressão, desrespeitando como outros países lidam com a circulação de conteúdos nocivos.

O senhor falou da necessidade de regulação. Há alguma legislação hoje no mundo que possa servir de modelo para o Brasil?

Na União Europeia, há uma legislação avançada sobre isso, que foi aprovada recentemente e estabelece mecanismos relevantes que têm influenciado o debate no Brasil. Por exemplo, a gradação de risco, em que implementações consideradas de alto risco vão ter obrigações, por exemplo, de transparência, de relatórios. Elas não vão ter as mesmas obrigações de implementações de baixo risco, em que as empresas vão ter mais liberdade e velocidade. Outro ponto relevante que existe nessa abordagem europeia e que poderia ser inspiradora para o Brasil é a obrigatoriedade de que grupos vulnerabilizados, afetados pelas tecnologias, sejam parte dos times que fazem as análises de impacto algorítmico. Em outras regiões, como na China, a perspectiva é de registro das implementações de alto risco. Se é uma implementação, por exemplo, na área de saúde diagnóstica, é completamente adequado, me parece, que antes de ser implantada, a tecnologia seja registrada e analisada. Como acontece, por exemplo, com remédios. Você não pode vender um remédio sem uma análise. Na mesma questão, a saúde diagnóstica, pela inteligência artificial, deveria ter essas obrigações. E, por fim, em alguns países, como, por exemplo, na região sul da África, onde há um debate sobre os impactos ambientais. O Brasil, tanto pela riqueza ambiental, quanto pelo posicionamento que o país tem nessa seara, poderia se inspirar por essas perspectivas africanas para defender o nosso meio ambiente e, ao mesmo tempo, propor novas metodologias de como analisar esse impacto.

A gente sabe que tem alguns projetos em tramitação no Congresso Nacional, mas houve um grande lobby das big techs. Como está a situação hoje?

Em maio do ano passado, o presidente do Senado Rodrigo Pacheco (PSD-MG) apresentou o PL 2338, de 2023, que estabelece uma sugestão de regulação de inteligência artificial. O projeto foi elaborado por um grupo de experts em 2022 e houve algum espaço para escutas e audiências públicas. Nós participamos, trouxemos algumas colaborações e é um avanço em relação às outras propostas. É bastante inspirado pela proposta da União Europeia. Ele poderia ter algumas defesas mais intensas dos direitos, considerando que, justo por não sermos a Europa, precisamos de mais defesas de direitos. Esse PL atualmente está em avaliação por uma nova comissão. Dessa vez uma comissão de senadores: a Comissão Temporária de Inteligência Artificial, que infelizmente tem cedido em alguma medida ao lobby das big techs e da indústria, para retirar proteções a trabalhadores, para retirar a obrigatoriedade de avaliação de impacto algorítmico, ou mesmo retirar obrigações de que tecnologia de alto risco tenha algum nível de transparência. Nesse sentido, o panorama hoje é um pouco preocupante. Essa comissão vai trabalhar até novembro, já houve várias postergações. Temos buscado colaborar com esse debate para que os pontos fortes do PL 2368 sejam mantidos, especialmente relacionados à participação social. Porque, para se analisar os impactos da inteligência artificial, a sociedade toda deve participar. Aqui estou falando também de impactos positivos. Afinal de contas, se a Inteligência Artificial é uma tendência econômica, quais são os ganhos econômicos e de emprego que ela traz? Se a gente tiver transparência sobre isso, as próprias práticas de fomento podem ser melhores para todo mundo e para nossa economia.

O lobby das big techs foi bastante forte contra a regulamentação. O senhor considera possível esse Congresso enfrentar esse lobby e sair com uma legislação que seja satisfatória?

Eu acredito que as big techs e alguns setores como a CNI, a Confederação Nacional da Indústria, têm trabalhado contra os direitos dos brasileiros. As big techs têm investido somas gigantescas em todo mundo para fugir da responsabilização dos seus dados. Por exemplo, teve um estudo recente de um observatório europeu que analisou que anualmente as big techs têm gastado mais de 100 milhões de dólares na Europa com lobby. Eu acho que não temos dados equivalentes aqui no Brasil. Mas, para mostrar a gravidade da coisa, a presidente do Comitê de Proteção do Consumidor da União Europeia chegou a afirmar, no ano passado, que as big techs estão jogando mais pesado aqui no Brasil do que lá. As big techs têm utilizado o poderio econômico de uma forma desleal em duas camadas. A primeira camada é de forma mais sutil. As big techs, devido a esse poderio econômico, têm investido em projetos da sociedade civil e da academia para convencer o público de que não há outros modos de desenvolver as tecnologias. E de forma agressiva, o lobby e assédio direcionado a parlamentares, tomadores de decisão e também órgãos governamentais. Isso é realizado, sobretudo, através de associações empresariais que representam as big techs no Brasil. Envolvem até levar senadores para visitas de trabalho nos Estados Unidos, onde não existe essa regulação e onde não há interesse, uma vez que boa parte dessas empresas são de lá. Nesse sentido, o lobby das big techs é o maior empecilho para a nossa defesa de direitos.

Recentemente, a gente viu o ministro Alexandre de Moraes, ‘enquadrar’ o X (ex-Twitter), e isso acabou repercutindo no mundo todo. Qual é papel do Judiciário nessa questão?

Acho que o papel do Judiciário é estabelecer alguns mecanismos mínimos de controle de danos. A atuação do Supremo Tribunal Federal nessa seara tem sido controvertida, mas acredito que estabeleceu um exemplo, inclusive mundial. Há cartas de especialistas de todo o mundo elogiando como o Brasil estabeleceu essas sanções ao X/Twitter. Porque explicitamente, a plataforma não quis cumprir decisões e mecanismos mínimos da nossa Constituição, como ter representação no país. Nesse sentido, acredito que o Judiciário tem um papel essencial. Em pensar como a própria inteligência artificial pode melhorar ou piorar alguns mecanismos, e de se pensar o próprio fazer Judiciário. O Conselho Nacional de Justiça (CNJ), por exemplo, tem uma boa prática que é uma plataforma que se chama Sinapses. Todas as implementações de inteligência artificial no Poder Judiciário no Brasil devem ser registradas nessa plataforma com algum grau de transparência. Só que, ao mesmo tempo, com essa corrida da inovação, há o uso da inteligência artificial para atividades fins do Judiciário, o que não deveria acontecer. Você não pode utilizar, por exemplo, o chatGPT para ajudar numa decisão judicial, mas isso tem acontecido. Já temos alguns casos. O Conselho Nacional de Justiça está discutindo isso. É um tema muito relevante para o Judiciário, que tem trazido exemplos positivos e negativos, mas também estudos de casos muito interessantes.

O senhor fará a palestra de abertura do 7º Encontro Nacional de Juízas e Juízes Negros (Enajun). Qual é a importância de magistrados negros se envolverem nesse debate?

Estou bastante entusiasmado com o Enajun deste ano, que vai ter o tema Futuro, Tecnologia e Igualdade Racial. E a colaboração de juristas, de funcionários de todo o Poder Judiciário no debate, é essencial, por diferentes razões. Quando a gente fala dessa articulação política e intelectual de juízas e juízes negros, que vai ter mais esse encontro neste ano, eu acredito que é uma representação das demandas sociais por uma maior pluralidade de vozes e de pensamento no Judiciário brasileiro. À medida que a gente tem mais pessoas de diferentes origens que representem melhor as diversidades do Brasil, sobretudo grupos historicamente excluídos de espaços de decisão, como a população negra, a gente tem uma capacidade maior de efetivamente buscar a Justiça. Nesse sentido, como o racismo algorítmico hoje é um fenômeno que ainda não está resolvido, vamos precisar de muitos fatores multissetoriais para combater e mitigá-lo. A atuação de mais juízas e juízes negros nessa área é essencial para que a gente consiga estabelecer um corpo de conhecimento sobre como a legislação brasileira pode ajudar nesse combate. Um exemplo é o fato de que no Brasil a noção de discriminação indireta, que é o tipo de discriminação que mais é incorporada em sistemas algorítmicos, já tem status de emenda constitucional. É um tipo de abordagem que já permite que o Judiciário efetivamente investigue as disparidades eventualmente causadas pela inteligência artificial. E aí o Enajun vai ser um espaço de um debate muito rico nessa seara.

Raio-X

Tarcízio Silva é autor do livro 'Racismo Algorítmico: inteligência artificial e discriminação nas redes digitais'. Ele é mestre em Comunicação e Cultura Contemporâneas pela Universidade Federal da Bahia (Ufba) e doutorando em Ciências Humanas e Sociais na Universidade Federal do ABC (UFABC). Trabalha como pesquisador em Políticas de Tecnologia na Mozilla Foundation, uma organização sem fins lucrativos que defende uma internet aberta e acessível. Além disso, atua como consultor em Direitos Digitais na ABONG/Nanet, que promove a democratização da tecnologia no Brasil.