Em um mundo cada vez mais digital, a inteligência artificial (IA) ocupa um papel central. Ela possibilita avanços notáveis em áreas como reconhecimento facial e identificação de vozes. No entanto, especialistas alertam para um problema sério que ronda essa tecnologia: o preconceito racial.
O perigo do viés nos dados da IA
A preocupação com o preconceito racial na IA não é nova. Já foi constatado em programas de reconhecimento facial e naqueles que identificam vozes. No entanto, a situação pode ser ainda mais grave quando falamos de serviços bancários e financeiros.
Os sistemas de IA são treinados com dados e, segundo a multinacional Deloitte, a qualidade desses sistemas está diretamente relacionada com a qualidade dos dados que recebem. Dados incompletos, pouco representativos ou enviesados podem limitar a objetividade do sistema.
Nabil Manji, chefe de cripto e Web3 da Worldpay by FIS, enfatiza a importância de considerar as duas variáveis cruciais ao avaliarmos a qualidade de um produto de IA: “Uma são os dados aos quais ela tem acesso e a segunda é quão bom o grande modelo de linguagem é”, diz ele.
Um exemplo dessa reprodução de preconceitos pode ser visto na avaliação de empréstimos. Angle Bush, fundadora da organização “Black Women in Artificial Intelligence”, alerta para o risco de o sistema replicar vieses presentes nos dados usados para treinar os algoritmos. “Isso pode resultar em negações automáticas de empréstimos para indivíduos de comunidades marginalizadas, reforçando as disparidades raciais ou de gênero”, explica Bush.
Um problema difícil de detectar
Apesar da gravidade do problema, Kim Smouter, diretor do grupo European Network Against Racism, destaca que pode ser incrivelmente difícil comprovar que houve uma discriminação pela IA. Isso porque, embora a análise do sistema seja objetiva, ela é fundamentada em dados enviados.
Um exemplo disso foi quando a Apple e Goldman Sachs foram acusadas de dar limites mais baixos no Apple Card para mulheres. As alegações, no entanto, foram rejeitadas pelo Departamento de Serviços Financeiros do Estado de Nova York, que não encontrou evidências de discriminação baseada no sexo.
