Startup encontra milhares de vulnerabilidades em ferramentas de IA

O uso de ferramentas de inteligência artificial (IA) tem sido amplamente promovido por suas vantagens, mas também gerado preocupações significativas sobre seus riscos. A startup Haize Labs, após examinar diversas soluções de IA disponíveis no mercado, revelou a existência de milhares de vulnerabilidades, trazendo um alerta importante para a comunidade tecnológica.

Apesar de fornecer dados valiosos, a Haize Labs é uma empresa recente, fundada apenas há cinco meses por três recém-formados: Michelle Tang, Steve Li e Richard Liu. A startup utiliza uma abordagem inovadora para identificar falhas em sistemas de IA, automatizando o processo conhecido como “red teaming” – uma técnica que simula ataques de hackers para detectar vulnerabilidades.

Essa metodologia é crucial para garantir que os modelos de IA atendam aos padrões de segurança e conformidade. Segundo Tang, “automatizamos e solidificamos a imprecisão em torno de garantir que os modelos cumpram os padrões de segurança e conformidade com a IA”. Além disso, a Haize Labs disponibilizou o código-fonte de alguns dos ataques descobertos em sua página no GitHub, visando aumentar a conscientização sobre a necessidade de melhorar a segurança das IAs.

A startup não apenas sinalizou proativamente as vulnerabilidades às empresas responsáveis pelas IAs testadas, mas também estabeleceu parcerias estratégicas, como com a Anthropic, para testar a resiliência de um produto algorítmico em desenvolvimento. Tang destaca a importância de eliminar vulnerabilidades das IAs através de sistemas automatizados, uma vez que a descoberta manual é demorada e pode expor os pesquisadores a conteúdos perturbadores.

Um exemplo claro dos problemas que podem surgir com a IA foi dado pela ferramenta AI Overviews do Google, que em março sugeriu ações perigosas aos usuários, e pelo chatbot da Air Canada, que prometeu descontos falsos. Tang ressaltou que, embora haja muitas discussões sobre a IA dominando o mundo, o uso indevido de IA a curto prazo representa um problema muito maior.