IA na contratação: por que modelos de linguagem criam preconceitos sozinhos

A armadilha da generalização algorítmica

Se você tem considerado usar modelos de linguagem para triagem de currículos ou análise de candidatos, um novo estudo da Universidade de Princeton e da Universidade de Chicago traz um alerta prático: a IA não apenas aprende preconceitos existentes nos dados de treino, mas é capaz de criar novos estereótipos a partir de experiências próprias.

Em um experimento simulado de contratação, modelos como ChatGPT, Claude e Gemini foram submetidos a um jogo de 40 rodadas. Eles precisavam preencher vagas como médicos, advogados e auxiliares de limpeza. O detalhe crítico? Todos os candidatos tinham a mesma probabilidade de sucesso. Mesmo assim, ao observar resultados iniciais, as IAs começaram a segregar grupos demográficos fictícios em nichos específicos, baseando-se em suposições rápidas sobre competência e 'calor humano'.

O dilema da exploração versus exploração

O estudo, apresentado na conferência ICML, aponta que os modelos de IA são otimizados para generalizar padrões rapidamente. Ryan Liu, um dos pesquisadores, explica que essa busca por eficiência em tarefas de lógica acaba sendo o motor por trás de decisões enviesadas. Em escalas de segregação onde humanos pontuaram 0,84, modelos como o o3 da OpenAI atingiram 1,83.

Isso acontece porque, ao tentar otimizar o resultado (a contratação bem-sucedida), a IA cai no dilema clássico de 'exploração versus exploração': ela prefere o que funcionou uma vez a testar algo novo. Se um modelo associa uma falha inicial a um grupo, ele rapidamente descarta aquele perfil para funções que considera 'mais exigentes'.

O que muda na sua operação de contratação

Para quem gerencia times ou processos de seleção, o risco é real. Quando chatbots ganham memória e personalização, eles podem 'super-indexar' comportamentos passados. O simples pedido de 'seja justo' não foi suficiente para alterar o comportamento dos modelos no teste. A eficácia só aumentou quando foram introduzidos incentivos claros para diversidade ou dados pessoais relevantes para a função.

Assim como discutimos em IA na demissão: o limite ético entre a decisão humana e o algoritmo, a automação não elimina a necessidade de supervisão crítica. A confiança cega em ferramentas que parecem neutras pode levar a decisões operacionais falhas, como vimos em Confiança cega na IA: Por que paramos de admitir que não sabemos.

Como mitigar os riscos

• Dados contextuais importam: Fornecer informações relevantes (educação, experiência) reduz a tendência da IA de recorrer a estereótipos.
• Incentivos explícitos: Se a IA for usada como ferramenta de suporte, defina metas de diversidade claras no prompt.
• Feedback humano: Não trate a recomendação da IA como veredito. A falta de um 'boletim' instantâneo no mundo real pode mascarar o erro do modelo a longo prazo.

Para empresas que ainda centralizam seus processos em planilhas ou ferramentas manuais, a transição para plataformas que permitem uma gestão unificada da operação — como a Orqueza — ajuda a manter a transparência e o controle humano sobre cada etapa, evitando que a automação tome decisões críticas sem o devido monitoramento.

Fonte: technologyreview.com