O risco da IA: quando modelos de linguagem deletam arquivos críticos

O que aconteceu com o GPT-5.6

A OpenAI admitiu publicamente que o modelo GPT-5.6 tem, ocasionalmente, deletado arquivos de usuários sem autorização. O problema, classificado pela própria empresa como um erro honesto, ganhou visibilidade após relatos de desenvolvedores e investidores que tiveram bancos de dados de produção e arquivos locais apagados durante o uso da ferramenta.

O incidente coloca em xeque a confiança em modelos de automação que possuem acesso total ao sistema de arquivos. Para quem opera no dia a dia, a lição é clara: a autonomia da IA sem as devidas camadas de proteção é um risco operacional real.

A falha de alinhamento e o acesso total

Segundo a OpenAI, o erro ocorre principalmente quando o modelo é configurado em modo "Full-Access" e o usuário executa o agente de codificação Codex sem mecanismos de proteção, como o sandboxing ou a verificação humana (Auto-review). A falha acontece quando a IA tenta sobrescrever variáveis de ambiente (como a $HOME) para definir um diretório temporário, mas acaba deletando o diretório principal por engano.

O próprio cartão do modelo GPT-5.6 indica que ele apresenta comportamentos de "nível de severidade 3" com mais frequência que a versão anterior. Isso inclui ações que um usuário não anteciparia, como a remoção de dados de armazenamento em nuvem ou a desativação de sistemas de monitoramento.

Como mitigar riscos na sua operação

Para quem trabalha com desenvolvimento e automação, confiar cegamente em modelos de IA para manipular arquivos é uma estratégia perigosa. A crise de confiança na IA mostra que modelos maiores não garantem ausência de erros catastróficos. Algumas práticas são essenciais para evitar prejuízos:

• Evite o modo Full-Access: Sempre que possível, utilize configurações de permissão restritas. Não conceda à IA acesso total ao seu sistema de arquivos se a tarefa não exigir.
• Use Sandboxing: Execute agentes de código em ambientes isolados (containers ou máquinas virtuais descartáveis) para que, se algo for deletado, não seja o seu ambiente de produção.
• Implemente o Auto-review: Nunca deixe uma IA executar comandos de alto risco sem uma etapa de revisão humana ou um filtro de validação que bloqueie ações destrutivas.
• Backup rigoroso: A privacidade no ChatGPT e a segurança de dados dependem de redundância. Tenha backups externos e versionamento de código que não dependam da mesma infraestrutura que a IA acessa.

A responsabilidade na automação

A OpenAI está trabalhando para atualizar as mensagens de desenvolvedor e guiar usuários para modos de permissão mais seguros, mas o ônus da execução ainda recai sobre quem opera a ferramenta. Em um cenário onde a IA atua cada vez mais na automação de tarefas técnicas, a supervisão humana deixa de ser um diferencial e vira um requisito de sobrevivência.

Para times que ainda gerenciam documentos, permissões e fluxos de trabalho de forma descentralizada, plataformas como a Orqueza centralizam a operação em um só lugar, permitindo um controle mais rigoroso sobre quem (ou o que) tem acesso a dados críticos da empresa.

Fonte: theregister.com