OpenAI internal tests: Astra passes 87.4% of SQLite-compatible rebuild tests

Felipe Demartini @namciosOriginally posted 2026.10.20

Open original on X

A OpenAI tá ensinando a IA dela a reescrever o código antigo que roda os bancos, e quem pode pagar a conta é a IBM. E isso a dois dias do balanço da IBM. Em fevereiro, a Anthropic disse que o Claude Code podia ajudar a modernizar sistemas em COBOL, linguagem do fim dos anos 50 que roda pagamento e transação de banco. No mesmo dia, a ação da IBM fechou em queda de 13,2%, a pior num único dia em uns 25 anos. A IBM sente porque vende há décadas os mainframes, computadores gigantes feitos pra processar transação em massa, onde muito desse código roda. Agora é a vez da OpenAI apontar pro mesmo lugar, e dessa vez com número. A IBM divulga o resultado do trimestre nesta quarta, às 18h de Brasília. Num teste interno da OpenAI, o modelo tinha que reescrever programas em COBOL pra linguagens como Java, Python e Rust sem mudar o comportamento. A tarefa só contava se todos os testes escondidos passassem, com a saída idêntica byte a byte. O GPT-6.1 Sol acertou 86,6% no modo de raciocínio baixo. O GPT-5.6 Sol, da geração anterior, acertou 5,4% na mesma configuração, e o novo ainda saiu 39% mais barato. Com mais raciocínio, o 6.1 Sol chegou a 97,9%. A OpenAI dá um exemplo de por que isso é difícil. O COBOL corta as casas decimais que sobram em vez de arredondar, a não ser que o programa mande arredondar. Uma reescrita que arredonda roda sem erro nenhum e entrega um resultado financeiro diferente. Num segundo teste, os modelos tiveram que construir do zero um banco de dados compatível com o SQLite em 20 linguagens. O GPT-6 Astra passou em 87,4% dos testes na média, contra 26,8% do GPT-5.6 Sol. No COBOL foi de 10,9% pra 72,1%, e ele continuou sendo a linguagem mais difícil. Os dois testes são da própria OpenAI, e a comparação é sempre com o modelo da geração passada, não com Anthropic ou Google. Também não tem modelo novo nem preço novo. A própria empresa diz que usar isso em sistema de verdade ainda exige revisão de especialista e teste contra as regras do negócio. Em fevereiro, a IBM respondeu que traduzir COBOL é a parte fácil, e que o difícil é redesenhar os dados, trocar o ambiente que roda os programas e manter a integridade das transações. Agora o mercado vai ter que decidir de novo se acredita nela. Vai ser uma quarta interessante pra IBM.

This post quotes another post: x.com/openai/status/2112310345863930168