Harvey legal benchmark: GPT-6 Astra has fewest hallucinations but ranks third
Under a new method requiring answers free of material hallucinations, Grok 4.7 leads at 9.4%, with GPT-6 Astra third at 8.6% and only 4 material hallucinations across 120 tasks.
Saiu o resultado de uma nova comparação sobre IA no Direito. Harvey é uma empresa que há tempos desenvolve soluções de Inteligência Artificial para o Direito. A pesquisa usou uma nova metodologia pela qual se passou a exigir não apenas respostas corretas, mas também a ausência de alucinações materiais, isto é, erros capazes de comprometer a interpretação jurídica. Os resultados: Grok 4.7 lidera com apenas 9,4% de aprovação integral. Muse Spark 1.3 alcança 8,9%, após cair de 26,7% por conta das alucinações. GPT-6 Astra fica em terceiro, com 8,6%, mas se destaca pela confiabilidade: apenas 4 alucinações materiais em 120 tarefas. O dado mais preocupante? Mais de 60% dos resultados que seriam aprovados sem a verificação continham alucinações materiais. A pesquisa reforça uma distinção essencial: produzir uma resposta aparentemente correta não significa produzir uma resposta juridicamente confiável. E deixa uma pergunta para quem utiliza IA no Direito: se até as respostas que parecem boas podem conter erros relevantes, quanto vale uma revisão humana criteriosa?
This post quotes another post: x.com/artificialanlys/status/2108264572545310824