Teste revela que AI-chatboter erraram mais da metade das perguntas sobre finanças

Um teste realizado por uma empresa de tecnologia revelou que os modelos de inteligência artificial mais populares, como ChatGPT e Claude, apresentaram uma taxa de erro média de 57 por cento em questões financeiras. A pesquisa analisou mais de 10.000 respostas a 121 perguntas, que foram feitas cinco vezes cada uma, abordando tópicos como dívidas, financiamentos, aposentadorias, impostos e economias.

Os resultados mostraram que os modelos tiveram um desempenho especialmente ruim em perguntas mais complexas, errando 88 por cento dessas questões. Os modelos gratuitos, como Google Gemini 3.5 Flash e Claude Haiku 4.5, falharam em 99 por cento das perguntas complicadas, enquanto as versões pagas tiveram uma taxa de erro de 49 por cento em perguntas simples.

A melhor performance foi registrada pelo modelo Claude Opus 5 Reasoning, que errou 39 por cento das perguntas consideradas fáceis e 67 por cento das difíceis. A análise concluiu que todos os modelos testados apresentaram baixa precisão em todas as categorias de perguntas, independentemente da dificuldade.

Robert Næss, diretor de investimentos de uma instituição financeira, comentou sobre a pesquisa, ressaltando que a forma como as perguntas são formuladas influencia a qualidade das respostas. Ele destacou que perguntas muito amplas podem levar a respostas imprecisas e enfatizou a importância de fornecer contexto adequado ao utilizar esses modelos de IA.

Næss também alertou sobre os riscos de seguir conselhos financeiros baseados nas respostas das AI-chatboter, mencionando que isso poderia resultar em danos financeiros significativos e consequências legais. Ele recomendou que os usuários sempre verifiquem as informações fornecidas pelos modelos e que especifiquem claramente suas perguntas para obter melhores resultados.

A pesquisa foi publicada na íntegra no site da empresa responsável pelo estudo, e Næss sugeriu que a qualidade das respostas poderia ser melhorada se as perguntas fossem formuladas de maneira mais precisa. Ele também mencionou que as versões pagas dos modelos demonstraram um desempenho superior em comparação com as gratuitas, com preços a partir de 64 reais por mês.

Informado por E24.