Um estudo recente da Washington State University (WSU) trouxe à tona uma questão importante sobre o uso de inteligência artificial no dia a dia: apesar de respostas confiantes e bem articuladas, modelos como o ChatGPT ainda enfrentam limitações significativas quando lidam com análises científicas mais complexas.
A pesquisa, liderada pelo professor Mesut Cicek, analisou 719 hipóteses extraídas de revistas acadêmicas publicadas desde 2021. Essas hipóteses foram apresentadas repetidamente ao modelo, que deveria avaliar se eram verdadeiras ou falsas.
À primeira vista, os resultados parecem positivos: o modelo alcançou cerca de 80% de acerto. No entanto, ao eliminar o efeito de respostas por “chute”, o desempenho real caiu drasticamente, ficando apenas cerca de 60% acima de uma probabilidade aleatória de 50% — o equivalente a jogar uma moeda. Na prática, isso foi classificado pelos pesquisadores como um desempenho baixo, próximo a uma nota “D”.
Um dos pontos mais preocupantes foi a dificuldade do modelo em identificar afirmações falsas. Nesse aspecto, a taxa de acerto foi de apenas 16,4%, mostrando uma fragilidade clara na análise crítica.
Além disso, o estudo revelou inconsistência nas respostas. Quando a mesma pergunta era feita 10 vezes, o modelo mantinha a mesma conclusão em apenas 73% dos casos. Em situações mais extremas, houve respostas completamente contraditórias — alternando entre “verdadeiro” e “falso” — mesmo com o mesmo prompt.
Isso reforça um alerta importante: a fluidez e a confiança na linguagem da IA podem dar uma falsa sensação de precisão. No entanto, isso não significa que o sistema realmente “entende” o conteúdo. Na prática, ele funciona com base em padrões e probabilidades, não em raciocínio consciente como o humano.
Outro ponto destacado é que, mesmo com avanços recentes, as melhorias entre versões mais novas e antigas ainda são limitadas nesse tipo de tarefa. Ou seja, não houve um salto significativo na capacidade de julgamento lógico profundo.
Diante desses resultados, os pesquisadores recomendam cautela, especialmente no ambiente corporativo. A inteligência artificial pode ser uma ferramenta poderosa de apoio, mas não deve substituir o julgamento humano — principalmente em decisões estratégicas ou complexas.
Empresas e profissionais devem investir em capacitação para entender melhor tanto os benefícios quanto as limitações dessas tecnologias. O uso consciente e crítico da IA é essencial para evitar erros e decisões baseadas em informações imprecisas.
Em resumo, a inteligência artificial continua evoluindo rapidamente, mas ainda está longe de substituir o pensamento analítico humano — especialmente quando se trata de avaliar evidências e tomar decisões com alto nível de responsabilidade.