A Inteligência Artificial está dominando a arte em mentir

Pior do que não ter resposta nenhuma, é receber respostas ruins, não ancoradas na verdade ou realidade, que nos levam a tomar DECISÕES EQUIVOCADAS e prejudiciais. 

Esse é um dos principais DESAFIOS INFORMACIONAIS hoje, onde MENTIRAS bem ARTICULADAS se tornam mais CONVINCENTES do que VERDADES não desejadas. 

Parece que essa lógica também se aplica aos grandes modelos de linguagem, conforme têm se tornando mais PODEROSOS. 

Pesquisas recentes sugerem que essa NOVA GERAÇÃO de CHATBOTs de IA está se tornando MENOS CONFIÁVEL, pois são mais propensos a INVENTAR FATOS ao invés de evitar ou recusar perguntas que não conseguem responder.

O estudo, publicado na revista Nature, examinou alguns dos principais LLMs comerciais da indústria: o GPT da OpenAI e o LLaMA da Meta, além de um modelo de código aberto chamado BLOOM, criado pelo grupo de pesquisa BigScience, apontando que:

✅ Embora suas respostas estão se tornando mais PRECISAS em muitos casos, elas foram, em geral, MENOS CONFIÁVEIS, apresentando uma MAIOR PROPORÇÃO de respostas ERRADAS do que modelos mais antigos.

✅ Quanto MAIORES os modelos de IA se tornaram — em termos de parâmetros, dados de treinamento e outros fatores — maior a porcentagem de RESPOSTAS ERRADAS que deram.

✅ Os modelos foram testados em tópicos que variavam de matemática a geografia e também foram solicitados a realizar tarefas como listar informações em uma ordem especificada. Os modelos maiores e mais poderosos deram as respostas mais precisas no geral, mas FALHARAM em PERGUNTAS MAIS DIFÍCEIS, para as quais tiveram uma menor precisão.

✅ De acordo com os pesquisadores, alguns dos maiores "contadores de histórias" foram o GPT-4 e o o1 da OpenAI, que RESPONDIAM quase QUALQUER PERGUNTA que lhes fosse feita.

✅ Ainda assim, os modelos de IA estão melhorando ao responder PERGUNTAS mais COMPLEXAS. O problema, além da tendência a inventar, é que eles ainda cometem erros nas perguntas simples.

A forma mais simples de COMBATER os PROBLEMAS, segundo os pesquisadores, é PROGRAMAR os LLMs para serem MENOS ANSIOSOS em RESPONDER a TUDO.