#05 — Se a IA entende, por que erra coisas tão simples?

Por dentro da conversa com a IA · Capítulo 5 de 6

Imagine um modelo ajustado com textos que associam uma pessoa a uma obra fictícia. Mais tarde, ele consegue completar a frase sobre o que essa pessoa criou, mas falha quando recebe o nome da obra e precisa identificar seu autor. Essa cena ilustra uma dificuldade investigada por Lukas Berglund e colaboradores: aprender uma relação em uma direção não assegura recuperá-la na direção inversa. Os pesquisadores chamaram o problema de maldição da reversão. [1]

A distinção decisiva é onde a informação aparece. O estudo examinou relações aprendidas no treinamento; não mostrou uma incapacidade geral de inverter uma relação fornecida na própria conversa. Os autores observam que os modelos podem deduzir a relação inversa quando a informação está no contexto recebido. Treinamento altera os parâmetros do modelo; contexto é o material disponível para produzir aquela resposta.

Para entender o alcance do resultado, é preciso olhar o experimento. Os pesquisadores criaram relações fictícias para controlar o que aparecia no treinamento. Quando um modelo via uma afirmação em uma ordem, muitas vezes não conseguia responder à pergunta que exigia a relação inversa. Isso não prova que todo modelo falhe em toda inversão. O resultado depende da tarefa, do treinamento e da formulação. Mas expõe uma lacuna real: acertar uma relação numa direção não assegura que ela tenha sido aprendida de forma flexível.

Saber uma frase não é dominar uma relação

Uma criança pode decorar “A capital da Bahia é Salvador” e ainda demorar para responder “Salvador é capital de qual estado?”. Com pessoas, também há diferença entre memorizar e usar. O caso da IA interessa porque esses sistemas costumam surpreender em tarefas difíceis e tropeçar em mudanças pequenas. Não podemos atribuir competência geral apenas porque uma resposta isolada parece correta.

Outra mudança simples é trocar a embalagem de um problema. Se um exercício de lógica usa “médicos e pacientes” e o modelo acerta, tente a mesma estrutura com “bibliotecários e livros”. Um sistema que captou a relação subjacente deveria, idealmente, manter a resposta. Se depende muito da forma conhecida, sua habilidade pode ser mais estreita do que parecia. Generalizar é aplicar algo aprendido a uma situação nova; a dificuldade é decidir quão nova ela precisa ser para revelar uma compreensão robusta.

Por que o erro parece tão estranho?

Porque nós completamos mentalmente o que falta. Ouvimos uma frase bem construída, imaginamos uma ideia estável por trás dela e supomos que o sistema pode usá-la de todos os ângulos. O modelo pode ter aprendido pistas que funcionam muito bem no caso comum e falham num caso vizinho. A superfície da resposta não mostra, por si só, quais pistas foram decisivas.

Também precisamos evitar o raciocínio inverso: “Errou uma pergunta simples, logo nada do que faz envolve representação.” Pessoas entendem assuntos e ainda cometem erros. Um único erro não resolve a questão do entendimento. O padrão dos erros, observado em testes controlados, é mais informativo.

Como testar melhor uma resposta

Escolha uma afirmação que a IA fez e faça três movimentos:

1. Inverta a pergunta. Se ela disse que uma pessoa ocupa um cargo, pergunte quem ocupa aquele cargo, com cuidado para casos em que várias pessoas poderiam ocupá-lo.
2. Troque os nomes e mantenha a regra. Veja se a explicação continua válida quando o cenário muda.
3. Peça um caso que não se encaixa. Quem compreende os limites de uma regra deveria conseguir identificar quando não aplicá-la.

Esses movimentos avaliam a consistência das respostas; não reproduzem o experimento de treinamento descrito acima. Também não são um teste científico definitivo nem substituem a checagem de fatos. São hábitos úteis para não confundir uma resposta convincente com domínio completo do assunto. Para uma decisão importante, confira fontes independentes e pessoas responsáveis pela área.

O que um experimento controlado revela — e o que não revela

Ao estudar relações inventadas, os pesquisadores sabem quais exemplos o modelo recebeu. No mundo real, essa certeza desaparece: um nome famoso pode ter aparecido em milhares de textos, em várias formas e junto de pistas inesperadas. Um acerto numa pergunta sobre celebridades não mostra se o modelo inferiu a relação, memorizou uma frase ou encontrou outro caminho. O cenário artificial isola um mecanismo; seu preço é não reproduzir toda a complexidade do uso cotidiano.

Não confunda, também, uma relação que pode ser invertida com toda frase escrita na ordem contrária. “Ana é mãe de Bia” permite concluir que Bia tem Ana como mãe; isso não significa que Ana seja a única pessoa com uma filha chamada Bia. “Ana admira Bia” não permite concluir “Bia admira Ana”. Um teste justo precisa especificar qual inferência é válida. Caso contrário, poderíamos chamar de erro uma resposta que corretamente recusou uma conclusão.

Essa atenção às condições do teste aproxima a discussão de uma prática científica: formular uma hipótese, criar um caso em que ela poderia falhar e observar o resultado. Se alguém disser “este modelo entende relações familiares”, pergunte quais variações foram testadas. Se disser “não entende nada”, pergunte que desempenho ou mecanismo contrariaria essa afirmação. Afirmações muito amplas sobrevivem facilmente quando ninguém define um teste.

Uma medida honesta

Pesquisas como a de Lukas Berglund e colegas não dão uma sentença sobre toda inteligência artificial. Elas nos ajudam a formular perguntas melhores: em que condições o modelo acerta, qual mudança o faz falhar e que relação entre as duas situações ele deveria ter conservado? No artigo final, vamos reunir as evidências de capacidades e de limites e voltar à pergunta maior: em que sentido, afinal, uma IA entende?

Leituras e fontes

1. Berglund, Lukas, e colaboradores. The Reversal Curse: LLMs trained on “A is B” fail to learn “B is A”. Publicado em 21/9/2023; versão revisada em 26/5/2024, consultada em 10/10/2026. Estudo sobre generalização de relações aprendidas no treinamento.
2. Li e colaboradores. Estudo sobre representações internas no Othello. ICLR 2023. Leitura complementar discutida no capítulo final da série.

Continue a leitura: ← Capítulo #04 · Capítulo #06 →