#05 — Se a IA entende, por que erra coisas tão simples?

Por dentro da conversa com a IA · Capítulo 5 de 6

Você apresenta duas pessoas: “Ana é mãe de Bia.” Pouco depois pergunta: “Quem é filha de Ana?” Parece fácil. Mas uma pesquisa mostrou que certos modelos, treinados com relações em uma direção, falhavam ao recuperá-las na direção inversa. O problema recebeu um nome dramático: maldição da reversão. Berglund e colaboradores, 2023

Antes de rir da máquina, convém entender o experimento. Os pesquisadores criaram relações fictícias para controlar o que aparecia no treinamento. Quando um modelo via uma afirmação em uma ordem, muitas vezes não conseguia responder à pergunta que exigia a relação inversa. Isso não prova que todo modelo falhe em toda inversão. O resultado depende da tarefa, do treinamento e da formulação. Mas expõe uma lacuna real: acertar uma relação numa direção não assegura que ela tenha sido aprendida de forma flexível.

Saber uma frase não é dominar uma relação

Uma criança pode decorar “A capital da Bahia é Salvador” e ainda demorar para responder “Salvador é capital de qual estado?”. Com pessoas, também há diferença entre memorizar e usar. O caso da IA interessa porque esses sistemas costumam surpreender em tarefas difíceis e tropeçar em mudanças pequenas. Não podemos atribuir competência geral apenas porque uma resposta isolada parece correta.

Outra mudança simples é trocar a embalagem de um problema. Se um exercício de lógica usa “médicos e pacientes” e o modelo acerta, tente a mesma estrutura com “bibliotecários e livros”. Um sistema que captou a relação subjacente deveria, idealmente, manter a resposta. Se depende muito da forma conhecida, sua habilidade pode ser mais estreita do que parecia. Generalizar é aplicar algo aprendido a uma situação nova; a dificuldade é decidir quão nova ela precisa ser para revelar uma compreensão robusta.

Por que o erro parece tão estranho?

Porque nós completamos mentalmente o que falta. Ouvimos uma frase bem construída, imaginamos uma ideia estável por trás dela e supomos que o sistema pode usá-la de todos os ângulos. O modelo pode ter aprendido pistas que funcionam muito bem no caso comum e falham num caso vizinho. A superfície da resposta não mostra, por si só, quais pistas foram decisivas.

Também precisamos evitar o raciocínio inverso: “Errou uma pergunta simples, logo nada do que faz envolve representação.” Pessoas entendem assuntos e ainda cometem erros. Um único erro não resolve a questão do entendimento. O padrão dos erros, observado em testes controlados, é mais informativo.

Como testar melhor uma resposta

Escolha uma afirmação que a IA fez e faça três movimentos:

1. Inverta a pergunta. Se ela disse que uma pessoa ocupa um cargo, pergunte quem ocupa aquele cargo, com cuidado para casos em que várias pessoas poderiam ocupá-lo.
2. Troque os nomes e mantenha a regra. Veja se a explicação continua válida quando o cenário muda.
3. Peça um caso que não se encaixa. Quem compreende os limites de uma regra deveria conseguir identificar quando não aplicá-la.

Esses movimentos não são um teste científico definitivo nem substituem a checagem de fatos. São hábitos úteis para não confundir uma resposta convincente com domínio completo do assunto. Para uma decisão importante, confira fontes independentes e pessoas responsáveis pela área.

O que um experimento controlado revela — e o que não revela

Ao estudar relações inventadas, os pesquisadores sabem quais exemplos o modelo recebeu. No mundo real, essa certeza desaparece: um nome famoso pode ter aparecido em milhares de textos, em várias formas e junto de pistas inesperadas. Um acerto numa pergunta sobre celebridades não mostra se o modelo inferiu a relação, memorizou uma frase ou encontrou outro caminho. O cenário artificial isola um mecanismo; seu preço é não reproduzir toda a complexidade do uso cotidiano.

Não confunda, também, uma relação que pode ser invertida com toda frase escrita na ordem contrária. “Ana é mãe de Bia” permite concluir “Bia é filha de Ana” se estivermos usando os termos no sentido habitual. “Ana admira Bia” não permite concluir “Bia admira Ana”. Um teste justo precisa especificar qual inferência é válida. Caso contrário, poderíamos chamar de erro uma resposta que corretamente recusou uma conclusão.

Essa atenção às condições do teste aproxima a discussão de uma prática científica: formular uma hipótese, criar um caso em que ela poderia falhar e observar o resultado. Se alguém disser “este modelo entende relações familiares”, pergunte quais variações foram testadas. Se disser “não entende nada”, pergunte que desempenho ou mecanismo contrariaria essa afirmação. Afirmações muito amplas sobrevivem facilmente quando ninguém define um teste.

Uma medida honesta

Pesquisas como a de Lukas Berglund e colegas não dão uma sentença sobre toda inteligência artificial. Elas nos ajudam a formular perguntas melhores: em que condições o modelo acerta, qual mudança o faz falhar e que relação entre as duas situações ele deveria ter conservado? No artigo final, vamos reunir as evidências de capacidades e de limites e voltar à pergunta maior: em que sentido, afinal, uma IA entende?

Leituras e fontes: Berglund e colaboradores (2023), The Reversal Curse; Li e colaboradores (2023), estudo do Othello, como contraponto sobre representações internas úteis.

Continue a leitura: ← Capítulo #04 · Capítulo #06 →