IA não consegue deduzir seus desejos e pensamentos (ainda)

Vídeo e comandos usados no estudo para avaliar se a IA é boa para ler nas entrelinhas das intenções humanas.
[Imagem: MMToM Project]

Ler nas entrelinhas

Escreva um comando claro e lógico e você poderá até obter uma boa resposta de um programa de inteligência artificial. Mas não irá além disso.

Chuanyang Jin e colegas da Universidade Johns Hopkins (EUA) constataram que os programas de inteligência artificial mais populares não conseguem perceber os desejos e objetivos que não estão claramente descritos, o que é muito diferente da interação entre humanos, onde desejos e objetivos não expressos são facilmente detectados pelas partes e influenciam na interação.

Como criaturas inerentemente sociais, os humanos podem inferir as emoções e os estados mentais uns dos outros a partir de uma série de fontes: Observando suas ações e gestos, ouvindo suas conversas, aprendendo com seus comportamentos passados e assim por diante. Pesquisadores cognitivos chamam isso de "Teoria da Mente", a capacidade de atribuir estados mentais ocultos, como objetivos, crenças e desejos, a outros indivíduos com base no comportamento deles.

"Entender o que os outros estão pensando ou sentindo é crucial para desenvolver máquinas que possam interagir com as pessoas de uma forma socialmente inteligente," contextualizou o professor Tianmin Shu, coordenador da pesquisa. "Por exemplo, um robô doméstico precisa dessa habilidade para descobrir o que alguém pode querer ou precisar para que possa ajudá-lo de forma mais eficaz na vida cotidiana."

Situações do mundo real

Em vez de tentar compor prompts de comando projetados para agradar os programas de inteligência artificial, a equipe criou o primeiro conjunto de dados padronizado que reflete as verdadeiras complexidades das tarefas de raciocínio encontradas por sistemas de IA do mundo real, como assistentes de IA e robôs cuidadores. Isso inclui coisas como vídeos e descrições de texto de pessoas procurando por objetos comuns em um ambiente doméstico, por exemplo.

Os pesquisadores testaram tanto humanos quanto modelos multimodais e de linguagem de última geração, para avaliar a capacidade de cada um para prever quais objetos as pessoas nos vídeos queriam encontrar e onde acreditavam que os encontrariam.

A equipe descobriu que os humanos foram melhores em entender os pensamentos e intenções dos outros quando tinham acesso a fontes variadas de informação. Em contraste, até mesmo os modelos de IA mais avançados - como o GPT-4V da OpenAI - tiveram problemas com tais tarefas, muitas vezes confundindo o que estava realmente acontecendo com o que uma pessoa acreditava estar acontecendo e tendo dificuldade em rastrear mudanças nos pensamentos das pessoas ao longo do tempo.

Ou seja, ao menos por enquanto, a IA não é boa em ler nas entrelinhas e menos ainda para detectar intenções humanas.

"Nossa pesquisa destaca falhas importantes nos modelos atuais de IA e sugere maneiras promissoras de melhorá-los," disse Shu. "Ao compartilhar esses insights, pretendemos ajudar outros a criar modelos de IA que possam entender melhor e trabalhar junto com as pessoas, levando, em última análise, a máquinas que realmente coloquem os humanos no centro de seu projeto."