Estudos científicos que associam cérebro e comportamento não têm resultados confiáveis

Para serem válidos, os estudos de associação de comportamentos a áreas do cérebro precisariam de envolver milhares de participantes.
[Imagem: Alex Berdis]

Cérebro e comportamento

Os cientistas têm usado largamente estudos de associação para medir sinais cerebrais e vinculá-los a características complexas, como personalidade, comportamento, cognição, condições neurológicas e doenças mentais.

Mas Scott Marek e seus colegas das universidades de Washington e Minnesota (EUA) demonstraram agora que a maioria desses estudos de associação em todo o cérebro publicados em revistas médicas e científicas são realizados com um número de participantes pequeno demais para produzir resultados confiáveis.

Usando conjuntos de dados já publicados - envolvendo um total de quase 50.000 participantes - os pesquisadores analisaram uma variedade de tamanhos de amostra e descobriram que estudos desse tipo precisam incluir milhares de indivíduos para produzir resultados que outras equipes consigam reproduzir. Contudo, os estudos típicos de associação cerebral envolvem apenas algumas dúzias de pessoas, demonstrando porque diferentes estudos produzem resultados tão diferentes.

Esses chamados "estudos de baixo poder" são suscetíveis de "descobrir" associações fortes, mas espúrias, por acaso, enquanto perdem associações reais, mas mais fracas, alerta a equipe.

Descobertas sem sustentação

Estudos de associação em todo o cérebro rotineiramente insuficientes resultam em um excesso de "descobertas" com aparências surpreendentemente fortes, mas irreprodutíveis, que retardam o progresso na compreensão de como o cérebro funciona, disseram os pesquisadores.

Eles descobriram que as correlações cérebro-comportamento identificadas usando um tamanho de amostra de 25 voluntários - o tamanho médio da amostra nos artigos científicos publicados - geralmente não se replicavam em uma amostra separada. À medida que o tamanho da amostra crescia para milhares, as correlações tornaram-se mais prováveis de serem reproduzidas.

"Nossas descobertas refletem um problema estrutural, sistêmico, com estudos projetados para encontrar correlações entre duas coisas complexas, como o cérebro e o comportamento," disse Nico Dosenbach, membro da equipe.

Tamanho de efeito

Curiosamente, a força estimada da correlação entre os sinais cerebrais e o comportamento, uma medida conhecida como tamanho do efeito, tendeu a ser maior para as amostras menores. Os tamanhos de efeito são dimensionados de 0 a 1, sendo 0 sem correlação e 1 uma correlação perfeita. Um tamanho de efeito de 0,2 é considerado bastante forte.

À medida que os tamanhos das amostras aumentaram e as correlações se tornaram mais reprodutíveis, os tamanhos dos efeitos diminuíram. O tamanho do efeito reprodutível mediano foi de 0,01. No entanto, artigos publicados sobre estudos de associação em todo o cérebro relatam rotineiramente tamanhos de efeito de 0,2 ou mais.

Em retrospecto, deveria ter ficado óbvio que os tamanhos de efeito relatados eram muito altos.

"Você pode encontrar tamanhos de efeito de 0,8 na literatura, mas nada na natureza tem um tamanho de efeito de 0,8," disse Marek. "A correlação entre altura e peso é de 0,4. A correlação entre altitude e temperatura diária é de 0,3. Essas são correlações fortes, óbvias e fáceis de medir, e não chegam nem perto de 0,8. Então, por que pensamos que a correlação entre duas coisas complexas, como função cerebral e depressão, seriam 0,8? Isso não passa no teste do senso comum."

Vários cientistas vêm alertando ao longo dos anos que não é aceitável vincular áreas do cérebro a comportamentos humanos.
[Imagem: Cortesia Jason Wolff/North Carolina University]

Ciência aberta

Os estudos de neuroimagem são caros e demorados. Uma hora em uma máquina de ressonância magnética pode custar US$ 1.000. Nenhum pesquisador individual tem tempo ou dinheiro para escanear milhares de participantes em cada estudo. Mas, se todos os dados de vários pequenos estudos forem agrupados e analisados juntos, incluindo resultados estatisticamente insignificantes e tamanhos de efeito minúsculos, o resultado provavelmente se aproximaria da resposta correta, disse Dosenbach.

E a ciência já aprendeu como fazer isto no passado porque o mesmo problema já ocorreu em outras áreas.

"Não é um problema com nenhum pesquisador ou estudo individualmente. Isto não é nem mesmo exclusivo da neuroimagem. O campo da genômica descobriu um problema semelhante há cerca de uma década com dados genômicos e tomou medidas para resolvê-lo. O NIH (Instituto Nacional de Saúde) começou financiando esforços maiores de coleta de dados e obrigando a que os dados fossem compartilhados publicamente, o que reduz o viés e, como resultado, a ciência do genoma ficou muito melhor. Às vezes você só precisa mudar o paradigma da pesquisa. A genômica nos mostrou o caminho."

"O futuro do campo agora é brilhante e repousa na ciência aberta, compartilhamento de dados e compartilhamento de recursos entre instituições, a fim de disponibilizar grandes conjuntos de dados para qualquer cientista que queira usá-los. Nosso próprio artigo é um exemplo incrível disso," disse o professor Damien Fair, membro da equipe.