As descobertas da neurociência muitas vezes não podem ser replicadas – e isso é um grande problema para o que sabemos sobre o cérebro
Um dos centrais suposições da pesquisa neurocientífica moderna é que a forma e a estrutura do cérebro influenciam o comportamento. Os cientistas têm vinculou um córtex mais espesso (a camada externa do cérebro) a uma inteligência superiorcertos padrões de ondas cerebrais para melhor habilidades de voleibole maior conectividade entre partes do cérebro às habilidades de jogar xadrez. Há um grande número desses chamados estudos de associação cerebral (BWAS).
Mas quando os especialistas repetem estes estudos, não conseguem repetir os resultados.
Esta “crise de replicação” sugere que uma quantidade significativa de investigação sobre o comportamento cerebral assenta em bases instáveis. São inúmeros os problemas que afectam esta área de investigação, disse Randy Ellisum cientista sênior da Oracle que escreveu sobre essas questões enquanto trabalhava como cientista de informática biomédica na Icahn School of Medicine no Mount Sinai, em Nova York.
Alguns desses problemas não são exclusivos da neurociência. Eles começam com o que Ellis chamou de “pecado original” da ciência: os acadêmicos são submetidos a grande pressão para publicar resultados positivos de pesquisas.
Mas alguns destes factores aplicam-se especificamente a este campo.
Os problemas são grandes o suficiente para “interromper o crescimento e o desenvolvimento da ciência e do tratamento de doenças”, disse Ellis ao WordsSideKick.com.
Pequenas diferenças, pequenas amostras
Vários estudos cerebrais que não puderam ser reproduzidos em trabalhos de acompanhamento mostram como os problemas podem surgir. Cada um dos artigos originais tem mais de 500 citações, com o número de citações refletindo o quanto esses estudos podem influenciar o pensamento na área.
Receba as descobertas mais fascinantes do mundo diretamente na sua caixa de entrada.
Pode ser difícil para os pesquisadores obter acesso a scanners de ressonância magnética para seus estudos, e os scanners são caros. Historicamente, isso significou que muitos estudos de imagens cerebrais envolveram um número relativamente pequeno de participantes.
(Crédito da imagem: Shutterstock)
Por exemplo, um estudo marcante de 2007 descobriu que os cérebros de crianças com transtorno de déficit de atenção/hiperatividade demorou mais para amadurecer. No entanto, um estudo publicado no início deste ano concluiu que esta ligação desapareceu quando foram tidas em conta as diferentes taxas de envelhecimento entre rapazes e raparigas. “Foi isso que derrubou todo o castelo de cartas” Mateus Albaughcoautor do artigo de replicação e neurocientista clínico da Universidade de Vermont, disse anteriormente ao Live Science.
Em 2011, pesquisadores da University College London publicaram um estudar que descobriram que a densidade da massa cinzenta, a parte do cérebro onde estão localizados os corpos das células cerebrais, em diversas áreas do cérebro estava associada ao número de amigos no Facebook que os participantes tinham. (Em 2011, esta era uma métrica social vital.)
E em 2015 papel eles não conseguiram replicar esse achado, mas os autores do artigo original argumentaram que isso ocorreu porque o estudo de acompanhamento não seguiu o mesmo protocolo.
“É difícil fazer exatamente o que foi feito nos estudos originais”, disse ele Sarah Genonneurocientista do Centro de Pesquisa Jülich, na Alemanha, que não esteve envolvido nem no estudo do Facebook nem na sua replicação.
Assim, em 2019, Genon e seus colegas tentaram um tipo diferente de análise de replicação.
Eles usaram um enorme banco de dados e realizaram mais de 10 mil análises de ressonâncias magnéticas de centenas de voluntários. O tamanho médio da amostra do estudo de neuroimagem foi por volta das 25então eles dividiram esse conjunto maior de dados em outros menores e depois procuraram associações significativas dentro de cada um.
A maioria dos estudos de neurociência utiliza exames de ressonância magnética para estudar o cérebro e tirar conclusões a partir dessas imagens.
(Crédito da imagem: Editor de imagens, Flickr)
Se um desses microestudos relatasse uma associação significativa entre comportamento e estrutura cerebral, a equipe tentava chegar às mesmas descobertas usando um subconjunto diferente de dados. Muito poucos estudos repetidos replicaram os resultados do primeiro. “Foi uma evidência clara de que a replicação dessas associações cérebro-comportamento é relativamente fraca”, disse Genon.
Um dos principais problemas é que em voluntários saudáveis, a variação entre os cérebros individuais é relativamente pequena, o que significa que é necessário um grande número de participantes para detectar diferenças médias associadas ao comportamento, disse Genon. Isto é semelhante aos estudos de associação genómica, que detectam efeitos muito pequenos de genes únicos, e devem amostrar dezenas ou centenas de milhares de pessoas para encontrar efeitos robustos. Para detectar diferenças significativas em estudos de imagem no nível do cérebro, apenas amostras na casa dos milhares resolveriam o problema, e Artigo proposto de 2022. Como os exames cerebrais são caros e demorados para serem registrados, a maioria dos estudos se baseou em amostras muito menores.
Todo mundo sempre diz que a replicação é ótima. Mas então, quando sugiro que seus estudos específicos poderiam ser replicados, eles geralmente ficam um pouco mais céticos
Luca Kämmer, estudante de doutorado no Instituto Max Planck de Ciências Humanas, Cognitivas e do Cérebro
Além disso, os testes comportamentais utilizados para determinar variáveis psicológicas podem ser inconsistentes, disse Genon. Além disso, alguns destes estudos podem estar a trabalhar na suposição ultrapassada de que pequenas regiões do cérebro controlam características complexas como a inteligência, acrescentou ela. Na realidade, porém, “esses tipos de habilidades tendem a ser relativamente distribuídos pelo cérebro”, disse ela. Quando os investigadores analisam múltiplas regiões pequenas do cérebro com esta suposição em mente, utilizando testes estatísticos separados, pode aumentar o risco de associações espúrias.
Alguns desses estudos podem apresentar falhas para começar. Exame cerebral de 2017 estudar Pesquisadores do Weill Cornell Medical College investigaram se os dados de ressonância magnética poderiam ser usados para estratificar pacientes com depressão. Os pesquisadores descobriram que a atividade cerebral se agrupava em quatro “biótipos” de depressão, cada um com padrões diferentes e incomuns de atividade nas principais redes cerebrais.
Mas a sequência estudar descobriram que as diferenças entre os clusters não eram estatisticamente significativas, o que significa que poderiam ter ocorrido por acaso. Ricardo DingaO neurocientista da Universidade Friedrich Schiller em Jena, Alemanha, que trabalhou no estudo de acompanhamento, disse que os principais problemas residem na sua concepção.
A sua abordagem estatística, disse ele, garante essencialmente que relações significativas serão descobertas. Isto se deve a um problema chamado overfitting, no qual um modelo é tão bem ajustado a um conjunto de dados que tem dificuldade para encontrar os padrões corretos em outros conjuntos de dados. Este projeto relacionou 17 características clínicas da depressão a 30.000 características cerebrais, mas Dinga disse que os autores poderiam ter usado “30.000 lançamentos de moeda” e ainda assim produzir a mesma correlação forte.
Conor Listonpsiquiatra da Weill Cornell Medicine e coautor do artigo original, reconheceu a suscetibilidade do modelo ao overfitting. “Essa não era nossa intenção, mas esse foi o resultado”, disse Liston ao WordsSideKick.com
Varredura cerebral do projeto re:vision.
(Crédito da imagem: Luca Kämmer e Martin Hebart)
No entanto, ele afirmou que o achado do biótipo que identificaram era real, apontando posteriormente estudos sua equipe publicou para apoiar sua descoberta original. Quando questionado sobre por que sua equipe não atualizou o artigo original para reconhecer que seu método de análise tinha falhas graves, Liston disse que suas publicações subsequentes foram suficientes para esclarecer as coisas. “Acho que a mensagem está aí e acho que as soluções para esses problemas de sobrecarga são muito claras”, disse ele.
Solução de problemas
Os resultados de muitos estudos que partilham os mesmos problemas destes artigos nunca serão replicados e, no entanto, permanecerão de pé. Em primeiro lugar, não há dinheiro em tentativas de replicação. “As agências financiadoras não ficariam muito entusiasmadas” em financiar um estudo destinado a validar trabalhos anteriores, disse Genon. Mesmo quando esses estudos estiverem concluídos, eles é improvável que sejam publicados quando prejudicam descobertas anteriores.
Para Dinga, o caminho a seguir é coletar mais dados. “Isso foi o que resolveu o mesmo problema de não reprodutibilidade na genética”, disse ele, referindo-se aos estudos de associação genômica que levaram a descobertas importantes nas últimas duas décadas, usando amostras que chegaram a milhões. Mas também é importante melhorar o desenho do estudo, acrescentou, uma vez que conjuntos de dados maiores não corrigirão estudos com uma abordagem de análise errada. “Os métodos simplesmente não têm chance de produzir nada útil”, disse ele.
Alguns pesquisadores usam grandes conjuntos de dados para imagens cerebrais. Martin Hebartlíder do grupo no Instituto Max Planck de Ciências Humanas, Cognitivas e do Cérebro, na Alemanha, e Luca Kämmerestudante de doutorado no laboratório de Hebart, estão desenvolvendo revisãoprojeto que coleta dados de imagem – a maior iniciativa até o momento para registrar como o cérebro responde a estímulos visuais. Eles planejam disponibilizar essas informações a outros pesquisadores, que então investigarão se as hipóteses testadas em outros artigos podem ser replicadas no conjunto de dados de auditoria.
Hebart e Kämmer disseram que já receberam mais de uma dúzia de candidaturas para o seu projeto. A recepção tem sido particularmente positiva entre os investigadores mais jovens da área. Mas convencer cientistas experientes a testar novamente os seus dados pode exigir mais trabalho, porque eles têm mais a perder se a sua descoberta de longa data não for replicada, disse Kämmer.
“Todo mundo sempre diz que a replicação é ótima”, disse ele ao WordsSideKick.com. “Mas quando sugiro que seus estudos específicos possam ser replicados, eles costumam ficar um pouco mais céticos.”
Veja o quanto você sabe sobre o órgão mais complexo do corpo humano com o nosso teste cerebral!
