ChatGPT mostra capacidade limitada para recomendar tratamentos de câncer

Consulta livre, não levada em conta na pesquisa relatada na reportagem.
[Imagem: Bing]

Pesquisas sobre câncer no ChatGPT

A ferramenta de inteligência artificial ChatGPT acertou a maioria das perguntas tipicamente feitas por pacientes com câncer.

Infelizmente, o sucesso alcançado não é suficiente para que os pacientes possam se basear unicamente em uma "consulta à internet".

Isto porque, em aproximadamente um terço dos casos, o ChatGPT incluiu em sua resposta ao menos uma recomendação não reconhecida pela comunidade médica ("não concordante"), o que destaca a necessidade de conscientização sobre as limitações da tecnologia.

"Os pacientes devem sentir-se capacitados para se educarem sobre as suas condições médicas, mas devem sempre discutir com um médico, e os recursos na internet não devem ser consultados isoladamente," destacou a Dra Danielle Bitterman, do Hospital Brigham and Women (EUA). "As respostas do ChatGPT podem soar muito parecidas com as humanas e podem ser bastante convincentes. Mas, quando se trata de uma tomada de decisão clínica, há muitas sutilezas para a situação única de cada paciente. Uma resposta certa pode ter muitas nuances, e isto não é necessariamente algo que o ChatGPT ou outro grande modelo de linguagem possa fornecer."

Respostas certas e alucinações

Os pesquisadores se concentraram nos três tipos de câncer mais comuns (câncer de mama, próstata e pulmão) e pediram ao ChatGPT que fornecesse uma abordagem de tratamento para cada câncer com base na gravidade da doença.

No total, os pesquisadores incluíram 26 descrições de diagnóstico exclusivas e usaram quatro solicitações ligeiramente diferentes para pedir ao ChatGPT a abordagem de tratamento, gerando um total de 104 consultas.

Quase todas as respostas (98%) incluíram pelo menos uma abordagem de tratamento que estava de acordo com as diretrizes médicas. No entanto, 34% dessas respostas também incluíam uma ou mais recomendações não concordantes com as diretrizes, respostas essas que por vezes eram difíceis de detectar no meio de orientações que de outra forma seriam sólidas.

Uma recomendação de tratamento não concordante foi definida como aquela apenas parcialmente correta - por exemplo, para um câncer de mama localmente avançado, uma recomendação apenas de cirurgia, sem menção de outra modalidade terapêutica.

Uma concordância completa na pontuação ocorreu em 62% dos casos, ressaltando a complexidade das próprias diretrizes médicas e até que ponto os resultados do ChatGPT podem ser vagos ou difíceis de interpretar.

De modo mais preocupante, em 12,5% dos casos, o ChatGPT produziu "alucinações", recomendações de tratamento totalmente ausentes das diretrizes médicas, incluindo recomendações de novas terapias ou terapias curativas para cânceres não curativos. Os cientistas enfatizam que esta forma de desinformação pode definir incorretamente as expectativas dos pacientes sobre o tratamento e potencialmente impactar a relação médico-paciente.

Os cientistas testaram a versão 3.5 do programa, sendo que a versão 4.0 já está disponível.