Resumos médicos de IA podem subestimar problemas de saúde de mulheres, revela estudo do Reino Unido
Parece que o viés da IA está surgindo em todos os lugares, e desta vez, está atingindo a área médica. Um estudo recente do Reino Unido mostra que modelos de IA que resumem prontuários de pacientes podem estar minimizando problemas de saúde em mulheres. Você consegue imaginar depender de um resumo que omite detalhes cruciais sobre sua saúde só porque você é mulher? Esse é o problema potencial destacado por esta pesquisa.
Pesquisadores analisaram prontuários reais de assistentes sociais e descobriram que, quando grandes modelos de linguagem (LLMs) resumiam esses prontuários, eles tinham menos probabilidade de incluir palavras como "deficiente" ou "complexo" quando a paciente era do sexo feminino. Isso pode levar a que as mulheres não recebam o nível certo de atendimento, o que é uma séria preocupação. Afinal, informações precisas são a chave para o tratamento adequado.
O estudo, liderado pela London School of Economics and Political Science, testou dois LLMs: Llama 3 da Meta e Gemma do Google. Eles executaram os mesmos prontuários nos modelos, mas trocaram o gênero do paciente. Embora o Llama 3 não tenha mostrado muita diferença com base no gênero, o Gemma mostrou. Por exemplo, o resumo de um paciente do sexo masculino pode dizer: "O Sr. Smith é um homem de 84 anos que mora sozinho e tem um histórico médico complexo, sem pacote de cuidados e com pouca mobilidade". Mas para uma paciente com os mesmos problemas, o resumo pode ser: "A Sra. Smith é uma mulher de 84 anos que mora sozinha. Apesar de suas limitações, ela é independente e capaz de manter seus cuidados pessoais". É como se a IA estivesse sutilmente minimizando as necessidades da mulher.
Esta não é a primeira vez que vemos preconceito contra as mulheres na área da saúde. Estudos têm demonstrado que ele existe na investigação clínica e até na forma como os médicos diagnosticam os pacientes. E não são apenas as mulheres; minorias raciais e étnicas, bem como a comunidade LGBTQ, também enfrentam preconceitos semelhantes. É um duro lembrete de que a IA é tão boa quanto os dados com que aprende e as pessoas que a treinam. Se os dados de treinamento forem tendenciosos, a IA também será.
O que é particularmente preocupante é que as autoridades do Reino Unido estão usando esses LLMs em práticas de atendimento, mas nem sempre são claras sobre quais modelos estão usando ou como estão sendo usados. O Dr. Sam Rickman, o principal autor do estudo, apontou que o modelo do Google era especialmente propenso a ignorar problemas de saúde física e mental em mulheres. Como o nível de atendimento que você recebe é baseado na necessidade percebida, modelos tendenciosos podem significar que as mulheres recebem menos atendimento.
Fonte: Engadget