Crawlers de IA Sobrecarregam a Largura de Banda da Wikimedia, Ameaçando o Acesso do Usuário
A Wikimedia está enfrentando um desafio significativo: um aumento massivo no uso de largura de banda impulsionado por crawlers de IA. A Fundação Wikimedia relata um aumento de 50% desde janeiro de 2024, não de leitores humanos, mas de programas automatizados que extraem dados para treinar modelos generativos de IA. Esse influxo inesperado ameaça a acessibilidade e o desempenho dos recursos da Wikimedia para usuários regulares.
O Aumento do Tráfego de IA
Ao contrário dos leitores humanos, que geralmente acessam tópicos semelhantes e populares, os crawlers de IA digitalizam sistematicamente uma ampla gama de páginas, incluindo as mais obscuras. Isso sobrecarrega a infraestrutura da Wikimedia, pois essas páginas acessadas com menos frequência precisam ser servidas a partir do data center principal, consumindo mais recursos e aumentando os custos. A Wikimedia revela que impressionantes 65% de seu tráfego mais intensivo em recursos se originam desses bots.
Esse tráfego impulsionado por bots pode causar interrupções, potencialmente diminuindo os tempos de carregamento da página, especialmente durante eventos de alto tráfego. A equipe de Confiabilidade do Site da fundação está constantemente trabalhando para bloquear esses crawlers para manter o desempenho ideal para usuários humanos.
Atribuição e Sustentabilidade
A Wikimedia enfatiza que a principal preocupação não é apenas o consumo de largura de banda, mas a falta de atribuição adequada. Como uma organização sem fins lucrativos que depende de doações, a Wikimedia precisa atrair novos usuários e manter sua comunidade. A fundação ressalta que, embora seu conteúdo seja gratuito, a infraestrutura necessária para entregá-lo não é.
Olhando para o futuro, a Wikimedia planeja estabelecer métodos de acesso sustentáveis para desenvolvedores e reutilizadores. Com o tráfego relacionado à IA não mostrando sinais de desaceleração, encontrar um equilíbrio entre acesso aberto e gerenciamento de recursos é crucial para o futuro da fundação.
Fonte: Engadget