Tráfego de crawlers consumia a renderização
Numa plataforma de e-commerce multi-tenant com dezenas de lojas e cerca de um milhão de produtos, medi para onde ia o trabalho de renderização: cerca de três em cada quatro páginas renderizadas eram para bots, não para compradores, e cinco crawlers de SEO sozinhos faziam metade disso. Bloqueei esses por user agent no nginx em todas as lojas, barrei crawlers de IA e de redes sociais no endpoint de imagens (e um scraper antigo que puxava dezenas de milhares de imagens por dia), coloquei os bots menores com crawl delay e tirei a busca interna da indexação. Avaliei rate limit e descartei: o volume restante não justificava.
Resultado−49,5% de carga de renderização, sem infraestrutura nova.