El documento robots.txt es un instrumento clave para gestionar cómo los motores de búsqueda indexan tu sitio web . Ofrece a los bots indicaciones sobre qué partes de tu dominio pueden exploradas y cuáles no deben omitidas. Una configuración del robots.txt puede aumentar tu visibilidad en los rank