El documento robots.txt es una herramienta clave para controlar cómo los buscadores indexan tu portal. Facilita a los arañas indicaciones sobre qué partes de tu sitio pueden indexadas y cuáles es preferible que no ser ignoradas . Una configuración adecuada del robots.txt puede aumentar tu visibilidad en los SERP y evitar problemas de indexaci�