He realizado los dos opcionales tanto la busqueda en profundidad y anchura, como el fichero de robots.txt
-
Para ejecutar el archivo se le pasan los parametros por consola, si pulsas -h te sacara la ayuda, pero en resumen:
-p Busqueda en profundidad -a Busqueda en anchura --m Maximos docs a descargar --s Segundos entre peticiones --file Ruta archivo de semillas
-
El fichero semillas.txt son las semillas que use yo y los dos .txt de resultados son para 10 archivos descargados.
-
La carpeta docs es donde se descargan los htmls y se guardan las urls en las que busco.