Página 1 de 1

Nuevo Scrappy

Publicado: 16 Feb 2017, 11:27
por hihi
Lo he visto en funcionamiento en casa de un colega que lo ha implementado en addon de pruebas....

TREMENDO, se comia en minutos al que usaba anteriormente, que tardaba su buena media hora.

Si quereis hecharle un vistazo....

https://pypi.python.org/pypi/Scrapy/1.3.2

Espero que os sirva

Re: Nuevo Scrappy

Publicado: 16 Feb 2017, 20:11
por robalo
pero el qué se comía hihi, que tipo de addon? no pillo la sugerencia. Si es por accesos, en circustancias normales, los accesos que tenemos a una página, la descargas de los datos, los accesos a los thumbnail que nos ofrece la página y el scraped de un contenedor de 80 items es de 0,1a 0,3 segundos. En seriesblanco obtengo una media de 0,22s. El listado de 4029 series extraidas de 53 páginas me tarda 12s :)