obtener HTML generado dinámicamente por jQuery
Publicado: 06 Feb 2017, 08:48
Estoy tratando de hacer un scapper en Java para HDFull y me he encontrado con el problema de que la lista de enlaces a los vídeos se genera de forma dinámica, de forma que cuando me descargo la URL donde se muestran no aparece nada relativo a estos enlaces.
Por lo que he estado investigando se generan mediante una función jQuery a partir del evento onLoad. Inicialmente pensé que vosotros evaluabais este jQuery para obtener los enlaces pero al mirar en el código de la función "downloadpage" parece que no lo hacéis (digo parece porque de python estoy pegao), esto me hace pensar que debe haber alguna forma de obtener estos enlaces sin tener que evaluar este código jQuery. ¿Debo agregar alguna cabecera especial en la petición cuando descargue la página?
Si me pudierais arrojar un poco de luz os lo agradecería mucho porque estoy atascado en este punto.
Saludos.
Por lo que he estado investigando se generan mediante una función jQuery a partir del evento onLoad. Inicialmente pensé que vosotros evaluabais este jQuery para obtener los enlaces pero al mirar en el código de la función "downloadpage" parece que no lo hacéis (digo parece porque de python estoy pegao), esto me hace pensar que debe haber alguna forma de obtener estos enlaces sin tener que evaluar este código jQuery. ¿Debo agregar alguna cabecera especial en la petición cuando descargue la página?
Si me pudierais arrojar un poco de luz os lo agradecería mucho porque estoy atascado en este punto.
Saludos.