none
Click en elementos HTML con Scrapy (WebScrapping) RRS feed

  • Pregunta

  • Estoy realizando un programa en c# usando scrapySharp o HtmlAgilityPack. Pero tengo el inconveniente de que parte de la información que requiero a parece cuando se da clic en un elemento HTML Link, boton, etc. (aparece el código HTML que requiero). 

    En algunos foros se comentaba que utilizando Selenium se podía manipular los elementos html, por lo que probé con lo siguiente

      //Define la interfaz con el navegador de chrome
                IWebDriver driver = new ChromeDriver();
                //Auxiliar para almacenar el elemento de la etiqueta a href
                IWebElement element;
                //Se dirige a la pagina Web
                driver.Url = url;
               
                    //Se da clic en el boton de descarga
                    driver.FindElement(By.Id("Download-button")).Click();
                   
                   

    pero al ser un automatizador de pruebas Web, este abre un browser y el sitio Web para realizar el proceso de selección(Clicks), por lo que no es de mi utilidad, ya que requiero realizar la inspección en múltiples sitios Webs de manera interna.

    Aunque puedo seguir usando Selenium, estoy buscando la forma de evitar el uso del navegador y en su lugar, hacer el clic sin el.
    ¿Alguien sabe cómo lograr el clic del enlace o botón, sin la necesidad de abrir un navegador para el web scraping?




    • Editado Xime Zabala jueves, 11 de enero de 2018 18:00
    jueves, 11 de enero de 2018 16:37

Respuestas

  • hola

    >>En algunos foros se comentaba que utilizando Selenium se podía manipular los elementos html, por lo que probé con lo siguiente

    Selenium aplica para la creacion de test

    >>ya que requiero realizar la inspección en múltiples sitios Webs de manera interna

    podrias usar el WebClient y HtmlAgilityPack

    WebClient.DownloadString(String)

    para obtener el html de la url y HtmlAgilityPack para parsearlo y seleccionar el tag

    saludos


    Leandro Tuttini

    Blog
    MVP Profile
    Buenos Aires
    Argentina

    jueves, 11 de enero de 2018 20:53