none
请教网页中分页信息下载方法? RRS feed

  • 问题

  • 请问:

    我要抓取网页表格数据,但该页内容采用分页处理。使用WebClient.DownloadString方法只能下载首页内容,次页及其他页无法获取。请教如何才能获得。

    如:网址http://data.10jqka.com.cn/funds/gnzjl/

    当我需要第二页内容时,怎么办?

    谢谢!


    刘登峰

    2015年4月16日 11:03

答案

  • 你好:

    这个网站使用的是Ajax请求分页数据的方法,点击页码的时候会发送一条Ajax请求到服务器端,服务器端然后返回请求页的表格数据,使用IE或者其他浏览器的开发人员工具,或者使用Fiddler这样的HTTP监视工具可以查看到在点击页码的时候请求的服务器地址,比如点击第二页,请求的地址为

    http://data.10jqka.com.cn/funds/gnzjl/page/2/ajax/1/

    所以你通过WebClient下载该url的数据就可以得到第二页的表格数据了。

    顺便说一下,如果仅仅是简单的下载一些公开网站的数据是可以的,但是如果是想做一些具有恶意性的爬虫软件或者其他相关商业软件,请不要在MSDN论坛提问。

    This response contains a reference to a third party World Wide Web site. Microsoft is providing this information as a convenience to you. Microsoft does not control these sites and has not tested any software or information found on these sites; therefore, Microsoft cannot make any representations regarding the quality, safety, or suitability of any software or information found there. There are inherent dangers in the use of any software found on the Internet, and Microsoft cautions you to make sure that you completely understand the risk before retrieving any software from the Internet.


    We are trying to better understand customer views on social support experience, so your participation in this interview project would be greatly appreciated if you have time. Thanks for helping make community forums a great place.
    Click HERE to participate the survey.

    2015年4月17日 8:33
    版主

全部回复

  • 此外,如果使用UpLoadString方法,怎样才能在网页源上找到需要回调给服务端(或者本地端)的Key?一般回调是否仅仅需要页码参数?

    如果就上述网址来解释,最好不过。

    谢谢了


    刘登峰

    2015年4月16日 15:05
  • 你好:

    这个网站使用的是Ajax请求分页数据的方法,点击页码的时候会发送一条Ajax请求到服务器端,服务器端然后返回请求页的表格数据,使用IE或者其他浏览器的开发人员工具,或者使用Fiddler这样的HTTP监视工具可以查看到在点击页码的时候请求的服务器地址,比如点击第二页,请求的地址为

    http://data.10jqka.com.cn/funds/gnzjl/page/2/ajax/1/

    所以你通过WebClient下载该url的数据就可以得到第二页的表格数据了。

    顺便说一下,如果仅仅是简单的下载一些公开网站的数据是可以的,但是如果是想做一些具有恶意性的爬虫软件或者其他相关商业软件,请不要在MSDN论坛提问。

    This response contains a reference to a third party World Wide Web site. Microsoft is providing this information as a convenience to you. Microsoft does not control these sites and has not tested any software or information found on these sites; therefore, Microsoft cannot make any representations regarding the quality, safety, or suitability of any software or information found there. There are inherent dangers in the use of any software found on the Internet, and Microsoft cautions you to make sure that you completely understand the risk before retrieving any software from the Internet.


    We are trying to better understand customer views on social support experience, so your participation in this interview project would be greatly appreciated if you have time. Thanks for helping make community forums a great place.
    Click HERE to participate the survey.

    2015年4月17日 8:33
    版主
  • Thanks

    刘登峰

    2015年8月15日 19:26