none
如何设置代理服务器进行网络资源抓取? RRS feed

  • 问题

  • 我过去是简单地使用类似 webClient.Download(“http://someURL.htm”) 函数直接下载的。 但是很多网站有反扒设置。

    比如:最多每5秒1次抓取,否则就封ID。 这就造成我无法在短时间内大量抓取。 最近听说可以多线程多代理的方式同时访问就没问题了。

    不知道怎样在获取网络资源的时候设定webClient的代理服务器参数呀。

    注:我每个线程连接都使用不同的代理服务器。不是设定OS全局代理出口。

    谢谢 


    信奎爷,无所畏惧!!
    2012年1月31日 6:03

答案

全部回复