none
关于抓取AJAX页面的问题 RRS feed

  • 问题

  • 我想做一个爬虫能够抓取网站源码,分析源码,我以前的设计思路是,通过分析 1 或者 [1] 之类的超链接,得到下一页的url地址,但是现在很多网站,翻页都是js驱动的ajax来做的,换句话说翻页不在是超链接到一个静态url,而是调用了ajax的东西,翻页过程中,整个页面,无刷新,地址栏不变化。也就是说,除了第一页的内容,好像没法通过程序来自动发一个HttpWebRequest来抓取搜索结果。我想请问有没有哪位大侠可以指导一下如何通过程序来自动获取所有页面的搜索结果?这种情况该怎么做,希望指点,谢谢!

    我现在使用HttpWebRequest模拟POST提交参数,可始终只能返回第一页,其他页面总返不回
    • 已编辑 暖阳 2010年2月4日 8:33 进展
    2010年2月3日 13:08

答案

全部回复