none
關於網頁javascript hyperlink連續抓取 RRS feed

  • 問題

  • 請問使用C#,mshtml想請教想要連續抓取網頁的連結
    抓取網頁:http://rent.591.com.tw/
    http://i.imgur.com/otjpQB3.jpg

    已知網頁寫法是
    <a class="pageNum-form" href="javascript:;" data-first="20" data-total="11449">2</a>
    但無法抓取網頁的連結會直接顯示null
    需要請教能用何種方式連續抓取頁面連結


    • 已編輯 leo104012 2015年12月19日 下午 04:05
    2015年12月19日 下午 04:05

所有回覆

  • 你可以仔細看一下他的參數 特別是data-first=20 就是資料前20筆

    第二個是data-first= 40...以此類推。

    之後你可以看一下他 按了之後 GET了甚麼 ,其實他是直接去呼叫 一個API 取得資料而已,

    所以他按了之後 取得了json資料 之後可能直接用前端技術局部更新了列表而已。

    所以取不到連結。

    2015年12月19日 下午 06:14
  • 你可以仔細看一下他的參數 特別是data-first=20 就是資料前20筆

    第二個是data-first= 40...以此類推。

    之後你可以看一下他 按了之後 GET了甚麼 ,其實他是直接去呼叫 一個API 取得資料而已,

    所以他按了之後 取得了json資料 之後可能直接用前端技術局部更新了列表而已。

    所以取不到連結。

    那如果單純是用pageNext去抓取
    有方法能抓嗎?直接指定pageNext class無法跳至下一頁
    現在如果單純按下頁面後的變動會從原本的
    <a class="pageNum-form" href="javascript:;" data-first="20" data-total="11449">2</a>
    變成
    <span class="pageCurrent">2</span>

    如果是使用呼叫API去取得那有無方法能判斷API的位置去下參數來取得資料?
    以上是現在遇到的問題想請教


    2015年12月20日 上午 09:50
  •  那如果單純是用pageNext去抓取

    有方法能抓嗎?直接指定pageNext class無法跳至下一頁
    現在如果單純按下頁面後的變動會從原本的
    <a class="pageNum-form" href="javascript:;" data-first="20" data-total="11449">2</a>
    變成
    <span class="pageCurrent">2</span>

    如果是使用呼叫API去取得那有無方法能判斷API的位置去下參數來取得資料?
    以上是現在遇到的問題想請教

    建議你直接寫信問那公司 問問看有沒有提供API,還有跟他們說明你的用途,不建議直接拿取資料。

    2015年12月20日 上午 10:33
  • 我是覺得這種問題,資深的 Developer 都會潔身自愛。


    不精確的問法,就會得到隨便猜的答案;自己都不肯花時間好好描述問題,又何必期望網友會認真回答?

    2015年12月20日 下午 02:27
  • 我是覺得這種問題,資深的 Developer 都會潔身自愛。


    不精確的問法,就會得到隨便猜的答案;自己都不肯花時間好好描述問題,又何必期望網友會認真回答?

    好的了解是我發文的不當,謝謝您的指教
    2015年12月21日 上午 02:56