none
怎么使采集程序对本地带宽优化 RRS feed

  • 问题

  • 一个主线程和一个分线程,主要是分线程在死循环里不停的采集 如果是这样的需求,就是在死循环里不停的采集时时变化的数据,从整页(只采集第一页)的数据里匹配需要的数据,然后在POST回去现在的问题是采集一段时间,本地带宽就慢下来,有什么办法可以优化吗(每次采集的时候我给sleep(3000)),但问题仍然存在,不想大于sleep(3000),求解决办法
    2011年12月1日 13:45

全部回复

  • 自己写了个采集程序练手,初学者
    近几天测试的时候发现个问题,一开始采集A站的时候数据和速度还可以,但越往后采集越慢,数据越少,最后IE打开A站的时候比原来的电话线还要慢
    后来问用其他采集程序的朋友,他们说访问还可以,不慢;后来发现重起自己的路由再次采集速度又好了,但再经过几次采集,速度又降下来了,应该得知,采集变慢的并不是服务器而是我本地的网络,程序里已经将reader.close(),response.close,request.abort(),不知道是哪里的问题导致出来这种情况

    但访问非A站速度什么问题都没有

    我写的程序是只有登陆没有request.abort,问题好像是连续停止程序---登陆开始4,5次左右就开始慢了而且慢的很明显,如果登陆成功用一个线程去处理里面的逻辑,停止用的是在try里thread.abort(),catch里thread.Join();

    • 已编辑 啥呀 2011年11月28日 23:27 补充问题
    • 已合并 Lie YouModerator 2011年12月2日 10:04 Merge them to keep into the same topic for good discussion
    2011年11月28日 15:39
  • Hi 啥呀,

    欢迎来到MSDN论坛!

    我正在尝试让一些高级工程师来处理该问题,这可能需要一定时间。

    谢谢您的理解。

    Yoyo.


    Yoyo Jiang[MSFT]
    MSDN Community Support | Feedback to us
    2011年11月30日 6:16
    版主
  • 谢谢版主的回复,又测试了一段时间,发现好像本地网络也有问题,如果重起本地路由,再次采集,采集的速度好像又恢复了,但采集7,8分钟速度就又慢下来了(完全不知道是本地网络还是A站的问题了)
    • 已编辑 啥呀 2011年11月30日 8:08 补充问题
    2011年11月30日 7:20
  • 你好,

    采集其他网站有这问题吗? 有些网站对于短时间内同一IP发出的过多request,会做限制的。


    Michael Sun [MSFT]
    MSDN Community Support | Feedback to us
    2011年11月30日 8:26
  • 可以用缓存.可能提升性能.看你选择当前页缓存还是应用程序缓存自己选择.

    http://www.cnblogs.com/anorthwolf/archive/2009/12/07/1618665.html


    GetZ 不抛弃,不放弃.
    • 已建议为答案 zongTest 2011年12月30日 15:52
    2011年12月1日 13:51
  • 时时变化的数据也可以用缓存吗?
    而且是几秒钟就要采集一次
    • 已编辑 啥呀 2011年12月2日 3:33 补充
    2011年12月2日 3:33
  • Hi,

    欢迎来到MSDN社区论坛.

    请问你是在开发什么应用程序?
    可否提供一些相对完整的代码以便这里的朋友能够方便地重现并解决你的问题?

    祝你快乐每一天,
    Leo Liu [MSFT]
    MSDN Community Support | Feedback to us
    2011年12月2日 4:39
    版主