none
请教高手一个数据处理方案! RRS feed

  • 问题

  • 请教高手一个数据处理方案!
    我这里有30多个txt文件作为输入,要经过一系列处理(比如求平均值等),
    最后要输出一个txt文件结果。现在问题是这30多个文件的数据量很大,
    一共有大概200多万数据项,我用access存在一个表里,然后用VBA 和
    SQL 语句处理,可是运行速度很慢,起码N个小时以上,(没仔细算过),
    一旦出现bug,修改后要等一天才能看结果,搞得我很郁闷。

    现在我能想到的办法有以下几个:
    1. 优化Access (但是不知道会提速多少,而且我也不太会)
    2. 改用其它数据库 MySQL, SQL server (但是我的系统是XP, 所以后者不行).
    3. 用C++写程序进行处理  (我只会一些C++,其他语言不熟悉)。

    不知道各位大大们,有没有好的建议。或者有其他好的解决方案。

    thanks a looooooooooooooooooot.
    2007年11月21日 5:46

答案

  • 1。Access对于处理这么大量的数据是不合适的,所以首先建议你换一个数据库,按照你的系统,那只能用SQL server,但是不知道你的机器性能如何,如果不是服务器的话也许会更慢
    2。而使用VBA显然也是不合适的,最后要生成的结果是txt而不是office文件的话,使用VBA只会降低效率。
    3。我不知道你要处理的数据复杂度是怎么样的,但是用C++写的话,相信应该会快一些。

    其实这种量的数据,主要还是要看你机器的性能的。

    我是新手,如果有说错的地方,请不要见怪。

    2007年11月21日 7:21