们的项目是一个分布式的项目,客户拥有多个分支机构,
机构之间的数据无法实时连接,我们目前是通过网络传输的方式完成,比如 SOCKET
客户在任意分支机构的操作,我们都要传向总部。
如果分支的机构的数据量过大,比如100万条,应该使用什么文件作为数据传输的中间件?
我们现在使用的是SQL BCP导出数据到 “文本文件”,然后通过SOCKET 方式 传输数据到总部再解压缩,再通过BCP方式写入到总部的数据库。
我们现在遇到一个大的问题:
1. BCP导出的数据文件可能过大,导致压缩很慢,甚至导出的文件容易损坏;
2。如果文件过大,SOCKET在传输的过程中分包传输后可能要传输多次才能成功,甚至要网络条件很好的情况下才能成功。
除此还有什么 好的建议吗?