none
DataSet有沒有大小限制 RRS feed

  • 問題

  • 各位先進,小弟希望將一XML檔案轉入DataSet之中處理,由於XML的檔案大小沒有上限,可能有好幾G,請問DataSet是否有大小限制,如果太大的XML檔案轉入DataSet,有沒有可能因為DataSet太大了而失敗呢?感謝回覆.
    2017年3月31日 上午 12:55

解答

  • 您好,

    有看到針對 datatable 的 rows 討論,如下

    https://forums.asp.net/t/1177418.aspx?What+is+the+maximum+of+record+dataset+can+hold+

    http://stackoverflow.com/questions/11123074/what-is-the-maximum-size-of-a-datatable-i-can-load-into-memory-in-net

    實際您可以試著用看看,

    不過好幾G的XML,我是怕 memory 會爆,

    請問是什麼情境需要將xml轉dataset呢?

    是否可以考慮使用 xmlreader 來讀取呢?

    https://msdn.microsoft.com/en-us/library/system.xml.xmlreader.aspx

    • 已編輯 亂馬客 2017年3月31日 上午 02:22 add xmlreader stream way
    • 已標示為解答 WilsonFan 2017年3月31日 上午 03:46
    2017年3月31日 上午 02:20
  • 一個DataSet可以容納2^32個DataTable, 一個DataTable能夠裝入2^32筆記錄, 不過裝太多要注意效率的問題
    • 已標示為解答 WilsonFan 2017年3月31日 上午 03:46
    2017年3月31日 上午 02:56

所有回覆

  • 您好,

    有看到針對 datatable 的 rows 討論,如下

    https://forums.asp.net/t/1177418.aspx?What+is+the+maximum+of+record+dataset+can+hold+

    http://stackoverflow.com/questions/11123074/what-is-the-maximum-size-of-a-datatable-i-can-load-into-memory-in-net

    實際您可以試著用看看,

    不過好幾G的XML,我是怕 memory 會爆,

    請問是什麼情境需要將xml轉dataset呢?

    是否可以考慮使用 xmlreader 來讀取呢?

    https://msdn.microsoft.com/en-us/library/system.xml.xmlreader.aspx

    • 已編輯 亂馬客 2017年3月31日 上午 02:22 add xmlreader stream way
    • 已標示為解答 WilsonFan 2017年3月31日 上午 03:46
    2017年3月31日 上午 02:20
  • 一個DataSet可以容納2^32個DataTable, 一個DataTable能夠裝入2^32筆記錄, 不過裝太多要注意效率的問題
    • 已標示為解答 WilsonFan 2017年3月31日 上午 03:46
    2017年3月31日 上午 02:56
  • 感謝您的回覆,因為我的系統要接收別的系統給的資料,而這個資料就是一個很大的XML檔案.

    我試著以xmlreader來讀取1個2G的XML檔案,沒想到速度這麼快,程式在處理xmlreader中的所有資料只花費5分鐘,太強了,謝謝.

    2017年3月31日 上午 03:46
  • 感謝您的回覆,我想我收到的資料遠遠小於2^32筆記錄,應該可以應付.
    2017年3月31日 上午 03:59