如何一次分批/分批/1000行读取文件

本文关键字:1000行 读取 文件 分批 何一次 | 更新日期: 2023-09-27 18:06:30

我目前正试图使一个方法,可以处理读取大型XML文件。我所需要的只是一个方法,可以一次加载1000行或小批量加载。

我一直在看流阅读器,xmlreaders和文件流,我已经看到一些提到只是保持流打开,同时处理数据,以获得我需要的,但我似乎不能得到我的头在它。

我花了很长时间检查类似的问题,但似乎可以找到任何有助于我的东西。

p。首先想到的是我正在考虑在readline周围做一个for循环到1000的计数器,但似乎无法弄清楚如何从这1000行继续读取另外1000行,直到文件结束。

如何一次分批/分批/1000行读取文件

我的感觉是这将需要一个定制的XML阅读器实现。

例如-如果你的结构看起来像这样:

root
    item
        stuff
    /item
    item
        stuff
    /item
    item
        stuff
    /item
    item
        stuff
    /item
/root

您必须编写代码来读取数字'item'块(您希望在批处理中处理多少),然后将它们转换为有效的XML文档以进行进一步处理。

但是,如果您的XML文档是一个庞大的扩展实体-我认为没有任何优雅的方法可以逐个处理它。