如何更快/更智能地读取文本文件

本文关键字：读取 取文本 文件 智能 何更快 | 更新日期: 2023-09-27 18:20:32

我想知道是否可以以更快、更智能的方式从text file中读取。

这是text file:中我的数据的典型格式

称之为"部分"：

ID:1;
FIELD1 :someText;
FIELD2 :someText;
FIELD3 :someText;
FIELD4 :someText;
FIELD5 :someText;
FIELD6 :someText;
FIELD7 :someText;
FIELD8 :someText;
END_ID :
01: someData;
02: someData;
...
...
48: someData;
ENDCARD:

我在一个文本文件中有数千个。

是否可以使用LINQ将其逐个读取为"部分"？我不想把每一行都绕过去。

LINQ是否可能从ID:1;开始并在ENDCARD:结束？

原因是我想为每个"零件"创建一个object。。。

我心里有这样的想法：

string[] lines = System.IO.File.ReadAllLines(SomeFilePath);
//Cleaning up the text file of unwanted text
var cleanedUpLines = from line in lines
                     where !line.StartsWith("FIELD1")
                     && !line.StartsWith("FIELD5")
                     && !line.StartsWith("FIELD8")
                     select line.Split(':');
//Here i want to LINQtoText "part" by "part"
//This i do not want to do!!!
foreach (string[] line in cleanedUpLines)
{
}

如何更快/更智能地读取文本文件

开始：

static void Main()
{
    foreach(var part in ReadParts("Raw.txt"))
    {   // all the fields for the part are available; I'm just showing
        // one of them for illustration
        Console.WriteLine(part["ID"]);
    }
}
static IEnumerable<IDictionary<string,string>> ReadParts(string path)
{
    using(var reader = File.OpenText(path))
    {
        var current = new Dictionary<string, string>();
        string line;
        while((line = reader.ReadLine()) != null)
        {
            if(string.IsNullOrWhiteSpace(line)) continue;
            if(line.StartsWith("ENDCARD:"))
            {
                yield return current;
                current = new Dictionary<string, string>();
            } else
            {
                var parts = line.Split(':');
                current[parts[0].Trim()] = parts[1].Trim().TrimEnd(';');
            }
        }
        if (current.Count > 0) yield return current;
    }
}

它的作用是：创建一个迭代器块（一个状态机，在迭代时读取并"生成"数据；它不会一次读取整个文件）来扫描行；如果是一张牌的末尾，则该牌被"让出"；否则，它会将数据添加到字典中进行存储。

注意：如果您有自己的class来表示数据，那么您可以使用反射或FastMember之类的方法来按名称设置值。

这并不直接使用LINQ；然而，它被实现为一个可枚举序列，这是LINQ to Objects的构建块，因此您可以使用LINQ来使用，即

var data = ReadParts("some.file").Skip(2).First(x => x["ID"] == "123");
相关文章：