寻找在c#中快速读取和搜索文件的方法

本文关键字：搜索 文件 方法 读取 寻找 | 更新日期: 2023-09-27 18:12:13

我有100Mb的文本文件，我需要检查每一行的特殊单词。我正在寻找一种快速的方法来做这件事。

所以我把文件分成10份:

public void ParseTheFile(BackgroundWorker bg)
    {
        Lines = File.ReadAllLines(FilePath);
        this.size = Lines.Length;
        chankSise=size/10;
        reports reportInst = new reports(bg,size);
        ParserThread [] ParserthreadArray = new ParserThread[10];
        for (int i = 0; i <ParserthreadArray.Length; i++)
        {
            ParserthreadArray[i] = new ParserThread((reportInst));
            ParserthreadArray[i].Init(SubArray(Lines,i * chankSise, chankSise), OutputPath);
        }
        Thread oThread0 = new Thread(ParserthreadArray[0].run);
        oThread0.IsBackground = true;
        Thread oThread1 = new Thread(ParserthreadArray[1].run);
        oThread1.IsBackground = true;
        Thread oThread2 = new Thread(ParserthreadArray[2].run);
        oThread2.IsBackground = true;
        Thread oThread3 = new Thread(ParserthreadArray[3].run);
        oThread3.IsBackground = true;
        Thread oThread4 = new Thread(ParserthreadArray[4].run);
        oThread4.IsBackground = true;
        Thread oThread5 = new Thread(ParserthreadArray[5].run);
        oThread5.IsBackground = true;
        Thread oThread6 = new Thread(ParserthreadArray[6].run);
        oThread6.IsBackground = true;
        Thread oThread7 = new Thread(ParserthreadArray[7].run);
        oThread7.IsBackground = true;
        Thread oThread8 = new Thread(ParserthreadArray[8].run);
        oThread8.IsBackground = true;
        Thread oThread9 = new Thread(ParserthreadArray[9].run);
        oThread9.IsBackground = true;
        oThread0.Start();
        oThread1.Start();
        oThread2.Start();
        oThread3.Start();
        oThread4.Start();
        oThread5.Start();
        oThread6.Start();
        oThread7.Start();
        oThread8.Start();
        oThread9.Start();
        oThread0.Join();
        oThread1.Join();
        oThread2.Join();
        oThread3.Join();
        oThread4.Join();
        oThread5.Join();
        oThread6.Join();
        oThread7.Join();
        oThread8.Join();
        oThread9.Join();

这是Init方法:

public void Init(string [] olines,string outputPath)
    {
        Lines = olines;
        OutputPath = outputPath+"/"+"ThreadTemp"+threadID;
    }

这是SubArray方法:

public string [] SubArray(string [] data, int index, int length)
    {
        string [] result = new string[length];
        Array.Copy(data, index, result, 0, length);
        return result;
    }

，每个线程都这样做:

 public void run()
    {
        if (!System.IO.Directory.Exists(OutputPath))
        {
            System.IO.Directory.CreateDirectory(OutputPath);
            DirectoryInfo dir = new DirectoryInfo(OutputPath);
            dir.Attributes |= FileAttributes.Hidden;
        }

        this.size = Lines.Length;
        foreach (string line in Lines)
        {

            bgReports.sendreport(allreadychecked);
            allreadychecked++;
            hadHandlerOrEngine = false;
            words = line.Split(' ');
            if (words.Length>4)
            {
                for (int i = 5; i < words.Length; i++)
                {
                    if (words[i] == "Handler" | words[i] == "Engine")
                    {
                        hadHandlerOrEngine = true;
                        string num = words[1 + i];
                        int realnum = int.Parse(num[0].ToString());
                        cuurentEngine = (realnum);
                        if (engineArry[realnum] == false)
                        {
                            File.Create(OutputPath + "/" + realnum + ".txt").Close();
                            engineArry[realnum] = true;
                        }
                        TextWriter tw = new StreamWriter(OutputPath + "/" + realnum + ".txt", true);
                        tw.WriteLine(line);
                        tw.Close();
                        break;
                    }
                }
            }
            if (hadHandlerOrEngine == false)
            {
                if (engineArry[cuurentEngine] == true)
                {
                    TextWriter tw = new StreamWriter(OutputPath + "/" + cuurentEngine + ".txt", true);
                    tw.WriteLine(line);
                    tw.Close();
                }
            }
        }

我的问题是有没有办法使这个运行得更快

寻找在c#中快速读取和搜索文件的方法

您还没有显示您的Init方法，但目前看起来每个线程实际上将检查所有行的。此外，看起来所有这些都可能试图写入相同的文件-并且不是以异常安全的方式(使用using语句)这样做。

编辑:好的，所以现在我们可以看到Init，但我们不能看到SubArray。假设它只是复制数组的一个块。

如果你避免使用线程开始，这有多慢?是不是真的太慢了?你的绩效目标是什么?然而，使用10个线程似乎不太可能有帮助，因为在这一点上它完全是内存/cpu限制的。(您还应该尽量避免在启动所有线程时重复这么多代码—为什么不使用集合呢?)

您可能是IO绑定的，所以我猜多线程不会有太大帮助。(很可能你的程序在这里花费了大部分时间:Lines = File.ReadAllLines(FilePath);实际上并没有花太多时间解析。不过你应该测量一下。)事实上，你的SubArray拆分可能比你把整个东西传递给一个解析器线程要慢。

我会看看MemoryMappedFile(如果这是。net 4)，这应该有助于一些IO不必制作所有源数据的副本。

我想推荐一些可能有用的东西。正如有人所说，如果你分配多个线程读取你的文件是没有意义的，因为这是更多的I/O活动，在这种情况下在OS FileManager中排队。但是你绝对可以为任何可用的I/O completion thread请求async I/O。

现在，在处理文件时，我建议您使用Memory-mapped files。对于需要重复/单独访问相当大的文件的任意块文件(view)的场景，内存映射文件是理想的。在您的场景中，如果块无序到达/处理，内存映射文件可以帮助您拆分/组装文件。目前我没有现成的例子。请看下面的文章Memory Mapped Files

相关文章：