如何加快读取文件使用FileSteam

本文关键字：FileSteam 文件 何加快 读取 | 更新日期: 2023-09-27 18:14:38

我在搜索文件内容时遇到了性能问题。我使用FileStream类读取文件(每次搜索将涉及约10个文件，每个文件的大小约为70 MB)。然而，在我的搜索过程中，所有这些文件都同时被另一个进程访问和更新。因此，我不能使用Buffersize读取文件。在StreamReader中使用缓冲区大小需要3分钟，即使我使用regex。

有没有人遇到过类似的情况，可以提供任何改进文件搜索性能的建议?

代码段

  private static int BufferSize = 32768;
  using (FileStream fs = File.Open(filePath, FileMode.Open, FileAccess.Read, FileShare.ReadWrite))
        {
            using (TextReader txtReader = new StreamReader(fs, Encoding.UTF8, true, BufferSize))
            {
                System.Text.RegularExpressions.Regex patternMatching = new System.Text.RegularExpressions.Regex(@"(?='d{4}-'d{2}-'d{2}'s'd{2}:'d{2}:'d{2})(.*?)(?='n'd{4}-'d{2}-'d{2}'s'd{2}:'d{2}:'d{2})", System.Text.RegularExpressions.RegexOptions.IgnoreCase);
                System.Text.RegularExpressions.Regex dateStringMatch = new Regex(@"^'d{4}-'d{2}-'d{2}'s'd{2}:'d{2}:'d{2}");
                char[] temp = new char[1048576];
                while (txtReader.ReadBlock(temp, 0, 1048576) > 0)
                {
                    StringBuilder parseString = new StringBuilder();
                    parseString.Append(temp);
                    if (temp[1023].ToString() != Environment.NewLine)
                    {
                        parseString.Append(txtReader.ReadLine());
                        while (txtReader.Peek() > 0 && !(txtReader.Peek() >= 48 && txtReader.Peek() <= 57))
                        {
                            parseString.Append(txtReader.ReadLine());
                        }
                    }
                    if (parseString.Length > 0)
                    {
                        string[] allRecords = patternMatching.Split(parseString.ToString());
                        foreach (var item in allRecords)
                        {
                            var contentString = item.Trim();
                            if (!string.IsNullOrWhiteSpace(contentString))
                            {
                                var matches = dateStringMatch.Matches(contentString);
                                if (matches.Count > 0)
                                {
                                    var rowDatetime = DateTime.MinValue;
                                    if (DateTime.TryParse(matches[0].Value, out rowDatetime))
                                    {
                                        if (rowDatetime >= startDate && rowDatetime < endDate)
                                        {
                                            if (contentString.ToLowerInvariant().Contains(searchText))
                                            {
                                                var result = new SearchResult
                                                {
                                                    LogFileType = logFileType,
                                                    Message = string.Format(messageTemplateNew, item),
                                                    Timestamp = rowDatetime,
                                                    ComponentName = componentName,
                                                    FileName = filePath,
                                                    ServerName = serverName
                                                };
                                                searchResults.Add(result);
                                            }
                                        }
                                    }
                                }
                            }
                        }
                    }
                }
            }
        }
        return searchResults;

如何加快读取文件使用FileSteam

前一段时间，我不得不分析许多FileZilla Server日志文件，每个>120MB。我使用一个简单的List来获取每个日志文件的所有行，然后在搜索特定行时获得了很好的性能。

List<string> fileContent = File.ReadAllLines(pathToFile).ToList()

但是在您的情况下，我认为性能差的主要原因不是读取文件。试着停止观察你循环的某些部分，看看哪里花了最多的时间。如果在像您这样的循环中多次使用Regex和TryParse，则非常耗时。

相关文章：