GZipStream在大文件上悄悄失败，流在2GB结束

本文关键字：流在 2GB 结束 失败 悄悄 文件 GZipStream | 更新日期: 2023-09-27 18:34:27

我在使用GZipStream解压缩FreebaseRDF转储(30GB gziped文本，480GB未压缩文本(时遇到问题，其中流过早结束。没有抛出异常，只是gz.Read()开始返回零：

using(var gz = new GZipStream(File.Open("freebase-rdf-latest.gz", FileMode.Open), CompressionMode.Decompress))
{
    var buffer = new byte[1048576];
    int read, total = 0;
    while ((read = gz.Read(buffer, 0, buffer.Length)) > 0)
        total += read;
    // total is 1945715682 here
    // subsequent reads return 0
}

该文件与其他应用程序一起解压缩正常(我尝试了 gzip 和 7zip(。

嗅

了嗅，我在MSDN上以前版本的GZipStream文档中发现了这个注释：

GZipStream 类可能无法解压缩导致的数据 在超过 8 GB 的未压缩数据中。

该注释已在最新版本的文档中删除。我使用的是 .NET 4.5.2，对我来说，流在解压缩不到 2GB 后结束。

有谁知道更多关于这个限制的信息？文档中的语言暗示了其他先决条件，而不仅仅是解压缩超过 8gb - 我相当确定我过去曾使用 GZipStream 来处理非常大的文件而不会遇到这个问题。

另外，任何人都可以推荐一个我可能使用的GZipStream的直接替代品而不是System.IO.Compression吗？

更新

我尝试用Ionic.Zlib(DotNetZip(替换System.IO.Compresse，并得到了相同的结果。

我尝试了ICSharpCode.SharpZipLib的GZipInputStream，并在第一次阅读时得到了"未知块类型6"。

我尝试了 SevenZipSharp，但没有用于阅读的流装饰器 - 只有各种阻止"提取"方法来解压缩整个流，这不是我想要的。

另一个更新

使用 zlib1.dll，以下代码可以正确解压缩整个文件。它的完成时间大约是GZipStream的1/4！

var gzFile = gzopen("freebase-rdf-latest.gz", "rb");
var buffer = new byte[1048576];
int read, total = 0;
while ((read = gzread(gzFile, buffer, buffer.Length)) > 0)
    total += read;
[DllImport("zlib1")] IntPtr gzopen(string path, string mode);
[DllImport("zlib1")] int gzread(IntPtr gzFile, byte[] buf, int len);
[DllImport("zlib1")] int gzclose(IntPtr gzFile);

..所以显然.NET中所有现有的GZip库都与zlib有一些兼容性问题。我使用的 zlib1.dll 来自我的 mingw64 目录(我的机器上有大约十几个 zlib1.dll，但这是唯一的 64 位目录(。

GZipStream在大文件上悄悄失败，流在2GB结束

我有点晚了，但我已经找到了这个问题的原因和解决方案。

这个大文件不仅包含一个 gzip 流，而且恰好包含 200 个流。(每个 gzip 流的压缩大小：150-155 MB(

第一个"gzip文件"使用可选的额外字段来描述所有压缩的gzip流的长度。许多解压缩器不支持这种流媒体风格，只解码第一个条目。(150 MB -> 2 GB(

1.：读取标头方法：(对不起，如果看起来像黑客风格：-(

static long[] ReadGzipLengths(Stream stream)
{
  if (!stream.CanSeek || !stream.CanRead) return null; // can seek and read?
  int fieldBytes;
  if (stream.ReadByte() == 0x1f && stream.ReadByte() == 0x8b // gzip magic-code
      && stream.ReadByte() == 0x08 // deflate-mode
      && stream.ReadByte() == 0x04 // flagged: has extra-field
      && stream.ReadByte() + stream.ReadByte() + stream.ReadByte() + stream.ReadByte() >= 0 // unix timestamp (ignored)
      && stream.ReadByte() == 0x00 // extra-flag: sould be zero
      && stream.ReadByte() >= 0 // OS-Type (ignored)
      && (fieldBytes = stream.ReadByte() + stream.ReadByte() * 256 - 4) > 0 // length of extra-field (subtract 4 bytes field-header)
      && stream.ReadByte() == 0x53 && stream.ReadByte() == 0x5a // field-header: must be "SZ" (mean: gzip-sizes as uint32-values)
      && stream.ReadByte() + stream.ReadByte() * 256 == fieldBytes // should have same length
    )
  {
    var buf = new byte[fieldBytes];
    if (stream.Read(buf, 0, fieldBytes) == fieldBytes && fieldBytes % 4 == 0)
    {
      var result = new long[fieldBytes / 4];
      for (int i = 0; i < result.Length; i++) result[i] = BitConverter.ToUInt32(buf, i * sizeof(uint));
      stream.Position = 0; // reset stream-position
      return result;
    }
  }
  // --- fallback for normal gzip-files or unknown structures ---
  stream.Position = 0; // reset stream-position
  return new[] { stream.Length }; // return single default-length
}

2.：读者

static void Main(string[] args)
{
  using (var fileStream = File.OpenRead(@"freebase-rdf-latest.gz"))
  {
    long[] gzipLengths = ReadGzipLengths(fileStream);
    long gzipOffset = 0;
    var buffer = new byte[1048576];
    long total = 0;
    foreach (long gzipLength in gzipLengths)
    {
      fileStream.Position = gzipOffset;
      using (var gz = new GZipStream(fileStream, CompressionMode.Decompress, true)) // true <- don't close FileStream at Dispose()
      {
        int read;
        while ((read = gz.Read(buffer, 0, buffer.Length)) > 0) total += read;
      }
      gzipOffset += gzipLength;
      Console.WriteLine("Uncompressed Bytes: {0:N0} ({1:N2} %)", total, gzipOffset * 100.0 / fileStream.Length);
    }
  }
}

3.：结果

Uncompressed Bytes: 1.945.715.682 (0,47 %)
Uncompressed Bytes: 3.946.888.647 (0,96 %)
Uncompressed Bytes: 5.945.104.284 (1,44 %)
...
...
Uncompressed Bytes: 421.322.787.031 (99,05 %)
Uncompressed Bytes: 423.295.620.069 (99,53 %)
Uncompressed Bytes: 425.229.008.315 (100,00 %)

需要一些时间(30-40分钟(，但它有效！(无外部库(

速度：约200 MB/s解压缩数据速率

只需很少的更改，应该是多线程可能的。

对于大文件，您不应该使用流阅读器：

        var buffer = new byte[1024 * 1024];
        using (var gz = new GZipStream(new FileStream("freebase-rdf-latest.gz", FileMode.Open), CompressionMode.Decompress))            
        {
            var bytesRead = 0;
            while (bytesRead < buffer.Length)
            {
                bytesRead = gz.Read(buffer, 0, buffer.Length);
                Console.WriteLine(bytesRead);
            }
        }
相关文章：