保持连接活动，以便从.csv文件中读取批量数据

本文关键字：文件 读取 数据 csv 连接 活动 | 更新日期: 2023-09-27 18:04:22

我有一个包含200万条记录的.csv文件，我的目标是将其写入hbase数据库。

代码:

try { using (FileStream reader = File.OpenRead(@"C:'Data.csv")) 
            using (TextFieldParser parser = new TextFieldParser(reader))
            {
                parser.TrimWhiteSpace = true; // if you want
                parser.Delimiters = new[] { " " };
                parser.HasFieldsEnclosedInQuotes = true;
                while (!parser.EndOfData)
                {
                    //Process the data
                       hbaseClient.StoreCells(hbaseTableName, set);
                 }
             } } catch(Exception e) {
}

上传多达800k条记录的数据后，我得到一个超时异常。我能做些什么来避免这个超时吗?

保持连接活动，以便从.csv文件中读取批量数据

是否每次执行此操作时都发生这种情况?尝试2-3次，看看是否重复。它发生在添加了一些记录之后，这意味着除了数据问题之外还发生了其他事情。超时异常意味着服务器可能关闭或由于网络问题。请尝试多次重复相同的操作，如果错误仍然存在，则应该有其他原因。另外，请添加整个异常堆栈跟踪，以便更好地理解

相关文章：