将 UniDataSet 复制到 SQL Server 的最有效方法是什么?

本文关键字：有效 方法 是什么 Server UniDataSet 复制 SQL | 更新日期: 2023-09-27 17:55:41

我有一个U2/UniVerse数据库，需要将一个表中的数据复制到SQL Server表中。有问题的表大约有 600,000 行和不到 200 列。我没有创建表，也无法更改它。

对于其他表，我一次循环访问一条UniDataSet记录并将其添加到DataTable，然后使用SqlBulkCopy将记录复制到 SQL Server。这工作正常，但是对于大表，我在创建DataTable时似乎内存不足。

DataTable dt = new DataTable("myTempTable");
dt.Columns.Add("FirstColumn", typeof(string));
dt.Columns.Add("SecondColumn", typeof(string));
... //adding a bunch more columns here
dt.Columns.Add("LastColumn", typeof(string));
U2Connection con = GetU2Con();
UniSession us1 = con.UniSession;
UniSelectList s1 = us1.CreateUniSelectList(0);
UniFile f1 = us1.CreateUniFile("MyU2TableName")
s1.Select(f1);
UniDataSet uSet = f1.ReadRecords(s1.ReadListAsStringArray());
foreach (UniRecord uItem in uSet)
{
    List<String> record = new List<String>(uItem.Record.ToString().Split(new string[] { "þ" }, StringSplitOptions.None));
    DataRow row = dt.NewRow();
    row[0] = uItem.RecordID;
    row[1] = record[0];
    row[2] = record[1];
    ... //add the rest of the record
    row[50] = record[49]
    dt.Rows.Add(row);
}
con.Close();

这样就可以将记录从UniDataSet复制到DataTable中。然后，我将DataTable SqlBulkCopy到 SQL 表中：

string SQLcon = GetSQLCon();
using (SqlBulkCopy sbc = new SqlBulkCopy(SQLcon))
{
    sbc.DestinationTableName = "dbo.MySQLTableName";
    sbc.BulkCopyTimeout = 0;
    sbc.BatchSize = 1000; //I've tried anywhere from 50 to 50000
    try
    {
        sbc.WriteToServer(dt);
    }
    catch
    {
        Console.WriteLine(ex.Message);
    }
}

这对于具有 50,000 行左右的 U2 表来说效果很好，但是当表有 500,000 行时，它基本上会使调试器 （VS Express 2012） 崩溃。我正在这样做的PC是Windows 7 x64，具有4GB内存。VS进程在崩溃之前看起来最多使用了3.5GB RAM。

我希望有一种方法可以使用SqlBulkCopy将UniDataSet直接写入SQL，但我不太熟悉U2 .Net工具包。

我面临的问题是 UniDataSet 记录是多值的，我需要将它们分开，然后才能将它们写入 SQL。

谢谢！

将 UniDataSet 复制到 SQL Server 的最有效方法是什么?

数据表在插入数据库之前，它在内存中变得太大了。为什么不拆分批量插入操作？例如，读取前 50.000 个结果和插入到 Sql Server 数据库，清除 DataTable 内存，然后从接下来的 50.000 行重新开始。

if (dt.Rows.Count > 50000)
{
    //do SqlbulkCopy
    dt.Rows.Clear();
}

在 U2 Toolkit for .NET v2.1.0 中，我们实现了 Native Access。现在，您可以直接从UniData/UniVerse文件创建DataSet/DataTable。您也可以指定 WHERE 和 SORT 子句。您将看到性能改进，因为它不会进行太多的服务器旅行来获取 ID。例如，如果您有 1000 个记录 ID，它将进行 1000 次服务器行程。而如果您使用本机访问，它将进行一次服务器之旅。

请下载 U2 工具包 .NET v2.2.0 Hot Fix 1 并尝试以下代码。欲了解更多信息，请联系 u2askus@rocketsoftware.com。

            U2Connection con = GetU2Con();
            U2Command cmd = lConn.CreateCommand();
            cmd.CommandText = string.Format("Action=Select;File=MyU2TableName;Attributes=MyID,FirstColumn,SecondColumn,LastColumn;Where=MyID>0;Sort=MyID");
            U2DataAdapter da = new U2DataAdapter(cmd);
            DataSet ds = new DataSet();
            da.Fill(ds);
            DataTable dt = ds.Tables[0];
相关文章：