SqlBulkInsert with a DataTable to a Linked Server
本文关键字:Linked Server to DataTable with SqlBulkInsert | 更新日期: 2023-09-27 17:55:59
我在不同的机器上使用 2 台 SQL 2008 服务器。服务器名称为 source.ex.com
和 destination.ex.com
。
destination.ex.com
链接到source.ex.com
并且具有适当的权限,以便source.ex.com
写入名为 bacon-wrench
on destination.ex.com
的数据库
我已经通过短信登录source.ex.com
并测试了此查询(成功):
INSERT INTO [destination.ex.com].[bacon-wrench].[dbo].[tblFruitPunch]
(PunchID, BaconID) VALUES (4,6);
在 C# .NET 4.0 网页中,我连接到source.ex.com
并执行类似的查询(成功):
using(SqlConnection c = new SqlConnection(ConfigurationManager.ConnectionStrings["SOURCE"].ConnectionString))
{
c.Open();
String sql = @"
INSERT INTO [destination.ex.com].[bacon-wrench].[dbo].[tblFruitPunch]
(PunchID, BaconID) VALUES (34,56);";
using(SqlCommand cmd = new SqlCommand(sql, c))
{
cmd.ExecuteNonQuery();
}
}
对于一小组插入语句(例如 20 或更少),执行这样的事情可以正常工作:
using(SqlConnection c = new SqlConnection(ConfigurationManager.ConnectionStrings["SOURCE"].ConnectionString))
{
c.Open();
String sql = @"
INSERT INTO [destination.ex.com].[bacon-wrench].[dbo].[tblFruitPunch]
(PunchID, BaconID) VALUES (34,56);
INSERT INTO [destination.ex.com].[bacon-wrench].[dbo].[tblFruitPunch]
(PunchID, BaconID) VALUES (22,11);
INSERT INTO [destination.ex.com].[bacon-wrench].[dbo].[tblFruitPunch]
(PunchID, BaconID) VALUES (33,55);
INSERT INTO [destination.ex.com].[bacon-wrench].[dbo].[tblFruitPunch]
(PunchID, BaconID) VALUES (1,2);";
using(SqlCommand cmd = new SqlCommand(sql, c))
{
cmd.ExecuteNonQuery();
}
}
我正在尝试用大约 20000 条记录做这样的事情。上面的方法需要 11 分钟才能完成 - 我假设这是服务器在向我发出恶意,使其成为某种批量操作。从其他 StackOverflow 线程中,推荐使用 SqlBulkCopy
类,它作为参数DataTable
,完美!
所以我构建了一个数据表并尝试将其写入服务器(失败):
DataTable dt = new DataTable();
dt.Columns.Add("PunchID", typeof(int));
dt.Columns.Add("BaconID", typeof(int));
for(int i = 0; i < 20000; i++)
{
//I realize this would make 20000 duplicate
//rows but its not important
dt.Rows.Add(new object[] {
11, 33
});
}
using(SqlConnection c = new SqlConnection(ConfigurationManager.ConnectionStrings["SOURCE"].ConnectionString))
{
c.Open();
using(SqlBulkCopy bulk = new SqlBulkCopy(c))
{
bulk.DestinationTableName = "[destination.ex.com].[bacon-wrench].[dbo].[tblFruitPunch]";
bulk.ColumnMappings.Add("PunchID", "PunchID");
bulk.ColumnMappings.Add("BaconID", "BaconID");
bulk.WriteToServer(dt);
}
}
编辑2:以下消息是我试图解决的消息:
网页在bulk.WriteToServer(dt);
崩溃,并显示错误消息Database bacon-wrench does not exist please ensure it is typed correctly.
我做错了什么?如何更改此设置以使其正常工作?
编辑1:
我能够使用以下语法显着加快查询速度。但对于这么小的记录集来说,它仍然很慢。
using(SqlConnection c = new SqlConnection(ConfigurationManager.ConnectionStrings["SOURCE"].ConnectionString))
{
c.Open();
String sql = @"
INSERT INTO [destination.ex.com].[bacon-wrench].[dbo].[tblFruitPunch]
(PunchID, BaconID) VALUES
(34,56),
(22,11),
(33,55),
(1,2);";
using(SqlCommand cmd = new SqlCommand(sql, c))
{
cmd.ExecuteNonQuery();
}
}
如果您使用的是 SQL Server 2008+,则可以引入表用户数据类型。准备类型、接收表和存储过程,如下所示。数据类型和存储过程位于本地系统上。我通常在代码中有一个 if 语句来检测表是远程的还是本地的,远程我这样做,本地我使用 SqlBulkCopy。
if(TYPE_ID(N'[Owner].[TempTableType]') is null)
begin
CREATE TYPE [Owner].[TempTableType] AS TABLE ( [PendingID] uniqueidentifier, [Reject] bit)
end
IF NOT EXISTS (SELECT * FROM [LinkedServer].[DatabaseOnLS].sys.tables where name = 'TableToReceive')
EXEC('
CREATE TABLE [DatabaseOnLS].[Owner].[TableToReceive] ( [PendingID] uniqueidentifier, [Reject] bit)
') AT [LinkedServer]
else
EXEC('
TRUNCATE TABLE [DatabaseOnLS].[Owner].[TableToReceive]
') AT [LinkedServer]
CREATE PROCEDURE [Owner].[TempInsertTable]
@newTableType TempTableType readonly
AS
BEGIN
insert into [LinkedServer].[DatabaseOnLS].[Owner].[TableToReceive] select * from @newTableType
END
在 C# 代码中,您可以执行以下操作,将 DataTable 插入到链接服务器上的表中(我使用的是现有的 UnitOfWork,它已经具有连接和事务):
using (var command = new SqlCommand("TempInsertTable",
oUoW.Database.Connection as SqlConnection) { CommandType = CommandType.StoredProcedure }
)
{
command.Transaction = oUoW.Database.CurrentTransaction as SqlTransaction;
command.Parameters.Add(new SqlParameter("@newTableType", oTempTable));
drResults = command.ExecuteReader();
drResults.Close();
}
在尝试了许多东西(包括链接服务器设置、排序规则、同义词等)后,我最终得到了这条错误消息:
Inserting into remote tables or views is not allowed by using the BCP utility or by using BULK INSERT.
也许您可以批量插入到本地服务器上的临时表(您的代码可以很好地执行此操作),然后从该临时表插入到链接服务器,然后本地删除临时表。 您必须测试性能。