导入csv文件时添加的重复产品

本文关键字:添加 csv 文件 导入 | 更新日期: 2023-09-27 18:22:13

我正在使用下面的代码将csv文件导入到sqlserver 2008中,问题是,它将重复的记录添加到表中,我如何检查以避免重复的记录导入,下面是我正在使用的代码,我从某个地方复制了,并且忘记了链接,因此无法引用它,代码在导入数据时运行良好,但它在导入之前没有检查,我在表中使用的主键是producted,下面是代码,任何帮助或建议都将不胜感激:

SqlConnection con = new SqlConnection(@"Data Source=xxxxxxxx;Initial Catalog=xxxx;Persist Security Info=True;User ID=xx;Password=xxx");
    string filepath = Server.MapPath(FileUpload1.FileName);//"C:''params.csv";
        StreamReader sr = new StreamReader(filepath);
        string line = sr.ReadLine();
        string[] value = line.Split(',');
        DataTable dt = new DataTable();
        DataRow row;
        foreach (string dc in value)
        {
            dt.Columns.Add(new DataColumn(dc));
        }
        while ( !sr.EndOfStream )
        {
            value = sr.ReadLine().Split(',');
            if(value.Length == dt.Columns.Count)
            {
                row = dt.NewRow();
                row.ItemArray = value;
                dt.Rows.Add(row);
            }
        }
        SqlBulkCopy bc = new SqlBulkCopy(con.ConnectionString, SqlBulkCopyOptions.TableLock);
        bc.DestinationTableName = "products";
        bc.BatchSize = dt.Rows.Count;
        con.Open();
        bc.WriteToServer(dt);
        bc.Close();
        con.Close(); 
}

导入csv文件时添加的重复产品

通常,您应该能够将PK字段设置为productid。如果重复,插入将自动失败。。。

您还可以对DataTable进行排序,通过一些逻辑传递和处理重复的行。

另一种解决方案是在某种可搜索的数组中添加productid,并在添加新行之前对其进行检查。

HTH、