批大小如何影响批量插入性能

本文关键字：插入 性能 影响 何影响 | 更新日期: 2023-09-27 18:19:06

我在syabse数据库中进行批量插入，通过分组插入查询并将其发送到批量数据库，其中批量大小是可配置的，代码看起来有点像这样

public static void InsertModelValueInBulk(DataSet modelValueData, int clsaId)
    {
        int batchSize = Convert.ToInt32(ConfigurationManager.AppSettings["BatchSize"].ToString());            
        IList<string> queryBuffer = new List<string>();    
        using (var connection = GetAseConnection())
        {
            connection.Open();
            var tran = connection.BeginTransaction();
            try
            {                  
                for (int i = 0; i < modelValueData.Tables[0].Rows.Count; i++)
                {
                    var insertItem = string.Format(@"select '{0}',{1},{2},{3},'{4}','{5}','{6}',{7}", row["ModelValueID"], Convert.ToInt32(row["StockModelID"]), Convert.ToInt32(row["ModelItemID"]),
                                                                      fyeStr, row["Period"], value, row["UpdatedUser"], clsaId);
                    queryBuffer.Add(insertItem);
                    if (queryBuffer.Count % (batchSize) == 0 && queryBuffer.Count > 0)
                    {
                        var finalQuery = @"INSERT INTO InsertTable (ModelValueID, StockModelID, ModelItemID, FYE, Period, Value, UpdatedUser,id) 
         " + String.Join(" union ", queryBuffer.ToArray<string>());                         
                        using (var cmd = new AseCommand(finalQuery, connection, tran))
                        {                                    
                                cmd.ExecuteNonQuery();                              
                        }
                        queryBuffer.Clear();
                    }                      
                }                   
                tran.Commit();
            }
            catch
            {
                tran.Rollback();
                throw;
            }
            finally
            {
                tran.Dispose();
            }
        }
    }

使用这个观察到的批大小与插入20000所花费的时间的性能形成了J曲线，样本数据有点像

批大小10 =>操作在30秒内完成，当批大小为50 =>20秒，100=>10秒，200=>20秒，500 => 30秒，1000=>1分钟。

想了解J曲线背后的原因。这是与应用服务器内存或一些数据库服务器设置或其他东西吗?是什么使100最优，这可以进一步调整吗?

批大小如何影响批量插入性能

BULK insert在批处理大小的持续时间内锁定表。锁有一个基本的开销，所以小批处理不会有那么大的好处，但是可以让其他操作在批处理之间对表进行。

所以在某种程度上，大批量生产是好的。因为这是一个事务，所以在当前批处理完成之前不会提交数据。这意味着写入日志文件。非常大的批处理将导致日志增长，这是IO密集型的，它也会增加争用，因为更多的日志将被使用。

类似的东西

编辑:还有两件事1)使用参数化输入2)如果你不做第一点，"联合"会导致明显的问题。使用"union all"

我看到相当多的问题与您现有的代码。例如. .在你的提交上，我不会假设提交总是成功的。

  1. 我会围绕try catch Commits, Rollbacks命令包装所有可能失败或爆炸的代码。执行

  2. 我会看看我的Select语句，我个人会创建一个存储过程，如果你不能这样做，我会让选择字符串一个const

  3. 我会亲自命名我的交易…但这取决于你

  4. 这一行是否有可能在每个方法调用期间更改…

    int batchSize = Convert.ToInt32(ConfigurationManager.AppSettings[" batchSize "].ToString());
    如果不是，我就把它设为静态调用而不是每次进入

    5. 方法时都调用它试着重构你的代码。它开始看起来有点令人困惑…
相关文章：