优化插入过程(我的程序需要 1h30 才能插入 100'000 行)
本文关键字:插入 1h30 我的 过程 程序 优化 | 更新日期: 2023-09-27 18:32:03
我有一个将数据插入Oracle数据库的c#过程。我尝试使用批量插入,但性能非常糟糕,我不知道为什么。插入超过 100'000 行大约需要 1h30 !
这是我的插入程序:
internal void InsertPublications(DateTime aDate, List<Model.Publication> aPublications, Action<int> aProgress, Action<int> aCallBack)
{
List<List<Model.Publication>> _Publications = Split(aPublications, 128);
int _InsertedCount = 0;
var _Worker = new BackgroundWorker() { WorkerReportsProgress = true };
_Worker.DoWork += (_Sender, _Args) =>
{
var _TableName = string.Format("SRC_PUBLICATION_{0}", aDate.ToString("yyyyMMdd"));
OracleCommand _Command;
this.Connect();
try
{
this.CreateOrReplaceTable(_TableName, SQL_CREATE_PULICATIONS_TABLE);
foreach (var _PublicationSub in _Publications)
{
if (!DlgParamPublication.alive)
{
break;
}
_Command = this.Connection.CreateCommand();
_Command.CommandText = string.Format(SQL_INSERT_PULICATIONS, _TableName);
_Command.CommandType = CommandType.Text;
_Command.BindByName = true;
_Command.ArrayBindCount = _PublicationSub.Count;
_Command.Parameters.Add(":ANNEE", OracleDbType.NVarchar2, _PublicationSub.Select(_Item => _Item.Year).ToArray(), ParameterDirection.Input);
_Command.Parameters.Add(":IDE_PUBLICATION", OracleDbType.NVarchar2, _PublicationSub.Select(_Item => _Item.Pid).ToArray(), ParameterDirection.Input);
_Command.Parameters.Add(":IDE_TYPE_PUBLICATION", OracleDbType.NVarchar2, _PublicationSub.Select(_Item => _Item.IdePublicationType.ToString().ToLower()).ToArray(), ParameterDirection.Input);
_Command.Parameters.Add(":IDE_TYPE_TRAVAIL", OracleDbType.NVarchar2, _PublicationSub.Select(_Item => _Item.IdeTypeOfWork.ToString().ToLower()).ToArray(), ParameterDirection.Input);
_Command.Parameters.Add(":IDE_NIVEAU_ELEMENT_ORG", OracleDbType.NVarchar2, _PublicationSub.Select(_Item => _Item.UserRefType.ToString().ToLower()).ToArray(), ParameterDirection.Input);
_Command.Parameters.Add(":IDE_ELEMENT_ORG", OracleDbType.NVarchar2, _PublicationSub.Select(_Item => _Item.UserRefValue).ToArray(), ParameterDirection.Input);
_Command.Parameters.Add(":AUTEUR", OracleDbType.NClob, _PublicationSub.Select(_Item => _Item.Author).ToArray(), ParameterDirection.Input);
_InsertedCount += _Command.ExecuteNonQuery();
_Worker.ReportProgress(0, _InsertedCount);
}
catch (Exception _Exc)
{
ViewModel.DlgParamPublication.Logger.LogException("INSERT PUBLICATIONS", _Exc, false);
}
finally
{
this.Disconnect();
}
};
_Worker.ProgressChanged += (_Sender, _Args) => { aProgress((int)_Args.UserState); };
_Worker.RunWorkerCompleted += (_Sender, _Args) => { aCallBack(_InsertedCount); };
// Start background thread
if (DlgParamPublication.alive)
{
_Worker.RunWorkerAsync();
}
}
知道为什么需要这么长时间吗?
更新
有人有其他建议吗?我无法解决问题。
我将尝试在foreach循环之外创建OracleCommand和所有OracleParameter。
在循环中,我将添加当前迭代的值
_Command = this.Connection.CreateCommand();
_Command.CommandText = string.Format(SQL_INSERT_PULICATIONS, _TableName); _Command.CommandType = CommandType.Text;
_Command.BindByName = true;
_Command.Parameters.Add(":ANNEE", OracleDbType.NVarchar2, "", ParameterDirection.Input); _Command.Parameters.Add(":IDE_PUBLICATION", OracleDbType.NVarchar2, "", ParameterDirection.Input);
.....
foreach (var _PublicationSub in _Publications)
{
_Command.Parameters[":ANNEE"].Value = _PublicationSub.Select(_Item => _Item.Year).ToArray();
....
}
这个想法是在单个存储的过程调用中为每个参数发送值数组。您实际上是在发送单个值的数组 n 次,其中 n 是 _Publications
的长度。
拆下外环并将_PublicationSub.Select
替换为_Publications.Select
。
还需要更改绑定计数_Command.ArrayBindCount = _Publications.Count;
为了方便起见,我认为这是可行的:
try
{
this.CreateOrReplaceTable(_TableName, SQL_CREATE_PULICATIONS_TABLE);
if (!DlgParamPublication.alive)
{
break;
}
_Command = this.Connection.CreateCommand();
_Command.CommandText = string.Format(SQL_INSERT_PULICATIONS, _TableName);
_Command.CommandType = CommandType.Text;
_Command.BindByName = true;
_Command.ArrayBindCount = _Publications.Count;
_Command.Parameters.Add(":ANNEE", OracleDbType.NVarchar2, _Publications.Select(_Item => _Item.Year).ToArray(), ParameterDirection.Input);
_Command.Parameters.Add(":IDE_PUBLICATION", OracleDbType.NVarchar2, _Publications.Select(_Item => _Item.Pid).ToArray(), ParameterDirection.Input);
_Command.Parameters.Add(":IDE_TYPE_PUBLICATION", OracleDbType.NVarchar2, _Publications.Select(_Item => _Item.IdePublicationType.ToString().ToLower()).ToArray(), ParameterDirection.Input);
_Command.Parameters.Add(":IDE_TYPE_TRAVAIL", OracleDbType.NVarchar2, _Publications.Select(_Item => _Item.IdeTypeOfWork.ToString().ToLower()).ToArray(), ParameterDirection.Input);
_Command.Parameters.Add(":IDE_NIVEAU_ELEMENT_ORG", OracleDbType.NVarchar2, _Publications.Select(_Item => _Item.UserRefType.ToString().ToLower()).ToArray(), ParameterDirection.Input);
_Command.Parameters.Add(":IDE_ELEMENT_ORG", OracleDbType.NVarchar2, _Publications.Select(_Item => _Item.UserRefValue).ToArray(), ParameterDirection.Input);
_Command.Parameters.Add(":AUTEUR", OracleDbType.NClob, _Publications.Select(_Item => _Item.Author).ToArray(), ParameterDirection.Input);
_InsertedCount += _Command.ExecuteNonQuery();
_Worker.ReportProgress(0, _InsertedCount);
}
catch (Exception _Exc)
{
ViewModel.DlgParamPublication.Logger.LogException("INSERT PUBLICATIONS", _Exc, false);
}
finally
{
this.Disconnect();
}
您可能希望删除后台工作人员的进度,因为这是一次性的,一次调用中的 0-100%,交易。
我不确定,但问题可能是 BindByName。我建议像这个例子一样的数字绑定。