数据进入数据库的速度

本文关键字：速度 数据库 数据 | 更新日期: 2023-09-27 18:01:47

我正在开发一个windows应用程序，我正在上传一个文本文件。在该文本文件中有5000行，其中以逗号[，]分隔的数据。我使用oledb连接[MS Access]后端。我正在从文件中获取逗号分隔的数据，并将其插入数据库。

但是正如我观察到的那样，数据大约有15000-16000条记录。

我想提高这个速度。

这取决于我们在后端使用什么作为数据库吗?

sql server 2005可以代替MS Access提高速度吗?

请帮我一下。

请参见代码:

string file = openFileDialog1.FileName;
StreamReader inputData = new StreamReader(file);
while ((line = inputData.ReadLine()) != null)
{
    subLine = line.Split(',');
    /*Taking Unique ID from tradefile table*/
    int ID=0;
    try
    {
        da=new OleDbDataAdapter("select max(ID) from tradeFile",con);
        DataSet ds=new DataSet();
        da.Fill(ds);
        for (int i = 0; i < ds.Tables[0].Rows.Count; i++)
        {
            if (ds.Tables[0].Rows[i][0].ToString() == "")
            {
            }
            else
            {
                ID = int.Parse(ds.Tables[0].Rows[i][0].ToString());
                ID++;
            }
        }
    }
    catch(Exception ex)
    {
        MessageBox.Show(ex.Message);
    }

    try
    {
        string unknown="unknown Fileld";
        con.Open();
       // int j=subLine.Length;
        //for(int i=0;i<subLine.Length;i++)
        {
            int i = 0;
           //int j=subLine.Length;
           //int index=subLine.Length-j;
           cmd=new OleDbCommand(
               "insert into tradeFile values('"+ID+"','"+
               subLine[i].ToString()+"','"+subLine[++i].ToString()+"','"+
               subLine[++i].ToString()+"','"+subLine[++i].ToString()+"','"+
               subLine[++i].ToString()+"','"+subLine[++i].ToString()+"','"+
               subLine[++i].ToString()+"','"+subLine[++i].ToString()+"','"+
               subLine[++i].ToString()+"','"+subLine[++i].ToString()+"','"+
               subLine[++i].ToString()+"','"+subLine[++i].ToString()+"','"+
               subLine[++i].ToString()+"','"+subLine[++i].ToString()+"','"+
               subLine[++i].ToString()+"','"+subLine[++i].ToString()+"','"+
               subLine[++i].ToString()+"','"+subLine[++i].ToString()+"','"+
               subLine[++i].ToString()+"','"+subLine[++i].ToString()+"','"+
               subLine[++i].ToString()+"','"+subLine[++i].ToString()+"','"+
               subLine[++i].ToString()+"','"+subLine[++i].ToString()+"','"+
               unknown+"')",con);
           cmd.ExecuteNonQuery();
        }
    }
    catch (Exception ex)
    {
        MessageBox.Show(ex.Message);
    }
    finally
    {
        con.Close();
    }
    //counter++;
}

数据进入数据库的速度

可以通过一次插入多行来提高速度。据我所知，sql-server允许在一个查询中插入1000行，这是5-6查询到DB而不是5-6k查询。不确定有多少行可以处理ms访问。当然，插入速度取决于RDBMS

乌利希期刊指南:

奇怪的是，你做额外的查询来获取表的新id。你应该使用autoincrement字段，这是第一次。第二:你的结果插入查询应该像这样:

insert into tradeFile (field1, field2 ... fieldN) 
values (f1value1, f2value1...fNvalue1), (f1value2, f2value2...fNvalu2) etc.

第三-你需要记住，你不能插入超过N(例如1000在SQL Server)值一次，所以你的代码可能是如下:

string file = openFileDialog1.FileName;
StreamReader inputData = new StreamReader(file);
int values = 0;
const int maxValuesPerInsert = 1000;
string insertQuery = string.empty;
while ((line = inputData.ReadLine()) != null)
{
    subLine = line.Split(',');
    /*do some work to extract values (lemme call em value1, value2...)*/
    if (values < maxValuesPerInsert - 1)
    {
        insertQuery += string.format("({0}, {1}, {2}),", value1, value2, value3);
        values++;
    }
    else
    {
        insertQuery += string.format("({0}, {1}, {2})", value1, value2, value3); //just to get rid of last comma            
        var query = string.format("insert into tradeFile (field1, field2, field 3) values {0}", insertQuery);
        /*do your db query*/
        insertQuery = string.empty;
        values = 0;
    }
}

是的，SQL server比MSACCESS更快更可靠。

当您使用具有多个连接的当代访问或当您有大量工作负载时，避免对大型数据库使用访问(数千条记录的访问可能很大)。

SQL Server express就足够了(它是免费的，查看限制在这里:http://social.msdn.microsoft.com/Forums/en-US/sqldensetup/thread/0e781eb4-1c27-4777-9bd8-bc9e1ae3e803/)

另一个"解决方案"可以在一个查询中使用多个插入或使用BULK插入(我不确定是否支持访问)

当然，使用MsSQL服务器代替MS Access会提高速度。也因为我认为你正在为每一行1查询。您必须在每个查询中添加几行。这将提高速度。

你用什么算法来分割文本文件中的数据?

我想提高这个速度。

你应该查一下ADO。网批处理。

基本上，你创建一个数据适配器(即SqlDataAdapter，如果你选择SQL Server)，在那里你指定你的更新，插入和删除命令，然后将DataAdapter.UpdateBatchSize属性设置为大于1的值(例如尝试1000，看看会发生什么)。

对于一般的硬件，您应该能够每秒插入~10,000行，但是我会尝试几个不同的批处理大小和配置文件。

sql server 2005可以代替MS Access提高速度吗?

是的，如果你需要处理更大的数据集，你应该考虑切换到SQL Server。不过，没有必要使用2005年的版本;SQL Server 2012 Express是2012年的免费版。

如果你真的有大量的行(例如100,000行)要一次插入，你也可以考虑使用SQLBulkCopy。SQLBulkCopy特别适合在同一服务器上的不同表之间复制数据的场景。

相关文章：