向Mysql插入数据越来越慢
本文关键字:越来越 数据 插入 Mysql | 更新日期: 2023-09-27 18:08:31
我需要每分钟插入388个数据到本地数据库。首先,当表是空的,我只需要5秒插入到数据库。
但是当表变大时,当行数达到1,026,558时,程序效率减慢到1分钟以上。
, CPU使用率为100%。这是不寻常的。
下面是我的代码:public static void dataToDB(String[] routeIDArray,String[] levelArray,String[] valueArray,String[] travelTimeArray, int amountOfData)
{
MySqlConnection con = new MySqlConnection(connStr);
MySqlCommand cmd = null;
MySqlDataReader rdr = null;
String sqlCmd, updateSqlCmd = "UPDATE `datetimetable` SET ";
for(int counter = 0; counter < amountOfData; counter++)
{
sqlCmd = "ALTER TABLE `datetimetable` ADD COLUMN IF NOT EXISTS `" + routeIDArray[counter] + "` INT NULL;"
+ "INSERT INTO `roadvalue`.`data` (`level`,`value`,`traveltime`) VALUES ("
+ levelArray[counter] + ","
+ valueArray[counter] + ","
+ travelTimeArray[counter] + ");"
+ "SELECT LAST_INSERT_ID() FROM `data`;";
cmd = new MySqlCommand(sqlCmd, con);
con.Open();
rdr = cmd.ExecuteReader();
rdr.Read();
updateSqlCmd += "`" + routeIDArray[counter] + "` = " + rdr[0] + ",";
rdr.Close();
}
updateSqlCmd = updateSqlCmd.TrimEnd(',');
updateSqlCmd += " WHERE EXISTS (SELECT * WHERE dateTime = '" + dateTime.ToString("yyyy-MM-dd HH:mm:00") + "');";
cmd = new MySqlCommand(updateSqlCmd, con);//update data key to datetimetable
cmd.ExecuteNonQuery();
Console.WriteLine("Done.");
con.Close();
}
public static void checkDateTimeExisted()
{
MySqlConnection con = new MySqlConnection(connStr);
MySqlCommand cmd;
String sqlCmd;
sqlCmd = "INSERT INTO `datetimetable` (`dateTime`) SELECT * FROM (SELECT '" + dateTime.ToString("yyyy-MM-dd HH:mm:00")
+ "') AS tmp WHERE NOT EXISTS(SELECT `dateTime` FROM `datetimetable` WHERE `dateTime` = '" + dateTime.ToString("yyyy-MM-dd HH:mm:00") + "') LIMIT 1; ";
con.Open();
cmd = new MySqlCommand(sqlCmd, con);
cmd.ExecuteNonQuery();
con.Close();
}
Mysql引擎是InooDB,表"data"有一个Auto_Increment主键,表"dateschedule"有一个Auto_Increment主键和一个不重复的datetime作为索引。
我做错了什么?
我找到了答案,命令"SELECT LAST_INSERT_ID() FROM data
;"应该添加LIMIT 1,否则它将获得所有ID杀死性能。
不要在循环中使用ALTER TABLE
——在开始之前提前计划并提供所有列
不要在一个字符串中使用多个语句。这有安全隐患,等等。
不要使用WHERE EXISTS...
时(我认为)一个简单的WHERE
将工作。
如果存在UNIQUE(datetime)
,那么最终的INSERT
可以简单地为
INSERT IGNORE INTO datetimetable
(datetime)
VALUE
('...');
批量插入,除非你需要LAST_INSERT_ID()
。不需要LIMIT 1
。
不要'Normalize' datetime值;它只会让事情变慢。只需在主表中输入日期时间即可。