向Mysql插入数据越来越慢

本文关键字:越来越 数据 插入 Mysql | 更新日期: 2023-09-27 18:08:31

我需要每分钟插入388个数据到本地数据库。首先,当表是空的,我只需要5秒插入到数据库。

但是当表变大时,当行数达到1,026,558时,程序效率减慢到1分钟以上。

, CPU使用率为100%。这是不寻常的。

下面是我的代码:
public static void dataToDB(String[] routeIDArray,String[] levelArray,String[] valueArray,String[] travelTimeArray, int amountOfData)
    {
        MySqlConnection con = new MySqlConnection(connStr);
        MySqlCommand cmd = null;
        MySqlDataReader rdr = null;
        String sqlCmd, updateSqlCmd = "UPDATE `datetimetable` SET ";
        for(int counter = 0; counter < amountOfData; counter++)
        {
            sqlCmd = "ALTER TABLE `datetimetable` ADD COLUMN IF NOT EXISTS `" + routeIDArray[counter] + "` INT NULL;"
                + "INSERT INTO `roadvalue`.`data` (`level`,`value`,`traveltime`) VALUES ("
                + levelArray[counter] + ","
                + valueArray[counter] + ","
                + travelTimeArray[counter] + ");"
                + "SELECT LAST_INSERT_ID() FROM `data`;";
            cmd = new MySqlCommand(sqlCmd, con);
            con.Open();
            rdr = cmd.ExecuteReader();
            rdr.Read();
            updateSqlCmd += "`" + routeIDArray[counter] + "` = " + rdr[0] + ",";
            rdr.Close();
        }
        updateSqlCmd = updateSqlCmd.TrimEnd(',');
        updateSqlCmd += " WHERE EXISTS (SELECT * WHERE dateTime = '" + dateTime.ToString("yyyy-MM-dd HH:mm:00") + "');";
        cmd = new MySqlCommand(updateSqlCmd, con);//update data key to datetimetable
        cmd.ExecuteNonQuery();
        Console.WriteLine("Done.");
        con.Close();
    }
    public static void checkDateTimeExisted()
    {
        MySqlConnection con = new MySqlConnection(connStr);
        MySqlCommand cmd;
        String sqlCmd;
        sqlCmd = "INSERT INTO `datetimetable` (`dateTime`) SELECT * FROM (SELECT '" + dateTime.ToString("yyyy-MM-dd HH:mm:00")
                     + "') AS tmp WHERE NOT EXISTS(SELECT `dateTime` FROM `datetimetable` WHERE `dateTime` = '" + dateTime.ToString("yyyy-MM-dd HH:mm:00") + "') LIMIT 1; ";
            con.Open();
            cmd = new MySqlCommand(sqlCmd, con);
            cmd.ExecuteNonQuery();
            con.Close();
    }

Mysql引擎是InooDB,表"data"有一个Auto_Increment主键,表"dateschedule"有一个Auto_Increment主键和一个不重复的datetime作为索引。

我做错了什么?

向Mysql插入数据越来越慢

我找到了答案,命令"SELECT LAST_INSERT_ID() FROM data;"应该添加LIMIT 1,否则它将获得所有ID杀死性能。

不要在循环中使用ALTER TABLE——在开始之前提前计划并提供所有列

不要在一个字符串中使用多个语句。这有安全隐患,等等。

不要使用WHERE EXISTS...时(我认为)一个简单的WHERE将工作。

如果存在UNIQUE(datetime),那么最终的INSERT可以简单地为

INSERT IGNORE INTO datetimetable
    (datetime)
    VALUE
    ('...');

批量插入,除非你需要LAST_INSERT_ID()。不需要LIMIT 1

不要'Normalize' datetime值;它只会让事情变慢。只需在主表中输入日期时间即可。