搜索大型Excel文件并高效处理大量数据

我已经开始了这个项目，下面是我所拥有的：

Excel文件（exl1），包含450K条记录，每个月还有50000条记录。

exl1格式

invoice#|Box#|Serial-#1|Serial-#2|5-val-enum#1|5-val-enum#2|10-val-enum|4-val-enum|timestamp

ex1：abc123|box1|0987654321|A123456789|Plant|Tree|PersonName1|North|DateTime.Now

ex2：qwe345|box9|12345678901234567890|#NA|Animal|Cat|PersonName1|South|DT.Now

Excel文件（exl2），包含大约5万条记录。（出于解释目的，命名为searchcVal）exl2格式系列1

ex1a：A123456789

ex1b：0987654321

ex2a:12345678901234567890

我要做的是：

1. 根据exl1的5-val-enum#1的值，将exl2（searchval）中的每个值与序列#1或序列#2进行比较（示例1=植物，示例2=动物）

2. 如果searchVal以[a-z]搜索序列2开始，则搜索序列1；因此，使用searchVal ex1a搜索col3和serachval ex1b搜索col2

       if (exl1.Rows[columnHeader][col4].ToString() == "Plant")
       {
           string rowVal = exl2.Rows[rowIterator][col0].ToString();
           if (regex.IsMatch(rowVal[0].ToString()))//checks to see if serial1 or  serial2
           {
               if (rowVal == exl1.Rows[rowIterator][col3].ToString())
               {
                   //add matched row to ResultsDT
               }
               else
               {  //next row
               }
           }
           else
           { //search col2 with same procedure
           }
       }
       else
       {//search col2
       }
   

3. 为了便于解释，假设Person1匹配了400株植物，其中100株是树，100株是灌木，100株为草，100株为花他匹配了400只动物，其中100只分别是猫、狗、蛇和鸟。通过这些匹配，我想将其总结为SUMMARY1:PersonName|Plants|Animals|category3|Category4|Category5每个类别都有一个更详细的名称，如摘要2：人物名称|树木|灌木|草地|通向SUMM1的花朵：人物1|400|400|x|n|y SUMM2（仅限植物）：人物1|100|100|100

4. 最重要的是：在计算时，在不杀死运行3小时的电脑的情况下完成所有这些