TPL 数据流 - 控制在任何时候流中的项目

本文关键字：项目 任何时候 数据流 控制 TPL | 更新日期: 2023-09-27 18:13:27

我需要处理商家发送给我们的文件。每个文件名将包含商家的ID.例如产品 - 118763.csv，其中数字是商家ID。

我想设置数据流来处理这些文件。可以同时处理多个文件。

但是，必须按顺序处理每个商家的文件。也就是说，不能同时处理特定商家的两个文件。

我不确定如何使用数据流对此进行建模。我可以监控当前正在处理哪些商家，但我不知道如何确保我不处理来自同一商家的两个文件，同时仍然一次处理尽可能多的文件。

似乎我需要过滤我从队列中取出的内容，但我一次只能获取一个项目，一旦我有了，然后呢。我可以重新排队，但如果只有两个文件，并且它们都来自同一个商家，这可能意味着很多重新排队。

有什么想法吗？

TPL 数据流 - 控制在任何时候流中的项目

您可以创建多个ActionBlock(尽可能多地并行处理(，其中每个文件一次只处理一个文件，并在文件名中使用数字来选择正确的ActionBlock。这将允许并行处理，同时确保按顺序处理具有相同商家 ID 的文件。

初始化： 

_actionBlocks = new ActionBlock<File>[DegreeOfParallelism];
for (var i = 0; i < _actionBlocks.Length; i++)
{
    _actionBlocks[i] = new ActionBlock<File>(file => ProcessFile(file));
}

用法：

void ProcessFile(string path)
{
    _actionBlocks[(uint) int.Parse(Path.GetFileNameWithoutExtension(path))%_actionBlocks.Length].Post(
        ReadFile(path));
}
相关文章：