限制异步任务

本文关键字：任务 异步 | 更新日期: 2023-09-27 18:31:56

我想知道如果要完成的任务数量很大，我们是否应该限制异步任务。假设您有 1000 个 URL，您是否一次触发所有请求并等待所有请求：

var tasks = urlList.Select(url => downloadAsync(url));
await Task.WhenAll(tasks);

或者您是否批处理请求并处理一个批处理：

foreach (var urlBatch in urlList.BatchEnumerable(BatchSize)){
    var tasks = urlBatch.Select(url => downloadAsync(url));
    await Task.WhenAll(tasks);
}

我认为批处理不是必需的，因为第一种方法（一次触发所有请求）将创建由ThreadPool计划的任务，因此我们应该让ThreadPool决定何时执行每个任务。但是，有人告诉我，在实践中，这只有在任务是计算任务时才有效。当任务涉及网络请求时，第一种方法可能会导致主机挂起???为什么？

限制异步任务

在大多数情况下，您希望将自己限制在某件事上。当您同时运行多个操作时，您始终会在某个位置保留一些状态。如果它们受 CPU 限制，则任务存储在等待线程的ThreadPool队列中，如果它是异步的，则状态机位于堆上。

即使是异步操作，通常也会占用一些有限的资源，无论是带宽、端口、远程数据库服务器的 CPU 等。

不过，您不必一次将自己限制为一个批次（因为您需要等待最后一个操作完成而不是启动其他操作）。您可以使用SlimSemahpore甚至更好的 TPL 数据流块进行限制：

var block = new ActionBlock<string>(
   url => downloadAsync(url),
   new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = 10 });    
urlList.ForEach(url => block.Post(url));
block.Complete();
await block.Completion;
相关文章：