等待成千上万的任务

我有一个转换数据的应用程序，通常有1.000 - 30.000个文件。

我需要做3个步骤:

1. 复制一个文件(替换一些文本)
2. 用WebClient做一个Webrequest来下载一个文件(我将复制的文件发送到WebServer，它将文件转换为另一种格式)
3. 获取下载的文件并更改部分内容

所以这三个步骤都包含一些I/O，我使用了async/await方法:

var tasks = files.Select(async (file) =>
{
    Item item = await createtempFile(file).ConfigureAwait(false);
    await convert(item).ConfigureAwait(false);
    await clean(item).ConfigureAwait(false);
}).ToList();
await Task.WhenAll(tasks).ConfigureAwait(false);

我不知道这是否是最佳实践，因为我创建了上千个任务。我想把这三个步骤分成如下三个步骤:

List<Item> items = new List<Item>();
var tasks = files.Select(async (file) =>
{
    Item item = await createtempFile(file, ext).ConfigureAwait(false);
    lock(items)
        items.Add(item);
}).ToList();
await Task.WhenAll(tasks).ConfigureAwait(false);
var tasks = items.Select(async (item) =>
{
    await convert(item, baseAddress, ext).ConfigureAwait(false);
}).ToList();
await Task.WhenAll(tasks).ConfigureAwait(false);
var tasks = items.Select(async (item) =>
{
    await clean(targetFile, item.Doctype, ext).ConfigureAwait(false);
}).ToList();
await Task.WhenAll(tasks).ConfigureAwait(false);

但这似乎并没有更好或更快，因为我创建了3倍的数千个任务。

我应该限制任务的创建吗?比如100个任务?或者我只是想多了，创造成千上万的任务就好了。

CPU空闲，峰值为2-4%，所以我认为等待或上下文切换太多。

也许WebRequest调用太多了，因为WebServer/WebService不能同时处理数千个请求，我应该只节流WebRequest ?

我已经在app.config文件中增加了。net maxconnection

/// <summary>
/// Enumerates a collection in parallel and calls an async method on each item. Useful for making 
/// parallel async calls, e.g. independent web requests when the degree of parallelism needs to be
/// limited.
/// </summary>
public static Task ForEachAsync<T>(this IEnumerable<T> source, int degreeOfParalellism, Func<T, Task> action)
{
    return Task.WhenAll(Partitioner.Create(source).GetPartitions(degreeOfParalellism).Select(partition => Task.Run(async () =>
    {
        using (partition)
            while (partition.MoveNext())
                await action(partition.Current);
    })));
}

var files = new List<string> {"one", "two", "three"};
await files.ForEachAsync(5, async file =>
{
   // do async stuff here with the file
   await Task.Delay(1000);
});