并行聚合集合

本文关键字:集合 并行 | 更新日期: 2023-09-27 18:21:09

我见过基本类型的并行聚合代码,例如

Parallel.For<int>(0, result.Count, () => 0, (i, loop, subtotal) =>
    {
        subtotal += result[i];
        return subtotal;
    },
    (x) => Interlocked.Add(ref sum, x)
);

我想知道是否有一个列表/其他集合的等价物,例如:

List<Result> AllResults;
Parallel.ForEach(allIDs, (currentID) =>
{
    subList.add(GetResultFor(currentID));
    return subList;
},
(x) =>
{
    lock(AllResults)
        AllResults.AddRange(subList);
};

我猜没有什么比这更漂亮、更整洁的了,但我想不出其他方法了,当然不是通过标准的鹦鹉。因为我想不出你会怎么说"这个核心有这个范围,这个核心这个范围"。。。。

并行聚合集合

我认为在这两个例子中,PLINQ可以更好地为您服务,并且在使用非线程安全集合时无需手动锁定。

您的总和计算可以转换为:

var sum = result.AsParallel().Sum();

第二个例子用List<T>可以转换成:

List<Result> results = allIDs.AsParallel()
                             .Select(id => GetResultFor(id))
                             .ToList();

请注意,并行性只和测试结果一样好。并行并不总是会加快代码的速度,有时它甚至可能会降低针对顺序循环的性能。

List<Result> AllResults = new List<Result>();
Parallel.ForEach(allIDs, () => new List<Result>(), (id, loopState, subList) =>
{
   subList.Add(GetResultFor(id));
   return subList;
},
subList => 
{ 
     lock(AllResults)
         AllResults.AddRange(subList); 
});
    var nums = Enumerable.Range(0, 1000000000);
    var parallel = nums.AsParallel();
    var mapped = parallel.Select(x => (long) unchecked( x * x)); 
    var sum = mapped.Sum();
    Console.WriteLine(sum);

映射(Select)总是可以并行进行。。。reduce(Sum)太"有点"了。。。您可以使用许多工作线程来对所有不同的和对求和,直到剩下"最后一个"和。通常(90%)对所有内容进行同步求和会得到最佳结果。


选择多的另一个例子:

        IList<IEnumerable<long>> manyNumbers = new List<IEnumerable<long>>();
        for (int i = 0; i < 16; i+=2)
        {
            manyNumbers.Add(Enumerable.Range(2 << i, 2 << (i + 1)).AsParallel().Select(a=> (long)a));
        }
        var parallel = manyNumbers.AsParallel();
        var allPrimes = parallel.SelectMany(sumNums =>
        {
            IEnumerable<long> somePrimes= sumNums.Where(num =>
           {
               for (long i = 2; i <= Math.Sqrt(num); i++)
               {
                   if (num % i == 0)
                   {
                       return false;
                   }
               }
               return true;
           }
            );
            return somePrimes;
        }
        );
        foreach (var number in allPrimes)
        {
            Console.WriteLine(number);
        }
        long sumOfPrimes = allPrimes.Sum();

        Console.WriteLine(sumOfPrimes);
        Console.ReadLine();

这不是一个很好的算法。。。