并行聚合集合
本文关键字:集合 并行 | 更新日期: 2023-09-27 18:21:09
我见过基本类型的并行聚合代码,例如
Parallel.For<int>(0, result.Count, () => 0, (i, loop, subtotal) =>
{
subtotal += result[i];
return subtotal;
},
(x) => Interlocked.Add(ref sum, x)
);
我想知道是否有一个列表/其他集合的等价物,例如:
List<Result> AllResults;
Parallel.ForEach(allIDs, (currentID) =>
{
subList.add(GetResultFor(currentID));
return subList;
},
(x) =>
{
lock(AllResults)
AllResults.AddRange(subList);
};
我猜没有什么比这更漂亮、更整洁的了,但我想不出其他方法了,当然不是通过标准的鹦鹉。因为我想不出你会怎么说"这个核心有这个范围,这个核心这个范围"。。。。
我认为在这两个例子中,PLINQ可以更好地为您服务,并且在使用非线程安全集合时无需手动锁定。
您的总和计算可以转换为:
var sum = result.AsParallel().Sum();
第二个例子用List<T>
可以转换成:
List<Result> results = allIDs.AsParallel()
.Select(id => GetResultFor(id))
.ToList();
请注意,并行性只和测试结果一样好。并行并不总是会加快代码的速度,有时它甚至可能会降低针对顺序循环的性能。
List<Result> AllResults = new List<Result>();
Parallel.ForEach(allIDs, () => new List<Result>(), (id, loopState, subList) =>
{
subList.Add(GetResultFor(id));
return subList;
},
subList =>
{
lock(AllResults)
AllResults.AddRange(subList);
});
var nums = Enumerable.Range(0, 1000000000);
var parallel = nums.AsParallel();
var mapped = parallel.Select(x => (long) unchecked( x * x));
var sum = mapped.Sum();
Console.WriteLine(sum);
映射(Select)总是可以并行进行。。。reduce(Sum)太"有点"了。。。您可以使用许多工作线程来对所有不同的和对求和,直到剩下"最后一个"和。通常(90%)对所有内容进行同步求和会得到最佳结果。
选择多的另一个例子:
IList<IEnumerable<long>> manyNumbers = new List<IEnumerable<long>>();
for (int i = 0; i < 16; i+=2)
{
manyNumbers.Add(Enumerable.Range(2 << i, 2 << (i + 1)).AsParallel().Select(a=> (long)a));
}
var parallel = manyNumbers.AsParallel();
var allPrimes = parallel.SelectMany(sumNums =>
{
IEnumerable<long> somePrimes= sumNums.Where(num =>
{
for (long i = 2; i <= Math.Sqrt(num); i++)
{
if (num % i == 0)
{
return false;
}
}
return true;
}
);
return somePrimes;
}
);
foreach (var number in allPrimes)
{
Console.WriteLine(number);
}
long sumOfPrimes = allPrimes.Sum();
Console.WriteLine(sumOfPrimes);
Console.ReadLine();
这不是一个很好的算法。。。