内存映射文件和内存消耗
本文关键字:内存 文件 映射 | 更新日期: 2023-09-27 18:25:40
给定以下测试代码(x64环境):
static void Test()
{
string fileName = @"d:'map";
long length = new FileInfo(fileName).Length;
using (var file = MemoryMappedFile.CreateFromFile(fileName, FileMode.Open, "mapFile", length, MemoryMappedFileAccess.ReadWrite))
{
byte* bytePtr = (byte*)0;
var view = file.CreateViewAccessor(0, length, MemoryMappedFileAccess.ReadWrite);
view.SafeMemoryMappedViewHandle.AcquirePointer(ref bytePtr);
long count = (long)(length / sizeof(int));
long sum = 0;
long step = count / 2000;
int* ptr = (int*)&bytePtr[0];
long currentCount = 0 ;
Parallel.For(0, count, new ParallelOptions { MaxDegreeOfParallelism = 8 }, (i) =>
{
Interlocked.Add(ref sum, ptr[i]);
Interlocked.Increment(ref currentCount) ;
if (currentCount % step == 0)
Console.Write("'r{0:0.00}%", (100 * currentCount / (float)count));
});
Console.WriteLine(sum);
view.Dispose();
}
}
假设"d:''map"是一个40GB的文件,当通过指针"ptr"进行随机访问时,会出现一种非常奇怪的行为。
系统物理内存被充分利用,一切都变慢了,这个过程需要2个多小时才能完成。
当我进行顺序(和单线程)访问时,使用的物理内存不会超过1GB,这个过程大约需要8分钟。
我的问题是:当使用内存映射文件时,"真实"内存会被使用吗?不是只有虚拟地址空间被占用了吗?
我试图了解使用内存映射文件时的物理内存消耗情况。
内存映射文件使用虚拟内存。与64位操作系统上的RAM相比,映射更多GB的虚拟机空间不会有任何问题。在需求页面虚拟内存操作系统中,所有运行进程所需内存的总和总是大大超过RAM的数量。
将其映射到RAM需要花钱,这就是需求发挥作用的地方。当处理器试图访问未映射到RAM的虚拟内存地址时,它会中断程序并大声呼救。调用了页面错误。
如果你没有花这笔钱获得至少40GB的RAM,那么你将不可避免地为操作系统处理这些页面错误付出代价。这需要分配一个RAM页面并用文件中的内容填充它。当Perf必须取消映射以前映射的RAM并将其内容保存到文件中时,它会变为南方。然后重新使用释放的RAM页面,并从适当的文件偏移量加载文件内容。非常鹿,磁盘很慢。一个被称为"颠簸"的问题。
当您按顺序寻址内存时,问题就小得多了,一个页面故障适用于4096字节的顺序访问,而且当您触发页面故障时,磁盘读卡器磁头很可能仍在正确的位置。