字典没有释放内存

我有一本字典：

Dictionary<string, List<string>>

以及一种遍历目录并将信息保存在字典中的方法

public void TraverseDirectory(string startDir)
{
    //this.CreateNewFileWatcher(startDir);
    Dictionary<string, List<string>> dirsDictionary = new Dictionary<string, List<string>>();
    Dictionary<string, List<string>> filesDictionary = new Dictionary<string, List<string>>();
    Stack<DirectoryInfo> currentDirectorries = new Stack<DirectoryInfo>();
    DirectoryInfo startDirInfo = new DirectoryInfo(startDir);
    currentDirectorries.Push(startDirInfo);
    while (currentDirectorries.Count > 0)
    {
        var dir = currentDirectorries.Pop();
        this.AddNewDir(dir, dirsDictionary);
        try
        {
            var currentDirs = dir.GetDirectories();
            foreach (var currentDir in currentDirs)
            {
                currentDirectorries.Push(currentDir);
                try
                {
                    var files = currentDir.GetFiles();
                    foreach (var file in files)
                    {
                        this.AddNewFile(file, filesDictionary);
                    }
                }
                catch (UnauthorizedAccessException) { }
            }
        }
        catch (UnauthorizedAccessException) { }
    }
    dirsDictionary.Clear();
    filesDictionary.Clear();
}

基本上，AddNewDir和AddNewFile方法将文件/目录添加到字典中，它们更多地用于测试目的。正如你所看到的，字典只在方法中是活动的，但在那之后，它们不会释放内存，在很好的情况下，内存会增加到100mb。我正在将该信息保存到MemoryMappedFiles中，其中的信息是临时的。

你知道为什么内存没有被释放吗？

问候

GC.Collect();
GC.WaitForPendingFinalizers();