从字典中排除单词

本文关键字：单词 排除 字典 | 更新日期: 2023-09-27 17:49:24

我正在通读文档，并将单词拆分以获得字典中的每个单词，但是我如何排除某些单词(如"the/a/an")呢?

这是我的功能

private void Splitter(string[] file)
{
    try
    {
        tempDict = file
            .SelectMany(i => File.ReadAllLines(i)
            .SelectMany(line => line.Split(new[] { ' ', ',', '.', '?', '!', }, StringSplitOptions.RemoveEmptyEntries))
            .AsParallel()
            .Distinct())
            .GroupBy(word => word)
            .ToDictionary(g => g.Key, g => g.Count());
    }
    catch (Exception ex)
    {
        Ex(ex);
    }
}

另外，在这种情况下，添加.ToLower()调用以使文件中的所有单词都是小写的正确位置在哪里?在(temp = file ..)之前，我一直在考虑这样的事情:

file.ToList().ConvertAll(d => d.ToLower());

从字典中排除单词

是否要过滤掉停止词?

 HashSet<String> StopWords = new HashSet<String> { 
   "a", "an", "the" 
 }; 
 ...
 tempDict = file
   .SelectMany(i => File.ReadAllLines(i)
   .SelectMany(line => line.Split(new[] { ' ', ',', '.', '?', '!', }, StringSplitOptions.RemoveEmptyEntries))
   .AsParallel()
   .Select(word => word.ToLower()) // <- To Lower case 
   .Where(word => !StopWords.Contains(word)) // <- No stop words
   .Distinct()
   .GroupBy(word => word)
   .ToDictionary(g => g.Key, g => g.Count());

然而，这段代码是一个部分解决方案:专有名称，如Berlin将转换为小写:Berlin以及首字母缩略词:KISS (Keep It Simple, Stupid)将变成只是一个KISS和一些数字将不正确。

我会这样做:

var ignore = new [] { "the", "a", "an" };
tempDict = file
    .SelectMany(i =>
        File
            .ReadAllLines(i)
            .SelectMany(line =>
                line
                    .ToLowerInvariant()
                    .Split(
                        new[] { ' ', ',', '.', '?', '!', },
                        StringSplitOptions.RemoveEmptyEntries))
                    .AsParallel()
                    .Distinct())
    .Where(x => !ignore.Contains(x))
    .GroupBy(word => word)
    .ToDictionary(g => g.Key, g => g.Count());

如果性能成为问题，您可以将ignore更改为HashSet<string>，但由于您正在使用文件IO，因此不太可能。

相关文章：