c#中使用复杂分隔符/分隔符对字符串进行标记并保留分隔符/分隔符作为标记的有效方法

我试图找到最有效的方法来创建一个通用的标记器，它将保留复杂的分隔符/分隔符作为额外的标记。

是的…我看了一些SO问题，如我如何使用字符串#split分割字符串与分隔符+ - */()和空间，并保留它们作为一个额外的令牌?但到目前为止，它太具体了。我需要解决方案的工作对通用字符串。

在我的例子中，我希望标记字符串，如

"   A brown bear     A red firetruck  A white horse   "

，因此，我期待以下标记:

"   ",              //3 spaces
"A brown bear",
"     ",            //5 spaces
"A red firetruck",
"  ",               //2 spaces
"A white horse",
"   "               //3 spaces

所以，这是我想出的代码，它的工作如预期的，但我想知道是否有任何方式来改进这个…

public static class StringExtension
{
    public static List<string> TokenizeUsingRegex(this string input, string separatorRegexPattern, bool includeSeparatorsAsToken = true)
    {
        var tokens = Regex.Split(input, separatorRegexPattern).Where(t => !string.IsNullOrWhiteSpace(t)).ToList();
        if (!includeSeparatorsAsToken)
            return tokens;
        //Reinstate the removed separators      
        var newTokens = new List<string>();
        var startIndex  = 0;
        for(int i = 0, l = tokens.Count(); i < l; i++) 
        {
            var token = tokens[i];          
            var endIndex = input.IndexOf(token);
            if (startIndex < endIndex) {
                //Add back the separator as a new token
                newTokens.Add(input.Substring(startIndex, endIndex - startIndex));
            }
            //Then add the token afterward
            newTokens.Add(token);
            startIndex = endIndex + token.Length;           
        }
        //Add last separator if any
        if (startIndex < input.Length) {            
            newTokens.Add(input.Substring(startIndex));
        }
        return newTokens;
    }   
}

实例:https://dotnetfiddle.net/l3mesr

using System;
using System.Linq;
using System.Text.RegularExpressions;
class Program
{
    static void Main()
    {
        var str = "    Invisible Pty. Ltd.     1 Nowhere St.  Sydney  2000  AUSTRALIA   ";
        //str = " A teddy bear   A red firetruck ";
        //tokenize the input delimited by 2 or more whitespaces
        var tokens = Regex.Matches(str, @"'s{2,}|('s?[^'s]+('s[^'s]+)*('s$)?)").Cast<Match>().ToArray(); 
        foreach(var token in tokens)
        {
            Console.WriteLine("'{0}' - {1}", token, token.Length);
        }
    }
}