如何在不使用分割的情况下从c#文本文件中分割操作符，标识符，字符串等

我正在使用c#为编译器构造课程制作词法分析器。我正在从记事本文件中输入信息。请告诉我如何打破数据类型，操作符，标识符等从文本文件，并保存在数组或列表中那些破碎的话。然后我将通过标识符、数据类型等的Dfa来验证这些单词，然后我将生成令牌。

这是我的foreach循环，我想在其中传递数组或列表中的单词。

//x will be string of datatypes,keyword,identifiers etc of my language.
//richTextBox1.Lines will be replaced by that array or list which I will create.
foreach (string x in richTextBox1.Lines)
{
    //code for validating
}