Hinweis: stammt nicht von mir!

Was kann der Tokenizer?
Er kann beliebige Eingabe-Strings in Tokens zerlegen, wobei die Regeln für die Zerlegung Regex-basiert sind.

myCSharp.de - DIE C# und .NET Community | .NET-Komponenten und C#-Snippets | Regex-basierter Tokenizer

Ich weiß, ist durch die KNLib etwas unwichtiger geworden, aber vil interessiert sich der ein oder andere ja dafür
Wenn ihr nicht wisst für was das gut sein soll, dann lasst es...