Java中StringTokenizer的一个实例。
代码：
StringTokenizer st = new StringTokenizer("this is a test");
while (st.hasMoreTokens())
{
System.out.println(st.nextToken());
}
打印出来之后是：
this
is
a
test
接下来的实例阐明了Stirng.split方法如何将一个字符串分解成其基本令牌的。
String[] result = "this is a test".split("\\s");
for (int x=0; x<result.length; x++)
System.out.println(result[x]);
打印出来之后是：
this
is
a
test
StringTokenizer 是出于兼容性的原因而被保留的遗留类（虽然在新代码中并不鼓励使用它）。建议所有寻求此功能的人使用 String 的 split 方法或 java.util.regex 包。