@zzzen/pyright-internal 1.2.0-dev.20231119 → 1.2.0-dev.20231126

package/dist/tests/tokenizer.test.js

@@ -12,7 +12,11 @@
  */
 var __createBinding = (this && this.__createBinding) || (Object.create ? (function(o, m, k, k2) {
     if (k2 === undefined) k2 = k;
-    Object.defineProperty(o, k2, { enumerable: true, get: function() { return m[k]; } });
+    var desc = Object.getOwnPropertyDescriptor(m, k);
+    if (!desc || ("get" in desc ? !m.__esModule : desc.writable || desc.configurable)) {
+      desc = { enumerable: true, get: function() { return m[k]; } };
+    }
+    Object.defineProperty(o, k2, desc);
 }) : (function(o, m, k, k2) {
     if (k2 === undefined) k2 = k;
     o[k2] = m[k];
@@ -44,8 +48,8 @@ test('Empty', () => {
     const results = t.tokenize('');
     assert_1.default.equal(results.tokens.count, 0 + _implicitTokenCount);
     assert_1.default.equal(results.tokens.length, 0);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 1 /* EndOfStream */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 1 /* TokenType.EndOfStream */);
     assert_1.default.equal(results.tokens.getItemAtPosition(-1), -1);
     assert_1.default.equal(results.tokens.getItemAtPosition(2), -1);
     assert_1.default.throws(() => results.tokens.getItemAt(-1), Error);
@@ -57,13 +61,13 @@ test('NewLines', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('\na\r\nb\r');
     assert_1.default.equal(results.tokens.count, 5 + _implicitTokenCountNoImplicitNewLine);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(0).newLineType, 1 /* LineFeed */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(2).newLineType, 2 /* CarriageReturnLineFeed */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(4).newLineType, 0 /* CarriageReturn */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 1 /* EndOfStream */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(0).newLineType, 1 /* NewLineType.LineFeed */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(2).newLineType, 2 /* NewLineType.CarriageReturnLineFeed */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(4).newLineType, 0 /* NewLineType.CarriageReturn */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 1 /* TokenType.EndOfStream */);
     assert_1.default.equal(results.tokens.getItemAtPosition(0), 0);
     assert_1.default.equal(results.tokens.getItemAtPosition(1), 1);
     assert_1.default.equal(results.tokens.getItemAtPosition(2), 2);
@@ -78,33 +82,33 @@ test('InvalidWithNewLine', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('\\\\\r\n\\aaa \t\f\n');
     assert_1.default.equal(results.tokens.count, 4 + _implicitTokenCountNoImplicitNewLine);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 0 /* Invalid */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 0 /* TokenType.Invalid */);
     assert_1.default.equal(results.tokens.getItemAt(0).length, 2);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(1).newLineType, 2 /* CarriageReturnLineFeed */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 0 /* Invalid */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(1).newLineType, 2 /* NewLineType.CarriageReturnLineFeed */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 0 /* TokenType.Invalid */);
     assert_1.default.equal(results.tokens.getItemAt(2).length, 4);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(3).newLineType, 1 /* LineFeed */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(3).newLineType, 1 /* NewLineType.LineFeed */);
 });
 test('InvalidIndent', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('\tpass\n');
     assert_1.default.equal(results.tokens.count, 4 + _implicitTokenCountNoImplicitNewLine);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 3 /* Indent */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 8 /* Keyword */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 3 /* TokenType.Indent */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 8 /* TokenType.Keyword */);
 });
 test('ParenNewLines', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('\n(\n(\n)\n)\n)\n');
     assert_1.default.equal(results.tokens.count, 8 + _implicitTokenCountNoImplicitNewLine);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 13 /* OpenParenthesis */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 13 /* OpenParenthesis */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 14 /* CloseParenthesis */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 14 /* CloseParenthesis */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 14 /* CloseParenthesis */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 13 /* TokenType.OpenParenthesis */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 13 /* TokenType.OpenParenthesis */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 14 /* TokenType.CloseParenthesis */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 14 /* TokenType.CloseParenthesis */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 14 /* TokenType.CloseParenthesis */);
     assert_1.default.equal(results.tokens.getItemAtPosition(0), 0);
     assert_1.default.equal(results.tokens.getItemAtPosition(1), 1);
     assert_1.default.equal(results.tokens.getItemAtPosition(2), 1);
@@ -124,13 +128,13 @@ test('BraceNewLines', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('\n{\n{\n}\n}\n}\n');
     assert_1.default.equal(results.tokens.count, 8 + _implicitTokenCountNoImplicitNewLine);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 18 /* CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 18 /* TokenType.CloseCurlyBrace */);
     assert_1.default.equal(results.tokens.getItemAtPosition(0), 0);
     assert_1.default.equal(results.tokens.getItemAtPosition(1), 1);
     assert_1.default.equal(results.tokens.getItemAtPosition(2), 1);
@@ -150,13 +154,13 @@ test('BracketNewLines', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('\n[\n[\n]\n]\n]\n');
     assert_1.default.equal(results.tokens.count, 8 + _implicitTokenCountNoImplicitNewLine);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 15 /* OpenBracket */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 15 /* OpenBracket */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 16 /* CloseBracket */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 16 /* CloseBracket */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 16 /* CloseBracket */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 15 /* TokenType.OpenBracket */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 15 /* TokenType.OpenBracket */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 16 /* TokenType.CloseBracket */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 16 /* TokenType.CloseBracket */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 16 /* TokenType.CloseBracket */);
     assert_1.default.equal(results.tokens.getItemAtPosition(0), 0);
     assert_1.default.equal(results.tokens.getItemAtPosition(1), 1);
     assert_1.default.equal(results.tokens.getItemAtPosition(2), 1);
@@ -176,17 +180,17 @@ test('NewLinesWithWhiteSpace', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('  \na   \r\nb  \rc');
     assert_1.default.equal(results.tokens.count, 6 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 2 /* NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 2 /* TokenType.NewLine */);
     assert_1.default.equal(results.tokens.getItemAt(0).length, 1);
-    assert_1.default.equal(results.tokens.getItemAt(0).newLineType, 1 /* LineFeed */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(2).newLineType, 2 /* CarriageReturnLineFeed */);
+    assert_1.default.equal(results.tokens.getItemAt(0).newLineType, 1 /* NewLineType.LineFeed */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(2).newLineType, 2 /* NewLineType.CarriageReturnLineFeed */);
     assert_1.default.equal(results.tokens.getItemAt(2).length, 2);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(4).newLineType, 0 /* CarriageReturn */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(4).newLineType, 0 /* NewLineType.CarriageReturn */);
     assert_1.default.equal(results.tokens.getItemAt(4).length, 1);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(6).newLineType, 3 /* Implied */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(6).newLineType, 3 /* NewLineType.Implied */);
     assert_1.default.equal(results.tokens.getItemAt(6).length, 0);
     assert_1.default.equal(results.tokens.getItemAtPosition(0), -1);
     assert_1.default.equal(results.tokens.getItemAtPosition(1), -1);
@@ -207,9 +211,9 @@ test('NewLineEliding', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('\n\r\n\r');
     assert_1.default.equal(results.tokens.count, 1 + _implicitTokenCountNoImplicitNewLine);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 2 /* NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 2 /* TokenType.NewLine */);
     assert_1.default.equal(results.tokens.getItemAt(0).length, 1);
-    assert_1.default.equal(results.tokens.getItemAt(0).newLineType, 1 /* LineFeed */);
+    assert_1.default.equal(results.tokens.getItemAt(0).newLineType, 1 /* NewLineType.LineFeed */);
     assert_1.default.equal(results.tokens.getItemAtPosition(0), 0);
     assert_1.default.equal(results.tokens.getItemAtPosition(3), 0);
     assert_1.default.equal(results.tokens.getItemAtPosition(4), 1);
@@ -220,12 +224,12 @@ test('LineContinuation', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('foo  \\\na   \\\r\nb  \\\rc  \\ \n # Comment \\\n');
     assert_1.default.equal(results.tokens.count, 6 + _implicitTokenCountNoImplicitNewLine);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 0 /* Invalid */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 2 /* NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 0 /* TokenType.Invalid */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 2 /* TokenType.NewLine */);
     assert_1.default.equal(results.tokens.getItemAtPosition(0), 0);
     assert_1.default.equal(results.tokens.getItemAtPosition(6), 0);
     assert_1.default.equal(results.tokens.getItemAtPosition(7), 1);
@@ -246,12 +250,12 @@ test('Dots', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('. .. ... ....');
     assert_1.default.equal(results.tokens.count, 6 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 20 /* Dot */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 20 /* Dot */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 20 /* Dot */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 19 /* Ellipsis */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 19 /* Ellipsis */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 20 /* Dot */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 20 /* TokenType.Dot */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 20 /* TokenType.Dot */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 20 /* TokenType.Dot */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 19 /* TokenType.Ellipsis */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 19 /* TokenType.Ellipsis */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 20 /* TokenType.Dot */);
     assert_1.default.equal(results.tokens.getItemAtPosition(0), 0);
     assert_1.default.equal(results.tokens.getItemAtPosition(1), 0);
     assert_1.default.equal(results.tokens.getItemAtPosition(2), 1);
@@ -270,49 +274,49 @@ test('PunctuationTokens', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize(':;,()[]{}->');
     assert_1.default.equal(results.tokens.count, 10 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 10 /* Colon */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 11 /* Semicolon */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 12 /* Comma */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 13 /* OpenParenthesis */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 14 /* CloseParenthesis */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 15 /* OpenBracket */);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 16 /* CloseBracket */);
-    assert_1.default.equal(results.tokens.getItemAt(7).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(8).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(9).type, 21 /* Arrow */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 10 /* TokenType.Colon */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 11 /* TokenType.Semicolon */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 12 /* TokenType.Comma */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 13 /* TokenType.OpenParenthesis */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 14 /* TokenType.CloseParenthesis */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 15 /* TokenType.OpenBracket */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 16 /* TokenType.CloseBracket */);
+    assert_1.default.equal(results.tokens.getItemAt(7).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(8).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(9).type, 21 /* TokenType.Arrow */);
 });
 test('IndentDedent', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('test\n' + '  i1\n' + '  i2  # \n' + '       # \n' + '  \ti3\n' + '\ti4\n' + ' i1');
     assert_1.default.equal(results.tokens.count, 16 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 3 /* Indent */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 3 /* TokenType.Indent */);
     assert_1.default.equal(results.tokens.getItemAt(2).indentAmount, 2);
     assert_1.default.equal(results.tokens.getItemAt(2).length, 2);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(7).type, 3 /* Indent */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(7).type, 3 /* TokenType.Indent */);
     assert_1.default.equal(results.tokens.getItemAt(7).indentAmount, 8);
     assert_1.default.equal(results.tokens.getItemAt(7).length, 3);
-    assert_1.default.equal(results.tokens.getItemAt(8).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(9).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(10).type, 3 /* Indent */);
+    assert_1.default.equal(results.tokens.getItemAt(8).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(9).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(10).type, 3 /* TokenType.Indent */);
     assert_1.default.equal(results.tokens.getItemAt(10).isIndentAmbiguous, true);
     assert_1.default.equal(results.tokens.getItemAt(10).length, 1);
-    assert_1.default.equal(results.tokens.getItemAt(11).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(12).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(13).type, 4 /* Dedent */);
+    assert_1.default.equal(results.tokens.getItemAt(11).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(12).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(13).type, 4 /* TokenType.Dedent */);
     assert_1.default.equal(results.tokens.getItemAt(13).indentAmount, 2);
     assert_1.default.equal(results.tokens.getItemAt(13).matchesIndent, true);
-    assert_1.default.equal(results.tokens.getItemAt(14).type, 4 /* Dedent */);
+    assert_1.default.equal(results.tokens.getItemAt(14).type, 4 /* TokenType.Dedent */);
     assert_1.default.equal(results.tokens.getItemAt(14).indentAmount, 1);
     assert_1.default.equal(results.tokens.getItemAt(14).matchesIndent, false);
-    assert_1.default.equal(results.tokens.getItemAt(15).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(16).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(17).type, 1 /* EndOfStream */);
+    assert_1.default.equal(results.tokens.getItemAt(15).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(16).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(17).type, 1 /* TokenType.EndOfStream */);
 });
 test('IndentDedentParen', () => {
     const t = new tokenizer_1.Tokenizer();
@@ -320,28 +324,28 @@ test('IndentDedentParen', () => {
     assert_1.default.equal(results.tokens.count, 8 + _implicitTokenCount);
     // Test that indent and dedent tokens are suppressed within
     // a parenthetical clause.
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 13 /* OpenParenthesis */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 14 /* CloseParenthesis */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 3 /* Indent */);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(7).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(8).type, 4 /* Dedent */);
-    assert_1.default.equal(results.tokens.getItemAt(9).type, 1 /* EndOfStream */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 13 /* TokenType.OpenParenthesis */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 14 /* TokenType.CloseParenthesis */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 3 /* TokenType.Indent */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(7).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(8).type, 4 /* TokenType.Dedent */);
+    assert_1.default.equal(results.tokens.getItemAt(9).type, 1 /* TokenType.EndOfStream */);
 });
 test('Strings: simple', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize(' "a"');
     assert_1.default.equal(results.tokens.count, 3 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 3 /* Indent */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 3 /* TokenType.Indent */);
     const stringToken = results.tokens.getItemAt(1);
-    assert_1.default.equal(stringToken.type, 5 /* String */);
+    assert_1.default.equal(stringToken.type, 5 /* TokenType.String */);
     assert_1.default.equal(stringToken.length, 3);
     assert_1.default.equal(stringToken.escapedValue, 'a');
-    assert_1.default.equal(stringToken.flags, 2 /* DoubleQuote */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 2 /* NewLine */);
+    assert_1.default.equal(stringToken.flags, 2 /* StringTokenFlags.DoubleQuote */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 2 /* TokenType.NewLine */);
 });
 test('Strings: unclosed', () => {
     const t = new tokenizer_1.Tokenizer();
@@ -352,13 +356,13 @@ test('Strings: unclosed', () => {
         [10, 18],
         [29, 10],
     ];
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 3 /* Indent */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 3 /* TokenType.Indent */);
     for (let i = 0; i < ranges.length; i++) {
         assert_1.default.equal(results.tokens.getItemAt(i + 1).start, ranges[i][0]);
         assert_1.default.equal(results.tokens.getItemAt(i + 1).length, ranges[i][1]);
-        assert_1.default.equal(results.tokens.getItemAt(i + 1).type, 5 /* String */);
+        assert_1.default.equal(results.tokens.getItemAt(i + 1).type, 5 /* TokenType.String */);
     }
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 4 /* Dedent */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 4 /* TokenType.Dedent */);
 });
 test('Strings: escaped across multiple lines', () => {
     const t = new tokenizer_1.Tokenizer();
@@ -368,13 +372,13 @@ test('Strings: escaped across multiple lines', () => {
         [1, 6],
         [8, 7],
     ];
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 3 /* Indent */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 3 /* TokenType.Indent */);
     for (let i = 0; i < ranges.length; i++) {
         assert_1.default.equal(results.tokens.getItemAt(i + 1).start, ranges[i][0]);
         assert_1.default.equal(results.tokens.getItemAt(i + 1).length, ranges[i][1]);
-        assert_1.default.equal(results.tokens.getItemAt(i + 1).type, 5 /* String */);
+        assert_1.default.equal(results.tokens.getItemAt(i + 1).type, 5 /* TokenType.String */);
     }
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 1 /* EndOfStream */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 1 /* TokenType.EndOfStream */);
 });
 test('Strings: block next to regular, double-quoted', () => {
     const t = new tokenizer_1.Tokenizer();
@@ -387,7 +391,7 @@ test('Strings: block next to regular, double-quoted', () => {
     for (let i = 0; i < ranges.length; i++) {
         assert_1.default.equal(results.tokens.getItemAt(i).start, ranges[i][0]);
         assert_1.default.equal(results.tokens.getItemAt(i).length, ranges[i][1]);
-        assert_1.default.equal(results.tokens.getItemAt(i).type, 5 /* String */);
+        assert_1.default.equal(results.tokens.getItemAt(i).type, 5 /* TokenType.String */);
     }
 });
 test('Strings: block next to block, double-quoted', () => {
@@ -401,7 +405,7 @@ test('Strings: block next to block, double-quoted', () => {
     for (let i = 0; i < ranges.length; i++) {
         assert_1.default.equal(results.tokens.getItemAt(i).start, ranges[i][0]);
         assert_1.default.equal(results.tokens.getItemAt(i).length, ranges[i][1]);
-        assert_1.default.equal(results.tokens.getItemAt(i).type, 5 /* String */);
+        assert_1.default.equal(results.tokens.getItemAt(i).type, 5 /* TokenType.String */);
     }
 });
 test('Strings: unclosed sequence of quotes', () => {
@@ -412,7 +416,7 @@ test('Strings: unclosed sequence of quotes', () => {
     for (let i = 0; i < ranges.length; i++) {
         assert_1.default.equal(results.tokens.getItemAt(i).start, ranges[i][0]);
         assert_1.default.equal(results.tokens.getItemAt(i).length, ranges[i][1]);
-        assert_1.default.equal(results.tokens.getItemAt(i).type, 5 /* String */);
+        assert_1.default.equal(results.tokens.getItemAt(i).type, 5 /* TokenType.String */);
     }
 });
 test('Strings: single quote escape', () => {
@@ -420,8 +424,8 @@ test('Strings: single quote escape', () => {
     const results = t.tokenize("'\\'quoted\\''");
     assert_1.default.equal(results.tokens.count, 1 + _implicitTokenCount);
     const stringToken = results.tokens.getItemAt(0);
-    assert_1.default.equal(stringToken.type, 5 /* String */);
-    assert_1.default.equal(stringToken.flags, 1 /* SingleQuote */);
+    assert_1.default.equal(stringToken.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken.flags, 1 /* StringTokenFlags.SingleQuote */);
     assert_1.default.equal(stringToken.length, 12);
     assert_1.default.equal(stringToken.prefixLength, 0);
     assert_1.default.equal(stringToken.escapedValue, "\\'quoted\\'");
@@ -431,8 +435,8 @@ test('Strings: double quote escape', () => {
     const results = t.tokenize('"\\"quoted\\""');
     assert_1.default.equal(results.tokens.count, 1 + _implicitTokenCount);
     const stringToken = results.tokens.getItemAt(0);
-    assert_1.default.equal(stringToken.type, 5 /* String */);
-    assert_1.default.equal(stringToken.flags, 2 /* DoubleQuote */);
+    assert_1.default.equal(stringToken.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken.flags, 2 /* StringTokenFlags.DoubleQuote */);
     assert_1.default.equal(stringToken.length, 12);
     assert_1.default.equal(stringToken.escapedValue, '\\"quoted\\"');
 });
@@ -441,8 +445,8 @@ test('Strings: triplicate double quote escape', () => {
     const results = t.tokenize('"""\\"quoted\\""""');
     assert_1.default.equal(results.tokens.count, 1 + _implicitTokenCount);
     const stringToken = results.tokens.getItemAt(0);
-    assert_1.default.equal(stringToken.type, 5 /* String */);
-    assert_1.default.equal(stringToken.flags, 2 /* DoubleQuote */ | 4 /* Triplicate */);
+    assert_1.default.equal(stringToken.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken.flags, 2 /* StringTokenFlags.DoubleQuote */ | 4 /* StringTokenFlags.Triplicate */);
     assert_1.default.equal(stringToken.length, 16);
     assert_1.default.equal(stringToken.escapedValue, '\\"quoted\\"');
 });
@@ -450,43 +454,43 @@ test('Strings: single quoted f-string', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize("a+f'quoted'");
     assert_1.default.equal(results.tokens.count, 5 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 9 /* Operator */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 9 /* TokenType.Operator */);
     const fStringStartToken = results.tokens.getItemAt(2);
-    assert_1.default.equal(fStringStartToken.type, 24 /* FStringStart */);
-    assert_1.default.equal(fStringStartToken.flags, 1 /* SingleQuote */ | 64 /* Format */);
+    assert_1.default.equal(fStringStartToken.type, 24 /* TokenType.FStringStart */);
+    assert_1.default.equal(fStringStartToken.flags, 1 /* StringTokenFlags.SingleQuote */ | 64 /* StringTokenFlags.Format */);
     assert_1.default.equal(fStringStartToken.length, 2);
     const fStringMiddleToken = results.tokens.getItemAt(3);
-    assert_1.default.equal(fStringMiddleToken.type, 25 /* FStringMiddle */);
-    assert_1.default.equal(fStringMiddleToken.flags, 1 /* SingleQuote */ | 64 /* Format */);
+    assert_1.default.equal(fStringMiddleToken.type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(fStringMiddleToken.flags, 1 /* StringTokenFlags.SingleQuote */ | 64 /* StringTokenFlags.Format */);
     assert_1.default.equal(fStringMiddleToken.length, 6);
     assert_1.default.equal(fStringMiddleToken.escapedValue, 'quoted');
     const fStringEndToken = results.tokens.getItemAt(4);
-    assert_1.default.equal(fStringEndToken.type, 26 /* FStringEnd */);
-    assert_1.default.equal(fStringEndToken.flags, 1 /* SingleQuote */ | 64 /* Format */);
+    assert_1.default.equal(fStringEndToken.type, 26 /* TokenType.FStringEnd */);
+    assert_1.default.equal(fStringEndToken.flags, 1 /* StringTokenFlags.SingleQuote */ | 64 /* StringTokenFlags.Format */);
     assert_1.default.equal(fStringEndToken.length, 1);
 });
 test('Strings: double quoted f-string', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('x(1,f"quoted")');
     assert_1.default.equal(results.tokens.count, 8 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 13 /* OpenParenthesis */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 6 /* Number */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 12 /* Comma */);
-    assert_1.default.equal(results.tokens.getItemAt(7).type, 14 /* CloseParenthesis */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 13 /* TokenType.OpenParenthesis */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 6 /* TokenType.Number */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 12 /* TokenType.Comma */);
+    assert_1.default.equal(results.tokens.getItemAt(7).type, 14 /* TokenType.CloseParenthesis */);
     const fStringStartToken = results.tokens.getItemAt(4);
-    assert_1.default.equal(fStringStartToken.type, 24 /* FStringStart */);
-    assert_1.default.equal(fStringStartToken.flags, 2 /* DoubleQuote */ | 64 /* Format */);
+    assert_1.default.equal(fStringStartToken.type, 24 /* TokenType.FStringStart */);
+    assert_1.default.equal(fStringStartToken.flags, 2 /* StringTokenFlags.DoubleQuote */ | 64 /* StringTokenFlags.Format */);
     assert_1.default.equal(fStringStartToken.length, 2);
     const fStringMiddleToken = results.tokens.getItemAt(5);
-    assert_1.default.equal(fStringMiddleToken.type, 25 /* FStringMiddle */);
-    assert_1.default.equal(fStringMiddleToken.flags, 2 /* DoubleQuote */ | 64 /* Format */);
+    assert_1.default.equal(fStringMiddleToken.type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(fStringMiddleToken.flags, 2 /* StringTokenFlags.DoubleQuote */ | 64 /* StringTokenFlags.Format */);
     assert_1.default.equal(fStringMiddleToken.length, 6);
     assert_1.default.equal(fStringMiddleToken.escapedValue, 'quoted');
     const fStringEndToken = results.tokens.getItemAt(6);
-    assert_1.default.equal(fStringEndToken.type, 26 /* FStringEnd */);
-    assert_1.default.equal(fStringEndToken.flags, 2 /* DoubleQuote */ | 64 /* Format */);
+    assert_1.default.equal(fStringEndToken.type, 26 /* TokenType.FStringEnd */);
+    assert_1.default.equal(fStringEndToken.flags, 2 /* StringTokenFlags.DoubleQuote */ | 64 /* StringTokenFlags.Format */);
     assert_1.default.equal(fStringEndToken.length, 1);
 });
 test('Strings: single quoted multiline f-string', () => {
@@ -494,17 +498,17 @@ test('Strings: single quoted multiline f-string', () => {
     const results = t.tokenize("f'''quoted'''");
     assert_1.default.equal(results.tokens.count, 3 + _implicitTokenCount);
     const fStringStartToken = results.tokens.getItemAt(0);
-    assert_1.default.equal(fStringStartToken.type, 24 /* FStringStart */);
-    assert_1.default.equal(fStringStartToken.flags, 1 /* SingleQuote */ | 4 /* Triplicate */ | 64 /* Format */);
+    assert_1.default.equal(fStringStartToken.type, 24 /* TokenType.FStringStart */);
+    assert_1.default.equal(fStringStartToken.flags, 1 /* StringTokenFlags.SingleQuote */ | 4 /* StringTokenFlags.Triplicate */ | 64 /* StringTokenFlags.Format */);
     assert_1.default.equal(fStringStartToken.length, 4);
     const fStringMiddleToken = results.tokens.getItemAt(1);
-    assert_1.default.equal(fStringMiddleToken.type, 25 /* FStringMiddle */);
-    assert_1.default.equal(fStringMiddleToken.flags, 1 /* SingleQuote */ | 4 /* Triplicate */ | 64 /* Format */);
+    assert_1.default.equal(fStringMiddleToken.type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(fStringMiddleToken.flags, 1 /* StringTokenFlags.SingleQuote */ | 4 /* StringTokenFlags.Triplicate */ | 64 /* StringTokenFlags.Format */);
     assert_1.default.equal(fStringMiddleToken.length, 6);
     assert_1.default.equal(fStringMiddleToken.escapedValue, 'quoted');
     const fStringEndToken = results.tokens.getItemAt(2);
-    assert_1.default.equal(fStringEndToken.type, 26 /* FStringEnd */);
-    assert_1.default.equal(fStringEndToken.flags, 1 /* SingleQuote */ | 4 /* Triplicate */ | 64 /* Format */);
+    assert_1.default.equal(fStringEndToken.type, 26 /* TokenType.FStringEnd */);
+    assert_1.default.equal(fStringEndToken.flags, 1 /* StringTokenFlags.SingleQuote */ | 4 /* StringTokenFlags.Triplicate */ | 64 /* StringTokenFlags.Format */);
     assert_1.default.equal(fStringEndToken.length, 3);
 });
 test('Strings: double quoted multiline f-string', () => {
@@ -512,17 +516,17 @@ test('Strings: double quoted multiline f-string', () => {
     const results = t.tokenize('f"""quoted """');
     assert_1.default.equal(results.tokens.count, 3 + _implicitTokenCount);
     const fStringStartToken = results.tokens.getItemAt(0);
-    assert_1.default.equal(fStringStartToken.type, 24 /* FStringStart */);
-    assert_1.default.equal(fStringStartToken.flags, 2 /* DoubleQuote */ | 4 /* Triplicate */ | 64 /* Format */);
+    assert_1.default.equal(fStringStartToken.type, 24 /* TokenType.FStringStart */);
+    assert_1.default.equal(fStringStartToken.flags, 2 /* StringTokenFlags.DoubleQuote */ | 4 /* StringTokenFlags.Triplicate */ | 64 /* StringTokenFlags.Format */);
     assert_1.default.equal(fStringStartToken.length, 4);
     const fStringMiddleToken = results.tokens.getItemAt(1);
-    assert_1.default.equal(fStringMiddleToken.type, 25 /* FStringMiddle */);
-    assert_1.default.equal(fStringMiddleToken.flags, 2 /* DoubleQuote */ | 4 /* Triplicate */ | 64 /* Format */);
+    assert_1.default.equal(fStringMiddleToken.type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(fStringMiddleToken.flags, 2 /* StringTokenFlags.DoubleQuote */ | 4 /* StringTokenFlags.Triplicate */ | 64 /* StringTokenFlags.Format */);
     assert_1.default.equal(fStringMiddleToken.length, 7);
     assert_1.default.equal(fStringMiddleToken.escapedValue, 'quoted ');
     const fStringEndToken = results.tokens.getItemAt(2);
-    assert_1.default.equal(fStringEndToken.type, 26 /* FStringEnd */);
-    assert_1.default.equal(fStringEndToken.flags, 2 /* DoubleQuote */ | 4 /* Triplicate */ | 64 /* Format */);
+    assert_1.default.equal(fStringEndToken.type, 26 /* TokenType.FStringEnd */);
+    assert_1.default.equal(fStringEndToken.flags, 2 /* StringTokenFlags.DoubleQuote */ | 4 /* StringTokenFlags.Triplicate */ | 64 /* StringTokenFlags.Format */);
     assert_1.default.equal(fStringEndToken.length, 3);
 });
 test('Strings: f-string with single right brace', () => {
@@ -530,253 +534,253 @@ test('Strings: f-string with single right brace', () => {
     const results = t.tokenize("f'hello}'");
     assert_1.default.equal(results.tokens.count, 4 + _implicitTokenCount);
     const fStringStartToken = results.tokens.getItemAt(0);
-    assert_1.default.equal(fStringStartToken.type, 24 /* FStringStart */);
+    assert_1.default.equal(fStringStartToken.type, 24 /* TokenType.FStringStart */);
     assert_1.default.equal(fStringStartToken.length, 2);
-    assert_1.default.equal(fStringStartToken.flags, 1 /* SingleQuote */ | 64 /* Format */);
+    assert_1.default.equal(fStringStartToken.flags, 1 /* StringTokenFlags.SingleQuote */ | 64 /* StringTokenFlags.Format */);
     const fStringMiddleToken = results.tokens.getItemAt(1);
-    assert_1.default.equal(fStringMiddleToken.type, 25 /* FStringMiddle */);
+    assert_1.default.equal(fStringMiddleToken.type, 25 /* TokenType.FStringMiddle */);
     assert_1.default.equal(fStringMiddleToken.length, 5);
-    assert_1.default.equal(fStringMiddleToken.flags, 1 /* SingleQuote */ | 64 /* Format */ | 256 /* ReplacementFieldEnd */);
+    assert_1.default.equal(fStringMiddleToken.flags, 1 /* StringTokenFlags.SingleQuote */ | 64 /* StringTokenFlags.Format */ | 256 /* StringTokenFlags.ReplacementFieldEnd */);
     const braceToken = results.tokens.getItemAt(2).type;
-    assert_1.default.equal(braceToken, 18 /* CloseCurlyBrace */);
+    assert_1.default.equal(braceToken, 18 /* TokenType.CloseCurlyBrace */);
     const fStringEndToken = results.tokens.getItemAt(3);
-    assert_1.default.equal(fStringEndToken.type, 26 /* FStringEnd */);
-    assert_1.default.equal(fStringEndToken.flags, 1 /* SingleQuote */ | 64 /* Format */);
+    assert_1.default.equal(fStringEndToken.type, 26 /* TokenType.FStringEnd */);
+    assert_1.default.equal(fStringEndToken.flags, 1 /* StringTokenFlags.SingleQuote */ | 64 /* StringTokenFlags.Format */);
     assert_1.default.equal(fStringEndToken.length, 1);
 });
 test('Strings: f-string with backslash escape', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize(`f'\\\\'`);
     assert_1.default.equal(results.tokens.count, 3 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* FStringStart */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* TokenType.FStringStart */);
     const fStringMiddleToken = results.tokens.getItemAt(1);
-    assert_1.default.equal(fStringMiddleToken.type, 25 /* FStringMiddle */);
+    assert_1.default.equal(fStringMiddleToken.type, 25 /* TokenType.FStringMiddle */);
     assert_1.default.equal(fStringMiddleToken.length, 2);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 26 /* FStringEnd */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 26 /* TokenType.FStringEnd */);
 });
 test('Strings: f-string with new line escape', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize(`f'x \\\ny'`);
     assert_1.default.equal(results.tokens.count, 3 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* FStringStart */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 25 /* FStringMiddle */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 26 /* FStringEnd */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* TokenType.FStringStart */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 26 /* TokenType.FStringEnd */);
 });
 test('Strings: f-string with escape in expression', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize(`f'hello { "\\t" }'`);
     assert_1.default.equal(results.tokens.count, 6 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* FStringStart */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 25 /* FStringMiddle */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 5 /* String */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 26 /* FStringEnd */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* TokenType.FStringStart */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 5 /* TokenType.String */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 26 /* TokenType.FStringEnd */);
 });
 test('Strings: f-string with escape in format string 1', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize("f'he\\{ 1 }lo'");
     assert_1.default.equal(results.tokens.count, 7 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* FStringStart */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* TokenType.FStringStart */);
     const middleFString = results.tokens.getItemAt(1);
-    assert_1.default.equal(middleFString.type, 25 /* FStringMiddle */);
+    assert_1.default.equal(middleFString.type, 25 /* TokenType.FStringMiddle */);
     assert_1.default.equal(middleFString.escapedValue.length, 3);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 6 /* Number */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 25 /* FStringMiddle */);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 26 /* FStringEnd */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 6 /* TokenType.Number */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 26 /* TokenType.FStringEnd */);
 });
 test('Strings: f-string with escape in format string 2', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize(`f"'{{\\"{0}\\": {0}}}'"`);
     assert_1.default.equal(results.tokens.count, 11 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* FStringStart */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* TokenType.FStringStart */);
     const middleFString = results.tokens.getItemAt(1);
-    assert_1.default.equal(middleFString.type, 25 /* FStringMiddle */);
+    assert_1.default.equal(middleFString.type, 25 /* TokenType.FStringMiddle */);
     assert_1.default.equal(middleFString.escapedValue.length, 5);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 6 /* Number */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 25 /* FStringMiddle */);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(7).type, 6 /* Number */);
-    assert_1.default.equal(results.tokens.getItemAt(8).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(9).type, 25 /* FStringMiddle */);
-    assert_1.default.equal(results.tokens.getItemAt(10).type, 26 /* FStringEnd */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 6 /* TokenType.Number */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(7).type, 6 /* TokenType.Number */);
+    assert_1.default.equal(results.tokens.getItemAt(8).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(9).type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(results.tokens.getItemAt(10).type, 26 /* TokenType.FStringEnd */);
 });
 test('Strings: f-string with double brace', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize(`f"hello {{{0==0}}}"`);
     assert_1.default.equal(results.tokens.count, 9 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* FStringStart */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 25 /* FStringMiddle */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 6 /* Number */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 9 /* Operator */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 6 /* Number */);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(7).type, 25 /* FStringMiddle */);
-    assert_1.default.equal(results.tokens.getItemAt(8).type, 26 /* FStringEnd */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* TokenType.FStringStart */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 6 /* TokenType.Number */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 9 /* TokenType.Operator */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 6 /* TokenType.Number */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(7).type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(results.tokens.getItemAt(8).type, 26 /* TokenType.FStringEnd */);
 });
 test('Strings: f-string with walrus operator', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize(`f"{(x:=0)}"`);
     assert_1.default.equal(results.tokens.count, 9 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* FStringStart */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 13 /* OpenParenthesis */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 9 /* Operator */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 6 /* Number */);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 14 /* CloseParenthesis */);
-    assert_1.default.equal(results.tokens.getItemAt(7).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(8).type, 26 /* FStringEnd */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* TokenType.FStringStart */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 13 /* TokenType.OpenParenthesis */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 9 /* TokenType.Operator */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 6 /* TokenType.Number */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 14 /* TokenType.CloseParenthesis */);
+    assert_1.default.equal(results.tokens.getItemAt(7).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(8).type, 26 /* TokenType.FStringEnd */);
 });
 test('Strings: f-string with single right brace', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize(`f"}"`);
     assert_1.default.equal(results.tokens.count, 3 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* FStringStart */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 26 /* FStringEnd */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* TokenType.FStringStart */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 26 /* TokenType.FStringEnd */);
 });
 test('Strings: f-string with comment', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize(`f'''hello{\nx # comment\n}'''`);
     assert_1.default.equal(results.tokens.count, 6 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* FStringStart */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 25 /* FStringMiddle */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* TokenType.FStringStart */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* TokenType.Identifier */);
     const closeBraceToken = results.tokens.getItemAt(4);
-    assert_1.default.equal(closeBraceToken.type, 18 /* CloseCurlyBrace */);
+    assert_1.default.equal(closeBraceToken.type, 18 /* TokenType.CloseCurlyBrace */);
     assert_1.default.deepEqual(closeBraceToken.comments, [
-        { type: 0 /* Regular */, value: ' comment', start: 14, length: 8 },
+        { type: 0 /* CommentType.Regular */, value: ' comment', start: 14, length: 8 },
     ]);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 26 /* FStringEnd */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 26 /* TokenType.FStringEnd */);
 });
 test('Strings: f-string with unterminated expression', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize("f'hello { a'");
     assert_1.default.equal(results.tokens.count, 5 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* FStringStart */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 25 /* FStringMiddle */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* TokenType.FStringStart */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* TokenType.Identifier */);
     const fStringEnd = results.tokens.getItemAt(4);
-    assert_1.default.equal(fStringEnd.type, 26 /* FStringEnd */);
-    assert_1.default.equal(fStringEnd.flags, 64 /* Format */ | 1 /* SingleQuote */);
+    assert_1.default.equal(fStringEnd.type, 26 /* TokenType.FStringEnd */);
+    assert_1.default.equal(fStringEnd.flags, 64 /* StringTokenFlags.Format */ | 1 /* StringTokenFlags.SingleQuote */);
 });
 test('Strings: f-string with replacement field', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize("f'hello { a + b}'");
     assert_1.default.equal(results.tokens.count, 8 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* FStringStart */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 25 /* FStringMiddle */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 9 /* Operator */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(7).type, 26 /* FStringEnd */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* TokenType.FStringStart */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 9 /* TokenType.Operator */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(7).type, 26 /* TokenType.FStringEnd */);
 });
 test('Strings: f-string with format specifier', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize("f'hello { a ! b}'");
     assert_1.default.equal(results.tokens.count, 8 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* FStringStart */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 25 /* FStringMiddle */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 23 /* ExclamationMark */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(7).type, 26 /* FStringEnd */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* TokenType.FStringStart */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 23 /* TokenType.ExclamationMark */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(7).type, 26 /* TokenType.FStringEnd */);
 });
 test('Strings: f-string with debug format specifier', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize("f'hello { a =}'");
     assert_1.default.equal(results.tokens.count, 7 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* FStringStart */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 25 /* FStringMiddle */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 9 /* Operator */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 26 /* FStringEnd */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* TokenType.FStringStart */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 9 /* TokenType.Operator */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 26 /* TokenType.FStringEnd */);
 });
 test('Strings: nested f-string', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize("f'{f'{a}'}'");
     assert_1.default.equal(results.tokens.count, 9 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* FStringStart */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 24 /* FStringStart */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 26 /* FStringEnd */);
-    assert_1.default.equal(results.tokens.getItemAt(7).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(8).type, 26 /* FStringEnd */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* TokenType.FStringStart */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 24 /* TokenType.FStringStart */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 26 /* TokenType.FStringEnd */);
+    assert_1.default.equal(results.tokens.getItemAt(7).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(8).type, 26 /* TokenType.FStringEnd */);
 });
 test('Strings: nested f-string formats 1', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize("f'{a:x{{b}+:x{c}+}}'");
     assert_1.default.equal(results.tokens.count, 19 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* FStringStart */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 10 /* Colon */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 25 /* FStringMiddle */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(7).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(8).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(9).type, 9 /* Operator */);
-    assert_1.default.equal(results.tokens.getItemAt(10).type, 10 /* Colon */);
-    assert_1.default.equal(results.tokens.getItemAt(11).type, 25 /* FStringMiddle */);
-    assert_1.default.equal(results.tokens.getItemAt(12).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(13).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(14).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(15).type, 25 /* FStringMiddle */);
-    assert_1.default.equal(results.tokens.getItemAt(16).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(17).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(18).type, 26 /* FStringEnd */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* TokenType.FStringStart */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 10 /* TokenType.Colon */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(7).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(8).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(9).type, 9 /* TokenType.Operator */);
+    assert_1.default.equal(results.tokens.getItemAt(10).type, 10 /* TokenType.Colon */);
+    assert_1.default.equal(results.tokens.getItemAt(11).type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(results.tokens.getItemAt(12).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(13).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(14).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(15).type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(results.tokens.getItemAt(16).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(17).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(18).type, 26 /* TokenType.FStringEnd */);
 });
 test('Strings: nested f-string formats 2', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize("f'hi{'x':*^{8:{'':}}0}'");
     assert_1.default.equal(results.tokens.count, 17 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* FStringStart */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 25 /* FStringMiddle */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 5 /* String */);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 10 /* Colon */);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 25 /* FStringMiddle */);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(7).type, 6 /* Number */);
-    assert_1.default.equal(results.tokens.getItemAt(8).type, 10 /* Colon */);
-    assert_1.default.equal(results.tokens.getItemAt(9).type, 17 /* OpenCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(10).type, 5 /* String */);
-    assert_1.default.equal(results.tokens.getItemAt(11).type, 10 /* Colon */);
-    assert_1.default.equal(results.tokens.getItemAt(12).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(13).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(14).type, 25 /* FStringMiddle */);
-    assert_1.default.equal(results.tokens.getItemAt(15).type, 18 /* CloseCurlyBrace */);
-    assert_1.default.equal(results.tokens.getItemAt(16).type, 26 /* FStringEnd */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 24 /* TokenType.FStringStart */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 5 /* TokenType.String */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 10 /* TokenType.Colon */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(7).type, 6 /* TokenType.Number */);
+    assert_1.default.equal(results.tokens.getItemAt(8).type, 10 /* TokenType.Colon */);
+    assert_1.default.equal(results.tokens.getItemAt(9).type, 17 /* TokenType.OpenCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(10).type, 5 /* TokenType.String */);
+    assert_1.default.equal(results.tokens.getItemAt(11).type, 10 /* TokenType.Colon */);
+    assert_1.default.equal(results.tokens.getItemAt(12).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(13).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(14).type, 25 /* TokenType.FStringMiddle */);
+    assert_1.default.equal(results.tokens.getItemAt(15).type, 18 /* TokenType.CloseCurlyBrace */);
+    assert_1.default.equal(results.tokens.getItemAt(16).type, 26 /* TokenType.FStringEnd */);
 });
 test('Strings: escape at the end of single quoted string', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize("'quoted\\'\nx");
     assert_1.default.equal(results.tokens.count, 3 + _implicitTokenCount);
     const stringToken = results.tokens.getItemAt(0);
-    assert_1.default.equal(stringToken.type, 5 /* String */);
-    assert_1.default.equal(stringToken.flags, 1 /* SingleQuote */ | 65536 /* Unterminated */);
+    assert_1.default.equal(stringToken.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken.flags, 1 /* StringTokenFlags.SingleQuote */ | 65536 /* StringTokenFlags.Unterminated */);
     assert_1.default.equal(stringToken.length, 9);
     assert_1.default.equal(stringToken.escapedValue, "quoted\\'");
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 7 /* Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 7 /* TokenType.Identifier */);
     assert_1.default.equal(results.tokens.getItemAtPosition(0), 0);
     assert_1.default.equal(results.tokens.getItemAtPosition(8), 0);
     assert_1.default.equal(results.tokens.getItemAtPosition(9), 1);
@@ -790,38 +794,38 @@ test('Strings: escape at the end of double quoted string', () => {
     const results = t.tokenize('"quoted\\"\nx');
     assert_1.default.equal(results.tokens.count, 3 + _implicitTokenCount);
     const stringToken = results.tokens.getItemAt(0);
-    assert_1.default.equal(stringToken.type, 5 /* String */);
-    assert_1.default.equal(stringToken.flags, 2 /* DoubleQuote */ | 65536 /* Unterminated */);
+    assert_1.default.equal(stringToken.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken.flags, 2 /* StringTokenFlags.DoubleQuote */ | 65536 /* StringTokenFlags.Unterminated */);
     assert_1.default.equal(stringToken.length, 9);
     assert_1.default.equal(stringToken.escapedValue, 'quoted\\"');
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 7 /* Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 7 /* TokenType.Identifier */);
 });
 test('Strings: b/u/r-string', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('b"b" U\'u\' bR"br" Ru\'ur\'');
     assert_1.default.equal(results.tokens.count, 4 + _implicitTokenCount);
     const stringToken0 = results.tokens.getItemAt(0);
-    assert_1.default.equal(stringToken0.type, 5 /* String */);
-    assert_1.default.equal(stringToken0.flags, 2 /* DoubleQuote */ | 32 /* Bytes */);
+    assert_1.default.equal(stringToken0.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken0.flags, 2 /* StringTokenFlags.DoubleQuote */ | 32 /* StringTokenFlags.Bytes */);
     assert_1.default.equal(stringToken0.length, 4);
     assert_1.default.equal(stringToken0.escapedValue, 'b');
     assert_1.default.equal(stringToken0.prefixLength, 1);
     const stringToken1 = results.tokens.getItemAt(1);
-    assert_1.default.equal(stringToken1.type, 5 /* String */);
-    assert_1.default.equal(stringToken1.flags, 1 /* SingleQuote */ | 16 /* Unicode */);
+    assert_1.default.equal(stringToken1.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken1.flags, 1 /* StringTokenFlags.SingleQuote */ | 16 /* StringTokenFlags.Unicode */);
     assert_1.default.equal(stringToken1.length, 4);
     assert_1.default.equal(stringToken1.escapedValue, 'u');
     assert_1.default.equal(stringToken1.prefixLength, 1);
     const stringToken2 = results.tokens.getItemAt(2);
-    assert_1.default.equal(stringToken2.type, 5 /* String */);
-    assert_1.default.equal(stringToken2.flags, 2 /* DoubleQuote */ | 32 /* Bytes */ | 8 /* Raw */);
+    assert_1.default.equal(stringToken2.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken2.flags, 2 /* StringTokenFlags.DoubleQuote */ | 32 /* StringTokenFlags.Bytes */ | 8 /* StringTokenFlags.Raw */);
     assert_1.default.equal(stringToken2.length, 6);
     assert_1.default.equal(stringToken2.escapedValue, 'br');
     assert_1.default.equal(stringToken2.prefixLength, 2);
     const stringToken3 = results.tokens.getItemAt(3);
-    assert_1.default.equal(stringToken3.type, 5 /* String */);
-    assert_1.default.equal(stringToken3.flags, 1 /* SingleQuote */ | 16 /* Unicode */ | 8 /* Raw */);
+    assert_1.default.equal(stringToken3.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken3.flags, 1 /* StringTokenFlags.SingleQuote */ | 16 /* StringTokenFlags.Unicode */ | 8 /* StringTokenFlags.Raw */);
     assert_1.default.equal(stringToken3.length, 6);
     assert_1.default.equal(stringToken3.escapedValue, 'ur');
     assert_1.default.equal(stringToken3.prefixLength, 2);
@@ -844,14 +848,14 @@ test('Strings: bytes string with non-ASCII', () => {
     assert_1.default.equal(results.tokens.count, 2 + _implicitTokenCount);
     const stringToken0 = results.tokens.getItemAt(0);
     const unescapedValue0 = StringTokenUtils.getUnescapedString(stringToken0);
-    assert_1.default.equal(stringToken0.type, 5 /* String */);
-    assert_1.default.equal(stringToken0.flags, 2 /* DoubleQuote */ | 32 /* Bytes */);
+    assert_1.default.equal(stringToken0.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken0.flags, 2 /* StringTokenFlags.DoubleQuote */ | 32 /* StringTokenFlags.Bytes */);
     assert_1.default.equal(unescapedValue0.nonAsciiInBytes, true);
     assert_1.default.equal(stringToken0.length, 7);
     const stringToken1 = results.tokens.getItemAt(1);
     const unescapedValue1 = StringTokenUtils.getUnescapedString(stringToken1);
-    assert_1.default.equal(stringToken1.type, 5 /* String */);
-    assert_1.default.equal(stringToken1.flags, 1 /* SingleQuote */ | 32 /* Bytes */ | 4 /* Triplicate */);
+    assert_1.default.equal(stringToken1.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken1.flags, 1 /* StringTokenFlags.SingleQuote */ | 32 /* StringTokenFlags.Bytes */ | 4 /* StringTokenFlags.Triplicate */);
     assert_1.default.equal(unescapedValue1.nonAsciiInBytes, true);
     assert_1.default.equal(stringToken1.length, 11);
 });
@@ -861,15 +865,15 @@ test('Strings: raw strings with escapes', () => {
     assert_1.default.equal(results.tokens.count, 2 + _implicitTokenCount);
     const stringToken0 = results.tokens.getItemAt(0);
     const unescapedValue0 = StringTokenUtils.getUnescapedString(stringToken0);
-    assert_1.default.equal(stringToken0.type, 5 /* String */);
-    assert_1.default.equal(stringToken0.flags, 2 /* DoubleQuote */ | 8 /* Raw */);
+    assert_1.default.equal(stringToken0.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken0.flags, 2 /* StringTokenFlags.DoubleQuote */ | 8 /* StringTokenFlags.Raw */);
     assert_1.default.equal(stringToken0.length, 5);
     assert_1.default.equal(stringToken0.escapedValue, '\\"');
     assert_1.default.equal(unescapedValue0.value, '\\"');
     const stringToken1 = results.tokens.getItemAt(1);
     const unescapedValue1 = StringTokenUtils.getUnescapedString(stringToken1);
-    assert_1.default.equal(stringToken1.type, 5 /* String */);
-    assert_1.default.equal(stringToken1.flags, 2 /* DoubleQuote */ | 8 /* Raw */);
+    assert_1.default.equal(stringToken1.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken1.flags, 2 /* StringTokenFlags.DoubleQuote */ | 8 /* StringTokenFlags.Raw */);
     assert_1.default.equal(stringToken1.length, 10);
     assert_1.default.equal(stringToken1.escapedValue, '\\\r\n\\\n\\a');
     assert_1.default.equal(unescapedValue1.value, '\\\r\n\\\n\\a');
@@ -879,12 +883,12 @@ test('Strings: escape at the end of double quoted string', () => {
     const results = t.tokenize('"quoted\\"\nx');
     assert_1.default.equal(results.tokens.count, 3 + _implicitTokenCount);
     const stringToken = results.tokens.getItemAt(0);
-    assert_1.default.equal(stringToken.type, 5 /* String */);
-    assert_1.default.equal(stringToken.flags, 2 /* DoubleQuote */ | 65536 /* Unterminated */);
+    assert_1.default.equal(stringToken.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken.flags, 2 /* StringTokenFlags.DoubleQuote */ | 65536 /* StringTokenFlags.Unterminated */);
     assert_1.default.equal(stringToken.length, 9);
     assert_1.default.equal(stringToken.escapedValue, 'quoted\\"');
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 2 /* NewLine */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 7 /* Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 2 /* TokenType.NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 7 /* TokenType.Identifier */);
 });
 test('Strings: special escape characters', () => {
     const t = new tokenizer_1.Tokenizer();
@@ -892,8 +896,8 @@ test('Strings: special escape characters', () => {
     assert_1.default.equal(results.tokens.count, 1 + _implicitTokenCount);
     const stringToken = results.tokens.getItemAt(0);
     const unescapedValue = StringTokenUtils.getUnescapedString(stringToken);
-    assert_1.default.equal(stringToken.type, 5 /* String */);
-    assert_1.default.equal(stringToken.flags, 2 /* DoubleQuote */);
+    assert_1.default.equal(stringToken.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken.flags, 2 /* StringTokenFlags.DoubleQuote */);
     assert_1.default.equal(stringToken.length, 18);
     assert_1.default.equal(unescapedValue.value, '\r\n\u0007\v\t\b\f\\');
     assert_1.default.equal(results.tokens.getItemAtPosition(0), 0);
@@ -908,17 +912,17 @@ test('Strings: invalid escape characters', () => {
     assert_1.default.equal(results.tokens.count, 1 + _implicitTokenCount);
     const stringToken = results.tokens.getItemAt(0);
     const unescapedValue = StringTokenUtils.getUnescapedString(stringToken);
-    assert_1.default.equal(stringToken.type, 5 /* String */);
-    assert_1.default.equal(stringToken.flags, 2 /* DoubleQuote */);
+    assert_1.default.equal(stringToken.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken.flags, 2 /* StringTokenFlags.DoubleQuote */);
     assert_1.default.equal(stringToken.length, 8);
     assert_1.default.equal(stringToken.escapedValue, '\\d  \\ ');
     assert_1.default.equal(unescapedValue.unescapeErrors.length, 2);
     assert_1.default.equal(unescapedValue.unescapeErrors[0].offset, 0);
     assert_1.default.equal(unescapedValue.unescapeErrors[0].length, 2);
-    assert_1.default.equal(unescapedValue.unescapeErrors[0].errorType, 0 /* InvalidEscapeSequence */);
+    assert_1.default.equal(unescapedValue.unescapeErrors[0].errorType, 0 /* StringTokenUtils.UnescapeErrorType.InvalidEscapeSequence */);
     assert_1.default.equal(unescapedValue.unescapeErrors[1].offset, 4);
     assert_1.default.equal(unescapedValue.unescapeErrors[1].length, 2);
-    assert_1.default.equal(unescapedValue.unescapeErrors[1].errorType, 0 /* InvalidEscapeSequence */);
+    assert_1.default.equal(unescapedValue.unescapeErrors[1].errorType, 0 /* StringTokenUtils.UnescapeErrorType.InvalidEscapeSequence */);
 });
 test('Strings: good hex escapes', () => {
     const t = new tokenizer_1.Tokenizer();
@@ -926,22 +930,22 @@ test('Strings: good hex escapes', () => {
     assert_1.default.equal(results.tokens.count, 3 + _implicitTokenCount);
     const stringToken0 = results.tokens.getItemAt(0);
     const unescapedValue0 = StringTokenUtils.getUnescapedString(stringToken0);
-    assert_1.default.equal(stringToken0.type, 5 /* String */);
-    assert_1.default.equal(stringToken0.flags, 2 /* DoubleQuote */);
+    assert_1.default.equal(stringToken0.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken0.flags, 2 /* StringTokenFlags.DoubleQuote */);
     assert_1.default.equal(stringToken0.length, 6);
     assert_1.default.equal(stringToken0.escapedValue, '\\x4d');
     assert_1.default.equal(unescapedValue0.value, 'M');
     const stringToken1 = results.tokens.getItemAt(1);
     const unescapedValue1 = StringTokenUtils.getUnescapedString(stringToken1);
-    assert_1.default.equal(stringToken1.type, 5 /* String */);
-    assert_1.default.equal(stringToken1.flags, 2 /* DoubleQuote */);
+    assert_1.default.equal(stringToken1.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken1.flags, 2 /* StringTokenFlags.DoubleQuote */);
     assert_1.default.equal(stringToken1.length, 8);
     assert_1.default.equal(stringToken1.escapedValue, '\\u006b');
     assert_1.default.equal(unescapedValue1.value, 'k');
     const stringToken2 = results.tokens.getItemAt(2);
     const unescapedValue2 = StringTokenUtils.getUnescapedString(stringToken2);
-    assert_1.default.equal(stringToken2.type, 5 /* String */);
-    assert_1.default.equal(stringToken2.flags, 2 /* DoubleQuote */);
+    assert_1.default.equal(stringToken2.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken2.flags, 2 /* StringTokenFlags.DoubleQuote */);
     assert_1.default.equal(stringToken2.length, 12);
     assert_1.default.equal(stringToken2.escapedValue, '\\U0000006F');
     assert_1.default.equal(unescapedValue2.value, 'o');
@@ -952,22 +956,22 @@ test('Strings: bad hex escapes', () => {
     assert_1.default.equal(results.tokens.count, 3 + _implicitTokenCount);
     const stringToken0 = results.tokens.getItemAt(0);
     const unescapedValue0 = StringTokenUtils.getUnescapedString(stringToken0);
-    assert_1.default.equal(stringToken0.type, 5 /* String */);
-    assert_1.default.equal(stringToken0.flags, 2 /* DoubleQuote */);
+    assert_1.default.equal(stringToken0.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken0.flags, 2 /* StringTokenFlags.DoubleQuote */);
     assert_1.default.equal(unescapedValue0.unescapeErrors.length, 1);
     assert_1.default.equal(stringToken0.length, 6);
     assert_1.default.equal(unescapedValue0.value, '\\x4g');
     const stringToken1 = results.tokens.getItemAt(1);
     const unescapedValue1 = StringTokenUtils.getUnescapedString(stringToken1);
-    assert_1.default.equal(stringToken1.type, 5 /* String */);
-    assert_1.default.equal(stringToken1.flags, 2 /* DoubleQuote */);
+    assert_1.default.equal(stringToken1.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken1.flags, 2 /* StringTokenFlags.DoubleQuote */);
     assert_1.default.equal(unescapedValue1.unescapeErrors.length, 1);
     assert_1.default.equal(stringToken1.length, 7);
     assert_1.default.equal(unescapedValue1.value, '\\u006');
     const stringToken2 = results.tokens.getItemAt(2);
     const unescapedValue2 = StringTokenUtils.getUnescapedString(stringToken2);
-    assert_1.default.equal(stringToken2.type, 5 /* String */);
-    assert_1.default.equal(stringToken2.flags, 2 /* DoubleQuote */);
+    assert_1.default.equal(stringToken2.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken2.flags, 2 /* StringTokenFlags.DoubleQuote */);
     assert_1.default.equal(unescapedValue2.unescapeErrors.length, 1);
     assert_1.default.equal(stringToken2.length, 12);
     assert_1.default.equal(unescapedValue2.value, '\\U0000006m');
@@ -978,15 +982,15 @@ test('Strings: good name escapes', () => {
     assert_1.default.equal(results.tokens.count, 2 + _implicitTokenCount);
     const stringToken0 = results.tokens.getItemAt(0);
     const unescapedValue0 = StringTokenUtils.getUnescapedString(stringToken0);
-    assert_1.default.equal(stringToken0.type, 5 /* String */);
-    assert_1.default.equal(stringToken0.flags, 2 /* DoubleQuote */);
+    assert_1.default.equal(stringToken0.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken0.flags, 2 /* StringTokenFlags.DoubleQuote */);
     assert_1.default.equal(stringToken0.length, 23);
     assert_1.default.equal(stringToken0.escapedValue, '\\N{caret escape blah}');
     assert_1.default.equal(unescapedValue0.value, '-');
     const stringToken1 = results.tokens.getItemAt(1);
     const unescapedValue1 = StringTokenUtils.getUnescapedString(stringToken1);
-    assert_1.default.equal(stringToken1.type, 5 /* String */);
-    assert_1.default.equal(stringToken1.flags, 2 /* DoubleQuote */);
+    assert_1.default.equal(stringToken1.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken1.flags, 2 /* StringTokenFlags.DoubleQuote */);
     assert_1.default.equal(stringToken1.length, 10);
     assert_1.default.equal(stringToken1.escapedValue, 'a\\N{A9}a');
     assert_1.default.equal(unescapedValue1.value, 'a-a');
@@ -997,16 +1001,16 @@ test('Strings: bad name escapes', () => {
     assert_1.default.equal(results.tokens.count, 2 + _implicitTokenCount);
     const stringToken0 = results.tokens.getItemAt(0);
     const unescapedValue0 = StringTokenUtils.getUnescapedString(stringToken0);
-    assert_1.default.equal(stringToken0.type, 5 /* String */);
-    assert_1.default.equal(stringToken0.flags, 2 /* DoubleQuote */);
+    assert_1.default.equal(stringToken0.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken0.flags, 2 /* StringTokenFlags.DoubleQuote */);
     assert_1.default.equal(unescapedValue0.unescapeErrors.length, 1);
     assert_1.default.equal(stringToken0.length, 10);
     assert_1.default.equal(stringToken0.escapedValue, '\\N{caret');
     assert_1.default.equal(unescapedValue0.value, '\\N{caret');
     const stringToken1 = results.tokens.getItemAt(1);
     const unescapedValue1 = StringTokenUtils.getUnescapedString(stringToken1);
-    assert_1.default.equal(stringToken1.type, 5 /* String */);
-    assert_1.default.equal(stringToken1.flags, 2 /* DoubleQuote */);
+    assert_1.default.equal(stringToken1.type, 5 /* TokenType.String */);
+    assert_1.default.equal(stringToken1.flags, 2 /* StringTokenFlags.DoubleQuote */);
     assert_1.default.equal(unescapedValue1.unescapeErrors.length, 1);
     assert_1.default.equal(stringToken1.length, 9);
     assert_1.default.equal(stringToken1.escapedValue, '\\N{.A9}');
@@ -1016,76 +1020,76 @@ test('Comments', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize(' #co"""mment1\n\t\n#x\'y2 ');
     assert_1.default.equal(results.tokens.count, 1 + _implicitTokenCountNoImplicitNewLine);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 2 /* NewLine */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 2 /* TokenType.NewLine */);
 });
 test('Period to operator token', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('x.y');
     assert_1.default.equal(results.tokens.count, 3 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 7 /* Identifier */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 20 /* Dot */);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 7 /* Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 7 /* TokenType.Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 20 /* TokenType.Dot */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 7 /* TokenType.Identifier */);
 });
 test('@ to operator token', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('@x');
     assert_1.default.equal(results.tokens.count, 2 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 9 /* Operator */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 7 /* Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 9 /* TokenType.Operator */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 7 /* TokenType.Identifier */);
 });
 test('Unknown token', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('`$');
     assert_1.default.equal(results.tokens.count, 2 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 22 /* Backtick */);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 0 /* Invalid */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 22 /* TokenType.Backtick */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 0 /* TokenType.Invalid */);
 });
 test('Hex number', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('1 0X2 0xFe_Ab 0x');
     assert_1.default.equal(results.tokens.count, 5 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(0).length, 1);
     assert_1.default.equal(results.tokens.getItemAt(0).value, 1);
     assert_1.default.equal(results.tokens.getItemAt(0).isInteger, true);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(1).length, 3);
     assert_1.default.equal(results.tokens.getItemAt(1).value, 2);
     assert_1.default.equal(results.tokens.getItemAt(1).isInteger, true);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(2).length, 7);
     assert_1.default.equal(results.tokens.getItemAt(2).value, 0xfeab);
     assert_1.default.equal(results.tokens.getItemAt(2).isInteger, true);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(3).length, 1);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 7 /* Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 7 /* TokenType.Identifier */);
     assert_1.default.equal(results.tokens.getItemAt(4).length, 1);
 });
 test('Binary number', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('1 0B1 0b010 0b3 0b');
     assert_1.default.equal(results.tokens.count, 7 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(0).length, 1);
     assert_1.default.equal(results.tokens.getItemAt(0).value, 1);
     assert_1.default.equal(results.tokens.getItemAt(0).isInteger, true);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(1).length, 3);
     assert_1.default.equal(results.tokens.getItemAt(1).value, 1);
     assert_1.default.equal(results.tokens.getItemAt(1).isInteger, true);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(2).length, 5);
     assert_1.default.equal(results.tokens.getItemAt(2).value, 2);
     assert_1.default.equal(results.tokens.getItemAt(2).isInteger, true);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(3).length, 1);
     assert_1.default.equal(results.tokens.getItemAt(3).value, 0);
     assert_1.default.equal(results.tokens.getItemAt(3).isInteger, true);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 7 /* Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 7 /* TokenType.Identifier */);
     assert_1.default.equal(results.tokens.getItemAt(4).length, 2);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(5).length, 1);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 7 /* Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 7 /* TokenType.Identifier */);
     assert_1.default.equal(results.tokens.getItemAt(6).length, 1);
     assert_1.default.equal(results.tokens.getItemAtPosition(0), 0);
     assert_1.default.equal(results.tokens.getItemAtPosition(1), 0);
@@ -1106,36 +1110,36 @@ test('Octal number', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('1 0o4 0O0_7_7 -0o200 0o9 0oO');
     assert_1.default.equal(results.tokens.count, 9 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(0).length, 1);
     assert_1.default.equal(results.tokens.getItemAt(0).value, 1);
     assert_1.default.equal(results.tokens.getItemAt(0).isInteger, true);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(1).length, 3);
     assert_1.default.equal(results.tokens.getItemAt(1).value, 4);
     assert_1.default.equal(results.tokens.getItemAt(1).isInteger, true);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(2).length, 7);
     assert_1.default.equal(results.tokens.getItemAt(2).value, 0o77);
     assert_1.default.equal(results.tokens.getItemAt(2).isInteger, true);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 9 /* Operator */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 9 /* TokenType.Operator */);
     assert_1.default.equal(results.tokens.getItemAt(3).length, 1);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(4).length, 5);
     assert_1.default.equal(results.tokens.getItemAt(4).value, 0o200);
     assert_1.default.equal(results.tokens.getItemAt(4).isInteger, true);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(5).length, 1);
     assert_1.default.equal(results.tokens.getItemAt(5).value, 0);
     assert_1.default.equal(results.tokens.getItemAt(5).isInteger, true);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 7 /* Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 7 /* TokenType.Identifier */);
     assert_1.default.equal(results.tokens.getItemAt(6).length, 2);
     assert_1.default.equal(results.tokens.getItemAt(6).value, 'o9');
-    assert_1.default.equal(results.tokens.getItemAt(7).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(7).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(7).length, 1);
     assert_1.default.equal(results.tokens.getItemAt(7).value, 0);
     assert_1.default.equal(results.tokens.getItemAt(7).isInteger, true);
-    assert_1.default.equal(results.tokens.getItemAt(8).type, 7 /* Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(8).type, 7 /* TokenType.Identifier */);
     assert_1.default.equal(results.tokens.getItemAt(8).length, 2);
     assert_1.default.equal(results.tokens.getItemAt(8).value, 'oO');
 });
@@ -1143,17 +1147,17 @@ test('Decimal number', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('-2147483647 ++2147483647');
     assert_1.default.equal(results.tokens.count, 5 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 9 /* Operator */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 9 /* TokenType.Operator */);
     assert_1.default.equal(results.tokens.getItemAt(0).length, 1);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(1).length, 10);
     assert_1.default.equal(results.tokens.getItemAt(1).value, 2147483647);
     assert_1.default.equal(results.tokens.getItemAt(1).isInteger, true);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 9 /* Operator */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 9 /* TokenType.Operator */);
     assert_1.default.equal(results.tokens.getItemAt(2).length, 1);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 9 /* Operator */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 9 /* TokenType.Operator */);
     assert_1.default.equal(results.tokens.getItemAt(3).length, 1);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(4).length, 10);
     assert_1.default.equal(results.tokens.getItemAt(4).value, 2147483647);
     assert_1.default.equal(results.tokens.getItemAt(4).isInteger, true);
@@ -1172,46 +1176,46 @@ test('Decimal number operator', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('a[: -1]');
     assert_1.default.equal(results.tokens.count, 6 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(4).length, 1);
 });
 test('Floating point number', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('3.0 .2 ++.3e+12 --.4e1 1e-4 0.01 01.0');
     assert_1.default.equal(results.tokens.count, 11 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(0).value, 3);
     assert_1.default.equal(results.tokens.getItemAt(0).isInteger, false);
     assert_1.default.equal(results.tokens.getItemAt(0).length, 3);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(1).value, 0.2);
     assert_1.default.equal(results.tokens.getItemAt(1).isInteger, false);
     assert_1.default.equal(results.tokens.getItemAt(1).length, 2);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 9 /* Operator */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 9 /* TokenType.Operator */);
     assert_1.default.equal(results.tokens.getItemAt(2).length, 1);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 9 /* Operator */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 9 /* TokenType.Operator */);
     assert_1.default.equal(results.tokens.getItemAt(3).length, 1);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(4).value, 0.3e12);
     assert_1.default.equal(results.tokens.getItemAt(4).isInteger, false);
     assert_1.default.equal(results.tokens.getItemAt(4).length, 6);
-    assert_1.default.equal(results.tokens.getItemAt(5).type, 9 /* Operator */);
+    assert_1.default.equal(results.tokens.getItemAt(5).type, 9 /* TokenType.Operator */);
     assert_1.default.equal(results.tokens.getItemAt(5).length, 1);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 9 /* Operator */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 9 /* TokenType.Operator */);
     assert_1.default.equal(results.tokens.getItemAt(6).length, 1);
-    assert_1.default.equal(results.tokens.getItemAt(7).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(7).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(7).value, 0.4e1);
     assert_1.default.equal(results.tokens.getItemAt(7).isInteger, false);
     assert_1.default.equal(results.tokens.getItemAt(7).length, 4);
-    assert_1.default.equal(results.tokens.getItemAt(8).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(8).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(8).value, 1e-4);
     assert_1.default.equal(results.tokens.getItemAt(8).isInteger, false);
     assert_1.default.equal(results.tokens.getItemAt(8).length, 4);
-    assert_1.default.equal(results.tokens.getItemAt(9).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(9).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(9).value, 0.01);
     assert_1.default.equal(results.tokens.getItemAt(9).isInteger, false);
     assert_1.default.equal(results.tokens.getItemAt(9).length, 4);
-    assert_1.default.equal(results.tokens.getItemAt(10).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(10).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(10).value, 1.0);
     assert_1.default.equal(results.tokens.getItemAt(10).isInteger, false);
     assert_1.default.equal(results.tokens.getItemAt(10).length, 4);
@@ -1220,28 +1224,28 @@ test('Floating point numbers with parens', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('(3.0) (.2) (+.3e+12, .4e1; 0)');
     assert_1.default.equal(results.tokens.count, 14 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(1).length, 3);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(4).length, 2);
-    assert_1.default.equal(results.tokens.getItemAt(8).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(8).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(8).length, 6);
-    assert_1.default.equal(results.tokens.getItemAt(10).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(10).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(10).length, 4);
-    assert_1.default.equal(results.tokens.getItemAt(12).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(12).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(12).length, 1);
 });
 test('Floating point numbers with operators', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('88.9/100.0*4.0-2.0,');
     assert_1.default.equal(results.tokens.count, 8 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(0).length, 4);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(2).length, 5);
-    assert_1.default.equal(results.tokens.getItemAt(4).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(4).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(4).length, 3);
-    assert_1.default.equal(results.tokens.getItemAt(6).type, 6 /* Number */);
+    assert_1.default.equal(results.tokens.getItemAt(6).type, 6 /* TokenType.Number */);
     assert_1.default.equal(results.tokens.getItemAt(6).length, 3);
     assert_1.default.equal(results.tokens.getItemAtPosition(0), 0);
     assert_1.default.equal(results.tokens.getItemAtPosition(3), 0);
@@ -1264,19 +1268,19 @@ test('Imaginary numbers', () => {
     const results = t.tokenize('88.9j/100.0J*4.0e-5j-2.0j,');
     assert_1.default.equal(results.tokens.count, 8 + _implicitTokenCount);
     const token0 = results.tokens.getItemAt(0);
-    assert_1.default.equal(token0.type, 6 /* Number */);
+    assert_1.default.equal(token0.type, 6 /* TokenType.Number */);
     assert_1.default.equal(token0.length, 5);
     (0, assert_1.default)(token0.isImaginary);
     const token2 = results.tokens.getItemAt(2);
-    assert_1.default.equal(token2.type, 6 /* Number */);
+    assert_1.default.equal(token2.type, 6 /* TokenType.Number */);
     assert_1.default.equal(token2.length, 6);
     (0, assert_1.default)(token2.isImaginary);
     const token4 = results.tokens.getItemAt(4);
-    assert_1.default.equal(token4.type, 6 /* Number */);
+    assert_1.default.equal(token4.type, 6 /* TokenType.Number */);
     assert_1.default.equal(token4.length, 7);
     (0, assert_1.default)(token4.isImaginary);
     const token6 = results.tokens.getItemAt(6);
-    assert_1.default.equal(token6.type, 6 /* Number */);
+    assert_1.default.equal(token6.type, 6 /* TokenType.Number */);
     assert_1.default.equal(token6.length, 4);
     (0, assert_1.default)(token6.isImaginary);
 });
@@ -1287,7 +1291,7 @@ test('Underscore numbers', () => {
     const isIntegers = [true, true, false, true, false, true];
     assert_1.default.equal(results.tokens.count, 6 + _implicitTokenCount);
     for (let i = 0; i < lengths.length; i++) {
-        assert_1.default.equal(results.tokens.getItemAt(i).type, 6 /* Number */);
+        assert_1.default.equal(results.tokens.getItemAt(i).type, 6 /* TokenType.Number */);
         assert_1.default.equal(results.tokens.getItemAt(i).length, lengths[i]);
         assert_1.default.equal(results.tokens.getItemAt(i).isInteger, isIntegers[i]);
     }
@@ -1296,13 +1300,13 @@ test('Simple expression, leading minus', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('x == -y');
     assert_1.default.equal(results.tokens.count, 4 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 7 /* Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 7 /* TokenType.Identifier */);
     assert_1.default.equal(results.tokens.getItemAt(0).length, 1);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 9 /* Operator */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 9 /* TokenType.Operator */);
     assert_1.default.equal(results.tokens.getItemAt(1).length, 2);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 9 /* Operator */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 9 /* TokenType.Operator */);
     assert_1.default.equal(results.tokens.getItemAt(2).length, 1);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* TokenType.Identifier */);
     assert_1.default.equal(results.tokens.getItemAt(3).length, 1);
 });
 test('Operators', () => {
@@ -1316,45 +1320,45 @@ test('Operators', () => {
     const results = new tokenizer_1.Tokenizer().tokenize(text);
     const lengths = [1, 2, 3, 2, 2, 1, 2, 3, 2, 2, 1, 1, 1, 1, 1, 2, 1, 2, 2, 3, 2, 2, 2, 2, 3, 1, 2, 1, 2, 1, 2, 2, 2];
     const operatorTypes = [
-        20 /* LessThan */,
-        17 /* LeftShift */,
-        18 /* LeftShiftEqual */,
-        12 /* Equals */,
-        28 /* NotEquals */,
-        15 /* GreaterThan */,
-        31 /* RightShift */,
-        32 /* RightShiftEqual */,
-        16 /* GreaterThanOrEqual */,
-        21 /* LessThanOrEqual */,
-        0 /* Add */,
-        33 /* Subtract */,
-        5 /* BitwiseInvert */,
-        24 /* Mod */,
-        26 /* Multiply */,
-        29 /* Power */,
-        10 /* Divide */,
-        13 /* FloorDivide */,
-        11 /* DivideEqual */,
-        14 /* FloorDivideEqual */,
-        27 /* MultiplyEqual */,
-        1 /* AddEqual */,
-        34 /* SubtractEqual */,
-        25 /* ModEqual */,
-        30 /* PowerEqual */,
-        3 /* BitwiseAnd */,
-        4 /* BitwiseAndEqual */,
-        6 /* BitwiseOr */,
-        7 /* BitwiseOrEqual */,
-        8 /* BitwiseXor */,
-        9 /* BitwiseXorEqual */,
-        35 /* Walrus */,
-        19 /* LessOrGreaterThan */,
+        20 /* OperatorType.LessThan */,
+        17 /* OperatorType.LeftShift */,
+        18 /* OperatorType.LeftShiftEqual */,
+        12 /* OperatorType.Equals */,
+        28 /* OperatorType.NotEquals */,
+        15 /* OperatorType.GreaterThan */,
+        31 /* OperatorType.RightShift */,
+        32 /* OperatorType.RightShiftEqual */,
+        16 /* OperatorType.GreaterThanOrEqual */,
+        21 /* OperatorType.LessThanOrEqual */,
+        0 /* OperatorType.Add */,
+        33 /* OperatorType.Subtract */,
+        5 /* OperatorType.BitwiseInvert */,
+        24 /* OperatorType.Mod */,
+        26 /* OperatorType.Multiply */,
+        29 /* OperatorType.Power */,
+        10 /* OperatorType.Divide */,
+        13 /* OperatorType.FloorDivide */,
+        11 /* OperatorType.DivideEqual */,
+        14 /* OperatorType.FloorDivideEqual */,
+        27 /* OperatorType.MultiplyEqual */,
+        1 /* OperatorType.AddEqual */,
+        34 /* OperatorType.SubtractEqual */,
+        25 /* OperatorType.ModEqual */,
+        30 /* OperatorType.PowerEqual */,
+        3 /* OperatorType.BitwiseAnd */,
+        4 /* OperatorType.BitwiseAndEqual */,
+        6 /* OperatorType.BitwiseOr */,
+        7 /* OperatorType.BitwiseOrEqual */,
+        8 /* OperatorType.BitwiseXor */,
+        9 /* OperatorType.BitwiseXorEqual */,
+        35 /* OperatorType.Walrus */,
+        19 /* OperatorType.LessOrGreaterThan */,
     ];
     assert_1.default.equal(results.tokens.count - _implicitTokenCount, lengths.length);
     assert_1.default.equal(results.tokens.count - _implicitTokenCount, operatorTypes.length);
     for (let i = 0; i < lengths.length; i++) {
         const t = results.tokens.getItemAt(i);
-        assert_1.default.equal(t.type, 9 /* Operator */, `${t.type} at ${i} is not an operator`);
+        assert_1.default.equal(t.type, 9 /* TokenType.Operator */, `${t.type} at ${i} is not an operator`);
         assert_1.default.equal(t.operatorType, operatorTypes[i]);
         assert_1.default.equal(t.length, lengths[i], `Length ${t.length} at ${i} (text ${text.substr(t.start, t.length)}), expected ${lengths[i]}`);
     }
@@ -1363,13 +1367,13 @@ test('Identifiers', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('and __and __and__ and__');
     assert_1.default.equal(results.tokens.count, 4 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 8 /* Keyword */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 8 /* TokenType.Keyword */);
     assert_1.default.equal(results.tokens.getItemAt(0).length, 3);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 7 /* Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 7 /* TokenType.Identifier */);
     assert_1.default.equal(results.tokens.getItemAt(1).length, 5);
-    assert_1.default.equal(results.tokens.getItemAt(2).type, 7 /* Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(2).type, 7 /* TokenType.Identifier */);
     assert_1.default.equal(results.tokens.getItemAt(2).length, 7);
-    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(3).type, 7 /* TokenType.Identifier */);
     assert_1.default.equal(results.tokens.getItemAt(3).length, 5);
     assert_1.default.equal(results.tokens.getItemAtPosition(0), 0);
     assert_1.default.equal(results.tokens.getItemAtPosition(3), 0);
@@ -1402,15 +1406,15 @@ test('Comments1', () => {
     const results = t.tokenize('# hello\n# good bye\n\n\n""" test """ # another\n\n\npass');
     assert_1.default.equal(results.tokens.count, 4 + _implicitTokenCount);
     const token0 = results.tokens.getItemAt(0);
-    assert_1.default.equal(token0.type, 2 /* NewLine */);
+    assert_1.default.equal(token0.type, 2 /* TokenType.NewLine */);
     assert_1.default.equal(token0.comments.length, 1);
     assert_1.default.equal(token0.comments[0].value, ' hello');
     const token1 = results.tokens.getItemAt(1);
-    assert_1.default.equal(token1.type, 5 /* String */);
+    assert_1.default.equal(token1.type, 5 /* TokenType.String */);
     assert_1.default.equal(token1.comments.length, 1);
     assert_1.default.equal(token1.comments[0].value, ' good bye');
     const token2 = results.tokens.getItemAt(2);
-    assert_1.default.equal(token2.type, 2 /* NewLine */);
+    assert_1.default.equal(token2.type, 2 /* TokenType.NewLine */);
     assert_1.default.equal(token2.comments.length, 1);
     assert_1.default.equal(token2.comments[0].value, ' another');
     assert_1.default.equal(results.tokens.getItemAtPosition(0), -1);
@@ -1432,19 +1436,19 @@ test('Identifiers1', () => {
     assert_1.default.equal(results.tokens.count, 5 + _implicitTokenCount);
     // Korean (Hangul)
     const token0 = results.tokens.getItemAt(0);
-    assert_1.default.equal(token0.type, 7 /* Identifier */);
+    assert_1.default.equal(token0.type, 7 /* TokenType.Identifier */);
     // Japanese
     const token1 = results.tokens.getItemAt(1);
-    assert_1.default.equal(token1.type, 7 /* Identifier */);
+    assert_1.default.equal(token1.type, 7 /* TokenType.Identifier */);
     // Russian (Cyrillic)
     const token2 = results.tokens.getItemAt(2);
-    assert_1.default.equal(token2.type, 7 /* Identifier */);
+    assert_1.default.equal(token2.type, 7 /* TokenType.Identifier */);
     // Hungarian
     const token3 = results.tokens.getItemAt(3);
-    assert_1.default.equal(token3.type, 7 /* Identifier */);
+    assert_1.default.equal(token3.type, 7 /* TokenType.Identifier */);
     // Chinese
     const token4 = results.tokens.getItemAt(4);
-    assert_1.default.equal(token4.type, 7 /* Identifier */);
+    assert_1.default.equal(token4.type, 7 /* TokenType.Identifier */);
 });
 test('TypeIgnoreAll1', () => {
     const t = new tokenizer_1.Tokenizer();
@@ -1495,9 +1499,9 @@ test('Constructor', () => {
     const t = new tokenizer_1.Tokenizer();
     const results = t.tokenize('def constructor');
     assert_1.default.equal(results.tokens.count, 2 + _implicitTokenCount);
-    assert_1.default.equal(results.tokens.getItemAt(0).type, 8 /* Keyword */);
+    assert_1.default.equal(results.tokens.getItemAt(0).type, 8 /* TokenType.Keyword */);
     assert_1.default.equal(results.tokens.getItemAt(0).length, 3);
-    assert_1.default.equal(results.tokens.getItemAt(1).type, 7 /* Identifier */);
+    assert_1.default.equal(results.tokens.getItemAt(1).type, 7 /* TokenType.Identifier */);
     assert_1.default.equal(results.tokens.getItemAt(1).length, 11);
 });
 test('Normalization', () => {
@@ -1505,11 +1509,11 @@ test('Normalization', () => {
     const results = t.tokenize('ℝ 𝕽');
     assert_1.default.equal(results.tokens.count, 2 + _implicitTokenCount);
     let idToken = results.tokens.getItemAt(0);
-    assert_1.default.equal(idToken.type, 7 /* Identifier */);
+    assert_1.default.equal(idToken.type, 7 /* TokenType.Identifier */);
     assert_1.default.equal(idToken.length, 1);
     assert_1.default.equal(idToken.value, 'R');
     idToken = results.tokens.getItemAt(1);
-    assert_1.default.equal(idToken.type, 7 /* Identifier */);
+    assert_1.default.equal(idToken.type, 7 /* TokenType.Identifier */);
     assert_1.default.equal(idToken.length, 2);
     assert_1.default.equal(idToken.value, 'R');
 });
@@ -1518,11 +1522,11 @@ test('Last empty line', () => {
     const results = t.tokenize('\r\n');
     assert_1.default.equal(results.tokens.count, _implicitTokenCount);
     const newLineToken = results.tokens.getItemAt(0);
-    assert_1.default.equal(newLineToken.type, 2 /* NewLine */);
+    assert_1.default.equal(newLineToken.type, 2 /* TokenType.NewLine */);
     assert_1.default.equal(newLineToken.length, 2);
-    assert_1.default.equal(newLineToken.newLineType, 2 /* CarriageReturnLineFeed */);
+    assert_1.default.equal(newLineToken.newLineType, 2 /* NewLineType.CarriageReturnLineFeed */);
     const eofToken = results.tokens.getItemAt(1);
-    assert_1.default.equal(eofToken.type, 1 /* EndOfStream */);
+    assert_1.default.equal(eofToken.type, 1 /* TokenType.EndOfStream */);
     assert_1.default.equal(eofToken.length, 0);
 });
 //# sourceMappingURL=tokenizer.test.js.map