dshellInterpreter 0.1.21__py3-none-any.whl → 0.1.23__py3-none-any.whl

Dshell/_DshellTokenizer/dshell_tokenizer.py

@@ -14,11 +14,11 @@ from .dshell_token_type import Token
 MASK_CHARACTER = '§'
 
 table_regex: dict[DTT, Pattern] = {
-    DTT.COMMENT: compile(r"::(.*)"),
+    DTT.COMMENT: compile(r"::(.*?)"),
     # DTT.DICT: compile(r"\{(.*?)\}"),
-    DTT.CALL_ARGS: compile(r"\((.*?)\)"),
+    DTT.STR: compile(r'"(.*?)"', flags=DOTALL),
     DTT.LIST: compile(r"\[(.*?)\]"),
-    DTT.STR: compile(r"\"(.*?)\"", flags=DOTALL),
+    DTT.CALL_ARGS: compile(r"\((.*?)\)"),
     DTT.MENTION: compile(r'<(?:@!?|@&|#)([0-9]+)>'),
     DTT.KEYWORD: compile(rf"(?<!\w)(#?{'|'.join(dshell_keyword)})(?!\w)"),
     DTT.DISCORD_KEYWORD: compile(rf"(?<!\w|-)(#?{'|'.join(dshell_discord_keyword)})(?!\w|-)"),
@@ -70,22 +70,35 @@ class DshellTokenizer:
                         token = Token(token_type, match.group(1), (line_number, match.start()))  # on enregistre son token
                         tokens_par_ligne.append(token)
 
-                    len_match = len(match.group(0))
-                    ligne = ligne[:match.start()] + (MASK_CHARACTER * len_match) + ligne[
-                                                                                   match.end():]  # remplace la match qui vient d'avoir lieu pour ne pas le rematch une seconde fois
-
                     if token_type in (
                             DTT.LIST,
-                            DTT.CALL_ARGS):  # si c'est un regrouppement de donnée, on tokenize ce qu'il contient
+                            DTT.CALL_ARGS):  # si c'est un regroupement de donnée, on tokenize ce qu'il contient
                         result = self.tokenizer([token.value])
                         token.value = result[0] if len(
                             result) > 0 else result  # gère si la structure de donnée est vide ou non
 
+                        for token_in_list in token.value:
+                            token_in_list.position = (line_number, token_in_list.position[1])
+
+                        for token_in_line in range(len(tokens_par_ligne)-1):
+                            if tokens_par_ligne[token_in_line].position[1] > match.start():
+                                str_tokens_in_list = tokens_par_ligne[token_in_line:-1]
+                                tokens_par_ligne = tokens_par_ligne[:token_in_line] + [tokens_par_ligne[-1]]
+                                token.value.extend(str_tokens_in_list)
+                                token.value.sort(key=lambda t: t.position[1])  # trie les tokens par rapport à leur position
+                                break
+
+                    len_match = len(match.group(0))
+                    ligne = ligne[:match.start()] + (MASK_CHARACTER * len_match) + ligne[
+                                                                                   match.end():]  # remplace la match qui vient d'avoir lieu pour ne pas le rematch une seconde fois
+
             tokens_par_ligne.sort(key=lambda
                 token: token.position[1])  # trie la position par rapport aux positions de match des tokens pour les avoir dans l'ordre du code
             if tokens_par_ligne:
                 tokens.append(tokens_par_ligne)
 
+            line_number += 1  # incrémente le numéro de ligne pour la prochaine ligne
+
         return tokens
 
     @staticmethod

{dshellinterpreter-0.1.21.dist-info → dshellinterpreter-0.1.23.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: dshellInterpreter
-Version: 0.1.21
+Version: 0.1.23
 Summary: A Discord bot interpreter for creating custom commands and automations.
 Home-page: https://github.com/BOXERRMD/Dshell_Interpreter
 Author: Chronos

{dshellinterpreter-0.1.21.dist-info → dshellinterpreter-0.1.23.dist-info}/RECORD

@@ -11,9 +11,9 @@ Dshell/_DshellParser/dshell_parser.py,sha256=jCnwxY_J-_u1W_tEotQznp4_Y0aeAH4pTcP
 Dshell/_DshellTokenizer/__init__.py,sha256=LIQSRhDx2B9pmPx5ADMwwD0Xr9ybneVLhHH8qrJWw_s,172
 Dshell/_DshellTokenizer/dshell_keywords.py,sha256=10VctszIRg8AX5Nsr7kwRIjdwzUgTfrrJYbD7QfYR5s,4253
 Dshell/_DshellTokenizer/dshell_token_type.py,sha256=Q8Jpil9S3-Tin1sXEHW7cnNdDdUh7Fiv8_lki0OWC0E,1443
-Dshell/_DshellTokenizer/dshell_tokenizer.py,sha256=E5dCrpbLVgME1moz2zC_X4w4HvV6PrYbK5_pwD3gYzw,5831
-dshellinterpreter-0.1.21.dist-info/licenses/LICENSE,sha256=lNgcw1_xb7QENAQi3uHGymaFtbs0RV-ihiCd7AoLQjA,1082
-dshellinterpreter-0.1.21.dist-info/METADATA,sha256=hoRp2-obn0UKzDNBiruyER3M6jxSMiU5BngL8NHgOV4,1096
-dshellinterpreter-0.1.21.dist-info/WHEEL,sha256=_zCd3N1l69ArxyTb8rzEoP9TpbYXkqRFSNOD5OuxnTs,91
-dshellinterpreter-0.1.21.dist-info/top_level.txt,sha256=B4CMhtmchGwPQJLuqUy0GhRG-0cUGxKL4GqEbCiB_vE,7
-dshellinterpreter-0.1.21.dist-info/RECORD,,
+Dshell/_DshellTokenizer/dshell_tokenizer.py,sha256=CMRUXLkRPGUmsyT3Rkal-INQ7tTneFFH0WYQ-2ItMv8,6686
+dshellinterpreter-0.1.23.dist-info/licenses/LICENSE,sha256=lNgcw1_xb7QENAQi3uHGymaFtbs0RV-ihiCd7AoLQjA,1082
+dshellinterpreter-0.1.23.dist-info/METADATA,sha256=HLrQ28EL8AiKBPqHpZMLvMizGDn6Q0nM574b5DKElMY,1096
+dshellinterpreter-0.1.23.dist-info/WHEEL,sha256=_zCd3N1l69ArxyTb8rzEoP9TpbYXkqRFSNOD5OuxnTs,91
+dshellinterpreter-0.1.23.dist-info/top_level.txt,sha256=B4CMhtmchGwPQJLuqUy0GhRG-0cUGxKL4GqEbCiB_vE,7
+dshellinterpreter-0.1.23.dist-info/RECORD,,