mobisurvstd 0.1.0__py3-none-any.whl

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (58) hide show
  1. mobisurvstd/__init__.py +8 -0
  2. mobisurvstd/__main__.py +4 -0
  3. mobisurvstd/classes.py +344 -0
  4. mobisurvstd/clean.py +1661 -0
  5. mobisurvstd/cli.py +44 -0
  6. mobisurvstd/common/__init__.py +1 -0
  7. mobisurvstd/common/cars.py +120 -0
  8. mobisurvstd/common/clean.py +470 -0
  9. mobisurvstd/common/households.py +97 -0
  10. mobisurvstd/common/legs.py +136 -0
  11. mobisurvstd/common/modes.py +52 -0
  12. mobisurvstd/common/motorcycles.py +44 -0
  13. mobisurvstd/common/persons.py +228 -0
  14. mobisurvstd/common/trips.py +253 -0
  15. mobisurvstd/common/zones.py +43 -0
  16. mobisurvstd/egt2010/__init__.py +1 -0
  17. mobisurvstd/egt2010/deplacements.py +170 -0
  18. mobisurvstd/egt2010/menages.py +378 -0
  19. mobisurvstd/egt2010/personnes.py +307 -0
  20. mobisurvstd/egt2010/survey.py +84 -0
  21. mobisurvstd/egt2010/trajets.py +211 -0
  22. mobisurvstd/egt2010/zones.py +11 -0
  23. mobisurvstd/egt2020/__init__.py +1 -0
  24. mobisurvstd/egt2020/deplacements.py +173 -0
  25. mobisurvstd/egt2020/menages.py +162 -0
  26. mobisurvstd/egt2020/motos.py +103 -0
  27. mobisurvstd/egt2020/personnes.py +391 -0
  28. mobisurvstd/egt2020/survey.py +89 -0
  29. mobisurvstd/egt2020/trajets.py +317 -0
  30. mobisurvstd/egt2020/voitures.py +128 -0
  31. mobisurvstd/emc2/__init__.py +1 -0
  32. mobisurvstd/emc2/common.py +42 -0
  33. mobisurvstd/emc2/deplacements.py +153 -0
  34. mobisurvstd/emc2/menages.py +358 -0
  35. mobisurvstd/emc2/personnes.py +305 -0
  36. mobisurvstd/emc2/survey.py +309 -0
  37. mobisurvstd/emc2/trajets.py +274 -0
  38. mobisurvstd/emc2/zones.py +107 -0
  39. mobisurvstd/emp/__init__.py +1 -0
  40. mobisurvstd/emp/deplacements.py +407 -0
  41. mobisurvstd/emp/menages.py +182 -0
  42. mobisurvstd/emp/motos.py +126 -0
  43. mobisurvstd/emp/personnes.py +543 -0
  44. mobisurvstd/emp/survey.py +93 -0
  45. mobisurvstd/emp/voitures.py +218 -0
  46. mobisurvstd/logger.py +15 -0
  47. mobisurvstd/main.py +158 -0
  48. mobisurvstd/resources/__init__.py +0 -0
  49. mobisurvstd/resources/admin_express.py +88 -0
  50. mobisurvstd/resources/insee_data.py +307 -0
  51. mobisurvstd/resources/nuts.py +129 -0
  52. mobisurvstd/schema.py +902 -0
  53. mobisurvstd/utils.py +125 -0
  54. mobisurvstd-0.1.0.dist-info/METADATA +210 -0
  55. mobisurvstd-0.1.0.dist-info/RECORD +58 -0
  56. mobisurvstd-0.1.0.dist-info/WHEEL +5 -0
  57. mobisurvstd-0.1.0.dist-info/licenses/LICENSE.md +7 -0
  58. mobisurvstd-0.1.0.dist-info/top_level.txt +1 -0
@@ -0,0 +1,103 @@
1
+ import polars as pl
2
+
3
+ from mobisurvstd.common.motorcycles import clean
4
+
5
+ SCHEMA = {
6
+ "IDCEREMA": pl.String, # Identifiant du ménage
7
+ "TYPE_QUEST": pl.String, # Type de questionnaire
8
+ "NRM": pl.UInt8, # Numéro du deux-roues motorisé parmi ceux du ménage
9
+ "MARQ": pl.String, # Marque
10
+ "MDL": pl.String, # Modèle
11
+ "ENERG": pl.UInt8, # Motorisation du véhicule
12
+ "ENERG_txt": pl.String, # Motorisation du véhicule
13
+ "APMC": pl.UInt16, # Année de première mise en circulation
14
+ "CYL": pl.UInt16, # Cylindrée
15
+ "ANKM": pl.UInt8, # Kilomètres annuels
16
+ "STAT": pl.UInt8, # Stationnement au domicile
17
+ "STAT_txt": pl.String, # Stationnement au domicile
18
+ "STAT_G": pl.UInt8, # Le stationnement est-il payant (STAT=2 ou STAT =3 et STAT_VT<>3) ?
19
+ "STAT_GT": pl.Float64, # Tarif garage
20
+ "STAT_VT": pl.UInt8, # Type de stationnement sur voirie
21
+ }
22
+
23
+ FUEL_TYPE_MAP = {
24
+ "11": "thermic", # Essence (moteur 2 temps)
25
+ "12": "thermic", # Essence (moteur 4 temps)
26
+ "2": "electric", # Electrique
27
+ "9": "other", # Autre
28
+ }
29
+
30
+ THERMIC_ENGINE_TYPE_MAP = {
31
+ "11": "two_stroke", # Essence (moteur 2 temps)
32
+ "12": "four_stroke", # Essence (moteur 4 temps)
33
+ "2": None, # Electrique
34
+ "9": None, # Autre
35
+ }
36
+
37
+ MILEAGE_LB_MAP = {
38
+ 1: 0, # 5 000 km ou moins
39
+ 2: 5001, # 5 001 km à 10 000 km
40
+ 3: 10001, # 10 0001 km à 15 000 km
41
+ 4: 15001, # 15 001 km à 20 000 km
42
+ 5: 20000, # Plus de 20 000 km
43
+ }
44
+
45
+ MILEAGE_UB_MAP = {
46
+ 1: 5000, # 5 000 km ou moins
47
+ 2: 10000, # 5 001 km à 10 000 km
48
+ 3: 15000, # 10 0001 km à 15 000 km
49
+ 4: 20000, # 15 001 km à 20 000 km
50
+ 5: None, # Plus de 20 000 km
51
+ }
52
+
53
+ PARKING_LOCATION_MAP = {
54
+ 1: "garage", # Dans un garage, dans un box ou un autre emplacement réservé
55
+ 2: "street", # Sur la voie publique
56
+ 3: "parking_lot", # Dans un parking public
57
+ 4: "parking_lot", # Dans le parking d'un centre commercial ou dans le parking de son entreprise
58
+ 9: "other", # Autre
59
+ }
60
+
61
+ PARKING_TYPE_MAP = {
62
+ 0: "free",
63
+ 1: "paid",
64
+ 2: "free",
65
+ }
66
+
67
+
68
+ def scan_motorcycles(filename: str):
69
+ lf = pl.scan_csv(
70
+ filename,
71
+ separator=";",
72
+ encoding="utf8-lossy",
73
+ schema_overrides=SCHEMA,
74
+ null_values=["-1"],
75
+ )
76
+ return lf
77
+
78
+
79
+ def standardize_motorcycles(filename: str, households: pl.LazyFrame):
80
+ lf = scan_motorcycles(filename)
81
+ # Add household_id.
82
+ lf = lf.with_columns(original_household_id=pl.struct("IDCEREMA")).join(
83
+ households.select("original_household_id", "household_id"),
84
+ on="original_household_id",
85
+ how="left",
86
+ coalesce=True,
87
+ )
88
+ lf = lf.with_columns(
89
+ original_motorcycle_id=pl.struct("IDCEREMA", "NRM"),
90
+ fuel_type=pl.col("ENERG").replace_strict(FUEL_TYPE_MAP),
91
+ # 1900 is used as undetermined year.
92
+ year=pl.col("APMC").replace([1900], None),
93
+ thermic_engine_type=pl.col("ENERG").replace_strict(THERMIC_ENGINE_TYPE_MAP),
94
+ # 0 is used for unknown cm3
95
+ cm3_lower_bound=pl.col("CYL").replace([0], None),
96
+ cm3_upper_bound=pl.col("CYL").replace([0], None),
97
+ annual_mileage_lower_bound=pl.col("ANKM").replace_strict(MILEAGE_LB_MAP),
98
+ annual_mileage_upper_bound=pl.col("ANKM").replace_strict(MILEAGE_UB_MAP),
99
+ parking_location=pl.col("STAT").replace_strict(PARKING_LOCATION_MAP),
100
+ parking_type=pl.col("STAT_G").replace_strict(PARKING_TYPE_MAP),
101
+ )
102
+ lf = clean(lf)
103
+ return lf
@@ -0,0 +1,391 @@
1
+ import polars as pl
2
+
3
+ from mobisurvstd.common.persons import clean
4
+
5
+ SCHEMA = {
6
+ "IDCEREMA": pl.String, # Identifiant du ménage
7
+ "TYPE_QUEST": pl.String, # Type de questionnaire
8
+ "NP": pl.UInt8, # Numéro de personne dans le ménage
9
+ "RESDEP": pl.String, # Département de résidence
10
+ "RESCOUR": pl.UInt8, # Couronne de résidence
11
+ "RESCOMM": pl.String, # Commune de résidence
12
+ "JOURSEM": pl.String, # Jour de la semaine de la date schéma des déplacements
13
+ "LIENP1": pl.UInt8, # Lien de parenté avec la personne 1
14
+ "SEXE": pl.UInt8, # Sexe
15
+ "AGE": pl.UInt8, # Age
16
+ "TRAGE": pl.UInt8, # Classes d'âge
17
+ "PERMVP": pl.UInt8, # Permis de conduire voiture
18
+ "ABONVP": pl.UInt8, # Abonnement autopartage
19
+ "T_ABONVP": pl.UInt8, # Type d'abonnement autopartage
20
+ "PERM2RM": pl.UInt8, # Permis de conduire 2RM
21
+ "ABONTC": pl.UInt8, # Abonnement TC
22
+ "ABONTC_10": pl.UInt8, # Forfait Navigo
23
+ "ABONC_11": pl.UInt8, # Forfait Navigo + Annuel
24
+ "ABONTC_12": pl.UInt8, # Forfait Navigo + Mois
25
+ "ABONTC_13": pl.UInt8, # Forfait Navigo + Semaine
26
+ "ABONTC_20": pl.UInt8, # Forfait Navigo gratuité
27
+ "ABONTC_30": pl.UInt8, # Forfait Améthyste
28
+ "ABONTC_40": pl.UInt8, # Forfait Navigo Solidarité
29
+ "ABONTC_41": pl.UInt8, # Forfait Navigo Solidarité + Mois
30
+ "ABONTC_42": pl.UInt8, # Forfait Navigo Solidarité + Semaine
31
+ "ABONTC_50": pl.UInt8, # Forfait Imagine R
32
+ "ABONTC_51": pl.UInt8, # Forfait Imagine R + Scolaire
33
+ "ABONTC_52": pl.UInt8, # Forfait Imagine R + Etudiant
34
+ "ABONTC_60": pl.UInt8, # Forfait Gratuité Jeunes en insertion
35
+ "ABONTC_70": pl.UInt8, # Carte scolaire bus ligne régulière ou carte Scol'R
36
+ "ABONTC_90": pl.UInt8, # Autre abonnement (exemple : police, RATP…)
37
+ "ZONTC": pl.UInt8, # Zonage de l'abonnement TC
38
+ "SUPPTC": pl.UInt8, # Support de l'abonnement TC
39
+ "SUPPTC_txt": pl.String, # Support de l'abonnement TC
40
+ "NV_MOIS": pl.UInt8, # Nombre de forfaits Mois
41
+ "NV_SEM": pl.UInt8, # Nombre de forfaits Semaine
42
+ "REMBTC": pl.UInt8, # Prise en charge de l’abonnement TC par l’employeur
43
+ "ABONVLS": pl.UInt8, # Abonnement de Vélib ou VLS
44
+ "OCCP": pl.UInt8, # Occupation principale
45
+ "OCCP_txt": pl.String, # Occupation principale
46
+ "DIPL": pl.UInt8, # Plus haut niveau de diplôme obtenu
47
+ "PROF": pl.String, # Profession
48
+ "CS8": pl.UInt8, # Catégorie socioprofessionnelle Niveau 1
49
+ "CS24L": pl.UInt8, # Catégorie socioprofessionnelle Niveau 2
50
+ "LIEU_TRAV": pl.UInt8, # Habitude de travail
51
+ "LIEU_TRAV_txt": pl.String,
52
+ "TRAVCOMM": pl.String, # Commune du lieu de travail
53
+ "TRAVLNG": pl.Float64, # Longitude du lieu de travail
54
+ "TRAVLAT": pl.Float64, # Latitude du lieu de travail
55
+ "HIER_TRAV": pl.UInt8, # Avez-vous travaillé hier ?
56
+ "HIER_TRAV_txt": pl.String, # Avez-vous travaillé hier ?
57
+ "HIER_NON_TRAV": pl.String, # Raison pour laquelle la personne n'a pas travaillé
58
+ "HIER_NON_TRAV_txt": pl.String, # Raison pour laquelle la personne n'a pas travaillé
59
+ "PKVPTRAV": pl.UInt8, # Disponibilité d'un parking au lieu de travail
60
+ "PKVLTRAV": pl.UInt8, # Disponibilité d'un parking vélo au lieu de travail
61
+ "LIEU_ETUD": pl.UInt8, # Habitude d'études
62
+ "LIEU_ETUD_txt": pl.String, # Habitude d'études
63
+ "ETUDCOMM": pl.String, # Commune du lieu d'études principal
64
+ "ETUDLNG": pl.Float64, # Longitude du lieu d'études
65
+ "ETUDLAT": pl.Float64, # Latitude du lieu d'études
66
+ "PKVPETUD": pl.UInt8, # Disponibilité d'un parking au lieu d'études
67
+ "PKVLETUD": pl.UInt8, # Disponibilité d'un parking vélo au lieu d'études
68
+ "GENE": pl.UInt8, # Gêne ressentie lors des déplacements
69
+ "DEPL": pl.UInt8, # La personne s'est-elle déplacée la veille ?
70
+ "NBDEPL": pl.UInt8, # Nombre de déplacements réalisés
71
+ "NBDEPLVP": pl.UInt8, # Nombre de déplacements réalisés en voiture (passager ou conducteur)
72
+ "NBDEPLVPC": pl.UInt8, # Nombre de déplacements réalisés en voiture (conducteur)
73
+ "NBDEPLTC": pl.UInt8, # Nombre de déplacements réalisés en transports collectifs
74
+ "NBDEPLVELO": pl.UInt8, # Nombre de déplacements réalisés à vélo
75
+ "NBDEPL2RM": pl.UInt8, # Nombre de déplacements réalisés en deux roues-motorisé
76
+ "NBDEPLMAP": pl.UInt8, # Nombre de déplacements réalisés à pied
77
+ "DDOMTRAV": pl.Float64, # Distance à vol d’oiseau entre le domicile et le lieu de travail ou d’étude (en km avec une décimale)
78
+ "NONDEPL_T": pl.UInt8, # Si la personne ne s’est pas déplacée pour aller au travail, quelle en était la raison ?
79
+ "NONDEPL_T_txt": pl.String, # Si la personne ne s’est pas déplacée pour aller au travail, quelle en était la raison ?
80
+ "NONDEPL": pl.UInt8, # Si la personne ne s’est pas déplacée du tout, quelle en était la raison ?
81
+ "NONDEPL_txt": pl.String, # Si la personne ne s’est pas déplacée du tout, quelle en était la raison
82
+ "DERDEPL": pl.UInt32, # Date du dernier déplacement
83
+ "DERJOUR": pl.UInt16, # Nombre de jours depuis le dernier déplacement
84
+ "DER_CL": pl.UInt8, # Classe du dernier déplacement
85
+ "NB_7JOURS": pl.UInt8, # Nombre de jours où la personne s'est déplacée la semaine passée
86
+ "NB_7JOURS_T": pl.UInt8, # Nombre de jours où la personne s'est déplacée la semaine passée pour le travail
87
+ "TPS_PART": pl.UInt8, # Quantité de temps partiel
88
+ "ORG_TP": pl.UInt8, # Organisation du temps partiel
89
+ "HOR_TRAV": pl.UInt8, # Horaires de travail
90
+ "HOR_TRAV_txt": pl.String, # Horaires de travail
91
+ "FREQ_T": pl.UInt8, # Fréquence des déplacements pour le travail ou les études
92
+ "FREQ_A": pl.UInt8, # Fréquence des déplacements pour les achats
93
+ "FREQ_L": pl.UInt8, # Fréquence des déplacements pour les loisirs
94
+ "FREQ_D": pl.UInt8, # Fréquence des déplacements pour les démarches
95
+ "ACH_INT": pl.UInt8, # Avez-vous effectué des achats sur internet au cours des 7 derniers jours ?
96
+ "ACH_INT11": pl.UInt8, # Avez-vous effectué des achats sur internet au cours des 7 derniers jours pour des biens de consommation courante ?
97
+ "ACH_INT12": pl.UInt8, # Avez-vous effectué des achats sur internet au cours des 7 derniers jours pour des vêtements ou accessoires ?
98
+ "ACH_INT13": pl.UInt8, # Avez-vous effectué des achats sur internet au cours des 7 derniers jours pour bien d'équipement ou technologiques ?
99
+ "ACH_INT14": pl.UInt8, # Avez-vous effectué des achats sur internet au cours des 7 derniers jours pour des biens ou services culturels ?
100
+ "ACH_INT15": pl.UInt8, # Avez-vous effectué des achats sur internet au cours des 7 derniers jours pour des billets de transport ?
101
+ "ACH_INT19": pl.String, # Détails des achats sur internet au cours des 7 derniers jours
102
+ "PORTAB": pl.UInt8, # Possession d'un téléphone portable
103
+ "APPS": pl.UInt8, # Utilisation d'applications sur son smartphone pour se déplacer en Île-de-France
104
+ "APPS_LIST": pl.String, # Type d'application utilisée
105
+ "APPS_LIST_txt": pl.String, # Type d'application utilisée
106
+ "TROT_LS": pl.UInt8, # Utilisation d'une trottinette en libre-service au cours du dernier mois
107
+ "TROT_LS_APP": pl.String, # Type d'application de trottinette électrique utilisée au cours du dernier mois
108
+ "TROT_LS_APP_txt": pl.String, # Type d'application de trottinette électrique utilisée au cours du dernier mois
109
+ "VELO_LS": pl.UInt8, # Utilisation d'un vélo en libre-service au cours du dernier mois
110
+ "VELO_LS_APP": pl.String, # Type d'application de vélo en libre-service utilisée au cours du dernier mois
111
+ "VELO_LS_APP_txt": pl.String, # Type d'application de vélo en libre-service utilisée au cours du dernier mois
112
+ "VOIT_LS": pl.UInt8, # Utilisation d'un voiture en autopartage ou libre-service au cours du dernier mois
113
+ "VOIT_LS_APP": pl.String, # Type d'application de voiture en autopartage ou libre-service utilisée au cours du dernier mois
114
+ "VOIT_LS_APP_txt": pl.String, # Type d'application de voitures en autopartage ou libre-service utilisée au cours du dernier mois
115
+ "COVOIT": pl.UInt8, # Utilisation d'un application de covoiturage au cours du dernier mois
116
+ "COVOIT_ROLE": pl.UInt8, # Rôle pendant le covoiturage
117
+ "COVOIT_APP": pl.String, # Type d'application de covoiturage utilisée au cours du dernier mois
118
+ "COVOIT_APP_txt": pl.String, # Type d'application de covoiturage utilisée au cours du dernier mois
119
+ "KISH": pl.UInt8, # Dans le cas des enquêtes CATI, vaut 1 si l'individu a été tiré au sort, sinon 0
120
+ "POIDSI": pl.Float64, # Poids de l'individu (uniquement les 5 ans et plus et ayant été enquêtés)
121
+ "POIDSTI": pl.Float64, # Poids de l'individu (tous les individus du ménage)
122
+ }
123
+
124
+ REFERENCE_PERSON_LINK_MAP = {
125
+ None: "reference_person",
126
+ 1: "spouse", # Conjoint
127
+ 2: "child", # Enfant, gendre, belle-fille
128
+ 3: "other:relative", # Petit-enfant
129
+ 4: "other:relative", # Parent, beau-parent, ascendant
130
+ 5: "other:relative", # Autre lien de parenté
131
+ 6: "other:non_relative", # Employé de maison salarié et logé
132
+ 7: "other:relative", # Frère, sœur
133
+ 8: "other:non_relative", # Autre sans lien de parenté
134
+ 9: "other:non_relative", # NOTE. It seems that 9 is used instead of 8...
135
+ }
136
+
137
+ EDUCATION_LEVEL_MAP = {
138
+ 0: "no_studies_or_no_diploma", # Aucun diplôme
139
+ 1: "secondary:no_bac", # CEP (certificat d'études primaires), BEPC, brevet élémentaire, brevet des collèges
140
+ 2: "secondary:no_bac", # CAP, BEP ou diplôme de niveau équivalent
141
+ 3: "secondary:bac", # Baccalauréat général ou technologique ou diplôme de niveau équivalent
142
+ 4: "higher:at_most_bac+2", # BAC+2 : BTS, DUT, DEUG…
143
+ 5: "higher:at_least_bac+3", # BAC+3 ou BAC+4 : licence, licence pro, maîtrise…
144
+ 6: "higher:at_least_bac+3", # Bac+5 et plus : Master, DEA, DESS, diplôme de grandes écoles, doctorat…
145
+ }
146
+
147
+ DETAILED_EDUCATION_LEVEL_MAP = {
148
+ 0: "no_diploma", # Aucun diplôme
149
+ # CEP should actually be primary:CEP but let's assume that brevet is the most common choice here
150
+ 1: "secondary:no_bac:college", # CEP (certificat d'études primaires), BEPC, brevet élémentaire, brevet des collèges
151
+ 2: "secondary:no_bac:CAP/BEP", # CAP, BEP ou diplôme de niveau équivalent
152
+ 3: "secondary:bac:unspecified", # Baccalauréat général ou technologique ou diplôme de niveau équivalent
153
+ 4: "higher:at_most_bac+2:unspecified", # BAC+2 : BTS, DUT, DEUG…
154
+ 5: "higher:bac+3_or_+4", # BAC+3 ou BAC+4 : licence, licence pro, maîtrise…
155
+ 6: "higher:at_least_bac+5", # Bac+5 et plus : Master, DEA, DESS, diplôme de grandes écoles, doctorat…
156
+ }
157
+
158
+ PROFESSIONAL_OCCUPATION_MAP = {
159
+ 10: "worker", # Emploi + non-réponse
160
+ 11: "worker", # Emploi + à temps complet
161
+ 12: "worker", # Emploi + à temps partiel
162
+ 20: "student", # Apprentissage sous contrat ou stage rémunéré
163
+ 31: "student", # Scolaire (école, collège, lycée) ou stage non rémunéré
164
+ 32: "student", # Etudiant ou stage non rémunéré
165
+ 40: "other", # Chômage (inscrit ou non à Pôle Emploi)
166
+ 50: "other", # Retraite ou pré-retraite (ancien salarié ou ancien indépendant)
167
+ 60: "other", # Femme ou homme au foyer
168
+ 90: "other", # Autre
169
+ }
170
+
171
+ DETAILED_PROFESSIONAL_OCCUPATION_MAP = {
172
+ 10: "worker:unspecified", # Emploi + non-réponse
173
+ 11: "worker:full_time", # Emploi + à temps complet
174
+ 12: "worker:part_time", # Emploi + à temps partiel
175
+ 20: "student:apprenticeship", # Apprentissage sous contrat ou stage rémunéré
176
+ 31: "student:primary_or_secondary", # Scolaire (école, collège, lycée) ou stage non rémunéré
177
+ 32: "student:higher", # Etudiant ou stage non rémunéré
178
+ 40: "other:unemployed", # Chômage (inscrit ou non à Pôle Emploi)
179
+ 50: "other:retired", # Retraite ou pré-retraite (ancien salarié ou ancien indépendant)
180
+ 60: "other:homemaker", # Femme ou homme au foyer
181
+ 90: "other:unspecified", # Autre
182
+ }
183
+
184
+ WORKPLACE_SINGULARITY_MAP = {
185
+ 1: "unique:outside", # Vous avez un lieu de travail principal hors de votre domicile (bureau, entreprise, usine…)
186
+ 2: "variable", # Vous vous déplacez chez des clients
187
+ 3: "unique:home", # Vous travaillez à votre domicile
188
+ # NOTE. When looking at variable LIEU_TRAV_txt, it seems that almost all the "Autre" answers
189
+ # would fit in the case "variable".
190
+ 9: "variable", # Autre
191
+ }
192
+
193
+ CAR_PARKING_MAP = {0: "no", 1: "yes:unspecified"}
194
+
195
+ BICYCLE_PARKING_MAP = {
196
+ 0: "no",
197
+ 10: "yes:on_site",
198
+ 11: "yes:on_site:sheltered",
199
+ 12: "yes:on_site:unsheltered",
200
+ }
201
+
202
+ STUDENT_CATEGORY_MAP = {
203
+ # For person below 5 year old, the CS24L column is null, so we can reasonably assume that no one
204
+ # is in maternelle.
205
+ 80: "primaire", # Maternelle ou Primaire (CP à CM2)
206
+ 81: "collège:6e", # Collège, 6ème
207
+ 82: "collège:5e", # Collège, 5ème
208
+ 83: "collège:4e", # Collège, 4ème
209
+ 84: "collège:3e", # Collège, 3ème
210
+ 85: "collège:SEGPA", # Collège, SEGPA
211
+ 86: "lycée:CAP", # Technique court (CAP, BEP)
212
+ 87: "lycée:seconde", # Lycée, Seconde
213
+ 88: "lycée:première", # Lycée, 1ère
214
+ 89: "lycée:terminale", # Lycée, Terminale, niveau Bac ou Brevet professionnel
215
+ 90: "supérieur:technique", # Technique supérieur (IUT, BTS)
216
+ 91: "supérieur:prépa1", # 1ère année de classe préparatoire (à des concours ou intégrée)
217
+ 92: "supérieur:prépa2", # 2éme année de classe préparatoire (à des concours ou intégrée)
218
+ 93: "supérieur:BAC+1", # Bac+1
219
+ 94: "supérieur:BAC+2", # Bac+2
220
+ 95: "supérieur:BAC+3", # Bac+3
221
+ 96: "supérieur:BAC+4", # Bac+4
222
+ 97: "supérieur:BAC+5", # Bac+5
223
+ 98: "supérieur:BAC+6&+", # Bac+6 ou plus
224
+ }
225
+
226
+ DRIVING_LICENSE_MAP = {
227
+ 0: "no",
228
+ 1: "yes",
229
+ 2: "in_progress",
230
+ }
231
+
232
+ CAR_SHARING_MAP = {
233
+ # 0 is used instead of -1?
234
+ 0: None,
235
+ 1: "yes:organized", # Est en libre-service : possibilité de rendre le véhicule ailleurs, réservation facultative (Autolib…)
236
+ 2: "yes:organized", # Fonctionne en boucle - on doit rendre le véhicule où on l'a pris (ZipCar…)
237
+ 3: "yes:peer_to_peer", # Se fait entre particuliers (Drivy…)
238
+ }
239
+
240
+
241
+ def scan_persons(filename: str):
242
+ # We use the inefficient `read_csv().lazy()` because we need to use `encoding="latin1"`, which
243
+ # does not exist with `scan_csv()`.
244
+ lf = pl.read_csv(
245
+ filename,
246
+ separator=";",
247
+ encoding="latin1",
248
+ schema_overrides=SCHEMA,
249
+ null_values=["-1", "-10"],
250
+ ).lazy()
251
+ return lf
252
+
253
+
254
+ def standardize_persons(filename: str, households: pl.LazyFrame):
255
+ lf = scan_persons(filename)
256
+ # Add household_id.
257
+ lf = lf.with_columns(original_household_id=pl.struct("IDCEREMA")).join(
258
+ households.select("original_household_id", "household_id"),
259
+ on="original_household_id",
260
+ how="left",
261
+ coalesce=True,
262
+ )
263
+ lf = lf.rename(
264
+ {
265
+ "AGE": "age",
266
+ "CS8": "pcs_group_code",
267
+ "TRAVLNG": "work_lng",
268
+ "TRAVLAT": "work_lat",
269
+ "ETUDLNG": "study_lng",
270
+ "ETUDLAT": "study_lat",
271
+ "POIDSTI": "sample_weight_all",
272
+ "POIDSI": "sample_weight_surveyed",
273
+ }
274
+ )
275
+ lf = lf.with_columns(
276
+ original_person_id=pl.struct("IDCEREMA", "NP"),
277
+ reference_person_link=pl.col("LIENP1").replace_strict(REFERENCE_PERSON_LINK_MAP),
278
+ woman=pl.col("SEXE") == 2,
279
+ education_level=pl.col("DIPL").replace_strict(EDUCATION_LEVEL_MAP),
280
+ detailed_education_level=pl.col("DIPL").replace_strict(DETAILED_EDUCATION_LEVEL_MAP),
281
+ professional_occupation=pl.col("OCCP").replace_strict(PROFESSIONAL_OCCUPATION_MAP),
282
+ detailed_professional_occupation=pl.col("OCCP").replace_strict(
283
+ DETAILED_PROFESSIONAL_OCCUPATION_MAP
284
+ ),
285
+ pcs_category_code2003=pl.when(pl.col("CS24L").is_between(1, 69)).then("CS24L"),
286
+ workplace_singularity=pl.col("LIEU_TRAV").replace_strict(WORKPLACE_SINGULARITY_MAP),
287
+ # Column DDOMTRAV can represent either work commute distance or study commute distance.
288
+ work_commute_euclidean_distance_km=pl.when(pl.col("work_lng").is_not_null())
289
+ .then("DDOMTRAV")
290
+ .otherwise(None),
291
+ study_commute_euclidean_distance_km=pl.when(pl.col("study_lng").is_not_null())
292
+ .then("DDOMTRAV")
293
+ .otherwise(None),
294
+ work_car_parking=pl.col("PKVPTRAV").replace_strict(CAR_PARKING_MAP),
295
+ work_bicycle_parking=pl.col("PKVLTRAV").replace_strict(BICYCLE_PARKING_MAP),
296
+ # The student category is not reported in CS24L, contrarily to what the survey documentation
297
+ # says.
298
+ # student_category=pl.col("CS24L").replace_strict(
299
+ # STUDENT_CATEGORY_MAP, default=None
300
+ # ),
301
+ study_only_at_home=pl.col("LIEU_ETUD").eq(2),
302
+ study_car_parking=pl.col("PKVPETUD").replace_strict(CAR_PARKING_MAP),
303
+ study_bicycle_parking=pl.col("PKVLETUD").replace_strict(BICYCLE_PARKING_MAP),
304
+ has_driving_license=pl.col("PERMVP").replace_strict(DRIVING_LICENSE_MAP),
305
+ has_motorcycle_driving_license=pl.col("PERM2RM").replace_strict(DRIVING_LICENSE_MAP),
306
+ has_public_transit_subscription=pl.col("ABONTC").eq(1),
307
+ public_transit_subscription=pl.when(
308
+ # Forfait Navigo Gratuité, Améthyste et Gratuité Jeunes en insertion
309
+ pl.col("ABONTC_20").eq(1) | pl.col("ABONTC_30").eq(1) | pl.col("ABONTC_60").eq(1)
310
+ )
311
+ .then(pl.lit("yes:free"))
312
+ .when(
313
+ pl.col("ABONTC_40").eq(1)
314
+ | pl.col("ABONTC_41").eq(1)
315
+ | pl.col("ABONTC_42").eq(1)
316
+ | pl.col("ABONTC_90").eq(1)
317
+ )
318
+ .then(pl.lit("yes:unspecified"))
319
+ .when(pl.col("ABONTC").eq(1) & pl.col("REMBTC").eq(1))
320
+ .then(pl.lit("yes:paid:with_employer_contribution"))
321
+ .when(pl.col("ABONTC").eq(1) & pl.col("REMBTC").eq(0))
322
+ .then(pl.lit("yes:paid:without_employer_contribution"))
323
+ .when(pl.col("ABONTC").eq(1))
324
+ .then(pl.lit("yes:paid"))
325
+ .when(pl.col("ABONTC").eq(0))
326
+ .then(pl.lit("no"))
327
+ .otherwise(None),
328
+ has_car_sharing_subscription=pl.col("ABONVP").eq(1),
329
+ car_sharing_subscription=pl.when(pl.col("ABONVP").eq(0))
330
+ .then(pl.lit("no"))
331
+ .otherwise(pl.col("T_ABONVP").replace_strict(CAR_SHARING_MAP)),
332
+ has_bike_sharing_subscription=pl.col("ABONVLS").eq(1),
333
+ has_travel_inconvenience=pl.col("GENE").is_in((1, 2, 3)),
334
+ is_surveyed=pl.col("DEPL").is_not_null(),
335
+ traveled_during_surveyed_day=pl.when(pl.col("DEPL").eq(1))
336
+ .then(pl.lit("yes"))
337
+ .when(pl.col("DEPL").eq(0))
338
+ .then(pl.lit("no"))
339
+ .otherwise(None),
340
+ # Case 9 (Autre) is set to "yes:outside" as most reasons specified in "HIER_TRAV_txt"
341
+ # imply that the person did work outside.
342
+ worked_during_surveyed_day=pl.when(pl.col("HIER_TRAV").is_in((1, 2, 4, 5, 9)))
343
+ .then(pl.lit("yes:outside"))
344
+ .when(pl.col("HIER_TRAV").eq(3) & pl.col("LIEU_TRAV").eq(3))
345
+ .then(pl.lit("yes:home:usual"))
346
+ .when(pl.col("HIER_TRAV").eq(3) & pl.col("LIEU_TRAV").ne(3))
347
+ .then(pl.lit("yes:home:telework"))
348
+ .when(pl.col("HIER_NON_TRAV").eq("B22"))
349
+ .then(pl.lit("no:weekday"))
350
+ .when(pl.col("HIER_TRAV").eq(0))
351
+ .then(pl.lit("no:reason"))
352
+ .otherwise(None),
353
+ )
354
+ lf = lf.with_columns(
355
+ is_retired=pl.col("pcs_group_code").eq(7),
356
+ # is_student=pl.col("professional_occupation").eq("student"),
357
+ is_non_apprentice_student=pl.col("professional_occupation").eq("student")
358
+ & pl.col("detailed_professional_occupation").ne("student:apprenticeship"),
359
+ # Set work secondary occupation for non-workers with a usual workplace.
360
+ secondary_professional_occupation=pl.when(
361
+ pl.col("professional_occupation").ne("worker")
362
+ & pl.col("workplace_singularity").is_not_null()
363
+ ).then(pl.lit("work")),
364
+ )
365
+ lf = lf.with_columns(
366
+ # Force retired to actually be retired...
367
+ professional_occupation=pl.when("is_retired")
368
+ .then(pl.lit("other"))
369
+ .otherwise("professional_occupation"),
370
+ detailed_professional_occupation=pl.when("is_retired")
371
+ .then(pl.lit("other:retired"))
372
+ .otherwise("detailed_professional_occupation"),
373
+ pcs_category_code2003=pl.when("is_retired")
374
+ .then(pl.lit(None))
375
+ .otherwise("pcs_category_code2003"),
376
+ # Force non-students to have no `student_category`.
377
+ # student_category=pl.when(pl.col("is_student").not_())
378
+ # .then(pl.lit(None))
379
+ # .otherwise("student_category"),
380
+ )
381
+ lf = lf.with_columns(
382
+ # Set `pcs_group_code` to null for non-apprenticeship students.
383
+ pcs_group_code=pl.when("is_non_apprentice_student")
384
+ .then(pl.lit(None))
385
+ .otherwise("pcs_group_code"),
386
+ pcs_category_code2003=pl.when("is_non_apprentice_student")
387
+ .then(pl.lit(None))
388
+ .otherwise("pcs_category_code2003"),
389
+ )
390
+ lf = clean(lf)
391
+ return lf
@@ -0,0 +1,89 @@
1
+ from zipfile import ZipFile
2
+
3
+ from loguru import logger
4
+
5
+ from mobisurvstd.common.clean import clean
6
+ from mobisurvstd.utils import find_file
7
+
8
+ from .deplacements import standardize_trips
9
+ from .menages import standardize_households
10
+ from .motos import standardize_motorcycles
11
+ from .personnes import standardize_persons
12
+ from .trajets import standardize_legs
13
+ from .voitures import standardize_cars
14
+
15
+
16
+ def standardize(source: str | ZipFile):
17
+ source_name = source.filename if isinstance(source, ZipFile) else source
18
+ logger.info(f"Standardizing EGT2020 survey from `{source_name}`")
19
+ # Households.
20
+ filename = households_filename(source)
21
+ if filename is None:
22
+ logger.error("Missing households file")
23
+ return None
24
+ households = standardize_households(filename)
25
+ # Cars.
26
+ filename = cars_filename(source)
27
+ if filename is None:
28
+ logger.error("Missing cars file")
29
+ return None
30
+ cars = standardize_cars(filename, households)
31
+ # motorcycles.
32
+ filename = motorcycles_filename(source)
33
+ if filename is None:
34
+ logger.error("Missing motorcycles file")
35
+ return None
36
+ motorcycles = standardize_motorcycles(filename, households)
37
+ # Persons.
38
+ filename = persons_filename(source)
39
+ if filename is None:
40
+ logger.error("Missing persons file")
41
+ return None
42
+ persons = standardize_persons(filename, households)
43
+ # Trips.
44
+ filename = trips_filename(source)
45
+ if filename is None:
46
+ logger.error("Missing trips file")
47
+ return None
48
+ trips = standardize_trips(filename, households, persons)
49
+ # Legs.
50
+ filename = legs_filename(source)
51
+ if filename is None:
52
+ logger.error("Missing legs file")
53
+ return None
54
+ legs = standardize_legs(filename, trips, cars, motorcycles, persons)
55
+ return clean(
56
+ households=households,
57
+ persons=persons,
58
+ trips=trips,
59
+ legs=legs,
60
+ cars=cars,
61
+ motorcycles=motorcycles,
62
+ survey_type="EGT2020",
63
+ survey_name="EGT2020",
64
+ main_insee="75056",
65
+ )
66
+
67
+
68
+ def households_filename(source: str | ZipFile):
69
+ return find_file(source, "a_menage_egt1820.csv", subdir="Csv")
70
+
71
+
72
+ def persons_filename(source: str | ZipFile):
73
+ return find_file(source, "b_individu_egt1820.csv", subdir="Csv")
74
+
75
+
76
+ def trips_filename(source: str | ZipFile):
77
+ return find_file(source, "c_deplacement_egt1820.csv", subdir="Csv")
78
+
79
+
80
+ def legs_filename(source: str | ZipFile):
81
+ return find_file(source, "d_trajet_egt1820.csv", subdir="Csv")
82
+
83
+
84
+ def cars_filename(source: str | ZipFile):
85
+ return find_file(source, "e_voiture_egt1820.csv", subdir="Csv")
86
+
87
+
88
+ def motorcycles_filename(source: str | ZipFile):
89
+ return find_file(source, "f_drm_egt1820.csv", subdir="Csv")