mobisurvstd 0.1.0__py3-none-any.whl
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- mobisurvstd/__init__.py +8 -0
- mobisurvstd/__main__.py +4 -0
- mobisurvstd/classes.py +344 -0
- mobisurvstd/clean.py +1661 -0
- mobisurvstd/cli.py +44 -0
- mobisurvstd/common/__init__.py +1 -0
- mobisurvstd/common/cars.py +120 -0
- mobisurvstd/common/clean.py +470 -0
- mobisurvstd/common/households.py +97 -0
- mobisurvstd/common/legs.py +136 -0
- mobisurvstd/common/modes.py +52 -0
- mobisurvstd/common/motorcycles.py +44 -0
- mobisurvstd/common/persons.py +228 -0
- mobisurvstd/common/trips.py +253 -0
- mobisurvstd/common/zones.py +43 -0
- mobisurvstd/egt2010/__init__.py +1 -0
- mobisurvstd/egt2010/deplacements.py +170 -0
- mobisurvstd/egt2010/menages.py +378 -0
- mobisurvstd/egt2010/personnes.py +307 -0
- mobisurvstd/egt2010/survey.py +84 -0
- mobisurvstd/egt2010/trajets.py +211 -0
- mobisurvstd/egt2010/zones.py +11 -0
- mobisurvstd/egt2020/__init__.py +1 -0
- mobisurvstd/egt2020/deplacements.py +173 -0
- mobisurvstd/egt2020/menages.py +162 -0
- mobisurvstd/egt2020/motos.py +103 -0
- mobisurvstd/egt2020/personnes.py +391 -0
- mobisurvstd/egt2020/survey.py +89 -0
- mobisurvstd/egt2020/trajets.py +317 -0
- mobisurvstd/egt2020/voitures.py +128 -0
- mobisurvstd/emc2/__init__.py +1 -0
- mobisurvstd/emc2/common.py +42 -0
- mobisurvstd/emc2/deplacements.py +153 -0
- mobisurvstd/emc2/menages.py +358 -0
- mobisurvstd/emc2/personnes.py +305 -0
- mobisurvstd/emc2/survey.py +309 -0
- mobisurvstd/emc2/trajets.py +274 -0
- mobisurvstd/emc2/zones.py +107 -0
- mobisurvstd/emp/__init__.py +1 -0
- mobisurvstd/emp/deplacements.py +407 -0
- mobisurvstd/emp/menages.py +182 -0
- mobisurvstd/emp/motos.py +126 -0
- mobisurvstd/emp/personnes.py +543 -0
- mobisurvstd/emp/survey.py +93 -0
- mobisurvstd/emp/voitures.py +218 -0
- mobisurvstd/logger.py +15 -0
- mobisurvstd/main.py +158 -0
- mobisurvstd/resources/__init__.py +0 -0
- mobisurvstd/resources/admin_express.py +88 -0
- mobisurvstd/resources/insee_data.py +307 -0
- mobisurvstd/resources/nuts.py +129 -0
- mobisurvstd/schema.py +902 -0
- mobisurvstd/utils.py +125 -0
- mobisurvstd-0.1.0.dist-info/METADATA +210 -0
- mobisurvstd-0.1.0.dist-info/RECORD +58 -0
- mobisurvstd-0.1.0.dist-info/WHEEL +5 -0
- mobisurvstd-0.1.0.dist-info/licenses/LICENSE.md +7 -0
- mobisurvstd-0.1.0.dist-info/top_level.txt +1 -0
|
@@ -0,0 +1,103 @@
|
|
|
1
|
+
import polars as pl
|
|
2
|
+
|
|
3
|
+
from mobisurvstd.common.motorcycles import clean
|
|
4
|
+
|
|
5
|
+
SCHEMA = {
|
|
6
|
+
"IDCEREMA": pl.String, # Identifiant du ménage
|
|
7
|
+
"TYPE_QUEST": pl.String, # Type de questionnaire
|
|
8
|
+
"NRM": pl.UInt8, # Numéro du deux-roues motorisé parmi ceux du ménage
|
|
9
|
+
"MARQ": pl.String, # Marque
|
|
10
|
+
"MDL": pl.String, # Modèle
|
|
11
|
+
"ENERG": pl.UInt8, # Motorisation du véhicule
|
|
12
|
+
"ENERG_txt": pl.String, # Motorisation du véhicule
|
|
13
|
+
"APMC": pl.UInt16, # Année de première mise en circulation
|
|
14
|
+
"CYL": pl.UInt16, # Cylindrée
|
|
15
|
+
"ANKM": pl.UInt8, # Kilomètres annuels
|
|
16
|
+
"STAT": pl.UInt8, # Stationnement au domicile
|
|
17
|
+
"STAT_txt": pl.String, # Stationnement au domicile
|
|
18
|
+
"STAT_G": pl.UInt8, # Le stationnement est-il payant (STAT=2 ou STAT =3 et STAT_VT<>3) ?
|
|
19
|
+
"STAT_GT": pl.Float64, # Tarif garage
|
|
20
|
+
"STAT_VT": pl.UInt8, # Type de stationnement sur voirie
|
|
21
|
+
}
|
|
22
|
+
|
|
23
|
+
FUEL_TYPE_MAP = {
|
|
24
|
+
"11": "thermic", # Essence (moteur 2 temps)
|
|
25
|
+
"12": "thermic", # Essence (moteur 4 temps)
|
|
26
|
+
"2": "electric", # Electrique
|
|
27
|
+
"9": "other", # Autre
|
|
28
|
+
}
|
|
29
|
+
|
|
30
|
+
THERMIC_ENGINE_TYPE_MAP = {
|
|
31
|
+
"11": "two_stroke", # Essence (moteur 2 temps)
|
|
32
|
+
"12": "four_stroke", # Essence (moteur 4 temps)
|
|
33
|
+
"2": None, # Electrique
|
|
34
|
+
"9": None, # Autre
|
|
35
|
+
}
|
|
36
|
+
|
|
37
|
+
MILEAGE_LB_MAP = {
|
|
38
|
+
1: 0, # 5 000 km ou moins
|
|
39
|
+
2: 5001, # 5 001 km à 10 000 km
|
|
40
|
+
3: 10001, # 10 0001 km à 15 000 km
|
|
41
|
+
4: 15001, # 15 001 km à 20 000 km
|
|
42
|
+
5: 20000, # Plus de 20 000 km
|
|
43
|
+
}
|
|
44
|
+
|
|
45
|
+
MILEAGE_UB_MAP = {
|
|
46
|
+
1: 5000, # 5 000 km ou moins
|
|
47
|
+
2: 10000, # 5 001 km à 10 000 km
|
|
48
|
+
3: 15000, # 10 0001 km à 15 000 km
|
|
49
|
+
4: 20000, # 15 001 km à 20 000 km
|
|
50
|
+
5: None, # Plus de 20 000 km
|
|
51
|
+
}
|
|
52
|
+
|
|
53
|
+
PARKING_LOCATION_MAP = {
|
|
54
|
+
1: "garage", # Dans un garage, dans un box ou un autre emplacement réservé
|
|
55
|
+
2: "street", # Sur la voie publique
|
|
56
|
+
3: "parking_lot", # Dans un parking public
|
|
57
|
+
4: "parking_lot", # Dans le parking d'un centre commercial ou dans le parking de son entreprise
|
|
58
|
+
9: "other", # Autre
|
|
59
|
+
}
|
|
60
|
+
|
|
61
|
+
PARKING_TYPE_MAP = {
|
|
62
|
+
0: "free",
|
|
63
|
+
1: "paid",
|
|
64
|
+
2: "free",
|
|
65
|
+
}
|
|
66
|
+
|
|
67
|
+
|
|
68
|
+
def scan_motorcycles(filename: str):
|
|
69
|
+
lf = pl.scan_csv(
|
|
70
|
+
filename,
|
|
71
|
+
separator=";",
|
|
72
|
+
encoding="utf8-lossy",
|
|
73
|
+
schema_overrides=SCHEMA,
|
|
74
|
+
null_values=["-1"],
|
|
75
|
+
)
|
|
76
|
+
return lf
|
|
77
|
+
|
|
78
|
+
|
|
79
|
+
def standardize_motorcycles(filename: str, households: pl.LazyFrame):
|
|
80
|
+
lf = scan_motorcycles(filename)
|
|
81
|
+
# Add household_id.
|
|
82
|
+
lf = lf.with_columns(original_household_id=pl.struct("IDCEREMA")).join(
|
|
83
|
+
households.select("original_household_id", "household_id"),
|
|
84
|
+
on="original_household_id",
|
|
85
|
+
how="left",
|
|
86
|
+
coalesce=True,
|
|
87
|
+
)
|
|
88
|
+
lf = lf.with_columns(
|
|
89
|
+
original_motorcycle_id=pl.struct("IDCEREMA", "NRM"),
|
|
90
|
+
fuel_type=pl.col("ENERG").replace_strict(FUEL_TYPE_MAP),
|
|
91
|
+
# 1900 is used as undetermined year.
|
|
92
|
+
year=pl.col("APMC").replace([1900], None),
|
|
93
|
+
thermic_engine_type=pl.col("ENERG").replace_strict(THERMIC_ENGINE_TYPE_MAP),
|
|
94
|
+
# 0 is used for unknown cm3
|
|
95
|
+
cm3_lower_bound=pl.col("CYL").replace([0], None),
|
|
96
|
+
cm3_upper_bound=pl.col("CYL").replace([0], None),
|
|
97
|
+
annual_mileage_lower_bound=pl.col("ANKM").replace_strict(MILEAGE_LB_MAP),
|
|
98
|
+
annual_mileage_upper_bound=pl.col("ANKM").replace_strict(MILEAGE_UB_MAP),
|
|
99
|
+
parking_location=pl.col("STAT").replace_strict(PARKING_LOCATION_MAP),
|
|
100
|
+
parking_type=pl.col("STAT_G").replace_strict(PARKING_TYPE_MAP),
|
|
101
|
+
)
|
|
102
|
+
lf = clean(lf)
|
|
103
|
+
return lf
|
|
@@ -0,0 +1,391 @@
|
|
|
1
|
+
import polars as pl
|
|
2
|
+
|
|
3
|
+
from mobisurvstd.common.persons import clean
|
|
4
|
+
|
|
5
|
+
SCHEMA = {
|
|
6
|
+
"IDCEREMA": pl.String, # Identifiant du ménage
|
|
7
|
+
"TYPE_QUEST": pl.String, # Type de questionnaire
|
|
8
|
+
"NP": pl.UInt8, # Numéro de personne dans le ménage
|
|
9
|
+
"RESDEP": pl.String, # Département de résidence
|
|
10
|
+
"RESCOUR": pl.UInt8, # Couronne de résidence
|
|
11
|
+
"RESCOMM": pl.String, # Commune de résidence
|
|
12
|
+
"JOURSEM": pl.String, # Jour de la semaine de la date schéma des déplacements
|
|
13
|
+
"LIENP1": pl.UInt8, # Lien de parenté avec la personne 1
|
|
14
|
+
"SEXE": pl.UInt8, # Sexe
|
|
15
|
+
"AGE": pl.UInt8, # Age
|
|
16
|
+
"TRAGE": pl.UInt8, # Classes d'âge
|
|
17
|
+
"PERMVP": pl.UInt8, # Permis de conduire voiture
|
|
18
|
+
"ABONVP": pl.UInt8, # Abonnement autopartage
|
|
19
|
+
"T_ABONVP": pl.UInt8, # Type d'abonnement autopartage
|
|
20
|
+
"PERM2RM": pl.UInt8, # Permis de conduire 2RM
|
|
21
|
+
"ABONTC": pl.UInt8, # Abonnement TC
|
|
22
|
+
"ABONTC_10": pl.UInt8, # Forfait Navigo
|
|
23
|
+
"ABONC_11": pl.UInt8, # Forfait Navigo + Annuel
|
|
24
|
+
"ABONTC_12": pl.UInt8, # Forfait Navigo + Mois
|
|
25
|
+
"ABONTC_13": pl.UInt8, # Forfait Navigo + Semaine
|
|
26
|
+
"ABONTC_20": pl.UInt8, # Forfait Navigo gratuité
|
|
27
|
+
"ABONTC_30": pl.UInt8, # Forfait Améthyste
|
|
28
|
+
"ABONTC_40": pl.UInt8, # Forfait Navigo Solidarité
|
|
29
|
+
"ABONTC_41": pl.UInt8, # Forfait Navigo Solidarité + Mois
|
|
30
|
+
"ABONTC_42": pl.UInt8, # Forfait Navigo Solidarité + Semaine
|
|
31
|
+
"ABONTC_50": pl.UInt8, # Forfait Imagine R
|
|
32
|
+
"ABONTC_51": pl.UInt8, # Forfait Imagine R + Scolaire
|
|
33
|
+
"ABONTC_52": pl.UInt8, # Forfait Imagine R + Etudiant
|
|
34
|
+
"ABONTC_60": pl.UInt8, # Forfait Gratuité Jeunes en insertion
|
|
35
|
+
"ABONTC_70": pl.UInt8, # Carte scolaire bus ligne régulière ou carte Scol'R
|
|
36
|
+
"ABONTC_90": pl.UInt8, # Autre abonnement (exemple : police, RATP…)
|
|
37
|
+
"ZONTC": pl.UInt8, # Zonage de l'abonnement TC
|
|
38
|
+
"SUPPTC": pl.UInt8, # Support de l'abonnement TC
|
|
39
|
+
"SUPPTC_txt": pl.String, # Support de l'abonnement TC
|
|
40
|
+
"NV_MOIS": pl.UInt8, # Nombre de forfaits Mois
|
|
41
|
+
"NV_SEM": pl.UInt8, # Nombre de forfaits Semaine
|
|
42
|
+
"REMBTC": pl.UInt8, # Prise en charge de l’abonnement TC par l’employeur
|
|
43
|
+
"ABONVLS": pl.UInt8, # Abonnement de Vélib ou VLS
|
|
44
|
+
"OCCP": pl.UInt8, # Occupation principale
|
|
45
|
+
"OCCP_txt": pl.String, # Occupation principale
|
|
46
|
+
"DIPL": pl.UInt8, # Plus haut niveau de diplôme obtenu
|
|
47
|
+
"PROF": pl.String, # Profession
|
|
48
|
+
"CS8": pl.UInt8, # Catégorie socioprofessionnelle Niveau 1
|
|
49
|
+
"CS24L": pl.UInt8, # Catégorie socioprofessionnelle Niveau 2
|
|
50
|
+
"LIEU_TRAV": pl.UInt8, # Habitude de travail
|
|
51
|
+
"LIEU_TRAV_txt": pl.String,
|
|
52
|
+
"TRAVCOMM": pl.String, # Commune du lieu de travail
|
|
53
|
+
"TRAVLNG": pl.Float64, # Longitude du lieu de travail
|
|
54
|
+
"TRAVLAT": pl.Float64, # Latitude du lieu de travail
|
|
55
|
+
"HIER_TRAV": pl.UInt8, # Avez-vous travaillé hier ?
|
|
56
|
+
"HIER_TRAV_txt": pl.String, # Avez-vous travaillé hier ?
|
|
57
|
+
"HIER_NON_TRAV": pl.String, # Raison pour laquelle la personne n'a pas travaillé
|
|
58
|
+
"HIER_NON_TRAV_txt": pl.String, # Raison pour laquelle la personne n'a pas travaillé
|
|
59
|
+
"PKVPTRAV": pl.UInt8, # Disponibilité d'un parking au lieu de travail
|
|
60
|
+
"PKVLTRAV": pl.UInt8, # Disponibilité d'un parking vélo au lieu de travail
|
|
61
|
+
"LIEU_ETUD": pl.UInt8, # Habitude d'études
|
|
62
|
+
"LIEU_ETUD_txt": pl.String, # Habitude d'études
|
|
63
|
+
"ETUDCOMM": pl.String, # Commune du lieu d'études principal
|
|
64
|
+
"ETUDLNG": pl.Float64, # Longitude du lieu d'études
|
|
65
|
+
"ETUDLAT": pl.Float64, # Latitude du lieu d'études
|
|
66
|
+
"PKVPETUD": pl.UInt8, # Disponibilité d'un parking au lieu d'études
|
|
67
|
+
"PKVLETUD": pl.UInt8, # Disponibilité d'un parking vélo au lieu d'études
|
|
68
|
+
"GENE": pl.UInt8, # Gêne ressentie lors des déplacements
|
|
69
|
+
"DEPL": pl.UInt8, # La personne s'est-elle déplacée la veille ?
|
|
70
|
+
"NBDEPL": pl.UInt8, # Nombre de déplacements réalisés
|
|
71
|
+
"NBDEPLVP": pl.UInt8, # Nombre de déplacements réalisés en voiture (passager ou conducteur)
|
|
72
|
+
"NBDEPLVPC": pl.UInt8, # Nombre de déplacements réalisés en voiture (conducteur)
|
|
73
|
+
"NBDEPLTC": pl.UInt8, # Nombre de déplacements réalisés en transports collectifs
|
|
74
|
+
"NBDEPLVELO": pl.UInt8, # Nombre de déplacements réalisés à vélo
|
|
75
|
+
"NBDEPL2RM": pl.UInt8, # Nombre de déplacements réalisés en deux roues-motorisé
|
|
76
|
+
"NBDEPLMAP": pl.UInt8, # Nombre de déplacements réalisés à pied
|
|
77
|
+
"DDOMTRAV": pl.Float64, # Distance à vol d’oiseau entre le domicile et le lieu de travail ou d’étude (en km avec une décimale)
|
|
78
|
+
"NONDEPL_T": pl.UInt8, # Si la personne ne s’est pas déplacée pour aller au travail, quelle en était la raison ?
|
|
79
|
+
"NONDEPL_T_txt": pl.String, # Si la personne ne s’est pas déplacée pour aller au travail, quelle en était la raison ?
|
|
80
|
+
"NONDEPL": pl.UInt8, # Si la personne ne s’est pas déplacée du tout, quelle en était la raison ?
|
|
81
|
+
"NONDEPL_txt": pl.String, # Si la personne ne s’est pas déplacée du tout, quelle en était la raison
|
|
82
|
+
"DERDEPL": pl.UInt32, # Date du dernier déplacement
|
|
83
|
+
"DERJOUR": pl.UInt16, # Nombre de jours depuis le dernier déplacement
|
|
84
|
+
"DER_CL": pl.UInt8, # Classe du dernier déplacement
|
|
85
|
+
"NB_7JOURS": pl.UInt8, # Nombre de jours où la personne s'est déplacée la semaine passée
|
|
86
|
+
"NB_7JOURS_T": pl.UInt8, # Nombre de jours où la personne s'est déplacée la semaine passée pour le travail
|
|
87
|
+
"TPS_PART": pl.UInt8, # Quantité de temps partiel
|
|
88
|
+
"ORG_TP": pl.UInt8, # Organisation du temps partiel
|
|
89
|
+
"HOR_TRAV": pl.UInt8, # Horaires de travail
|
|
90
|
+
"HOR_TRAV_txt": pl.String, # Horaires de travail
|
|
91
|
+
"FREQ_T": pl.UInt8, # Fréquence des déplacements pour le travail ou les études
|
|
92
|
+
"FREQ_A": pl.UInt8, # Fréquence des déplacements pour les achats
|
|
93
|
+
"FREQ_L": pl.UInt8, # Fréquence des déplacements pour les loisirs
|
|
94
|
+
"FREQ_D": pl.UInt8, # Fréquence des déplacements pour les démarches
|
|
95
|
+
"ACH_INT": pl.UInt8, # Avez-vous effectué des achats sur internet au cours des 7 derniers jours ?
|
|
96
|
+
"ACH_INT11": pl.UInt8, # Avez-vous effectué des achats sur internet au cours des 7 derniers jours pour des biens de consommation courante ?
|
|
97
|
+
"ACH_INT12": pl.UInt8, # Avez-vous effectué des achats sur internet au cours des 7 derniers jours pour des vêtements ou accessoires ?
|
|
98
|
+
"ACH_INT13": pl.UInt8, # Avez-vous effectué des achats sur internet au cours des 7 derniers jours pour bien d'équipement ou technologiques ?
|
|
99
|
+
"ACH_INT14": pl.UInt8, # Avez-vous effectué des achats sur internet au cours des 7 derniers jours pour des biens ou services culturels ?
|
|
100
|
+
"ACH_INT15": pl.UInt8, # Avez-vous effectué des achats sur internet au cours des 7 derniers jours pour des billets de transport ?
|
|
101
|
+
"ACH_INT19": pl.String, # Détails des achats sur internet au cours des 7 derniers jours
|
|
102
|
+
"PORTAB": pl.UInt8, # Possession d'un téléphone portable
|
|
103
|
+
"APPS": pl.UInt8, # Utilisation d'applications sur son smartphone pour se déplacer en Île-de-France
|
|
104
|
+
"APPS_LIST": pl.String, # Type d'application utilisée
|
|
105
|
+
"APPS_LIST_txt": pl.String, # Type d'application utilisée
|
|
106
|
+
"TROT_LS": pl.UInt8, # Utilisation d'une trottinette en libre-service au cours du dernier mois
|
|
107
|
+
"TROT_LS_APP": pl.String, # Type d'application de trottinette électrique utilisée au cours du dernier mois
|
|
108
|
+
"TROT_LS_APP_txt": pl.String, # Type d'application de trottinette électrique utilisée au cours du dernier mois
|
|
109
|
+
"VELO_LS": pl.UInt8, # Utilisation d'un vélo en libre-service au cours du dernier mois
|
|
110
|
+
"VELO_LS_APP": pl.String, # Type d'application de vélo en libre-service utilisée au cours du dernier mois
|
|
111
|
+
"VELO_LS_APP_txt": pl.String, # Type d'application de vélo en libre-service utilisée au cours du dernier mois
|
|
112
|
+
"VOIT_LS": pl.UInt8, # Utilisation d'un voiture en autopartage ou libre-service au cours du dernier mois
|
|
113
|
+
"VOIT_LS_APP": pl.String, # Type d'application de voiture en autopartage ou libre-service utilisée au cours du dernier mois
|
|
114
|
+
"VOIT_LS_APP_txt": pl.String, # Type d'application de voitures en autopartage ou libre-service utilisée au cours du dernier mois
|
|
115
|
+
"COVOIT": pl.UInt8, # Utilisation d'un application de covoiturage au cours du dernier mois
|
|
116
|
+
"COVOIT_ROLE": pl.UInt8, # Rôle pendant le covoiturage
|
|
117
|
+
"COVOIT_APP": pl.String, # Type d'application de covoiturage utilisée au cours du dernier mois
|
|
118
|
+
"COVOIT_APP_txt": pl.String, # Type d'application de covoiturage utilisée au cours du dernier mois
|
|
119
|
+
"KISH": pl.UInt8, # Dans le cas des enquêtes CATI, vaut 1 si l'individu a été tiré au sort, sinon 0
|
|
120
|
+
"POIDSI": pl.Float64, # Poids de l'individu (uniquement les 5 ans et plus et ayant été enquêtés)
|
|
121
|
+
"POIDSTI": pl.Float64, # Poids de l'individu (tous les individus du ménage)
|
|
122
|
+
}
|
|
123
|
+
|
|
124
|
+
REFERENCE_PERSON_LINK_MAP = {
|
|
125
|
+
None: "reference_person",
|
|
126
|
+
1: "spouse", # Conjoint
|
|
127
|
+
2: "child", # Enfant, gendre, belle-fille
|
|
128
|
+
3: "other:relative", # Petit-enfant
|
|
129
|
+
4: "other:relative", # Parent, beau-parent, ascendant
|
|
130
|
+
5: "other:relative", # Autre lien de parenté
|
|
131
|
+
6: "other:non_relative", # Employé de maison salarié et logé
|
|
132
|
+
7: "other:relative", # Frère, sœur
|
|
133
|
+
8: "other:non_relative", # Autre sans lien de parenté
|
|
134
|
+
9: "other:non_relative", # NOTE. It seems that 9 is used instead of 8...
|
|
135
|
+
}
|
|
136
|
+
|
|
137
|
+
EDUCATION_LEVEL_MAP = {
|
|
138
|
+
0: "no_studies_or_no_diploma", # Aucun diplôme
|
|
139
|
+
1: "secondary:no_bac", # CEP (certificat d'études primaires), BEPC, brevet élémentaire, brevet des collèges
|
|
140
|
+
2: "secondary:no_bac", # CAP, BEP ou diplôme de niveau équivalent
|
|
141
|
+
3: "secondary:bac", # Baccalauréat général ou technologique ou diplôme de niveau équivalent
|
|
142
|
+
4: "higher:at_most_bac+2", # BAC+2 : BTS, DUT, DEUG…
|
|
143
|
+
5: "higher:at_least_bac+3", # BAC+3 ou BAC+4 : licence, licence pro, maîtrise…
|
|
144
|
+
6: "higher:at_least_bac+3", # Bac+5 et plus : Master, DEA, DESS, diplôme de grandes écoles, doctorat…
|
|
145
|
+
}
|
|
146
|
+
|
|
147
|
+
DETAILED_EDUCATION_LEVEL_MAP = {
|
|
148
|
+
0: "no_diploma", # Aucun diplôme
|
|
149
|
+
# CEP should actually be primary:CEP but let's assume that brevet is the most common choice here
|
|
150
|
+
1: "secondary:no_bac:college", # CEP (certificat d'études primaires), BEPC, brevet élémentaire, brevet des collèges
|
|
151
|
+
2: "secondary:no_bac:CAP/BEP", # CAP, BEP ou diplôme de niveau équivalent
|
|
152
|
+
3: "secondary:bac:unspecified", # Baccalauréat général ou technologique ou diplôme de niveau équivalent
|
|
153
|
+
4: "higher:at_most_bac+2:unspecified", # BAC+2 : BTS, DUT, DEUG…
|
|
154
|
+
5: "higher:bac+3_or_+4", # BAC+3 ou BAC+4 : licence, licence pro, maîtrise…
|
|
155
|
+
6: "higher:at_least_bac+5", # Bac+5 et plus : Master, DEA, DESS, diplôme de grandes écoles, doctorat…
|
|
156
|
+
}
|
|
157
|
+
|
|
158
|
+
PROFESSIONAL_OCCUPATION_MAP = {
|
|
159
|
+
10: "worker", # Emploi + non-réponse
|
|
160
|
+
11: "worker", # Emploi + à temps complet
|
|
161
|
+
12: "worker", # Emploi + à temps partiel
|
|
162
|
+
20: "student", # Apprentissage sous contrat ou stage rémunéré
|
|
163
|
+
31: "student", # Scolaire (école, collège, lycée) ou stage non rémunéré
|
|
164
|
+
32: "student", # Etudiant ou stage non rémunéré
|
|
165
|
+
40: "other", # Chômage (inscrit ou non à Pôle Emploi)
|
|
166
|
+
50: "other", # Retraite ou pré-retraite (ancien salarié ou ancien indépendant)
|
|
167
|
+
60: "other", # Femme ou homme au foyer
|
|
168
|
+
90: "other", # Autre
|
|
169
|
+
}
|
|
170
|
+
|
|
171
|
+
DETAILED_PROFESSIONAL_OCCUPATION_MAP = {
|
|
172
|
+
10: "worker:unspecified", # Emploi + non-réponse
|
|
173
|
+
11: "worker:full_time", # Emploi + à temps complet
|
|
174
|
+
12: "worker:part_time", # Emploi + à temps partiel
|
|
175
|
+
20: "student:apprenticeship", # Apprentissage sous contrat ou stage rémunéré
|
|
176
|
+
31: "student:primary_or_secondary", # Scolaire (école, collège, lycée) ou stage non rémunéré
|
|
177
|
+
32: "student:higher", # Etudiant ou stage non rémunéré
|
|
178
|
+
40: "other:unemployed", # Chômage (inscrit ou non à Pôle Emploi)
|
|
179
|
+
50: "other:retired", # Retraite ou pré-retraite (ancien salarié ou ancien indépendant)
|
|
180
|
+
60: "other:homemaker", # Femme ou homme au foyer
|
|
181
|
+
90: "other:unspecified", # Autre
|
|
182
|
+
}
|
|
183
|
+
|
|
184
|
+
WORKPLACE_SINGULARITY_MAP = {
|
|
185
|
+
1: "unique:outside", # Vous avez un lieu de travail principal hors de votre domicile (bureau, entreprise, usine…)
|
|
186
|
+
2: "variable", # Vous vous déplacez chez des clients
|
|
187
|
+
3: "unique:home", # Vous travaillez à votre domicile
|
|
188
|
+
# NOTE. When looking at variable LIEU_TRAV_txt, it seems that almost all the "Autre" answers
|
|
189
|
+
# would fit in the case "variable".
|
|
190
|
+
9: "variable", # Autre
|
|
191
|
+
}
|
|
192
|
+
|
|
193
|
+
CAR_PARKING_MAP = {0: "no", 1: "yes:unspecified"}
|
|
194
|
+
|
|
195
|
+
BICYCLE_PARKING_MAP = {
|
|
196
|
+
0: "no",
|
|
197
|
+
10: "yes:on_site",
|
|
198
|
+
11: "yes:on_site:sheltered",
|
|
199
|
+
12: "yes:on_site:unsheltered",
|
|
200
|
+
}
|
|
201
|
+
|
|
202
|
+
STUDENT_CATEGORY_MAP = {
|
|
203
|
+
# For person below 5 year old, the CS24L column is null, so we can reasonably assume that no one
|
|
204
|
+
# is in maternelle.
|
|
205
|
+
80: "primaire", # Maternelle ou Primaire (CP à CM2)
|
|
206
|
+
81: "collège:6e", # Collège, 6ème
|
|
207
|
+
82: "collège:5e", # Collège, 5ème
|
|
208
|
+
83: "collège:4e", # Collège, 4ème
|
|
209
|
+
84: "collège:3e", # Collège, 3ème
|
|
210
|
+
85: "collège:SEGPA", # Collège, SEGPA
|
|
211
|
+
86: "lycée:CAP", # Technique court (CAP, BEP)
|
|
212
|
+
87: "lycée:seconde", # Lycée, Seconde
|
|
213
|
+
88: "lycée:première", # Lycée, 1ère
|
|
214
|
+
89: "lycée:terminale", # Lycée, Terminale, niveau Bac ou Brevet professionnel
|
|
215
|
+
90: "supérieur:technique", # Technique supérieur (IUT, BTS)
|
|
216
|
+
91: "supérieur:prépa1", # 1ère année de classe préparatoire (à des concours ou intégrée)
|
|
217
|
+
92: "supérieur:prépa2", # 2éme année de classe préparatoire (à des concours ou intégrée)
|
|
218
|
+
93: "supérieur:BAC+1", # Bac+1
|
|
219
|
+
94: "supérieur:BAC+2", # Bac+2
|
|
220
|
+
95: "supérieur:BAC+3", # Bac+3
|
|
221
|
+
96: "supérieur:BAC+4", # Bac+4
|
|
222
|
+
97: "supérieur:BAC+5", # Bac+5
|
|
223
|
+
98: "supérieur:BAC+6&+", # Bac+6 ou plus
|
|
224
|
+
}
|
|
225
|
+
|
|
226
|
+
DRIVING_LICENSE_MAP = {
|
|
227
|
+
0: "no",
|
|
228
|
+
1: "yes",
|
|
229
|
+
2: "in_progress",
|
|
230
|
+
}
|
|
231
|
+
|
|
232
|
+
CAR_SHARING_MAP = {
|
|
233
|
+
# 0 is used instead of -1?
|
|
234
|
+
0: None,
|
|
235
|
+
1: "yes:organized", # Est en libre-service : possibilité de rendre le véhicule ailleurs, réservation facultative (Autolib…)
|
|
236
|
+
2: "yes:organized", # Fonctionne en boucle - on doit rendre le véhicule où on l'a pris (ZipCar…)
|
|
237
|
+
3: "yes:peer_to_peer", # Se fait entre particuliers (Drivy…)
|
|
238
|
+
}
|
|
239
|
+
|
|
240
|
+
|
|
241
|
+
def scan_persons(filename: str):
|
|
242
|
+
# We use the inefficient `read_csv().lazy()` because we need to use `encoding="latin1"`, which
|
|
243
|
+
# does not exist with `scan_csv()`.
|
|
244
|
+
lf = pl.read_csv(
|
|
245
|
+
filename,
|
|
246
|
+
separator=";",
|
|
247
|
+
encoding="latin1",
|
|
248
|
+
schema_overrides=SCHEMA,
|
|
249
|
+
null_values=["-1", "-10"],
|
|
250
|
+
).lazy()
|
|
251
|
+
return lf
|
|
252
|
+
|
|
253
|
+
|
|
254
|
+
def standardize_persons(filename: str, households: pl.LazyFrame):
|
|
255
|
+
lf = scan_persons(filename)
|
|
256
|
+
# Add household_id.
|
|
257
|
+
lf = lf.with_columns(original_household_id=pl.struct("IDCEREMA")).join(
|
|
258
|
+
households.select("original_household_id", "household_id"),
|
|
259
|
+
on="original_household_id",
|
|
260
|
+
how="left",
|
|
261
|
+
coalesce=True,
|
|
262
|
+
)
|
|
263
|
+
lf = lf.rename(
|
|
264
|
+
{
|
|
265
|
+
"AGE": "age",
|
|
266
|
+
"CS8": "pcs_group_code",
|
|
267
|
+
"TRAVLNG": "work_lng",
|
|
268
|
+
"TRAVLAT": "work_lat",
|
|
269
|
+
"ETUDLNG": "study_lng",
|
|
270
|
+
"ETUDLAT": "study_lat",
|
|
271
|
+
"POIDSTI": "sample_weight_all",
|
|
272
|
+
"POIDSI": "sample_weight_surveyed",
|
|
273
|
+
}
|
|
274
|
+
)
|
|
275
|
+
lf = lf.with_columns(
|
|
276
|
+
original_person_id=pl.struct("IDCEREMA", "NP"),
|
|
277
|
+
reference_person_link=pl.col("LIENP1").replace_strict(REFERENCE_PERSON_LINK_MAP),
|
|
278
|
+
woman=pl.col("SEXE") == 2,
|
|
279
|
+
education_level=pl.col("DIPL").replace_strict(EDUCATION_LEVEL_MAP),
|
|
280
|
+
detailed_education_level=pl.col("DIPL").replace_strict(DETAILED_EDUCATION_LEVEL_MAP),
|
|
281
|
+
professional_occupation=pl.col("OCCP").replace_strict(PROFESSIONAL_OCCUPATION_MAP),
|
|
282
|
+
detailed_professional_occupation=pl.col("OCCP").replace_strict(
|
|
283
|
+
DETAILED_PROFESSIONAL_OCCUPATION_MAP
|
|
284
|
+
),
|
|
285
|
+
pcs_category_code2003=pl.when(pl.col("CS24L").is_between(1, 69)).then("CS24L"),
|
|
286
|
+
workplace_singularity=pl.col("LIEU_TRAV").replace_strict(WORKPLACE_SINGULARITY_MAP),
|
|
287
|
+
# Column DDOMTRAV can represent either work commute distance or study commute distance.
|
|
288
|
+
work_commute_euclidean_distance_km=pl.when(pl.col("work_lng").is_not_null())
|
|
289
|
+
.then("DDOMTRAV")
|
|
290
|
+
.otherwise(None),
|
|
291
|
+
study_commute_euclidean_distance_km=pl.when(pl.col("study_lng").is_not_null())
|
|
292
|
+
.then("DDOMTRAV")
|
|
293
|
+
.otherwise(None),
|
|
294
|
+
work_car_parking=pl.col("PKVPTRAV").replace_strict(CAR_PARKING_MAP),
|
|
295
|
+
work_bicycle_parking=pl.col("PKVLTRAV").replace_strict(BICYCLE_PARKING_MAP),
|
|
296
|
+
# The student category is not reported in CS24L, contrarily to what the survey documentation
|
|
297
|
+
# says.
|
|
298
|
+
# student_category=pl.col("CS24L").replace_strict(
|
|
299
|
+
# STUDENT_CATEGORY_MAP, default=None
|
|
300
|
+
# ),
|
|
301
|
+
study_only_at_home=pl.col("LIEU_ETUD").eq(2),
|
|
302
|
+
study_car_parking=pl.col("PKVPETUD").replace_strict(CAR_PARKING_MAP),
|
|
303
|
+
study_bicycle_parking=pl.col("PKVLETUD").replace_strict(BICYCLE_PARKING_MAP),
|
|
304
|
+
has_driving_license=pl.col("PERMVP").replace_strict(DRIVING_LICENSE_MAP),
|
|
305
|
+
has_motorcycle_driving_license=pl.col("PERM2RM").replace_strict(DRIVING_LICENSE_MAP),
|
|
306
|
+
has_public_transit_subscription=pl.col("ABONTC").eq(1),
|
|
307
|
+
public_transit_subscription=pl.when(
|
|
308
|
+
# Forfait Navigo Gratuité, Améthyste et Gratuité Jeunes en insertion
|
|
309
|
+
pl.col("ABONTC_20").eq(1) | pl.col("ABONTC_30").eq(1) | pl.col("ABONTC_60").eq(1)
|
|
310
|
+
)
|
|
311
|
+
.then(pl.lit("yes:free"))
|
|
312
|
+
.when(
|
|
313
|
+
pl.col("ABONTC_40").eq(1)
|
|
314
|
+
| pl.col("ABONTC_41").eq(1)
|
|
315
|
+
| pl.col("ABONTC_42").eq(1)
|
|
316
|
+
| pl.col("ABONTC_90").eq(1)
|
|
317
|
+
)
|
|
318
|
+
.then(pl.lit("yes:unspecified"))
|
|
319
|
+
.when(pl.col("ABONTC").eq(1) & pl.col("REMBTC").eq(1))
|
|
320
|
+
.then(pl.lit("yes:paid:with_employer_contribution"))
|
|
321
|
+
.when(pl.col("ABONTC").eq(1) & pl.col("REMBTC").eq(0))
|
|
322
|
+
.then(pl.lit("yes:paid:without_employer_contribution"))
|
|
323
|
+
.when(pl.col("ABONTC").eq(1))
|
|
324
|
+
.then(pl.lit("yes:paid"))
|
|
325
|
+
.when(pl.col("ABONTC").eq(0))
|
|
326
|
+
.then(pl.lit("no"))
|
|
327
|
+
.otherwise(None),
|
|
328
|
+
has_car_sharing_subscription=pl.col("ABONVP").eq(1),
|
|
329
|
+
car_sharing_subscription=pl.when(pl.col("ABONVP").eq(0))
|
|
330
|
+
.then(pl.lit("no"))
|
|
331
|
+
.otherwise(pl.col("T_ABONVP").replace_strict(CAR_SHARING_MAP)),
|
|
332
|
+
has_bike_sharing_subscription=pl.col("ABONVLS").eq(1),
|
|
333
|
+
has_travel_inconvenience=pl.col("GENE").is_in((1, 2, 3)),
|
|
334
|
+
is_surveyed=pl.col("DEPL").is_not_null(),
|
|
335
|
+
traveled_during_surveyed_day=pl.when(pl.col("DEPL").eq(1))
|
|
336
|
+
.then(pl.lit("yes"))
|
|
337
|
+
.when(pl.col("DEPL").eq(0))
|
|
338
|
+
.then(pl.lit("no"))
|
|
339
|
+
.otherwise(None),
|
|
340
|
+
# Case 9 (Autre) is set to "yes:outside" as most reasons specified in "HIER_TRAV_txt"
|
|
341
|
+
# imply that the person did work outside.
|
|
342
|
+
worked_during_surveyed_day=pl.when(pl.col("HIER_TRAV").is_in((1, 2, 4, 5, 9)))
|
|
343
|
+
.then(pl.lit("yes:outside"))
|
|
344
|
+
.when(pl.col("HIER_TRAV").eq(3) & pl.col("LIEU_TRAV").eq(3))
|
|
345
|
+
.then(pl.lit("yes:home:usual"))
|
|
346
|
+
.when(pl.col("HIER_TRAV").eq(3) & pl.col("LIEU_TRAV").ne(3))
|
|
347
|
+
.then(pl.lit("yes:home:telework"))
|
|
348
|
+
.when(pl.col("HIER_NON_TRAV").eq("B22"))
|
|
349
|
+
.then(pl.lit("no:weekday"))
|
|
350
|
+
.when(pl.col("HIER_TRAV").eq(0))
|
|
351
|
+
.then(pl.lit("no:reason"))
|
|
352
|
+
.otherwise(None),
|
|
353
|
+
)
|
|
354
|
+
lf = lf.with_columns(
|
|
355
|
+
is_retired=pl.col("pcs_group_code").eq(7),
|
|
356
|
+
# is_student=pl.col("professional_occupation").eq("student"),
|
|
357
|
+
is_non_apprentice_student=pl.col("professional_occupation").eq("student")
|
|
358
|
+
& pl.col("detailed_professional_occupation").ne("student:apprenticeship"),
|
|
359
|
+
# Set work secondary occupation for non-workers with a usual workplace.
|
|
360
|
+
secondary_professional_occupation=pl.when(
|
|
361
|
+
pl.col("professional_occupation").ne("worker")
|
|
362
|
+
& pl.col("workplace_singularity").is_not_null()
|
|
363
|
+
).then(pl.lit("work")),
|
|
364
|
+
)
|
|
365
|
+
lf = lf.with_columns(
|
|
366
|
+
# Force retired to actually be retired...
|
|
367
|
+
professional_occupation=pl.when("is_retired")
|
|
368
|
+
.then(pl.lit("other"))
|
|
369
|
+
.otherwise("professional_occupation"),
|
|
370
|
+
detailed_professional_occupation=pl.when("is_retired")
|
|
371
|
+
.then(pl.lit("other:retired"))
|
|
372
|
+
.otherwise("detailed_professional_occupation"),
|
|
373
|
+
pcs_category_code2003=pl.when("is_retired")
|
|
374
|
+
.then(pl.lit(None))
|
|
375
|
+
.otherwise("pcs_category_code2003"),
|
|
376
|
+
# Force non-students to have no `student_category`.
|
|
377
|
+
# student_category=pl.when(pl.col("is_student").not_())
|
|
378
|
+
# .then(pl.lit(None))
|
|
379
|
+
# .otherwise("student_category"),
|
|
380
|
+
)
|
|
381
|
+
lf = lf.with_columns(
|
|
382
|
+
# Set `pcs_group_code` to null for non-apprenticeship students.
|
|
383
|
+
pcs_group_code=pl.when("is_non_apprentice_student")
|
|
384
|
+
.then(pl.lit(None))
|
|
385
|
+
.otherwise("pcs_group_code"),
|
|
386
|
+
pcs_category_code2003=pl.when("is_non_apprentice_student")
|
|
387
|
+
.then(pl.lit(None))
|
|
388
|
+
.otherwise("pcs_category_code2003"),
|
|
389
|
+
)
|
|
390
|
+
lf = clean(lf)
|
|
391
|
+
return lf
|
|
@@ -0,0 +1,89 @@
|
|
|
1
|
+
from zipfile import ZipFile
|
|
2
|
+
|
|
3
|
+
from loguru import logger
|
|
4
|
+
|
|
5
|
+
from mobisurvstd.common.clean import clean
|
|
6
|
+
from mobisurvstd.utils import find_file
|
|
7
|
+
|
|
8
|
+
from .deplacements import standardize_trips
|
|
9
|
+
from .menages import standardize_households
|
|
10
|
+
from .motos import standardize_motorcycles
|
|
11
|
+
from .personnes import standardize_persons
|
|
12
|
+
from .trajets import standardize_legs
|
|
13
|
+
from .voitures import standardize_cars
|
|
14
|
+
|
|
15
|
+
|
|
16
|
+
def standardize(source: str | ZipFile):
|
|
17
|
+
source_name = source.filename if isinstance(source, ZipFile) else source
|
|
18
|
+
logger.info(f"Standardizing EGT2020 survey from `{source_name}`")
|
|
19
|
+
# Households.
|
|
20
|
+
filename = households_filename(source)
|
|
21
|
+
if filename is None:
|
|
22
|
+
logger.error("Missing households file")
|
|
23
|
+
return None
|
|
24
|
+
households = standardize_households(filename)
|
|
25
|
+
# Cars.
|
|
26
|
+
filename = cars_filename(source)
|
|
27
|
+
if filename is None:
|
|
28
|
+
logger.error("Missing cars file")
|
|
29
|
+
return None
|
|
30
|
+
cars = standardize_cars(filename, households)
|
|
31
|
+
# motorcycles.
|
|
32
|
+
filename = motorcycles_filename(source)
|
|
33
|
+
if filename is None:
|
|
34
|
+
logger.error("Missing motorcycles file")
|
|
35
|
+
return None
|
|
36
|
+
motorcycles = standardize_motorcycles(filename, households)
|
|
37
|
+
# Persons.
|
|
38
|
+
filename = persons_filename(source)
|
|
39
|
+
if filename is None:
|
|
40
|
+
logger.error("Missing persons file")
|
|
41
|
+
return None
|
|
42
|
+
persons = standardize_persons(filename, households)
|
|
43
|
+
# Trips.
|
|
44
|
+
filename = trips_filename(source)
|
|
45
|
+
if filename is None:
|
|
46
|
+
logger.error("Missing trips file")
|
|
47
|
+
return None
|
|
48
|
+
trips = standardize_trips(filename, households, persons)
|
|
49
|
+
# Legs.
|
|
50
|
+
filename = legs_filename(source)
|
|
51
|
+
if filename is None:
|
|
52
|
+
logger.error("Missing legs file")
|
|
53
|
+
return None
|
|
54
|
+
legs = standardize_legs(filename, trips, cars, motorcycles, persons)
|
|
55
|
+
return clean(
|
|
56
|
+
households=households,
|
|
57
|
+
persons=persons,
|
|
58
|
+
trips=trips,
|
|
59
|
+
legs=legs,
|
|
60
|
+
cars=cars,
|
|
61
|
+
motorcycles=motorcycles,
|
|
62
|
+
survey_type="EGT2020",
|
|
63
|
+
survey_name="EGT2020",
|
|
64
|
+
main_insee="75056",
|
|
65
|
+
)
|
|
66
|
+
|
|
67
|
+
|
|
68
|
+
def households_filename(source: str | ZipFile):
|
|
69
|
+
return find_file(source, "a_menage_egt1820.csv", subdir="Csv")
|
|
70
|
+
|
|
71
|
+
|
|
72
|
+
def persons_filename(source: str | ZipFile):
|
|
73
|
+
return find_file(source, "b_individu_egt1820.csv", subdir="Csv")
|
|
74
|
+
|
|
75
|
+
|
|
76
|
+
def trips_filename(source: str | ZipFile):
|
|
77
|
+
return find_file(source, "c_deplacement_egt1820.csv", subdir="Csv")
|
|
78
|
+
|
|
79
|
+
|
|
80
|
+
def legs_filename(source: str | ZipFile):
|
|
81
|
+
return find_file(source, "d_trajet_egt1820.csv", subdir="Csv")
|
|
82
|
+
|
|
83
|
+
|
|
84
|
+
def cars_filename(source: str | ZipFile):
|
|
85
|
+
return find_file(source, "e_voiture_egt1820.csv", subdir="Csv")
|
|
86
|
+
|
|
87
|
+
|
|
88
|
+
def motorcycles_filename(source: str | ZipFile):
|
|
89
|
+
return find_file(source, "f_drm_egt1820.csv", subdir="Csv")
|