mobisurvstd 0.1.0__py3-none-any.whl
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- mobisurvstd/__init__.py +8 -0
- mobisurvstd/__main__.py +4 -0
- mobisurvstd/classes.py +344 -0
- mobisurvstd/clean.py +1661 -0
- mobisurvstd/cli.py +44 -0
- mobisurvstd/common/__init__.py +1 -0
- mobisurvstd/common/cars.py +120 -0
- mobisurvstd/common/clean.py +470 -0
- mobisurvstd/common/households.py +97 -0
- mobisurvstd/common/legs.py +136 -0
- mobisurvstd/common/modes.py +52 -0
- mobisurvstd/common/motorcycles.py +44 -0
- mobisurvstd/common/persons.py +228 -0
- mobisurvstd/common/trips.py +253 -0
- mobisurvstd/common/zones.py +43 -0
- mobisurvstd/egt2010/__init__.py +1 -0
- mobisurvstd/egt2010/deplacements.py +170 -0
- mobisurvstd/egt2010/menages.py +378 -0
- mobisurvstd/egt2010/personnes.py +307 -0
- mobisurvstd/egt2010/survey.py +84 -0
- mobisurvstd/egt2010/trajets.py +211 -0
- mobisurvstd/egt2010/zones.py +11 -0
- mobisurvstd/egt2020/__init__.py +1 -0
- mobisurvstd/egt2020/deplacements.py +173 -0
- mobisurvstd/egt2020/menages.py +162 -0
- mobisurvstd/egt2020/motos.py +103 -0
- mobisurvstd/egt2020/personnes.py +391 -0
- mobisurvstd/egt2020/survey.py +89 -0
- mobisurvstd/egt2020/trajets.py +317 -0
- mobisurvstd/egt2020/voitures.py +128 -0
- mobisurvstd/emc2/__init__.py +1 -0
- mobisurvstd/emc2/common.py +42 -0
- mobisurvstd/emc2/deplacements.py +153 -0
- mobisurvstd/emc2/menages.py +358 -0
- mobisurvstd/emc2/personnes.py +305 -0
- mobisurvstd/emc2/survey.py +309 -0
- mobisurvstd/emc2/trajets.py +274 -0
- mobisurvstd/emc2/zones.py +107 -0
- mobisurvstd/emp/__init__.py +1 -0
- mobisurvstd/emp/deplacements.py +407 -0
- mobisurvstd/emp/menages.py +182 -0
- mobisurvstd/emp/motos.py +126 -0
- mobisurvstd/emp/personnes.py +543 -0
- mobisurvstd/emp/survey.py +93 -0
- mobisurvstd/emp/voitures.py +218 -0
- mobisurvstd/logger.py +15 -0
- mobisurvstd/main.py +158 -0
- mobisurvstd/resources/__init__.py +0 -0
- mobisurvstd/resources/admin_express.py +88 -0
- mobisurvstd/resources/insee_data.py +307 -0
- mobisurvstd/resources/nuts.py +129 -0
- mobisurvstd/schema.py +902 -0
- mobisurvstd/utils.py +125 -0
- mobisurvstd-0.1.0.dist-info/METADATA +210 -0
- mobisurvstd-0.1.0.dist-info/RECORD +58 -0
- mobisurvstd-0.1.0.dist-info/WHEEL +5 -0
- mobisurvstd-0.1.0.dist-info/licenses/LICENSE.md +7 -0
- mobisurvstd-0.1.0.dist-info/top_level.txt +1 -0
|
@@ -0,0 +1,84 @@
|
|
|
1
|
+
import os
|
|
2
|
+
from zipfile import ZipFile
|
|
3
|
+
|
|
4
|
+
from loguru import logger
|
|
5
|
+
|
|
6
|
+
from mobisurvstd.common.clean import clean
|
|
7
|
+
from mobisurvstd.utils import find_file
|
|
8
|
+
|
|
9
|
+
from .deplacements import standardize_trips
|
|
10
|
+
from .menages import standardize_cars, standardize_households, standardize_motorcycles
|
|
11
|
+
from .personnes import standardize_persons
|
|
12
|
+
from .trajets import standardize_legs
|
|
13
|
+
from .zones import read_detailed_zones
|
|
14
|
+
|
|
15
|
+
|
|
16
|
+
def standardize(source: str | ZipFile):
|
|
17
|
+
source_name = source.filename if isinstance(source, ZipFile) else source
|
|
18
|
+
logger.info(f"Standardizing EGT2010 survey from `{source_name}`")
|
|
19
|
+
# Detailed zones.
|
|
20
|
+
filename = detailed_zones_filename(source)
|
|
21
|
+
if filename is None:
|
|
22
|
+
logger.error("Missing detailed zones file")
|
|
23
|
+
return None
|
|
24
|
+
detailed_zones = read_detailed_zones(filename)
|
|
25
|
+
# Households.
|
|
26
|
+
filename = households_filename(source)
|
|
27
|
+
if filename is None:
|
|
28
|
+
logger.error("Missing households file")
|
|
29
|
+
return None
|
|
30
|
+
households = standardize_households(filename)
|
|
31
|
+
# Cars.
|
|
32
|
+
cars = standardize_cars(filename, households)
|
|
33
|
+
# motorcycles.
|
|
34
|
+
motorcycles = standardize_motorcycles(filename, households)
|
|
35
|
+
# Persons.
|
|
36
|
+
filename = persons_filename(source)
|
|
37
|
+
if filename is None:
|
|
38
|
+
logger.error("Missing persons file")
|
|
39
|
+
return None
|
|
40
|
+
persons = standardize_persons(filename, households)
|
|
41
|
+
# Trips.
|
|
42
|
+
filename = trips_filename(source)
|
|
43
|
+
if filename is None:
|
|
44
|
+
logger.error("Missing trips file")
|
|
45
|
+
return None
|
|
46
|
+
trips = standardize_trips(filename, persons, households)
|
|
47
|
+
# Legs.
|
|
48
|
+
filename = legs_filename(source)
|
|
49
|
+
if filename is None:
|
|
50
|
+
logger.error("Missing legs file")
|
|
51
|
+
return None
|
|
52
|
+
legs = standardize_legs(filename, trips, cars, motorcycles, detailed_zones)
|
|
53
|
+
return clean(
|
|
54
|
+
households=households,
|
|
55
|
+
persons=persons,
|
|
56
|
+
trips=trips,
|
|
57
|
+
legs=legs,
|
|
58
|
+
cars=cars,
|
|
59
|
+
motorcycles=motorcycles,
|
|
60
|
+
detailed_zones=detailed_zones,
|
|
61
|
+
survey_type="EGT2010",
|
|
62
|
+
survey_name="EGT2010",
|
|
63
|
+
main_insee="75056",
|
|
64
|
+
)
|
|
65
|
+
|
|
66
|
+
|
|
67
|
+
def households_filename(source: str | ZipFile):
|
|
68
|
+
return find_file(source, "menages_semaine.csv", subdir="Csv")
|
|
69
|
+
|
|
70
|
+
|
|
71
|
+
def persons_filename(source: str | ZipFile):
|
|
72
|
+
return find_file(source, "personnes_semaine.csv", subdir="Csv")
|
|
73
|
+
|
|
74
|
+
|
|
75
|
+
def trips_filename(source: str | ZipFile):
|
|
76
|
+
return find_file(source, "deplacements_semaine.csv", subdir="Csv")
|
|
77
|
+
|
|
78
|
+
|
|
79
|
+
def legs_filename(source: str | ZipFile):
|
|
80
|
+
return find_file(source, "trajets_semaine.csv", subdir="Csv")
|
|
81
|
+
|
|
82
|
+
|
|
83
|
+
def detailed_zones_filename(source: str | ZipFile):
|
|
84
|
+
return find_file(source, "carr100m.shp", subdir=os.path.join("Doc", "Carreaux_shape_mifmid"))
|
|
@@ -0,0 +1,211 @@
|
|
|
1
|
+
import geopandas as gpd
|
|
2
|
+
import polars as pl
|
|
3
|
+
|
|
4
|
+
from mobisurvstd.common.legs import clean
|
|
5
|
+
|
|
6
|
+
SCHEMA = {
|
|
7
|
+
"NQUEST": pl.UInt32, # Identifiant du ménage
|
|
8
|
+
"NP": pl.UInt8, # Numéro de personne dans le ménage
|
|
9
|
+
"ND": pl.UInt8, # Numéro de déplacement de la personne
|
|
10
|
+
"NT": pl.UInt8, # Numéro de trajet dans le déplacement
|
|
11
|
+
"POIDSP": pl.Float64, # Poids de la personne réalisant le trajet
|
|
12
|
+
"JDEP": pl.UInt8, # Jour de la semaine où le trajet est effectué
|
|
13
|
+
"MOYEN": pl.UInt8, # Mode utilisé pour le trajet
|
|
14
|
+
"TT": pl.UInt8, # Titre de transport utilisé
|
|
15
|
+
"LIGNE": pl.String, # Ligne utilisée (métro, RER)
|
|
16
|
+
"ENTC": pl.String, # Carreau d'entrée dans le mode
|
|
17
|
+
"SORTC": pl.String, # Carreau de sortie du mode
|
|
18
|
+
"TPORTEE": pl.Float64, # Portée du trajet en kilomètres (pour les trajets des déplacements internes IdF)
|
|
19
|
+
"TYPV": pl.UInt8, # Numéro du véhicule du ménage utilisé
|
|
20
|
+
"TSTAT": pl.UInt8, # Type de stationnement
|
|
21
|
+
"NBPV": pl.UInt8, # Nombre de personnes dans le véhicule (passagers + conducteurs)
|
|
22
|
+
"LSC": pl.UInt8, # Stationnement connu à la destination
|
|
23
|
+
"UTP": pl.UInt8, # Emprunté le périphérique
|
|
24
|
+
"UTA86": pl.UInt8, # Emprunté l'A86
|
|
25
|
+
"UTFRL": pl.UInt8, # Emprunté la francilienne
|
|
26
|
+
"SRES": pl.UInt8, # Stationnement réservé à destination liée au travail
|
|
27
|
+
"REMBF": pl.UInt8, # Remboursement des frais du véhicule par employeur
|
|
28
|
+
"PCT": pl.UInt8, # Coût du trajet à charge
|
|
29
|
+
"entsect": pl.String, # Secteur d'entrée dans le mode
|
|
30
|
+
"sortsect": pl.String, # Secteur de sortie du mode
|
|
31
|
+
}
|
|
32
|
+
|
|
33
|
+
|
|
34
|
+
MODE_MAP = {
|
|
35
|
+
1: "walking", # Marche à pied
|
|
36
|
+
# Transport collectif
|
|
37
|
+
10: "public_transit:urban:rail", # Train de banlieue SNCF(Transilien)
|
|
38
|
+
11: "public_transit:urban:rail", # RER (Lignes A, B, C, D, E ou Eole)
|
|
39
|
+
12: "public_transit:urban:metro", # Orly-Val
|
|
40
|
+
13: "public_transit:urban:metro", # Métro
|
|
41
|
+
14: "public_transit:urban:tram", # Tramway (y compris le T4)
|
|
42
|
+
15: "public_transit:urban:bus", # TVM
|
|
43
|
+
16: "public_transit:urban:bus", # Autobus Paris RATP (Numéro de ligne inférieur à 100)
|
|
44
|
+
17: "public_transit:urban:bus", # Autobus de banlieue RATP (Numéro de ligne supérieur à 100)
|
|
45
|
+
18: "public_transit:urban:bus", # Autre autobus de banlieue OPTILE (ex APTR,ADATRIF)
|
|
46
|
+
19: "public_transit:urban:bus", # Noctilien (bus de nuit ex Noctambus)
|
|
47
|
+
20: "water_transport", # Bateau bus – Voguéo
|
|
48
|
+
30: "public_transit:urban:demand_responsive", # Transport à la demande
|
|
49
|
+
31: "employer_transport", # Transports employeurs
|
|
50
|
+
32: "public_transit:school", # Ramassage scolaire
|
|
51
|
+
33: "reduced_mobility_transport", # Société de service spécialisée dans le transport des handicapés
|
|
52
|
+
34: "other", # Autres transports privés collectifs (navettes, …)
|
|
53
|
+
35: "taxi", # Taxi
|
|
54
|
+
40: "airplane", # Avion
|
|
55
|
+
41: "public_transit:interurban:TGV", # TGV
|
|
56
|
+
42: "public_transit:interurban:other_train", # Grande ligne SNCF autre que TGV
|
|
57
|
+
43: "public_transit:urban:TER", # TER
|
|
58
|
+
# Conducteur de véhicule ou 2/3 roues motorisé
|
|
59
|
+
50: "car:driver", # Conducteur voiture particulière
|
|
60
|
+
51: "car:driver", # Conducteur dans un système de covoiturage organisé
|
|
61
|
+
52: "car:driver", # Conducteur véhicule utilitaire 800 à 1 000 kg
|
|
62
|
+
53: "car:driver", # Conducteur véhicule utilitaire de 1 000 kg ou plus
|
|
63
|
+
54: "motorcycle:driver:moped", # Conducteur véhicule à 2 (ou 3) roues à moteur non immatriculé
|
|
64
|
+
55: "motorcycle:driver", # Conducteur véhicule à 2 (ou 3) roues à moteur immatriculé
|
|
65
|
+
# Vélo
|
|
66
|
+
60: "bicycle:driver:shared", # Véli’b
|
|
67
|
+
61: "bicycle:driver:shared", # Autre vélo en libre service
|
|
68
|
+
62: "bicycle:driver:traditional", # Vélo personnel
|
|
69
|
+
63: "bicycle:driver:electric", # Vélo personnel à assistance électrique
|
|
70
|
+
# Passager de véhicule ou 2/3 roues
|
|
71
|
+
70: "car:passenger", # Passager d’une voiture particulière
|
|
72
|
+
71: "car:passenger", # Passager dans un système de covoiturage organisé
|
|
73
|
+
72: "car:passenger", # Passager d’un véhicule utilitaire 800 à 1 000 kg
|
|
74
|
+
73: "car:passenger", # Passager véhicule utilitaire de 1 000 kg ou plus
|
|
75
|
+
74: "motorcycle:passenger:moped", # Passager d’un véhicule à 2 (ou 3) roues à moteur non immatriculé
|
|
76
|
+
75: "motorcycle:passenger", # Passager d’un véhicule à 2 (ou 3) roues à moteur immatriculé
|
|
77
|
+
# Autre moyen de transport
|
|
78
|
+
80: "wheelchair", # Fauteuil roulant avec ou sans moteur, voiturette (handicapés)
|
|
79
|
+
81: "personal_transporter:unspecified", # Rollers, skate, trottinette
|
|
80
|
+
82: "other", # Autre moyen de transport
|
|
81
|
+
}
|
|
82
|
+
|
|
83
|
+
VEHICLE_TYPE_MAP = {
|
|
84
|
+
1: "household",
|
|
85
|
+
2: "household",
|
|
86
|
+
3: "household",
|
|
87
|
+
4: "household",
|
|
88
|
+
5: "other_household", # Autre véhicule du ménage
|
|
89
|
+
6: "rental", # Véhicule de location
|
|
90
|
+
7: "shared", # Véhicule en Autolib ou Autopartage
|
|
91
|
+
8: "company", # Véhicule de l’entreprise
|
|
92
|
+
9: "other", # Autre véhicule
|
|
93
|
+
}
|
|
94
|
+
|
|
95
|
+
# Index of household car based on "TYPV" column.
|
|
96
|
+
VEHICLE_INDEX_MAP = {
|
|
97
|
+
"1": 1, # Modèle voiture 1
|
|
98
|
+
"2": 2, # Modèle voiture 2
|
|
99
|
+
"3": 3, # Modèle voiture 3
|
|
100
|
+
"4": 4, # Modèle voiture 4
|
|
101
|
+
}
|
|
102
|
+
|
|
103
|
+
PARKING_LOCATION_MAP = {
|
|
104
|
+
1: "stop_only", # Dépose minute
|
|
105
|
+
# Sur la voie publique :
|
|
106
|
+
2: "street", # Stationnement Payant à durée limitée
|
|
107
|
+
3: "street", # Stationnement Payant à tarif préférentiel résidents
|
|
108
|
+
4: "street", # Stationnement Gratuit durée illimitée
|
|
109
|
+
5: "street", # Stationnement Gratuit durée limitée (zone bleue)
|
|
110
|
+
6: "street", # Stationnement Non autorisé
|
|
111
|
+
# Sur un emplacement privé :
|
|
112
|
+
7: "garage", # Propriétaire
|
|
113
|
+
8: "garage", # Locataire
|
|
114
|
+
9: "garage", # A titre gratuit
|
|
115
|
+
# Dans un parc de stationnement ou garage commercial ouvert au public :
|
|
116
|
+
10: "parking_lot", # Parc relais (parc de rabattement à une gare) à titre gratuit
|
|
117
|
+
11: "parking_lot", # Parc relais (parc de rabattement à une gare) à titre payant
|
|
118
|
+
12: "other", # Autre gratuit
|
|
119
|
+
13: "garage", # Autre propriétaire
|
|
120
|
+
14: "other", # Autre abonné, locataire avec ou sans réservation
|
|
121
|
+
15: "other", # Autre payant horaire
|
|
122
|
+
16: "other", # Autre stationnement
|
|
123
|
+
}
|
|
124
|
+
|
|
125
|
+
PARKING_TYPE_MAP = {
|
|
126
|
+
1: None, # Dépose minute
|
|
127
|
+
# Sur la voie publique :
|
|
128
|
+
2: "paid", # Stationnement Payant à durée limitée
|
|
129
|
+
3: "paid", # Stationnement Payant à tarif préférentiel résidents
|
|
130
|
+
4: "free", # Stationnement Gratuit durée illimitée
|
|
131
|
+
5: "free", # Stationnement Gratuit durée limitée (zone bleue)
|
|
132
|
+
6: "forbidden", # Stationnement Non autorisé
|
|
133
|
+
# Sur un emplacement privé :
|
|
134
|
+
7: "free", # Propriétaire
|
|
135
|
+
8: "free", # Locataire
|
|
136
|
+
9: "free", # A titre gratuit
|
|
137
|
+
# Dans un parc de stationnement ou garage commercial ouvert au public :
|
|
138
|
+
10: "free", # Parc relais (parc de rabattement à une gare) à titre gratuit
|
|
139
|
+
11: "paid", # Parc relais (parc de rabattement à une gare) à titre payant
|
|
140
|
+
12: "free", # Autre gratuit
|
|
141
|
+
13: "free", # Autre propriétaire
|
|
142
|
+
14: None, # Autre abonné, locataire avec ou sans réservation
|
|
143
|
+
15: "paid", # Autre payant horaire
|
|
144
|
+
16: None, # Autre stationnement
|
|
145
|
+
}
|
|
146
|
+
|
|
147
|
+
|
|
148
|
+
def scan_legs(filename: str):
|
|
149
|
+
lf = pl.scan_csv(filename, separator=";", schema_overrides=SCHEMA)
|
|
150
|
+
return lf
|
|
151
|
+
|
|
152
|
+
|
|
153
|
+
def standardize_legs(
|
|
154
|
+
filename: str,
|
|
155
|
+
trips: pl.LazyFrame,
|
|
156
|
+
cars: pl.LazyFrame,
|
|
157
|
+
motorcycles: pl.LazyFrame,
|
|
158
|
+
detailed_zones: gpd.GeoDataFrame,
|
|
159
|
+
):
|
|
160
|
+
lf = scan_legs(filename)
|
|
161
|
+
# Add household_id, person_id, and trip_id.
|
|
162
|
+
lf = lf.with_columns(original_trip_id=pl.struct("NQUEST", "NP", "ND")).join(
|
|
163
|
+
trips.select("original_trip_id", "household_id", "person_id", "trip_id"),
|
|
164
|
+
on="original_trip_id",
|
|
165
|
+
how="left",
|
|
166
|
+
coalesce=True,
|
|
167
|
+
)
|
|
168
|
+
lf = lf.rename(
|
|
169
|
+
{
|
|
170
|
+
"ENTC": "start_detailed_zone",
|
|
171
|
+
"SORTC": "end_detailed_zone",
|
|
172
|
+
"entsect": "start_draw_zone",
|
|
173
|
+
"sortsect": "end_draw_zone",
|
|
174
|
+
"LIGNE": "public_transit_line",
|
|
175
|
+
"TPORTEE": "leg_euclidean_distance_km",
|
|
176
|
+
"NBPV": "nb_persons_in_vehicle",
|
|
177
|
+
}
|
|
178
|
+
)
|
|
179
|
+
lf = lf.with_columns(
|
|
180
|
+
leg_index="NT",
|
|
181
|
+
original_leg_id=pl.struct("NQUEST", "NP", "ND", "NT"),
|
|
182
|
+
mode=pl.col("MOYEN").replace_strict(MODE_MAP),
|
|
183
|
+
vehicle_type=pl.col("TYPV").replace_strict(VEHICLE_TYPE_MAP),
|
|
184
|
+
vehicle_index=pl.col("TYPV").replace_strict(VEHICLE_INDEX_MAP, default=None),
|
|
185
|
+
parking_location=pl.col("TSTAT").replace_strict(PARKING_LOCATION_MAP),
|
|
186
|
+
parking_type=pl.col("TSTAT").replace_strict(PARKING_TYPE_MAP),
|
|
187
|
+
)
|
|
188
|
+
lf = lf.with_columns(
|
|
189
|
+
car_type=pl.when(pl.col("mode").str.starts_with("car:")).then("vehicle_type"),
|
|
190
|
+
car_index=pl.when(pl.col("mode").str.starts_with("car:")).then("vehicle_index"),
|
|
191
|
+
motorcycle_type=pl.when(pl.col("mode").str.starts_with("motorcycle:")).then("vehicle_type"),
|
|
192
|
+
motorcycle_index=pl.when(pl.col("mode").str.starts_with("motorcycle:")).then(
|
|
193
|
+
"vehicle_index"
|
|
194
|
+
),
|
|
195
|
+
)
|
|
196
|
+
# Add car id.
|
|
197
|
+
lf = lf.join(
|
|
198
|
+
cars.select("household_id", "car_index", "car_id"),
|
|
199
|
+
on=["household_id", "car_index"],
|
|
200
|
+
how="left",
|
|
201
|
+
coalesce=True,
|
|
202
|
+
)
|
|
203
|
+
# Add motorcycle id.
|
|
204
|
+
lf = lf.join(
|
|
205
|
+
motorcycles.select("household_id", "motorcycle_index", "motorcycle_id"),
|
|
206
|
+
on=["household_id", "motorcycle_index"],
|
|
207
|
+
how="left",
|
|
208
|
+
coalesce=True,
|
|
209
|
+
)
|
|
210
|
+
lf = clean(lf, detailed_zones)
|
|
211
|
+
return lf
|
|
@@ -0,0 +1,11 @@
|
|
|
1
|
+
import geopandas as gpd
|
|
2
|
+
from loguru import logger
|
|
3
|
+
|
|
4
|
+
|
|
5
|
+
def read_detailed_zones(filename: str):
|
|
6
|
+
logger.debug("Reading detailed zones from `{filename}`")
|
|
7
|
+
gdf = gpd.read_file(filename, columns=["IDENT"])
|
|
8
|
+
# Shapefile is in Lambert Nord CRS, although it is not specified in the file.
|
|
9
|
+
gdf.set_crs("EPSG:27561", inplace=True)
|
|
10
|
+
gdf.rename(columns={"IDENT": "detailed_zone_id"}, inplace=True)
|
|
11
|
+
return gdf
|
|
@@ -0,0 +1 @@
|
|
|
1
|
+
from .survey import standardize as standardize
|
|
@@ -0,0 +1,173 @@
|
|
|
1
|
+
from datetime import timedelta
|
|
2
|
+
|
|
3
|
+
import polars as pl
|
|
4
|
+
|
|
5
|
+
from mobisurvstd.common.trips import clean
|
|
6
|
+
|
|
7
|
+
SCHEMA = {
|
|
8
|
+
"IDCEREMA": pl.String, # Identifiant du ménage
|
|
9
|
+
"TYPE_QUEST": pl.String, # Type de questionnaire
|
|
10
|
+
"NP": pl.UInt8, # Numéro de personne dans le ménage
|
|
11
|
+
"ND": pl.UInt8, # Numéro de déplacement de la personne
|
|
12
|
+
"RESCOUR": pl.UInt8, # Couronne de résidence de la personne effectuant le déplacement
|
|
13
|
+
"RESDEP": pl.String, # Département de résidence
|
|
14
|
+
"JOURSEM": pl.String, # Jour de la semaine de la date schéma des déplacements
|
|
15
|
+
"ORLNG": pl.Float64, # Longitude du lieu d'origine
|
|
16
|
+
"ORLAT": pl.Float64, # Latitude du lieu d'origine
|
|
17
|
+
"ORCOMM": pl.String, # Commune d'origine du déplacement
|
|
18
|
+
"ORDEP": pl.String, # Département d'origine du déplacement
|
|
19
|
+
"ORINSEE": pl.String, # Code INSEE de la commune d'origine du déplacement
|
|
20
|
+
"ORCOUR": pl.UInt8, # Couronne d'origine du déplacement
|
|
21
|
+
"ORHOR": pl.UInt16, # Horaire de départ
|
|
22
|
+
"ORMOT": pl.UInt16, # Motif au départ
|
|
23
|
+
"ORMOT_H9": pl.UInt8, # Motif au départ (regroupé en 9 catégories)
|
|
24
|
+
"DESTLNG": pl.Float64, # Longitude du lieu de destination
|
|
25
|
+
"DESTLAT": pl.Float64, # Latitude du lieu de destination
|
|
26
|
+
"DESTCOMM": pl.String, # Commune de destination du déplacement
|
|
27
|
+
"DESTDEP": pl.String, # Département de destination du déplacement
|
|
28
|
+
"DESTINSEE": pl.String, # Code INSEE de la commune de destination du déplacement
|
|
29
|
+
"DESTCOUR": pl.UInt8, # Couronne de destination du déplacement
|
|
30
|
+
"DESTHOR": pl.UInt16, # Horaire d'arrivée
|
|
31
|
+
"DESTMOT": pl.UInt16, # Motif à l'arrivée
|
|
32
|
+
"DESTMOT_H9": pl.UInt8, # Motif à l'arrivée (regroupé en 9 catégories)
|
|
33
|
+
"MOTIF_COMBINE": pl.UInt8, # Motif combiné origine / destination
|
|
34
|
+
"DUREE": pl.UInt16, # Durée du déplacement en minutes
|
|
35
|
+
"DPORTEE": pl.Float64, # Distance à vol d'oiseau du déplacement en kilomètres
|
|
36
|
+
"N_MAP": pl.UInt8, # Nombre d'utilisation de la marche à pied dans le déplacement
|
|
37
|
+
"N_UFR": pl.UInt8, # Nombre d'utilisation d'un fauteuil roulant dans le déplacement
|
|
38
|
+
"N_VEL": pl.UInt8, # Nombre d'utilisation d'un vélo dans le déplacement
|
|
39
|
+
"N_2RM": pl.UInt8, # Nombre d'utilisation d'un deux-roues motorisé dans le déplacement
|
|
40
|
+
"N_VOI": pl.UInt8, # Nombre d'utilisation d'une voiture dans le déplacement
|
|
41
|
+
"N_TCO": pl.UInt8, # Nombre d'utilisation des transports collectifs dans le déplacement
|
|
42
|
+
"N_TAX": pl.UInt8, # Nombre d'utilisation d'un taxi dans le déplacement
|
|
43
|
+
"N_AUT": pl.UInt8, # Nombre d'utilisation d'autres modes dans le déplacement
|
|
44
|
+
"TLA": pl.UInt8, # Type de lieu d'achat (si destination = lieu d'achat)
|
|
45
|
+
"MODP_H6": pl.String, # Mode principal en 6 modalités
|
|
46
|
+
"MODP_H7": pl.String, # Mode principal en 7 modalités
|
|
47
|
+
"MODP_H12": pl.String, # Mode principal en 12 modalités
|
|
48
|
+
"MRAB": pl.String, # Mode principal de rabattement vers les transports collectifs (avant d'emprunter la première ligne de transports collectifs du déplacement)
|
|
49
|
+
"MDIFF": pl.String, # Mode principal de diffusion depuis les transports collectifs (après avoir emprunté la dernière ligne de transports collectifs du déplacement)
|
|
50
|
+
"NBCO_1": pl.UInt8, # Nombre de correspondances si déplacement effectué en transports collectifs
|
|
51
|
+
"DUR_TC1": pl.UInt32, # Si l’itinéraire a inclus une utilisation des transports en commun ET que cet itinéraire a été renseigné à l’aide de ViaNavigo, cette variable indique la durée totale de l’itinéraire choisi. En secondes.
|
|
52
|
+
"DUR_TC2": pl.UInt32, # Si l’itinéraire a inclus une utilisation des transports en commun ET que cet itinéraire a été renseigné à l’aide de ViaNavigo, cette variable indique la durée totale de l’itinéraire le plus rapide (qui n’est pas forcément celui choisi par la personne). En secondes.
|
|
53
|
+
"NBCO_2": pl.UInt8, # Si l’itinéraire a inclus une utilisation des transports en commun ET que cet itinéraire a été renseigné à l’aide de ViaNavigo, cette variable indique le nombre minimal théorique de correspondances, basé sur les divers itinéraires possibles. Il est en effet possible que la personne ait un itinéraire préférentiel qui ne soit pas forcément celui considéré comme optimal par l’application.
|
|
54
|
+
"POIDSI": pl.Float64, # Poids de l'individu ayant réalisé le déplacement
|
|
55
|
+
}
|
|
56
|
+
|
|
57
|
+
PURPOSE_MAP = {
|
|
58
|
+
# Domicile
|
|
59
|
+
11: "home:main", # Mon domicile
|
|
60
|
+
12: "home:secondary", # Autre domicile de la garde alternée
|
|
61
|
+
13: "home:secondary", # Résidence secondaire, logement occasionnel, hôtel, autre domicile
|
|
62
|
+
# Travail
|
|
63
|
+
21: "work:declared", # Travail / Lieu travail précis
|
|
64
|
+
31: "work:other", # Affaires professionnelles (RV pro, réunion, etc.) hors lieu de travail habituel
|
|
65
|
+
32: "work:other", # Travail chez des particuliers
|
|
66
|
+
33: "work:other", # Travail dans un espace de co-working
|
|
67
|
+
34: "work:telework", # Travail au domicile personnel
|
|
68
|
+
35: "work:other", # Travail sur un autre lieu
|
|
69
|
+
36: "work:professional_tour", # Tournée professionnelle
|
|
70
|
+
# Restauration
|
|
71
|
+
611: "leisure:restaurant", # Restaurant, cantine, cafétéria, bar, café…
|
|
72
|
+
37: "work:business_meal", # Repas d’affaires, déjeuner professionnel
|
|
73
|
+
# Etudes ou crèche
|
|
74
|
+
41: "education:childcare", # Garde d'enfants
|
|
75
|
+
42: "education:declared", # Etudes
|
|
76
|
+
43: "education:other", # Etudes sur un autre lieu
|
|
77
|
+
# Achats
|
|
78
|
+
51: "shopping:daily", # Achats quotidiens
|
|
79
|
+
52: "shopping:weekly", # Achats hebdomadaires
|
|
80
|
+
53: "shopping:specialized", # Achats occasionnels
|
|
81
|
+
54: "shopping:pickup", # Récupérer un colis
|
|
82
|
+
621: "shopping:no_purchase", # Lèche vitrines
|
|
83
|
+
# Loisirs
|
|
84
|
+
631: "leisure:sport_or_culture", # Sortie
|
|
85
|
+
622: "leisure:walk_or_driving_lesson", # Promenade dans / vers un lieu précis (monument, parc, bois…)
|
|
86
|
+
623: "leisure:walk_or_driving_lesson", # Promenade sans but précis (dans le quartier…)
|
|
87
|
+
641: "leisure:visiting", # Rendre visite
|
|
88
|
+
651: "leisure:sport_or_culture", # Faire du sport
|
|
89
|
+
652: "leisure:sport_or_culture", # Participation à une activité artistique ou associative
|
|
90
|
+
690: "leisure:other", # Autres loisirs
|
|
91
|
+
# Démarches
|
|
92
|
+
71: "task:procedure", # Démarches administratives
|
|
93
|
+
72: "task:job_search", # Recherche d’emploi
|
|
94
|
+
73: "task:healthcare", # Aide ou soins à des proches
|
|
95
|
+
74: "task:healthcare", # Santé
|
|
96
|
+
75: "task:other", # Affaires personnelles autres
|
|
97
|
+
624: "leisure:walk_or_driving_lesson", # Leçons de conduite
|
|
98
|
+
# Accompagner quelqu'un
|
|
99
|
+
811: "escort:transport:drop_off", # Accompagner quelqu’un à un mode de transport
|
|
100
|
+
821: "escort:transport:pick_up", # Aller chercher quelqu’un à un mode de transport
|
|
101
|
+
812: "escort:activity:drop_off", # Accompagner quelqu’un
|
|
102
|
+
822: "escort:activity:pick_up", # Aller chercher quelqu’un
|
|
103
|
+
# Autre
|
|
104
|
+
90: "other", # Autre lieu
|
|
105
|
+
}
|
|
106
|
+
|
|
107
|
+
|
|
108
|
+
def scan_trips(filename: str):
|
|
109
|
+
# We use the inefficient `read_csv().lazy()` because we need to use `encoding="latin1"`, which
|
|
110
|
+
# does not exist with `scan_csv()`.
|
|
111
|
+
lf = pl.read_csv(
|
|
112
|
+
filename,
|
|
113
|
+
separator=";",
|
|
114
|
+
encoding="latin1",
|
|
115
|
+
schema_overrides=SCHEMA,
|
|
116
|
+
null_values=["-1"],
|
|
117
|
+
).lazy()
|
|
118
|
+
return lf
|
|
119
|
+
|
|
120
|
+
|
|
121
|
+
def standardize_trips(filename: str, households: pl.LazyFrame, persons: pl.LazyFrame):
|
|
122
|
+
lf = scan_trips(filename)
|
|
123
|
+
# Add household_id and person_id.
|
|
124
|
+
lf = lf.with_columns(original_person_id=pl.struct("IDCEREMA", "NP")).join(
|
|
125
|
+
persons.select("original_person_id", "person_id", "household_id"),
|
|
126
|
+
on="original_person_id",
|
|
127
|
+
how="left",
|
|
128
|
+
coalesce=True,
|
|
129
|
+
)
|
|
130
|
+
# Add interview_date.
|
|
131
|
+
lf = lf.join(
|
|
132
|
+
households.select("household_id", "interview_date"),
|
|
133
|
+
on="household_id",
|
|
134
|
+
how="left",
|
|
135
|
+
coalesce=True,
|
|
136
|
+
)
|
|
137
|
+
lf = lf.rename(
|
|
138
|
+
{
|
|
139
|
+
"ORLNG": "origin_lng",
|
|
140
|
+
"ORLAT": "origin_lat",
|
|
141
|
+
"ORINSEE": "origin_insee",
|
|
142
|
+
"DESTLNG": "destination_lng",
|
|
143
|
+
"DESTLAT": "destination_lat",
|
|
144
|
+
"DESTINSEE": "destination_insee",
|
|
145
|
+
"DPORTEE": "trip_euclidean_distance_km",
|
|
146
|
+
}
|
|
147
|
+
)
|
|
148
|
+
lf = lf.with_columns(
|
|
149
|
+
original_trip_id=pl.struct("IDCEREMA", "NP", "ND"),
|
|
150
|
+
origin_purpose=pl.col("ORMOT").replace_strict(PURPOSE_MAP),
|
|
151
|
+
destination_purpose=pl.col("DESTMOT").replace_strict(PURPOSE_MAP),
|
|
152
|
+
departure_time=(pl.col("ORHOR") // 100) * 60 + pl.col("ORHOR") % 100,
|
|
153
|
+
arrival_time=(pl.col("DESTHOR") // 100) * 60 + pl.col("DESTHOR") % 100,
|
|
154
|
+
# For INSEE in départements < 10, the starting 0 is omitted (e.g., "02307" is "2307") so we
|
|
155
|
+
# need to add it.
|
|
156
|
+
origin_insee=pl.when(pl.col("origin_insee").str.len_chars() < 4)
|
|
157
|
+
.then(pl.lit(None))
|
|
158
|
+
.when(pl.col("origin_insee").str.len_chars() == 4)
|
|
159
|
+
.then(pl.col("origin_insee").str.pad_start(5, "0"))
|
|
160
|
+
.otherwise("origin_insee"),
|
|
161
|
+
destination_insee=pl.when(pl.col("destination_insee").str.len_chars() < 4)
|
|
162
|
+
.then(pl.lit(None))
|
|
163
|
+
.when(pl.col("destination_insee").str.len_chars() == 4)
|
|
164
|
+
.then(pl.col("destination_insee").str.pad_start(5, "0"))
|
|
165
|
+
.otherwise("destination_insee"),
|
|
166
|
+
# The trip took place the day before the interview.
|
|
167
|
+
trip_date=pl.col("interview_date") - timedelta(days=1),
|
|
168
|
+
)
|
|
169
|
+
# For EGT2020, we use the AAV and density data from 2020 (even if some interviews are from 2018
|
|
170
|
+
# and 2019).
|
|
171
|
+
# The survey perimiters cover excatly the 8 départements of the IDF region.
|
|
172
|
+
lf = clean(lf, 2020, perimeter_deps=["75", "77", "78", "91", "92", "93", "94", "95"])
|
|
173
|
+
return lf
|
|
@@ -0,0 +1,162 @@
|
|
|
1
|
+
from datetime import timedelta
|
|
2
|
+
|
|
3
|
+
import polars as pl
|
|
4
|
+
|
|
5
|
+
from mobisurvstd.common.households import clean
|
|
6
|
+
|
|
7
|
+
SCHEMA = {
|
|
8
|
+
"IDCEREMA": pl.String, # Identifiant du ménage
|
|
9
|
+
"TYPE_QUEST": pl.String, # Type de questionnaire
|
|
10
|
+
"NBP_CATI": pl.UInt8, # Nombre d’occupants du logement recueilli par téléphone
|
|
11
|
+
"RESCOMM": pl.String, # Commune de résidence
|
|
12
|
+
"RESDEP": pl.String, # Département de résidence
|
|
13
|
+
"RESCOUR": pl.UInt8, # Couronne de résidence
|
|
14
|
+
"RESLNG": pl.Float64, # Longitude du lieu de résidence
|
|
15
|
+
"RESLAT": pl.Float64, # Latitude du lieu de résidence
|
|
16
|
+
"JOUR": pl.UInt8, # Jour de l’enquête (JJ)
|
|
17
|
+
"MOIS": pl.UInt8, # Mois de l’enquête (MM)
|
|
18
|
+
"ANNEE": pl.UInt16, # Année de l’enquête (AAAA)
|
|
19
|
+
"JOURSEM": pl.String, # Jour de la semaine de la date schéma des déplacements
|
|
20
|
+
"MNP": pl.UInt8, # Nombre de personnes du ménage
|
|
21
|
+
"MNP5": pl.UInt8, # Nombre de personnes du ménage de 5 ans et plus
|
|
22
|
+
"MNPMOB": pl.UInt8, # Nombre de personnes du ménage qui se sont déplacées la veille
|
|
23
|
+
"MNPACT": pl.UInt8, # Nombre d'actifs occupés dans le ménage
|
|
24
|
+
"TYPE_MEN": pl.String, # Type de ménage
|
|
25
|
+
"TYPELOG": pl.UInt8, # Type de logement
|
|
26
|
+
"OCCUPLOG": pl.UInt8, # Occupation du logement
|
|
27
|
+
"OCCUPLOG_txt": pl.String, # Occupation du logement
|
|
28
|
+
"ANARR_LOG": pl.UInt16, # Année d'arrivée dans le logement
|
|
29
|
+
"ACOMM_T": pl.UInt8, # Type commune précédente
|
|
30
|
+
"ACOMM_N": pl.String, # Nom commune précédente
|
|
31
|
+
"INTERNET": pl.UInt8, # Présence d'un accès Internet au sein du domicile
|
|
32
|
+
"NB_VD": pl.UInt8, # Nombre de voitures à disposition
|
|
33
|
+
"NB_2RM": pl.UInt8, # Nombre de deux-roues motorisés à disposition
|
|
34
|
+
"NB_VEH": pl.UInt8, # Nombre de véhicules motorisés à disposition
|
|
35
|
+
"NB_VELO": pl.UInt8, # Nombre de vélos (en état de marche pour les personnes âgées d'au moins 10 ans))
|
|
36
|
+
"NB_VAE": pl.UInt8, # Nombre de vélo à assistance électrique
|
|
37
|
+
"VP_ENT": pl.UInt8, # Dépense Voiture entretien
|
|
38
|
+
"VP_ASS": pl.UInt8, # Dépense Voiture assurance
|
|
39
|
+
"DEUXRM_ENT": pl.UInt8, # Dépense Deux-roues motorisé entretien
|
|
40
|
+
"DEUXRM_ASS": pl.UInt8, # Dépense Deux-roues motorisé assurance
|
|
41
|
+
"ABRI_VL": pl.UInt8, # Abri Vélo
|
|
42
|
+
"REVENU": pl.UInt8, # Classe de revenu net mensuel
|
|
43
|
+
"POIDSM": pl.Float64, # Poids du ménage
|
|
44
|
+
}
|
|
45
|
+
|
|
46
|
+
SURVEY_METHOD_MAP = {
|
|
47
|
+
"CAPI": "face_to_face",
|
|
48
|
+
"CATI": "phone",
|
|
49
|
+
}
|
|
50
|
+
|
|
51
|
+
HOUSEHOLD_TYPE_MAP = {
|
|
52
|
+
"Homme seul": "single:man",
|
|
53
|
+
"Femme seule": "single:woman",
|
|
54
|
+
"Couple sans enfant": "couple:no_child",
|
|
55
|
+
"Couple avec enfant": "couple:children",
|
|
56
|
+
"Famille monoparentale père": "singleparent:father",
|
|
57
|
+
"Famille monoparentale mère": "singleparent:mother",
|
|
58
|
+
"Autre": "other",
|
|
59
|
+
}
|
|
60
|
+
|
|
61
|
+
HOUSING_TYPE_MAP = {
|
|
62
|
+
1: "house", # Une maison
|
|
63
|
+
2: "apartment", # Un appartement
|
|
64
|
+
3: "other", # Autre
|
|
65
|
+
9: "other", # Note. Une the variable dictionary Autre is 3 but it seems that 9 is used instead.
|
|
66
|
+
}
|
|
67
|
+
|
|
68
|
+
HOUSING_STATUS_MAP = {
|
|
69
|
+
1: "owner:ongoing_loan", # Propriétaire en cours de prêt immobilier
|
|
70
|
+
2: "owner:fully_repaid", # Propriétaire hors prêt immobilier
|
|
71
|
+
10: "owner:unspecified", # Propriétaire sans précision
|
|
72
|
+
3: "tenant:public_housing", # Locataire d'un organisme HLM, RIVP
|
|
73
|
+
4: "tenant:private", # Locateur du secteur privé
|
|
74
|
+
5: "university_resident", # Locataire d'une résidence universitaire
|
|
75
|
+
9: "other", # Autre
|
|
76
|
+
}
|
|
77
|
+
|
|
78
|
+
REVENU_LB_MAP = {
|
|
79
|
+
1: 0, # Moins de 800€
|
|
80
|
+
2: 800, # De 800 à 1200€
|
|
81
|
+
3: 1200, # De 1200 à 1600€
|
|
82
|
+
4: 1600, # De 1600 à 2000€
|
|
83
|
+
5: 2000, # De 2000 à 2400€
|
|
84
|
+
6: 2400, # De 2400 à 3000€
|
|
85
|
+
7: 3000, # De 3000 à 3500€
|
|
86
|
+
8: 3500, # De 3500 à 4500€
|
|
87
|
+
9: 4500, # De 4500 à 5500€
|
|
88
|
+
10: 5500, # 5500€ et plus
|
|
89
|
+
}
|
|
90
|
+
|
|
91
|
+
REVENU_UB_MAP = {
|
|
92
|
+
1: 800, # Moins de 800€
|
|
93
|
+
2: 1200, # De 800 à 1200€
|
|
94
|
+
3: 1600, # De 1200 à 1600€
|
|
95
|
+
4: 2000, # De 1600 à 2000€
|
|
96
|
+
5: 2400, # De 2000 à 2400€
|
|
97
|
+
6: 3000, # De 2400 à 3000€
|
|
98
|
+
7: 3500, # De 3000 à 3500€
|
|
99
|
+
8: 4500, # De 3500 à 4500€
|
|
100
|
+
9: 5500, # De 4500 à 5500€
|
|
101
|
+
10: None, # 5500€ et plus
|
|
102
|
+
}
|
|
103
|
+
|
|
104
|
+
|
|
105
|
+
def scan_households(filename: str):
|
|
106
|
+
# We use the inefficient `read_csv().lazy()` because we need to use `encoding="latin1"`, which
|
|
107
|
+
# does not exist with `scan_csv()`.
|
|
108
|
+
lf = pl.read_csv(
|
|
109
|
+
filename,
|
|
110
|
+
separator=";",
|
|
111
|
+
encoding="latin1",
|
|
112
|
+
schema_overrides=SCHEMA,
|
|
113
|
+
null_values=["-1", "-2"],
|
|
114
|
+
).lazy()
|
|
115
|
+
return lf
|
|
116
|
+
|
|
117
|
+
|
|
118
|
+
def standardize_households(filename: str):
|
|
119
|
+
lf = scan_households(filename)
|
|
120
|
+
lf = lf.rename(
|
|
121
|
+
{
|
|
122
|
+
"POIDSM": "sample_weight",
|
|
123
|
+
"RESLNG": "home_lng",
|
|
124
|
+
"RESLAT": "home_lat",
|
|
125
|
+
"RESCOMM": "home_insee",
|
|
126
|
+
"RESDEP": "home_dep",
|
|
127
|
+
"NB_VD": "nb_cars",
|
|
128
|
+
"NB_2RM": "nb_motorcycles",
|
|
129
|
+
"NB_VELO": "nb_bicycles",
|
|
130
|
+
"NB_VAE": "nb_electric_bicycles",
|
|
131
|
+
}
|
|
132
|
+
)
|
|
133
|
+
lf = lf.with_columns(
|
|
134
|
+
original_household_id=pl.struct("IDCEREMA"),
|
|
135
|
+
survey_method=pl.col("TYPE_QUEST").replace_strict(SURVEY_METHOD_MAP),
|
|
136
|
+
interview_date=pl.date(year="ANNEE", month="MOIS", day="JOUR") + timedelta(days=1),
|
|
137
|
+
household_type=pl.col("TYPE_MEN").replace_strict(HOUSEHOLD_TYPE_MAP),
|
|
138
|
+
income_lower_bound=pl.col("REVENU").replace_strict(REVENU_LB_MAP),
|
|
139
|
+
income_upper_bound=pl.col("REVENU").replace_strict(REVENU_UB_MAP),
|
|
140
|
+
housing_type=pl.col("TYPELOG").replace_strict(HOUSING_TYPE_MAP),
|
|
141
|
+
housing_status=pl.col("OCCUPLOG").replace_strict(HOUSING_STATUS_MAP),
|
|
142
|
+
has_internet=pl.col("INTERNET") == 1,
|
|
143
|
+
nb_standard_bicycles=pl.col("nb_bicycles") - pl.col("nb_electric_bicycles"),
|
|
144
|
+
has_bicycle_parking=pl.col("ABRI_VL") == 1,
|
|
145
|
+
# Set `nb_electric_bicycles` to NULL when `nb_bicycles` is NULL (column NB_VAE is 0 instead
|
|
146
|
+
# of NULL when NB_VELO is NULL).
|
|
147
|
+
nb_electric_bicycles=pl.when(pl.col("nb_bicycles").is_not_null()).then(
|
|
148
|
+
"nb_electric_bicycles"
|
|
149
|
+
),
|
|
150
|
+
)
|
|
151
|
+
lf = lf.with_columns(
|
|
152
|
+
# More details on the housing status can be read in the `OCCUPLOG_txt` variable.
|
|
153
|
+
housing_status=pl.when(pl.col("OCCUPLOG_txt").str.contains("(?i)usufruit"))
|
|
154
|
+
.then(pl.lit("owner:usufructuary"))
|
|
155
|
+
.otherwise(
|
|
156
|
+
pl.when(pl.col("OCCUPLOG_txt").str.contains("(?i)gratuit|gracieux|fonction"))
|
|
157
|
+
.then(pl.lit("rent_free"))
|
|
158
|
+
.otherwise(pl.col("housing_status"))
|
|
159
|
+
),
|
|
160
|
+
)
|
|
161
|
+
lf = clean(lf)
|
|
162
|
+
return lf
|