mobisurvstd 0.1.0__py3-none-any.whl

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (58) hide show
  1. mobisurvstd/__init__.py +8 -0
  2. mobisurvstd/__main__.py +4 -0
  3. mobisurvstd/classes.py +344 -0
  4. mobisurvstd/clean.py +1661 -0
  5. mobisurvstd/cli.py +44 -0
  6. mobisurvstd/common/__init__.py +1 -0
  7. mobisurvstd/common/cars.py +120 -0
  8. mobisurvstd/common/clean.py +470 -0
  9. mobisurvstd/common/households.py +97 -0
  10. mobisurvstd/common/legs.py +136 -0
  11. mobisurvstd/common/modes.py +52 -0
  12. mobisurvstd/common/motorcycles.py +44 -0
  13. mobisurvstd/common/persons.py +228 -0
  14. mobisurvstd/common/trips.py +253 -0
  15. mobisurvstd/common/zones.py +43 -0
  16. mobisurvstd/egt2010/__init__.py +1 -0
  17. mobisurvstd/egt2010/deplacements.py +170 -0
  18. mobisurvstd/egt2010/menages.py +378 -0
  19. mobisurvstd/egt2010/personnes.py +307 -0
  20. mobisurvstd/egt2010/survey.py +84 -0
  21. mobisurvstd/egt2010/trajets.py +211 -0
  22. mobisurvstd/egt2010/zones.py +11 -0
  23. mobisurvstd/egt2020/__init__.py +1 -0
  24. mobisurvstd/egt2020/deplacements.py +173 -0
  25. mobisurvstd/egt2020/menages.py +162 -0
  26. mobisurvstd/egt2020/motos.py +103 -0
  27. mobisurvstd/egt2020/personnes.py +391 -0
  28. mobisurvstd/egt2020/survey.py +89 -0
  29. mobisurvstd/egt2020/trajets.py +317 -0
  30. mobisurvstd/egt2020/voitures.py +128 -0
  31. mobisurvstd/emc2/__init__.py +1 -0
  32. mobisurvstd/emc2/common.py +42 -0
  33. mobisurvstd/emc2/deplacements.py +153 -0
  34. mobisurvstd/emc2/menages.py +358 -0
  35. mobisurvstd/emc2/personnes.py +305 -0
  36. mobisurvstd/emc2/survey.py +309 -0
  37. mobisurvstd/emc2/trajets.py +274 -0
  38. mobisurvstd/emc2/zones.py +107 -0
  39. mobisurvstd/emp/__init__.py +1 -0
  40. mobisurvstd/emp/deplacements.py +407 -0
  41. mobisurvstd/emp/menages.py +182 -0
  42. mobisurvstd/emp/motos.py +126 -0
  43. mobisurvstd/emp/personnes.py +543 -0
  44. mobisurvstd/emp/survey.py +93 -0
  45. mobisurvstd/emp/voitures.py +218 -0
  46. mobisurvstd/logger.py +15 -0
  47. mobisurvstd/main.py +158 -0
  48. mobisurvstd/resources/__init__.py +0 -0
  49. mobisurvstd/resources/admin_express.py +88 -0
  50. mobisurvstd/resources/insee_data.py +307 -0
  51. mobisurvstd/resources/nuts.py +129 -0
  52. mobisurvstd/schema.py +902 -0
  53. mobisurvstd/utils.py +125 -0
  54. mobisurvstd-0.1.0.dist-info/METADATA +210 -0
  55. mobisurvstd-0.1.0.dist-info/RECORD +58 -0
  56. mobisurvstd-0.1.0.dist-info/WHEEL +5 -0
  57. mobisurvstd-0.1.0.dist-info/licenses/LICENSE.md +7 -0
  58. mobisurvstd-0.1.0.dist-info/top_level.txt +1 -0
@@ -0,0 +1,84 @@
1
+ import os
2
+ from zipfile import ZipFile
3
+
4
+ from loguru import logger
5
+
6
+ from mobisurvstd.common.clean import clean
7
+ from mobisurvstd.utils import find_file
8
+
9
+ from .deplacements import standardize_trips
10
+ from .menages import standardize_cars, standardize_households, standardize_motorcycles
11
+ from .personnes import standardize_persons
12
+ from .trajets import standardize_legs
13
+ from .zones import read_detailed_zones
14
+
15
+
16
+ def standardize(source: str | ZipFile):
17
+ source_name = source.filename if isinstance(source, ZipFile) else source
18
+ logger.info(f"Standardizing EGT2010 survey from `{source_name}`")
19
+ # Detailed zones.
20
+ filename = detailed_zones_filename(source)
21
+ if filename is None:
22
+ logger.error("Missing detailed zones file")
23
+ return None
24
+ detailed_zones = read_detailed_zones(filename)
25
+ # Households.
26
+ filename = households_filename(source)
27
+ if filename is None:
28
+ logger.error("Missing households file")
29
+ return None
30
+ households = standardize_households(filename)
31
+ # Cars.
32
+ cars = standardize_cars(filename, households)
33
+ # motorcycles.
34
+ motorcycles = standardize_motorcycles(filename, households)
35
+ # Persons.
36
+ filename = persons_filename(source)
37
+ if filename is None:
38
+ logger.error("Missing persons file")
39
+ return None
40
+ persons = standardize_persons(filename, households)
41
+ # Trips.
42
+ filename = trips_filename(source)
43
+ if filename is None:
44
+ logger.error("Missing trips file")
45
+ return None
46
+ trips = standardize_trips(filename, persons, households)
47
+ # Legs.
48
+ filename = legs_filename(source)
49
+ if filename is None:
50
+ logger.error("Missing legs file")
51
+ return None
52
+ legs = standardize_legs(filename, trips, cars, motorcycles, detailed_zones)
53
+ return clean(
54
+ households=households,
55
+ persons=persons,
56
+ trips=trips,
57
+ legs=legs,
58
+ cars=cars,
59
+ motorcycles=motorcycles,
60
+ detailed_zones=detailed_zones,
61
+ survey_type="EGT2010",
62
+ survey_name="EGT2010",
63
+ main_insee="75056",
64
+ )
65
+
66
+
67
+ def households_filename(source: str | ZipFile):
68
+ return find_file(source, "menages_semaine.csv", subdir="Csv")
69
+
70
+
71
+ def persons_filename(source: str | ZipFile):
72
+ return find_file(source, "personnes_semaine.csv", subdir="Csv")
73
+
74
+
75
+ def trips_filename(source: str | ZipFile):
76
+ return find_file(source, "deplacements_semaine.csv", subdir="Csv")
77
+
78
+
79
+ def legs_filename(source: str | ZipFile):
80
+ return find_file(source, "trajets_semaine.csv", subdir="Csv")
81
+
82
+
83
+ def detailed_zones_filename(source: str | ZipFile):
84
+ return find_file(source, "carr100m.shp", subdir=os.path.join("Doc", "Carreaux_shape_mifmid"))
@@ -0,0 +1,211 @@
1
+ import geopandas as gpd
2
+ import polars as pl
3
+
4
+ from mobisurvstd.common.legs import clean
5
+
6
+ SCHEMA = {
7
+ "NQUEST": pl.UInt32, # Identifiant du ménage
8
+ "NP": pl.UInt8, # Numéro de personne dans le ménage
9
+ "ND": pl.UInt8, # Numéro de déplacement de la personne
10
+ "NT": pl.UInt8, # Numéro de trajet dans le déplacement
11
+ "POIDSP": pl.Float64, # Poids de la personne réalisant le trajet
12
+ "JDEP": pl.UInt8, # Jour de la semaine où le trajet est effectué
13
+ "MOYEN": pl.UInt8, # Mode utilisé pour le trajet
14
+ "TT": pl.UInt8, # Titre de transport utilisé
15
+ "LIGNE": pl.String, # Ligne utilisée (métro, RER)
16
+ "ENTC": pl.String, # Carreau d'entrée dans le mode
17
+ "SORTC": pl.String, # Carreau de sortie du mode
18
+ "TPORTEE": pl.Float64, # Portée du trajet en kilomètres (pour les trajets des déplacements internes IdF)
19
+ "TYPV": pl.UInt8, # Numéro du véhicule du ménage utilisé
20
+ "TSTAT": pl.UInt8, # Type de stationnement
21
+ "NBPV": pl.UInt8, # Nombre de personnes dans le véhicule (passagers + conducteurs)
22
+ "LSC": pl.UInt8, # Stationnement connu à la destination
23
+ "UTP": pl.UInt8, # Emprunté le périphérique
24
+ "UTA86": pl.UInt8, # Emprunté l'A86
25
+ "UTFRL": pl.UInt8, # Emprunté la francilienne
26
+ "SRES": pl.UInt8, # Stationnement réservé à destination liée au travail
27
+ "REMBF": pl.UInt8, # Remboursement des frais du véhicule par employeur
28
+ "PCT": pl.UInt8, # Coût du trajet à charge
29
+ "entsect": pl.String, # Secteur d'entrée dans le mode
30
+ "sortsect": pl.String, # Secteur de sortie du mode
31
+ }
32
+
33
+
34
+ MODE_MAP = {
35
+ 1: "walking", # Marche à pied
36
+ # Transport collectif
37
+ 10: "public_transit:urban:rail", # Train de banlieue SNCF(Transilien)
38
+ 11: "public_transit:urban:rail", # RER (Lignes A, B, C, D, E ou Eole)
39
+ 12: "public_transit:urban:metro", # Orly-Val
40
+ 13: "public_transit:urban:metro", # Métro
41
+ 14: "public_transit:urban:tram", # Tramway (y compris le T4)
42
+ 15: "public_transit:urban:bus", # TVM
43
+ 16: "public_transit:urban:bus", # Autobus Paris RATP (Numéro de ligne inférieur à 100)
44
+ 17: "public_transit:urban:bus", # Autobus de banlieue RATP (Numéro de ligne supérieur à 100)
45
+ 18: "public_transit:urban:bus", # Autre autobus de banlieue OPTILE (ex APTR,ADATRIF)
46
+ 19: "public_transit:urban:bus", # Noctilien (bus de nuit ex Noctambus)
47
+ 20: "water_transport", # Bateau bus – Voguéo
48
+ 30: "public_transit:urban:demand_responsive", # Transport à la demande
49
+ 31: "employer_transport", # Transports employeurs
50
+ 32: "public_transit:school", # Ramassage scolaire
51
+ 33: "reduced_mobility_transport", # Société de service spécialisée dans le transport des handicapés
52
+ 34: "other", # Autres transports privés collectifs (navettes, …)
53
+ 35: "taxi", # Taxi
54
+ 40: "airplane", # Avion
55
+ 41: "public_transit:interurban:TGV", # TGV
56
+ 42: "public_transit:interurban:other_train", # Grande ligne SNCF autre que TGV
57
+ 43: "public_transit:urban:TER", # TER
58
+ # Conducteur de véhicule ou 2/3 roues motorisé
59
+ 50: "car:driver", # Conducteur voiture particulière
60
+ 51: "car:driver", # Conducteur dans un système de covoiturage organisé
61
+ 52: "car:driver", # Conducteur véhicule utilitaire 800 à 1 000 kg
62
+ 53: "car:driver", # Conducteur véhicule utilitaire de 1 000 kg ou plus
63
+ 54: "motorcycle:driver:moped", # Conducteur véhicule à 2 (ou 3) roues à moteur non immatriculé
64
+ 55: "motorcycle:driver", # Conducteur véhicule à 2 (ou 3) roues à moteur immatriculé
65
+ # Vélo
66
+ 60: "bicycle:driver:shared", # Véli’b
67
+ 61: "bicycle:driver:shared", # Autre vélo en libre service
68
+ 62: "bicycle:driver:traditional", # Vélo personnel
69
+ 63: "bicycle:driver:electric", # Vélo personnel à assistance électrique
70
+ # Passager de véhicule ou 2/3 roues
71
+ 70: "car:passenger", # Passager d’une voiture particulière
72
+ 71: "car:passenger", # Passager dans un système de covoiturage organisé
73
+ 72: "car:passenger", # Passager d’un véhicule utilitaire 800 à 1 000 kg
74
+ 73: "car:passenger", # Passager véhicule utilitaire de 1 000 kg ou plus
75
+ 74: "motorcycle:passenger:moped", # Passager d’un véhicule à 2 (ou 3) roues à moteur non immatriculé
76
+ 75: "motorcycle:passenger", # Passager d’un véhicule à 2 (ou 3) roues à moteur immatriculé
77
+ # Autre moyen de transport
78
+ 80: "wheelchair", # Fauteuil roulant avec ou sans moteur, voiturette (handicapés)
79
+ 81: "personal_transporter:unspecified", # Rollers, skate, trottinette
80
+ 82: "other", # Autre moyen de transport
81
+ }
82
+
83
+ VEHICLE_TYPE_MAP = {
84
+ 1: "household",
85
+ 2: "household",
86
+ 3: "household",
87
+ 4: "household",
88
+ 5: "other_household", # Autre véhicule du ménage
89
+ 6: "rental", # Véhicule de location
90
+ 7: "shared", # Véhicule en Autolib ou Autopartage
91
+ 8: "company", # Véhicule de l’entreprise
92
+ 9: "other", # Autre véhicule
93
+ }
94
+
95
+ # Index of household car based on "TYPV" column.
96
+ VEHICLE_INDEX_MAP = {
97
+ "1": 1, # Modèle voiture 1
98
+ "2": 2, # Modèle voiture 2
99
+ "3": 3, # Modèle voiture 3
100
+ "4": 4, # Modèle voiture 4
101
+ }
102
+
103
+ PARKING_LOCATION_MAP = {
104
+ 1: "stop_only", # Dépose minute
105
+ # Sur la voie publique :
106
+ 2: "street", # Stationnement Payant à durée limitée
107
+ 3: "street", # Stationnement Payant à tarif préférentiel résidents
108
+ 4: "street", # Stationnement Gratuit durée illimitée
109
+ 5: "street", # Stationnement Gratuit durée limitée (zone bleue)
110
+ 6: "street", # Stationnement Non autorisé
111
+ # Sur un emplacement privé :
112
+ 7: "garage", # Propriétaire
113
+ 8: "garage", # Locataire
114
+ 9: "garage", # A titre gratuit
115
+ # Dans un parc de stationnement ou garage commercial ouvert au public :
116
+ 10: "parking_lot", # Parc relais (parc de rabattement à une gare) à titre gratuit
117
+ 11: "parking_lot", # Parc relais (parc de rabattement à une gare) à titre payant
118
+ 12: "other", # Autre gratuit
119
+ 13: "garage", # Autre propriétaire
120
+ 14: "other", # Autre abonné, locataire avec ou sans réservation
121
+ 15: "other", # Autre payant horaire
122
+ 16: "other", # Autre stationnement
123
+ }
124
+
125
+ PARKING_TYPE_MAP = {
126
+ 1: None, # Dépose minute
127
+ # Sur la voie publique :
128
+ 2: "paid", # Stationnement Payant à durée limitée
129
+ 3: "paid", # Stationnement Payant à tarif préférentiel résidents
130
+ 4: "free", # Stationnement Gratuit durée illimitée
131
+ 5: "free", # Stationnement Gratuit durée limitée (zone bleue)
132
+ 6: "forbidden", # Stationnement Non autorisé
133
+ # Sur un emplacement privé :
134
+ 7: "free", # Propriétaire
135
+ 8: "free", # Locataire
136
+ 9: "free", # A titre gratuit
137
+ # Dans un parc de stationnement ou garage commercial ouvert au public :
138
+ 10: "free", # Parc relais (parc de rabattement à une gare) à titre gratuit
139
+ 11: "paid", # Parc relais (parc de rabattement à une gare) à titre payant
140
+ 12: "free", # Autre gratuit
141
+ 13: "free", # Autre propriétaire
142
+ 14: None, # Autre abonné, locataire avec ou sans réservation
143
+ 15: "paid", # Autre payant horaire
144
+ 16: None, # Autre stationnement
145
+ }
146
+
147
+
148
+ def scan_legs(filename: str):
149
+ lf = pl.scan_csv(filename, separator=";", schema_overrides=SCHEMA)
150
+ return lf
151
+
152
+
153
+ def standardize_legs(
154
+ filename: str,
155
+ trips: pl.LazyFrame,
156
+ cars: pl.LazyFrame,
157
+ motorcycles: pl.LazyFrame,
158
+ detailed_zones: gpd.GeoDataFrame,
159
+ ):
160
+ lf = scan_legs(filename)
161
+ # Add household_id, person_id, and trip_id.
162
+ lf = lf.with_columns(original_trip_id=pl.struct("NQUEST", "NP", "ND")).join(
163
+ trips.select("original_trip_id", "household_id", "person_id", "trip_id"),
164
+ on="original_trip_id",
165
+ how="left",
166
+ coalesce=True,
167
+ )
168
+ lf = lf.rename(
169
+ {
170
+ "ENTC": "start_detailed_zone",
171
+ "SORTC": "end_detailed_zone",
172
+ "entsect": "start_draw_zone",
173
+ "sortsect": "end_draw_zone",
174
+ "LIGNE": "public_transit_line",
175
+ "TPORTEE": "leg_euclidean_distance_km",
176
+ "NBPV": "nb_persons_in_vehicle",
177
+ }
178
+ )
179
+ lf = lf.with_columns(
180
+ leg_index="NT",
181
+ original_leg_id=pl.struct("NQUEST", "NP", "ND", "NT"),
182
+ mode=pl.col("MOYEN").replace_strict(MODE_MAP),
183
+ vehicle_type=pl.col("TYPV").replace_strict(VEHICLE_TYPE_MAP),
184
+ vehicle_index=pl.col("TYPV").replace_strict(VEHICLE_INDEX_MAP, default=None),
185
+ parking_location=pl.col("TSTAT").replace_strict(PARKING_LOCATION_MAP),
186
+ parking_type=pl.col("TSTAT").replace_strict(PARKING_TYPE_MAP),
187
+ )
188
+ lf = lf.with_columns(
189
+ car_type=pl.when(pl.col("mode").str.starts_with("car:")).then("vehicle_type"),
190
+ car_index=pl.when(pl.col("mode").str.starts_with("car:")).then("vehicle_index"),
191
+ motorcycle_type=pl.when(pl.col("mode").str.starts_with("motorcycle:")).then("vehicle_type"),
192
+ motorcycle_index=pl.when(pl.col("mode").str.starts_with("motorcycle:")).then(
193
+ "vehicle_index"
194
+ ),
195
+ )
196
+ # Add car id.
197
+ lf = lf.join(
198
+ cars.select("household_id", "car_index", "car_id"),
199
+ on=["household_id", "car_index"],
200
+ how="left",
201
+ coalesce=True,
202
+ )
203
+ # Add motorcycle id.
204
+ lf = lf.join(
205
+ motorcycles.select("household_id", "motorcycle_index", "motorcycle_id"),
206
+ on=["household_id", "motorcycle_index"],
207
+ how="left",
208
+ coalesce=True,
209
+ )
210
+ lf = clean(lf, detailed_zones)
211
+ return lf
@@ -0,0 +1,11 @@
1
+ import geopandas as gpd
2
+ from loguru import logger
3
+
4
+
5
+ def read_detailed_zones(filename: str):
6
+ logger.debug("Reading detailed zones from `{filename}`")
7
+ gdf = gpd.read_file(filename, columns=["IDENT"])
8
+ # Shapefile is in Lambert Nord CRS, although it is not specified in the file.
9
+ gdf.set_crs("EPSG:27561", inplace=True)
10
+ gdf.rename(columns={"IDENT": "detailed_zone_id"}, inplace=True)
11
+ return gdf
@@ -0,0 +1 @@
1
+ from .survey import standardize as standardize
@@ -0,0 +1,173 @@
1
+ from datetime import timedelta
2
+
3
+ import polars as pl
4
+
5
+ from mobisurvstd.common.trips import clean
6
+
7
+ SCHEMA = {
8
+ "IDCEREMA": pl.String, # Identifiant du ménage
9
+ "TYPE_QUEST": pl.String, # Type de questionnaire
10
+ "NP": pl.UInt8, # Numéro de personne dans le ménage
11
+ "ND": pl.UInt8, # Numéro de déplacement de la personne
12
+ "RESCOUR": pl.UInt8, # Couronne de résidence de la personne effectuant le déplacement
13
+ "RESDEP": pl.String, # Département de résidence
14
+ "JOURSEM": pl.String, # Jour de la semaine de la date schéma des déplacements
15
+ "ORLNG": pl.Float64, # Longitude du lieu d'origine
16
+ "ORLAT": pl.Float64, # Latitude du lieu d'origine
17
+ "ORCOMM": pl.String, # Commune d'origine du déplacement
18
+ "ORDEP": pl.String, # Département d'origine du déplacement
19
+ "ORINSEE": pl.String, # Code INSEE de la commune d'origine du déplacement
20
+ "ORCOUR": pl.UInt8, # Couronne d'origine du déplacement
21
+ "ORHOR": pl.UInt16, # Horaire de départ
22
+ "ORMOT": pl.UInt16, # Motif au départ
23
+ "ORMOT_H9": pl.UInt8, # Motif au départ (regroupé en 9 catégories)
24
+ "DESTLNG": pl.Float64, # Longitude du lieu de destination
25
+ "DESTLAT": pl.Float64, # Latitude du lieu de destination
26
+ "DESTCOMM": pl.String, # Commune de destination du déplacement
27
+ "DESTDEP": pl.String, # Département de destination du déplacement
28
+ "DESTINSEE": pl.String, # Code INSEE de la commune de destination du déplacement
29
+ "DESTCOUR": pl.UInt8, # Couronne de destination du déplacement
30
+ "DESTHOR": pl.UInt16, # Horaire d'arrivée
31
+ "DESTMOT": pl.UInt16, # Motif à l'arrivée
32
+ "DESTMOT_H9": pl.UInt8, # Motif à l'arrivée (regroupé en 9 catégories)
33
+ "MOTIF_COMBINE": pl.UInt8, # Motif combiné origine / destination
34
+ "DUREE": pl.UInt16, # Durée du déplacement en minutes
35
+ "DPORTEE": pl.Float64, # Distance à vol d'oiseau du déplacement en kilomètres
36
+ "N_MAP": pl.UInt8, # Nombre d'utilisation de la marche à pied dans le déplacement
37
+ "N_UFR": pl.UInt8, # Nombre d'utilisation d'un fauteuil roulant dans le déplacement
38
+ "N_VEL": pl.UInt8, # Nombre d'utilisation d'un vélo dans le déplacement
39
+ "N_2RM": pl.UInt8, # Nombre d'utilisation d'un deux-roues motorisé dans le déplacement
40
+ "N_VOI": pl.UInt8, # Nombre d'utilisation d'une voiture dans le déplacement
41
+ "N_TCO": pl.UInt8, # Nombre d'utilisation des transports collectifs dans le déplacement
42
+ "N_TAX": pl.UInt8, # Nombre d'utilisation d'un taxi dans le déplacement
43
+ "N_AUT": pl.UInt8, # Nombre d'utilisation d'autres modes dans le déplacement
44
+ "TLA": pl.UInt8, # Type de lieu d'achat (si destination = lieu d'achat)
45
+ "MODP_H6": pl.String, # Mode principal en 6 modalités
46
+ "MODP_H7": pl.String, # Mode principal en 7 modalités
47
+ "MODP_H12": pl.String, # Mode principal en 12 modalités
48
+ "MRAB": pl.String, # Mode principal de rabattement vers les transports collectifs (avant d'emprunter la première ligne de transports collectifs du déplacement)
49
+ "MDIFF": pl.String, # Mode principal de diffusion depuis les transports collectifs (après avoir emprunté la dernière ligne de transports collectifs du déplacement)
50
+ "NBCO_1": pl.UInt8, # Nombre de correspondances si déplacement effectué en transports collectifs
51
+ "DUR_TC1": pl.UInt32, # Si l’itinéraire a inclus une utilisation des transports en commun ET que cet itinéraire a été renseigné à l’aide de ViaNavigo, cette variable indique la durée totale de l’itinéraire choisi. En secondes.
52
+ "DUR_TC2": pl.UInt32, # Si l’itinéraire a inclus une utilisation des transports en commun ET que cet itinéraire a été renseigné à l’aide de ViaNavigo, cette variable indique la durée totale de l’itinéraire le plus rapide (qui n’est pas forcément celui choisi par la personne). En secondes.
53
+ "NBCO_2": pl.UInt8, # Si l’itinéraire a inclus une utilisation des transports en commun ET que cet itinéraire a été renseigné à l’aide de ViaNavigo, cette variable indique le nombre minimal théorique de correspondances, basé sur les divers itinéraires possibles. Il est en effet possible que la personne ait un itinéraire préférentiel qui ne soit pas forcément celui considéré comme optimal par l’application.
54
+ "POIDSI": pl.Float64, # Poids de l'individu ayant réalisé le déplacement
55
+ }
56
+
57
+ PURPOSE_MAP = {
58
+ # Domicile
59
+ 11: "home:main", # Mon domicile
60
+ 12: "home:secondary", # Autre domicile de la garde alternée
61
+ 13: "home:secondary", # Résidence secondaire, logement occasionnel, hôtel, autre domicile
62
+ # Travail
63
+ 21: "work:declared", # Travail / Lieu travail précis
64
+ 31: "work:other", # Affaires professionnelles (RV pro, réunion, etc.) hors lieu de travail habituel
65
+ 32: "work:other", # Travail chez des particuliers
66
+ 33: "work:other", # Travail dans un espace de co-working
67
+ 34: "work:telework", # Travail au domicile personnel
68
+ 35: "work:other", # Travail sur un autre lieu
69
+ 36: "work:professional_tour", # Tournée professionnelle
70
+ # Restauration
71
+ 611: "leisure:restaurant", # Restaurant, cantine, cafétéria, bar, café…
72
+ 37: "work:business_meal", # Repas d’affaires, déjeuner professionnel
73
+ # Etudes ou crèche
74
+ 41: "education:childcare", # Garde d'enfants
75
+ 42: "education:declared", # Etudes
76
+ 43: "education:other", # Etudes sur un autre lieu
77
+ # Achats
78
+ 51: "shopping:daily", # Achats quotidiens
79
+ 52: "shopping:weekly", # Achats hebdomadaires
80
+ 53: "shopping:specialized", # Achats occasionnels
81
+ 54: "shopping:pickup", # Récupérer un colis
82
+ 621: "shopping:no_purchase", # Lèche vitrines
83
+ # Loisirs
84
+ 631: "leisure:sport_or_culture", # Sortie
85
+ 622: "leisure:walk_or_driving_lesson", # Promenade dans / vers un lieu précis (monument, parc, bois…)
86
+ 623: "leisure:walk_or_driving_lesson", # Promenade sans but précis (dans le quartier…)
87
+ 641: "leisure:visiting", # Rendre visite
88
+ 651: "leisure:sport_or_culture", # Faire du sport
89
+ 652: "leisure:sport_or_culture", # Participation à une activité artistique ou associative
90
+ 690: "leisure:other", # Autres loisirs
91
+ # Démarches
92
+ 71: "task:procedure", # Démarches administratives
93
+ 72: "task:job_search", # Recherche d’emploi
94
+ 73: "task:healthcare", # Aide ou soins à des proches
95
+ 74: "task:healthcare", # Santé
96
+ 75: "task:other", # Affaires personnelles autres
97
+ 624: "leisure:walk_or_driving_lesson", # Leçons de conduite
98
+ # Accompagner quelqu'un
99
+ 811: "escort:transport:drop_off", # Accompagner quelqu’un à un mode de transport
100
+ 821: "escort:transport:pick_up", # Aller chercher quelqu’un à un mode de transport
101
+ 812: "escort:activity:drop_off", # Accompagner quelqu’un
102
+ 822: "escort:activity:pick_up", # Aller chercher quelqu’un
103
+ # Autre
104
+ 90: "other", # Autre lieu
105
+ }
106
+
107
+
108
+ def scan_trips(filename: str):
109
+ # We use the inefficient `read_csv().lazy()` because we need to use `encoding="latin1"`, which
110
+ # does not exist with `scan_csv()`.
111
+ lf = pl.read_csv(
112
+ filename,
113
+ separator=";",
114
+ encoding="latin1",
115
+ schema_overrides=SCHEMA,
116
+ null_values=["-1"],
117
+ ).lazy()
118
+ return lf
119
+
120
+
121
+ def standardize_trips(filename: str, households: pl.LazyFrame, persons: pl.LazyFrame):
122
+ lf = scan_trips(filename)
123
+ # Add household_id and person_id.
124
+ lf = lf.with_columns(original_person_id=pl.struct("IDCEREMA", "NP")).join(
125
+ persons.select("original_person_id", "person_id", "household_id"),
126
+ on="original_person_id",
127
+ how="left",
128
+ coalesce=True,
129
+ )
130
+ # Add interview_date.
131
+ lf = lf.join(
132
+ households.select("household_id", "interview_date"),
133
+ on="household_id",
134
+ how="left",
135
+ coalesce=True,
136
+ )
137
+ lf = lf.rename(
138
+ {
139
+ "ORLNG": "origin_lng",
140
+ "ORLAT": "origin_lat",
141
+ "ORINSEE": "origin_insee",
142
+ "DESTLNG": "destination_lng",
143
+ "DESTLAT": "destination_lat",
144
+ "DESTINSEE": "destination_insee",
145
+ "DPORTEE": "trip_euclidean_distance_km",
146
+ }
147
+ )
148
+ lf = lf.with_columns(
149
+ original_trip_id=pl.struct("IDCEREMA", "NP", "ND"),
150
+ origin_purpose=pl.col("ORMOT").replace_strict(PURPOSE_MAP),
151
+ destination_purpose=pl.col("DESTMOT").replace_strict(PURPOSE_MAP),
152
+ departure_time=(pl.col("ORHOR") // 100) * 60 + pl.col("ORHOR") % 100,
153
+ arrival_time=(pl.col("DESTHOR") // 100) * 60 + pl.col("DESTHOR") % 100,
154
+ # For INSEE in départements < 10, the starting 0 is omitted (e.g., "02307" is "2307") so we
155
+ # need to add it.
156
+ origin_insee=pl.when(pl.col("origin_insee").str.len_chars() < 4)
157
+ .then(pl.lit(None))
158
+ .when(pl.col("origin_insee").str.len_chars() == 4)
159
+ .then(pl.col("origin_insee").str.pad_start(5, "0"))
160
+ .otherwise("origin_insee"),
161
+ destination_insee=pl.when(pl.col("destination_insee").str.len_chars() < 4)
162
+ .then(pl.lit(None))
163
+ .when(pl.col("destination_insee").str.len_chars() == 4)
164
+ .then(pl.col("destination_insee").str.pad_start(5, "0"))
165
+ .otherwise("destination_insee"),
166
+ # The trip took place the day before the interview.
167
+ trip_date=pl.col("interview_date") - timedelta(days=1),
168
+ )
169
+ # For EGT2020, we use the AAV and density data from 2020 (even if some interviews are from 2018
170
+ # and 2019).
171
+ # The survey perimiters cover excatly the 8 départements of the IDF region.
172
+ lf = clean(lf, 2020, perimeter_deps=["75", "77", "78", "91", "92", "93", "94", "95"])
173
+ return lf
@@ -0,0 +1,162 @@
1
+ from datetime import timedelta
2
+
3
+ import polars as pl
4
+
5
+ from mobisurvstd.common.households import clean
6
+
7
+ SCHEMA = {
8
+ "IDCEREMA": pl.String, # Identifiant du ménage
9
+ "TYPE_QUEST": pl.String, # Type de questionnaire
10
+ "NBP_CATI": pl.UInt8, # Nombre d’occupants du logement recueilli par téléphone
11
+ "RESCOMM": pl.String, # Commune de résidence
12
+ "RESDEP": pl.String, # Département de résidence
13
+ "RESCOUR": pl.UInt8, # Couronne de résidence
14
+ "RESLNG": pl.Float64, # Longitude du lieu de résidence
15
+ "RESLAT": pl.Float64, # Latitude du lieu de résidence
16
+ "JOUR": pl.UInt8, # Jour de l’enquête (JJ)
17
+ "MOIS": pl.UInt8, # Mois de l’enquête (MM)
18
+ "ANNEE": pl.UInt16, # Année de l’enquête (AAAA)
19
+ "JOURSEM": pl.String, # Jour de la semaine de la date schéma des déplacements
20
+ "MNP": pl.UInt8, # Nombre de personnes du ménage
21
+ "MNP5": pl.UInt8, # Nombre de personnes du ménage de 5 ans et plus
22
+ "MNPMOB": pl.UInt8, # Nombre de personnes du ménage qui se sont déplacées la veille
23
+ "MNPACT": pl.UInt8, # Nombre d'actifs occupés dans le ménage
24
+ "TYPE_MEN": pl.String, # Type de ménage
25
+ "TYPELOG": pl.UInt8, # Type de logement
26
+ "OCCUPLOG": pl.UInt8, # Occupation du logement
27
+ "OCCUPLOG_txt": pl.String, # Occupation du logement
28
+ "ANARR_LOG": pl.UInt16, # Année d'arrivée dans le logement
29
+ "ACOMM_T": pl.UInt8, # Type commune précédente
30
+ "ACOMM_N": pl.String, # Nom commune précédente
31
+ "INTERNET": pl.UInt8, # Présence d'un accès Internet au sein du domicile
32
+ "NB_VD": pl.UInt8, # Nombre de voitures à disposition
33
+ "NB_2RM": pl.UInt8, # Nombre de deux-roues motorisés à disposition
34
+ "NB_VEH": pl.UInt8, # Nombre de véhicules motorisés à disposition
35
+ "NB_VELO": pl.UInt8, # Nombre de vélos (en état de marche pour les personnes âgées d'au moins 10 ans))
36
+ "NB_VAE": pl.UInt8, # Nombre de vélo à assistance électrique
37
+ "VP_ENT": pl.UInt8, # Dépense Voiture entretien
38
+ "VP_ASS": pl.UInt8, # Dépense Voiture assurance
39
+ "DEUXRM_ENT": pl.UInt8, # Dépense Deux-roues motorisé entretien
40
+ "DEUXRM_ASS": pl.UInt8, # Dépense Deux-roues motorisé assurance
41
+ "ABRI_VL": pl.UInt8, # Abri Vélo
42
+ "REVENU": pl.UInt8, # Classe de revenu net mensuel
43
+ "POIDSM": pl.Float64, # Poids du ménage
44
+ }
45
+
46
+ SURVEY_METHOD_MAP = {
47
+ "CAPI": "face_to_face",
48
+ "CATI": "phone",
49
+ }
50
+
51
+ HOUSEHOLD_TYPE_MAP = {
52
+ "Homme seul": "single:man",
53
+ "Femme seule": "single:woman",
54
+ "Couple sans enfant": "couple:no_child",
55
+ "Couple avec enfant": "couple:children",
56
+ "Famille monoparentale père": "singleparent:father",
57
+ "Famille monoparentale mère": "singleparent:mother",
58
+ "Autre": "other",
59
+ }
60
+
61
+ HOUSING_TYPE_MAP = {
62
+ 1: "house", # Une maison
63
+ 2: "apartment", # Un appartement
64
+ 3: "other", # Autre
65
+ 9: "other", # Note. Une the variable dictionary Autre is 3 but it seems that 9 is used instead.
66
+ }
67
+
68
+ HOUSING_STATUS_MAP = {
69
+ 1: "owner:ongoing_loan", # Propriétaire en cours de prêt immobilier
70
+ 2: "owner:fully_repaid", # Propriétaire hors prêt immobilier
71
+ 10: "owner:unspecified", # Propriétaire sans précision
72
+ 3: "tenant:public_housing", # Locataire d'un organisme HLM, RIVP
73
+ 4: "tenant:private", # Locateur du secteur privé
74
+ 5: "university_resident", # Locataire d'une résidence universitaire
75
+ 9: "other", # Autre
76
+ }
77
+
78
+ REVENU_LB_MAP = {
79
+ 1: 0, # Moins de 800€
80
+ 2: 800, # De 800 à 1200€
81
+ 3: 1200, # De 1200 à 1600€
82
+ 4: 1600, # De 1600 à 2000€
83
+ 5: 2000, # De 2000 à 2400€
84
+ 6: 2400, # De 2400 à 3000€
85
+ 7: 3000, # De 3000 à 3500€
86
+ 8: 3500, # De 3500 à 4500€
87
+ 9: 4500, # De 4500 à 5500€
88
+ 10: 5500, # 5500€ et plus
89
+ }
90
+
91
+ REVENU_UB_MAP = {
92
+ 1: 800, # Moins de 800€
93
+ 2: 1200, # De 800 à 1200€
94
+ 3: 1600, # De 1200 à 1600€
95
+ 4: 2000, # De 1600 à 2000€
96
+ 5: 2400, # De 2000 à 2400€
97
+ 6: 3000, # De 2400 à 3000€
98
+ 7: 3500, # De 3000 à 3500€
99
+ 8: 4500, # De 3500 à 4500€
100
+ 9: 5500, # De 4500 à 5500€
101
+ 10: None, # 5500€ et plus
102
+ }
103
+
104
+
105
+ def scan_households(filename: str):
106
+ # We use the inefficient `read_csv().lazy()` because we need to use `encoding="latin1"`, which
107
+ # does not exist with `scan_csv()`.
108
+ lf = pl.read_csv(
109
+ filename,
110
+ separator=";",
111
+ encoding="latin1",
112
+ schema_overrides=SCHEMA,
113
+ null_values=["-1", "-2"],
114
+ ).lazy()
115
+ return lf
116
+
117
+
118
+ def standardize_households(filename: str):
119
+ lf = scan_households(filename)
120
+ lf = lf.rename(
121
+ {
122
+ "POIDSM": "sample_weight",
123
+ "RESLNG": "home_lng",
124
+ "RESLAT": "home_lat",
125
+ "RESCOMM": "home_insee",
126
+ "RESDEP": "home_dep",
127
+ "NB_VD": "nb_cars",
128
+ "NB_2RM": "nb_motorcycles",
129
+ "NB_VELO": "nb_bicycles",
130
+ "NB_VAE": "nb_electric_bicycles",
131
+ }
132
+ )
133
+ lf = lf.with_columns(
134
+ original_household_id=pl.struct("IDCEREMA"),
135
+ survey_method=pl.col("TYPE_QUEST").replace_strict(SURVEY_METHOD_MAP),
136
+ interview_date=pl.date(year="ANNEE", month="MOIS", day="JOUR") + timedelta(days=1),
137
+ household_type=pl.col("TYPE_MEN").replace_strict(HOUSEHOLD_TYPE_MAP),
138
+ income_lower_bound=pl.col("REVENU").replace_strict(REVENU_LB_MAP),
139
+ income_upper_bound=pl.col("REVENU").replace_strict(REVENU_UB_MAP),
140
+ housing_type=pl.col("TYPELOG").replace_strict(HOUSING_TYPE_MAP),
141
+ housing_status=pl.col("OCCUPLOG").replace_strict(HOUSING_STATUS_MAP),
142
+ has_internet=pl.col("INTERNET") == 1,
143
+ nb_standard_bicycles=pl.col("nb_bicycles") - pl.col("nb_electric_bicycles"),
144
+ has_bicycle_parking=pl.col("ABRI_VL") == 1,
145
+ # Set `nb_electric_bicycles` to NULL when `nb_bicycles` is NULL (column NB_VAE is 0 instead
146
+ # of NULL when NB_VELO is NULL).
147
+ nb_electric_bicycles=pl.when(pl.col("nb_bicycles").is_not_null()).then(
148
+ "nb_electric_bicycles"
149
+ ),
150
+ )
151
+ lf = lf.with_columns(
152
+ # More details on the housing status can be read in the `OCCUPLOG_txt` variable.
153
+ housing_status=pl.when(pl.col("OCCUPLOG_txt").str.contains("(?i)usufruit"))
154
+ .then(pl.lit("owner:usufructuary"))
155
+ .otherwise(
156
+ pl.when(pl.col("OCCUPLOG_txt").str.contains("(?i)gratuit|gracieux|fonction"))
157
+ .then(pl.lit("rent_free"))
158
+ .otherwise(pl.col("housing_status"))
159
+ ),
160
+ )
161
+ lf = clean(lf)
162
+ return lf