mobisurvstd 0.1.0__py3-none-any.whl

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (58) hide show
  1. mobisurvstd/__init__.py +8 -0
  2. mobisurvstd/__main__.py +4 -0
  3. mobisurvstd/classes.py +344 -0
  4. mobisurvstd/clean.py +1661 -0
  5. mobisurvstd/cli.py +44 -0
  6. mobisurvstd/common/__init__.py +1 -0
  7. mobisurvstd/common/cars.py +120 -0
  8. mobisurvstd/common/clean.py +470 -0
  9. mobisurvstd/common/households.py +97 -0
  10. mobisurvstd/common/legs.py +136 -0
  11. mobisurvstd/common/modes.py +52 -0
  12. mobisurvstd/common/motorcycles.py +44 -0
  13. mobisurvstd/common/persons.py +228 -0
  14. mobisurvstd/common/trips.py +253 -0
  15. mobisurvstd/common/zones.py +43 -0
  16. mobisurvstd/egt2010/__init__.py +1 -0
  17. mobisurvstd/egt2010/deplacements.py +170 -0
  18. mobisurvstd/egt2010/menages.py +378 -0
  19. mobisurvstd/egt2010/personnes.py +307 -0
  20. mobisurvstd/egt2010/survey.py +84 -0
  21. mobisurvstd/egt2010/trajets.py +211 -0
  22. mobisurvstd/egt2010/zones.py +11 -0
  23. mobisurvstd/egt2020/__init__.py +1 -0
  24. mobisurvstd/egt2020/deplacements.py +173 -0
  25. mobisurvstd/egt2020/menages.py +162 -0
  26. mobisurvstd/egt2020/motos.py +103 -0
  27. mobisurvstd/egt2020/personnes.py +391 -0
  28. mobisurvstd/egt2020/survey.py +89 -0
  29. mobisurvstd/egt2020/trajets.py +317 -0
  30. mobisurvstd/egt2020/voitures.py +128 -0
  31. mobisurvstd/emc2/__init__.py +1 -0
  32. mobisurvstd/emc2/common.py +42 -0
  33. mobisurvstd/emc2/deplacements.py +153 -0
  34. mobisurvstd/emc2/menages.py +358 -0
  35. mobisurvstd/emc2/personnes.py +305 -0
  36. mobisurvstd/emc2/survey.py +309 -0
  37. mobisurvstd/emc2/trajets.py +274 -0
  38. mobisurvstd/emc2/zones.py +107 -0
  39. mobisurvstd/emp/__init__.py +1 -0
  40. mobisurvstd/emp/deplacements.py +407 -0
  41. mobisurvstd/emp/menages.py +182 -0
  42. mobisurvstd/emp/motos.py +126 -0
  43. mobisurvstd/emp/personnes.py +543 -0
  44. mobisurvstd/emp/survey.py +93 -0
  45. mobisurvstd/emp/voitures.py +218 -0
  46. mobisurvstd/logger.py +15 -0
  47. mobisurvstd/main.py +158 -0
  48. mobisurvstd/resources/__init__.py +0 -0
  49. mobisurvstd/resources/admin_express.py +88 -0
  50. mobisurvstd/resources/insee_data.py +307 -0
  51. mobisurvstd/resources/nuts.py +129 -0
  52. mobisurvstd/schema.py +902 -0
  53. mobisurvstd/utils.py +125 -0
  54. mobisurvstd-0.1.0.dist-info/METADATA +210 -0
  55. mobisurvstd-0.1.0.dist-info/RECORD +58 -0
  56. mobisurvstd-0.1.0.dist-info/WHEEL +5 -0
  57. mobisurvstd-0.1.0.dist-info/licenses/LICENSE.md +7 -0
  58. mobisurvstd-0.1.0.dist-info/top_level.txt +1 -0
@@ -0,0 +1,253 @@
1
+ import polars as pl
2
+
3
+ from mobisurvstd.common.modes import MODE_TO_GROUP
4
+ from mobisurvstd.common.zones import add_lng_lat_columns
5
+ from mobisurvstd.resources.admin_express import find_insee
6
+ from mobisurvstd.resources.insee_data import add_insee_data
7
+ from mobisurvstd.resources.nuts import add_nuts_data
8
+ from mobisurvstd.schema import TRIP_SCHEMA
9
+
10
+ from . import DEBUG
11
+
12
+
13
+ def clean(
14
+ lf: pl.LazyFrame,
15
+ year: int,
16
+ perimeter_insees: list[str] | None = None,
17
+ perimeter_deps: list[str] | None = None,
18
+ special_locations: pl.DataFrame | None = None,
19
+ detailed_zones: pl.DataFrame | None = None,
20
+ ):
21
+ existing_cols = lf.collect_schema().names()
22
+ lf = lf.sort("original_trip_id")
23
+ lf = add_indexing(lf, existing_cols)
24
+ lf = add_purpose_groups(lf, existing_cols)
25
+ lf = add_home_sequence_index(lf)
26
+ lf = add_durations(lf, existing_cols)
27
+ lf = add_weekdays(lf, existing_cols)
28
+ lf = add_lng_lat(lf, existing_cols, special_locations, detailed_zones)
29
+ lf = add_insee_columns(lf, existing_cols)
30
+ lf = add_insee_data_columns(lf, existing_cols, year)
31
+ lf = add_nuts_columns(lf, existing_cols)
32
+ lf = add_intra_zones(lf, existing_cols)
33
+ lf = add_main_mode_groups(lf, existing_cols)
34
+ lf = add_trip_perimeter(lf, existing_cols, perimeter_insees, perimeter_deps)
35
+ if DEBUG:
36
+ # Try to collect the schema to check if it is valid.
37
+ lf.collect_schema()
38
+ lf.collect()
39
+ return lf
40
+
41
+
42
+ def add_indexing(lf: pl.LazyFrame, existing_cols: list[str]):
43
+ """Add columns `trip_id`, `trip_index`, `first_trip`, `last_trip` to a trip LazyFrame."""
44
+ if "trip_id" not in existing_cols:
45
+ lf = lf.with_columns(trip_id=pl.int_range(1, pl.len() + 1, dtype=TRIP_SCHEMA["trip_id"]))
46
+ existing_cols.append("trip_id")
47
+ if "trip_index" not in existing_cols:
48
+ lf = lf.with_columns(
49
+ trip_index=pl.int_range(1, pl.len() + 1, dtype=TRIP_SCHEMA["trip_index"]).over(
50
+ "person_id"
51
+ )
52
+ )
53
+ existing_cols.append("trip_index")
54
+ if "first_trip" not in existing_cols:
55
+ lf = lf.with_columns(first_trip=pl.col("trip_index").eq(1))
56
+ existing_cols.append("first_trip")
57
+ if "last_trip" not in existing_cols:
58
+ lf = lf.with_columns(
59
+ last_trip=pl.col("trip_index").eq(pl.col("trip_index").last().over("person_id"))
60
+ )
61
+ existing_cols.append("last_trip")
62
+ return lf
63
+
64
+
65
+ def add_durations(lf: pl.LazyFrame, existing_cols: list[str]):
66
+ """Add columns `travel_time`, `origin_activity_duration`, `destination_activity_duration` to a
67
+ trip LazyFrame.
68
+ """
69
+ if "departure_time" in existing_cols and "arrival_time" in existing_cols:
70
+ lf = lf.with_columns(
71
+ travel_time=pl.col("arrival_time") - pl.col("departure_time"),
72
+ origin_activity_duration=pl.col("departure_time")
73
+ - pl.col("arrival_time").shift(1).over("person_id"),
74
+ destination_activity_duration=pl.col("departure_time").shift(-1).over("person_id")
75
+ - pl.col("arrival_time"),
76
+ )
77
+ return lf
78
+
79
+
80
+ WEEKDAY_MAP = {
81
+ 1: "monday",
82
+ 2: "tuesday",
83
+ 3: "wednesday",
84
+ 4: "thursday",
85
+ 5: "friday",
86
+ 6: "saturday",
87
+ 7: "sunday",
88
+ }
89
+
90
+
91
+ def add_weekdays(lf: pl.LazyFrame, existing_cols: list[str]):
92
+ """Add columns `trip_weekday` to the trip LazyFrame if column `trip_date` exists."""
93
+ if "trip_date" in existing_cols and "trip_weekay" not in existing_cols:
94
+ lf = lf.with_columns(
95
+ trip_weekday=pl.col("trip_date").dt.weekday().replace_strict(WEEKDAY_MAP)
96
+ )
97
+ return lf
98
+
99
+
100
+ def add_purpose_groups(lf: pl.LazyFrame, existing_cols: list[str]):
101
+ """Add all `*_purpose_group` columns (if the `*_purpose` column exists)."""
102
+ for col in (
103
+ "origin_purpose",
104
+ "origin_escort_purpose",
105
+ "destination_purpose",
106
+ "destination_escort_purpose",
107
+ ):
108
+ if col in existing_cols:
109
+ group_col = f"{col}_group"
110
+ lf = lf.with_columns(
111
+ pl.col(col).cast(pl.String).str.extract("(\w+):?").alias(group_col)
112
+ )
113
+ return lf
114
+
115
+
116
+ def add_home_sequence_index(lf: pl.LazyFrame):
117
+ """Add `home_sequence_index` column."""
118
+ return lf.with_columns(
119
+ home_sequence_index=pl.col("origin_purpose_group").eq("home").cum_sum().over("person_id")
120
+ )
121
+
122
+
123
+ def add_lng_lat(
124
+ lf: pl.LazyFrame,
125
+ existing_cols: list[str],
126
+ special_locations: pl.DataFrame | None,
127
+ detailed_zones: pl.DataFrame | None,
128
+ ):
129
+ for coords, name in (
130
+ (special_locations, "special_location"),
131
+ (detailed_zones, "detailed_zone"),
132
+ ):
133
+ if coords is not None and (
134
+ f"origin_{name}" in existing_cols or f"destination_{name}" in existing_cols
135
+ ):
136
+ lf = add_lng_lat_columns(lf, existing_cols, coords, prefix="origin", name=name)
137
+ lf = add_lng_lat_columns(lf, existing_cols, coords, prefix="destination", name=name)
138
+ return lf
139
+
140
+
141
+ def add_insee_columns(lf: pl.LazyFrame, existing_cols: list[str]):
142
+ """Add `origin_insee` and `destination_insee` columns (if they do not exist already), by reading
143
+ the origin and destination longitudes and latitudes.
144
+ """
145
+ for prefix in ("origin", "destination"):
146
+ if (
147
+ f"{prefix}_insee" in existing_cols
148
+ or f"{prefix}_lng" not in existing_cols
149
+ or f"{prefix}_lat" not in existing_cols
150
+ ):
151
+ continue
152
+ lf = find_insee(lf, prefix, "trip_id")
153
+ existing_cols.append(f"{prefix}_insee")
154
+ return lf
155
+
156
+
157
+ def add_insee_data_columns(lf: pl.LazyFrame, existing_cols: list[str], year: int):
158
+ """Add all insee data for the origin and destination municipalities."""
159
+ for prefix in ("origin", "destination"):
160
+ if f"{prefix}_insee" in existing_cols:
161
+ # If the corresponding `*_dep` column already exists, then it is not added again.
162
+ lf = add_insee_data(lf, prefix, year=year, skip_dep=f"{prefix}_dep" in existing_cols)
163
+ existing_cols.append(f"{prefix}_insee_name")
164
+ existing_cols.append(f"{prefix}_dep")
165
+ if year is not None:
166
+ existing_cols.append(f"{prefix}_aav")
167
+ return lf
168
+
169
+
170
+ def add_nuts_columns(lf: pl.LazyFrame, existing_cols: list[str]):
171
+ """Add all département and NUTS-related columns."""
172
+ for prefix in ("origin", "destination"):
173
+ if f"{prefix}_dep" in existing_cols:
174
+ lf = add_nuts_data(lf, prefix)
175
+ return lf
176
+
177
+
178
+ def add_intra_zones(lf: pl.LazyFrame, existing_cols: list[str]):
179
+ """Add `intra_municipality`, `intra_aav`, and `intra_dep` columns (if possible)."""
180
+ for suffix, col in (
181
+ ("insee", "intra_municipality"),
182
+ ("aav", "intra_aav"),
183
+ ("dep", "intra_dep"),
184
+ ):
185
+ orig_col = f"origin_{suffix}"
186
+ dest_col = f"destination_{suffix}"
187
+ if orig_col in existing_cols and dest_col in existing_cols:
188
+ lf = lf.with_columns((pl.col(orig_col) == pl.col(dest_col)).alias(col))
189
+ return lf
190
+
191
+
192
+ def add_main_mode_groups(lf: pl.LazyFrame, existing_cols: list[str]):
193
+ """Add `main_mode_group` columns (if the `main_mode` column exists)."""
194
+ if "main_mode" in existing_cols:
195
+ lf = lf.with_columns(main_mode_group=pl.col("main_mode").replace_strict(MODE_TO_GROUP))
196
+ existing_cols.append("main_mode_group")
197
+ return lf
198
+
199
+
200
+ def add_intermodality_column(lf: pl.LazyFrame):
201
+ # A trip is intermodal if there is at least two legs from different mode groups (excluding all
202
+ # walking legs).
203
+ lf = lf.with_columns(
204
+ intermodality=sum(
205
+ pl.col(f"nb_legs_{mode_group}") > 0
206
+ for mode_group in TRIP_SCHEMA["main_mode_group"].categories
207
+ if mode_group != "walking"
208
+ )
209
+ >= 2
210
+ )
211
+ return lf
212
+
213
+
214
+ def add_trip_perimeter(
215
+ lf: pl.LazyFrame,
216
+ existing_cols: list[str],
217
+ perimeter_insees: list[str] | None = None,
218
+ perimeter_deps: list[str] | None = None,
219
+ ):
220
+ if perimeter_insees is None and perimeter_deps is None:
221
+ # Perimeter is not defined.
222
+ return lf
223
+ if perimeter_insees is not None:
224
+ assert perimeter_deps is None, (
225
+ "Only one of `perimeter_insees` and `perimeter_deps` should be given"
226
+ )
227
+ if "origin_insee" not in existing_cols and "destination_insee" not in existing_cols:
228
+ # Cannot identify trip perimeters.
229
+ return lf
230
+ lf = lf.with_columns(
231
+ origin_in_perimeter=pl.col("origin_insee").is_in(perimeter_insees),
232
+ destination_in_perimeter=pl.col("destination_insee").is_in(perimeter_insees),
233
+ )
234
+ else:
235
+ if "origin_dep" not in existing_cols and "destination_dep" not in existing_cols:
236
+ # Cannot identify trip perimeters.
237
+ return lf
238
+ lf = lf.with_columns(
239
+ origin_in_perimeter=pl.col("origin_dep").is_in(perimeter_deps),
240
+ destination_in_perimeter=pl.col("destination_dep").is_in(perimeter_deps),
241
+ )
242
+ lf = lf.with_columns(
243
+ trip_perimeter=pl.when(
244
+ pl.col("origin_in_perimeter").is_null() | pl.col("destination_in_perimeter").is_null()
245
+ )
246
+ .then(None)
247
+ .when("origin_in_perimeter", "destination_in_perimeter")
248
+ .then(pl.lit("internal"))
249
+ .when(pl.col("origin_in_perimeter") | pl.col("destination_in_perimeter"))
250
+ .then(pl.lit("crossing"))
251
+ .otherwise(pl.lit("external"))
252
+ )
253
+ return lf
@@ -0,0 +1,43 @@
1
+ import geopandas as gpd
2
+ import polars as pl
3
+
4
+
5
+ def get_coords(gdf: gpd.GeoDataFrame, name: str):
6
+ centroids = gdf.geometry.centroid.to_crs("EPSG:4326")
7
+ df = pl.DataFrame(
8
+ {
9
+ f"{name}_id": gdf[f"{name}_id"],
10
+ "lng": centroids.x,
11
+ "lat": centroids.y,
12
+ }
13
+ )
14
+ return df
15
+
16
+
17
+ def add_lng_lat_columns(
18
+ lf: pl.LazyFrame, existing_columns: list[str], coords: pl.DataFrame, prefix: str, name: str
19
+ ):
20
+ """Add longitude, latitude columns from zone coordinates."""
21
+ zone_col = f"{prefix}_{name}"
22
+ lng_col = f"{prefix}_lng"
23
+ lat_col = f"{prefix}_lat"
24
+ if zone_col in existing_columns:
25
+ lf = lf.with_columns(
26
+ tmp_lng=pl.col(zone_col).replace_strict(
27
+ coords[f"{name}_id"], coords["lng"], default=None
28
+ ),
29
+ tmp_lat=pl.col(zone_col).replace_strict(
30
+ coords[f"{name}_id"], coords["lat"], default=None
31
+ ),
32
+ )
33
+ if lng_col in existing_columns:
34
+ lf = lf.with_columns(pl.col(lng_col).fill_null(pl.col("tmp_lng"))).drop("tmp_lng")
35
+ else:
36
+ lf = lf.rename({"tmp_lng": lng_col})
37
+ existing_columns.append(lng_col)
38
+ if lat_col in existing_columns:
39
+ lf = lf.with_columns(pl.col(lat_col).fill_null(pl.col("tmp_lat"))).drop("tmp_lat")
40
+ else:
41
+ lf = lf.rename({"tmp_lat": lat_col})
42
+ existing_columns.append(lat_col)
43
+ return lf
@@ -0,0 +1 @@
1
+ from .survey import standardize as standardize
@@ -0,0 +1,170 @@
1
+ from datetime import timedelta
2
+
3
+ import polars as pl
4
+
5
+ from mobisurvstd.common.trips import clean
6
+
7
+ SCHEMA = {
8
+ "NQUEST": pl.UInt32, # Identifiant du ménage
9
+ "NP": pl.UInt8, # Numéro de personne dans le ménage
10
+ "ND": pl.UInt8, # Numéro de déplacement de la personne
11
+ "POIDSP": pl.Float64, # Poids de la personne réalisant le déplacement
12
+ "JDEP": pl.UInt8, # Jour de la semaine où le déplacement est effectué
13
+ "RESCOUR": pl.UInt8, # Couronne de résidence de la personne effectuant le déplacement
14
+ "RESDEP": pl.String, # Département de résidence de la personne effectuant le déplacement
15
+ "RESSECT": pl.String, # Secteur de résidence de la personne effectuant le déplacement
16
+ "RESCOMM": pl.String, # Commune de résidence de la personne effectuant le déplacement
17
+ "RESC": pl.String, # Carreau de résidence de la personne effectuant le déplacement
18
+ "ORCOUR": pl.UInt8, # Couronne d'origine du déplacement
19
+ "ORDEP": pl.String, # Département d'origine du déplacement
20
+ "ORSECT": pl.String, # Secteur d'origine du déplacement
21
+ "ORCOMM": pl.String, # Commune d'origine du déplacement
22
+ "ORC": pl.String, # Carreau d'origine du déplacement
23
+ "ORH": pl.UInt16, # Heure de départ
24
+ "ORM": pl.UInt16, # Minute de départ
25
+ "ORMOT": pl.UInt8, # Motif au départ
26
+ "ORMOT_H9": pl.UInt8, # Motif au départ (regroupé en 9 catégories)
27
+ "DESTCOUR": pl.UInt8, # Couronne de destination du déplacement
28
+ "DESTDEP": pl.String, # Département de destination du déplacement
29
+ "DESTSECT": pl.String, # Secteur de destination du déplacement
30
+ "DESTCOMM": pl.String, # Commune de destination du déplacement
31
+ "DESTC": pl.String, # Carreau de destination du déplacement
32
+ "DESTH": pl.UInt16, # Heure d'arrivée
33
+ "DESTM": pl.UInt16, # Minute d'arrivée
34
+ "DESTMOT": pl.UInt8, # Motif à l'arrivée
35
+ "DESTMOT_H9": pl.UInt8, # Motif à l'arrivée (regroupé en 9 catégories)
36
+ "DESTMOT_IAURIF02": pl.UInt8, # Motif à l'arrivée (définition IAURIF)
37
+ "MOTIF_COMBINE": pl.UInt8, # Motif combiné origine / destination
38
+ "DPORTEE": pl.Float64, # Portée du déplacement en kilomètres (pour interne IdF)
39
+ "DUREE": pl.UInt16, # Durée du déplacement en minutes (pour interne IdF)
40
+ "ACCMOT": pl.UInt8, # Motif de la personne accompagnée
41
+ "ACCMOT_H9": pl.UInt8, # Motif de la personne accompagnée (regroupé en 9 catégories)
42
+ "ACCNP": pl.UInt8, # Numéro de la personne accompagnée si personne du ménage
43
+ "TLT": pl.UInt8, # Type de lieu de travail (si destination = lieu de travail)
44
+ "TLA": pl.UInt8, # Type de lieu d'achat (si destination = lieu d'achat)
45
+ "NBAT": pl.UInt8, # Nombre d'arrêts dans la tournée
46
+ "TRP": pl.UInt8, # Avez-vous traversé Paris intra muros pendant le déplacement
47
+ "MODP_STRICT": pl.UInt8, # Mode principal strict détaillé
48
+ "MODP_H6": pl.UInt8, # Mode principal en 6 modalités
49
+ "MODP_H7": pl.UInt8, # Mode principal en 7 modalités
50
+ "MODP_H12": pl.UInt8, # Mode principal en 12 modalités
51
+ "MODP_H19": pl.UInt8, # Mode principal en 19 modalités
52
+ "NBTRAJ": pl.UInt8, # Nombre de trajets réalisés dans le déplacement
53
+ "NBTRAJVP": pl.UInt8, # Nombre de trajets réalisés en voiture (passager ou conducteur) dans le déplacement
54
+ "NBTRAJVPC": pl.UInt8, # Nombre de trajets réalisés en voiture (conducteur) dans le déplacement
55
+ "NBTRAJTC": pl.UInt8, # Nombre de trajets réalisés en transports collectifs dans le déplacement
56
+ "NBTRAJVELO": pl.UInt8, # Nombre de trajets réalisés à vélo dans le déplacement
57
+ "NBTRAJ2RM": pl.UInt8, # Nombre de trajets réalisés en deux roues-motorisé dans le déplacement
58
+ "IDM": pl.UInt8, # Indicateur de déplacement motorisé
59
+ "NBCO": pl.UInt8, # Nombre de correspondances si déplacement effectué en transports collectifs
60
+ "RAB_TC": pl.UInt8, # Mode principal de rabattement vers les transports collectifs (avant d'emprunter la première ligne de transports collectifs du déplacement)
61
+ "DIFF_TC": pl.UInt8, # Mode principal de diffusion depuis les transports collectifs (après avoir emprunté la dernière ligne de transports collectifs du déplacement)
62
+ }
63
+
64
+ PURPOSE_MAP = {
65
+ "1": "home:main", # Domicile habituel (celui où la personne est enquêtée)
66
+ "2": "home:secondary", # Un des domiciles correspondant à une garde alternée
67
+ "3": "home:secondary", # Résidence secondaire, logement occasionnel, hôtel, autre domicile
68
+ # Motifs professionnels
69
+ "11": "work:declared", # Travail sur le lieu de travail déclaré dans la fiche personne
70
+ "12": "work:secondary", # Travail sur un autre lieu (hors affaires professionnelles)
71
+ "13": "work:other", # Affaires professionnelles hors lieu de travail habituel (RV professionnel, réunion, etc.)
72
+ "14": "work:professional_tour", # Tournée professionnelle
73
+ # Restauration hors domicile
74
+ "15": "work:business_meal", # Repas d’affaires, déjeuner professionnel
75
+ "16": "leisure:lunch_break", # Pause déjeuner durant la journée de travail (cantine, cafétéria, restaurant situés hors du lieu de travail…)
76
+ "17": "leisure:restaurant", # Autre restauration hors domicile (restaurant, bar, café, cybercafé…)
77
+ # Etudes -Garde d’enfants
78
+ "21": "education:childcare", # Nourrice, crèche, garde d’enfants
79
+ "22": "education:declared", # Études sur le lieu d'études déclaré (école maternelle et primaire)
80
+ "23": "education:declared", # Études sur le lieu d'études déclaré (enseignement secondaire : collège et lycée)
81
+ "24": "education:declared", # Études sur le lieu d'études déclaré (enseignement supérieur, universités et grandes écoles)
82
+ "25": "education:other", # Études sur un autre lieu (école maternelle et primaire)
83
+ "26": "education:other", # Études sur un autre lieu (enseignement secondaire : collège et lycée)
84
+ "27": "education:other", # Études sur un autre lieu (enseignement supérieur, universités et grandes écoles)
85
+ # Achats
86
+ "31": "shopping:daily", # Achats quotidiens (pain, journal, …)
87
+ "32": "shopping:weekly", # Achats hebdomadaires ou bi hebdomadaires
88
+ "33": "shopping:specialized", # Achats occasionnels (livres, vêtements, électroménager, musique, meubles etc.)
89
+ # Loisirs
90
+ "41": "leisure:sport_or_culture", # Participation à une activité sportive, culturelle, associative ou religieuse
91
+ "42": "leisure:walk_or_driving_lesson", # Promenade, lèche-vitrines (sans achat), leçons de conduite
92
+ "43": "leisure:visiting:parents", # Visite à des parents
93
+ "44": "leisure:visiting:friends", # Visite à des amis
94
+ "45": "leisure:sport_or_culture", # Spectacle, exposition, cinéma, musée, théâtre, concert, match de foot…
95
+ "46": "leisure:sport_or_culture", # Voyage, sortie touristique
96
+ "47": "leisure:other", # Autres loisirs
97
+ # Démarches administratives/ Affaires personnelles
98
+ "50": "task:procedure", # Démarches administratives
99
+ "51": "task:job_search", # Recherche d’emploi (y. entretiens)
100
+ "52": "task:healthcare", # Aide ou soins à des proches
101
+ "53": "task:healthcare:hospital", # Santé (hôpital, clinique)
102
+ "54": "task:healthcare:doctor", # Santé autres (consultation professionnel de la santé hors hôpital : médecin, dentiste, kiné, etc.)
103
+ "55": "task:other", # Affaires personnelles autres (avocat, notaire, garage, réunion parents d’élèves, réunion de copropriétaires etc.)
104
+ # Accompagnement
105
+ "61": "escort:transport:drop_off", # Dépose d’une personne à un mode de transport (station, gare, arrêt de bus, aéroport…)
106
+ "62": "escort:transport:pick_up", # Reprise d’une personne à un mode de transport (station, gare, arrêt de bus, aéroport…)
107
+ "63": "escort:activity:drop_off", # Accompagner quelqu’un dans un lieu autre qu’un mode de transport (école, garderie, amis, cinéma, sport, travail etc.)
108
+ "64": "escort:activity:pick_up", # Aller chercher quelqu’un (dans un lieu autre qu’un mode de transport (école, garderie, amis, cinéma, sport, travail etc.)
109
+ "98": "other", # Autre motif
110
+ }
111
+
112
+
113
+ def scan_trips(filename: str):
114
+ lf = pl.scan_csv(filename, separator=";", schema_overrides=SCHEMA)
115
+ return lf
116
+
117
+
118
+ def standardize_trips(filename: str, persons: pl.LazyFrame, households: pl.LazyFrame):
119
+ lf = scan_trips(filename)
120
+ # Add household_id and person_id.
121
+ lf = lf.with_columns(original_person_id=pl.struct("NQUEST", "NP")).join(
122
+ persons.select("original_person_id", "person_id", "household_id"),
123
+ on="original_person_id",
124
+ how="left",
125
+ coalesce=True,
126
+ )
127
+ # Add interview_date.
128
+ lf = lf.join(
129
+ households.select("household_id", "interview_date"),
130
+ on="household_id",
131
+ how="left",
132
+ coalesce=True,
133
+ )
134
+ lf = lf.rename(
135
+ {
136
+ "ORC": "origin_detailed_zone",
137
+ "ORSECT": "origin_draw_zone",
138
+ "ORCOMM": "origin_insee",
139
+ "DESTC": "destination_detailed_zone",
140
+ "DESTSECT": "destination_draw_zone",
141
+ "DESTCOMM": "destination_insee",
142
+ "NBAT": "nb_tour_stops",
143
+ "DPORTEE": "trip_euclidean_distance_km",
144
+ }
145
+ )
146
+ lf = lf.with_columns(
147
+ trip_index="ND",
148
+ original_trip_id=pl.struct("NQUEST", "NP", "ND"),
149
+ origin_purpose=pl.col("ORMOT").replace_strict(PURPOSE_MAP),
150
+ destination_purpose=pl.col("DESTMOT").replace_strict(PURPOSE_MAP),
151
+ origin_escort_purpose=pl.col("ACCMOT").replace_strict(PURPOSE_MAP),
152
+ destination_escort_purpose=pl.col("ACCMOT").replace_strict(PURPOSE_MAP),
153
+ departure_time=pl.col("ORH") * 60 + pl.col("ORM"),
154
+ arrival_time=pl.col("DESTH") * 60 + pl.col("DESTM"),
155
+ # The trip took place the day before the interview.
156
+ trip_date=pl.col("interview_date") - timedelta(days=1),
157
+ ).with_columns(
158
+ # Set escort purpose to null when the purpose is not escort.
159
+ # (EGT 2010 uses a single column for escort purpose at origin and at destination)
160
+ origin_escort_purpose=pl.when(pl.col("origin_purpose").str.starts_with("escort:")).then(
161
+ "origin_escort_purpose"
162
+ ),
163
+ destination_escort_purpose=pl.when(
164
+ pl.col("destination_purpose").str.starts_with("escort:")
165
+ ).then("destination_escort_purpose"),
166
+ )
167
+ # For EGT2010, we use the AAV and density data from 2010.
168
+ # The survey perimiters cover excatly the 8 départements of the IDF region.
169
+ lf = clean(lf, 2010, perimeter_deps=["75", "77", "78", "91", "92", "93", "94", "95"])
170
+ return lf