mobisurvstd 0.1.0__py3-none-any.whl
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- mobisurvstd/__init__.py +8 -0
- mobisurvstd/__main__.py +4 -0
- mobisurvstd/classes.py +344 -0
- mobisurvstd/clean.py +1661 -0
- mobisurvstd/cli.py +44 -0
- mobisurvstd/common/__init__.py +1 -0
- mobisurvstd/common/cars.py +120 -0
- mobisurvstd/common/clean.py +470 -0
- mobisurvstd/common/households.py +97 -0
- mobisurvstd/common/legs.py +136 -0
- mobisurvstd/common/modes.py +52 -0
- mobisurvstd/common/motorcycles.py +44 -0
- mobisurvstd/common/persons.py +228 -0
- mobisurvstd/common/trips.py +253 -0
- mobisurvstd/common/zones.py +43 -0
- mobisurvstd/egt2010/__init__.py +1 -0
- mobisurvstd/egt2010/deplacements.py +170 -0
- mobisurvstd/egt2010/menages.py +378 -0
- mobisurvstd/egt2010/personnes.py +307 -0
- mobisurvstd/egt2010/survey.py +84 -0
- mobisurvstd/egt2010/trajets.py +211 -0
- mobisurvstd/egt2010/zones.py +11 -0
- mobisurvstd/egt2020/__init__.py +1 -0
- mobisurvstd/egt2020/deplacements.py +173 -0
- mobisurvstd/egt2020/menages.py +162 -0
- mobisurvstd/egt2020/motos.py +103 -0
- mobisurvstd/egt2020/personnes.py +391 -0
- mobisurvstd/egt2020/survey.py +89 -0
- mobisurvstd/egt2020/trajets.py +317 -0
- mobisurvstd/egt2020/voitures.py +128 -0
- mobisurvstd/emc2/__init__.py +1 -0
- mobisurvstd/emc2/common.py +42 -0
- mobisurvstd/emc2/deplacements.py +153 -0
- mobisurvstd/emc2/menages.py +358 -0
- mobisurvstd/emc2/personnes.py +305 -0
- mobisurvstd/emc2/survey.py +309 -0
- mobisurvstd/emc2/trajets.py +274 -0
- mobisurvstd/emc2/zones.py +107 -0
- mobisurvstd/emp/__init__.py +1 -0
- mobisurvstd/emp/deplacements.py +407 -0
- mobisurvstd/emp/menages.py +182 -0
- mobisurvstd/emp/motos.py +126 -0
- mobisurvstd/emp/personnes.py +543 -0
- mobisurvstd/emp/survey.py +93 -0
- mobisurvstd/emp/voitures.py +218 -0
- mobisurvstd/logger.py +15 -0
- mobisurvstd/main.py +158 -0
- mobisurvstd/resources/__init__.py +0 -0
- mobisurvstd/resources/admin_express.py +88 -0
- mobisurvstd/resources/insee_data.py +307 -0
- mobisurvstd/resources/nuts.py +129 -0
- mobisurvstd/schema.py +902 -0
- mobisurvstd/utils.py +125 -0
- mobisurvstd-0.1.0.dist-info/METADATA +210 -0
- mobisurvstd-0.1.0.dist-info/RECORD +58 -0
- mobisurvstd-0.1.0.dist-info/WHEEL +5 -0
- mobisurvstd-0.1.0.dist-info/licenses/LICENSE.md +7 -0
- mobisurvstd-0.1.0.dist-info/top_level.txt +1 -0
|
@@ -0,0 +1,253 @@
|
|
|
1
|
+
import polars as pl
|
|
2
|
+
|
|
3
|
+
from mobisurvstd.common.modes import MODE_TO_GROUP
|
|
4
|
+
from mobisurvstd.common.zones import add_lng_lat_columns
|
|
5
|
+
from mobisurvstd.resources.admin_express import find_insee
|
|
6
|
+
from mobisurvstd.resources.insee_data import add_insee_data
|
|
7
|
+
from mobisurvstd.resources.nuts import add_nuts_data
|
|
8
|
+
from mobisurvstd.schema import TRIP_SCHEMA
|
|
9
|
+
|
|
10
|
+
from . import DEBUG
|
|
11
|
+
|
|
12
|
+
|
|
13
|
+
def clean(
|
|
14
|
+
lf: pl.LazyFrame,
|
|
15
|
+
year: int,
|
|
16
|
+
perimeter_insees: list[str] | None = None,
|
|
17
|
+
perimeter_deps: list[str] | None = None,
|
|
18
|
+
special_locations: pl.DataFrame | None = None,
|
|
19
|
+
detailed_zones: pl.DataFrame | None = None,
|
|
20
|
+
):
|
|
21
|
+
existing_cols = lf.collect_schema().names()
|
|
22
|
+
lf = lf.sort("original_trip_id")
|
|
23
|
+
lf = add_indexing(lf, existing_cols)
|
|
24
|
+
lf = add_purpose_groups(lf, existing_cols)
|
|
25
|
+
lf = add_home_sequence_index(lf)
|
|
26
|
+
lf = add_durations(lf, existing_cols)
|
|
27
|
+
lf = add_weekdays(lf, existing_cols)
|
|
28
|
+
lf = add_lng_lat(lf, existing_cols, special_locations, detailed_zones)
|
|
29
|
+
lf = add_insee_columns(lf, existing_cols)
|
|
30
|
+
lf = add_insee_data_columns(lf, existing_cols, year)
|
|
31
|
+
lf = add_nuts_columns(lf, existing_cols)
|
|
32
|
+
lf = add_intra_zones(lf, existing_cols)
|
|
33
|
+
lf = add_main_mode_groups(lf, existing_cols)
|
|
34
|
+
lf = add_trip_perimeter(lf, existing_cols, perimeter_insees, perimeter_deps)
|
|
35
|
+
if DEBUG:
|
|
36
|
+
# Try to collect the schema to check if it is valid.
|
|
37
|
+
lf.collect_schema()
|
|
38
|
+
lf.collect()
|
|
39
|
+
return lf
|
|
40
|
+
|
|
41
|
+
|
|
42
|
+
def add_indexing(lf: pl.LazyFrame, existing_cols: list[str]):
|
|
43
|
+
"""Add columns `trip_id`, `trip_index`, `first_trip`, `last_trip` to a trip LazyFrame."""
|
|
44
|
+
if "trip_id" not in existing_cols:
|
|
45
|
+
lf = lf.with_columns(trip_id=pl.int_range(1, pl.len() + 1, dtype=TRIP_SCHEMA["trip_id"]))
|
|
46
|
+
existing_cols.append("trip_id")
|
|
47
|
+
if "trip_index" not in existing_cols:
|
|
48
|
+
lf = lf.with_columns(
|
|
49
|
+
trip_index=pl.int_range(1, pl.len() + 1, dtype=TRIP_SCHEMA["trip_index"]).over(
|
|
50
|
+
"person_id"
|
|
51
|
+
)
|
|
52
|
+
)
|
|
53
|
+
existing_cols.append("trip_index")
|
|
54
|
+
if "first_trip" not in existing_cols:
|
|
55
|
+
lf = lf.with_columns(first_trip=pl.col("trip_index").eq(1))
|
|
56
|
+
existing_cols.append("first_trip")
|
|
57
|
+
if "last_trip" not in existing_cols:
|
|
58
|
+
lf = lf.with_columns(
|
|
59
|
+
last_trip=pl.col("trip_index").eq(pl.col("trip_index").last().over("person_id"))
|
|
60
|
+
)
|
|
61
|
+
existing_cols.append("last_trip")
|
|
62
|
+
return lf
|
|
63
|
+
|
|
64
|
+
|
|
65
|
+
def add_durations(lf: pl.LazyFrame, existing_cols: list[str]):
|
|
66
|
+
"""Add columns `travel_time`, `origin_activity_duration`, `destination_activity_duration` to a
|
|
67
|
+
trip LazyFrame.
|
|
68
|
+
"""
|
|
69
|
+
if "departure_time" in existing_cols and "arrival_time" in existing_cols:
|
|
70
|
+
lf = lf.with_columns(
|
|
71
|
+
travel_time=pl.col("arrival_time") - pl.col("departure_time"),
|
|
72
|
+
origin_activity_duration=pl.col("departure_time")
|
|
73
|
+
- pl.col("arrival_time").shift(1).over("person_id"),
|
|
74
|
+
destination_activity_duration=pl.col("departure_time").shift(-1).over("person_id")
|
|
75
|
+
- pl.col("arrival_time"),
|
|
76
|
+
)
|
|
77
|
+
return lf
|
|
78
|
+
|
|
79
|
+
|
|
80
|
+
WEEKDAY_MAP = {
|
|
81
|
+
1: "monday",
|
|
82
|
+
2: "tuesday",
|
|
83
|
+
3: "wednesday",
|
|
84
|
+
4: "thursday",
|
|
85
|
+
5: "friday",
|
|
86
|
+
6: "saturday",
|
|
87
|
+
7: "sunday",
|
|
88
|
+
}
|
|
89
|
+
|
|
90
|
+
|
|
91
|
+
def add_weekdays(lf: pl.LazyFrame, existing_cols: list[str]):
|
|
92
|
+
"""Add columns `trip_weekday` to the trip LazyFrame if column `trip_date` exists."""
|
|
93
|
+
if "trip_date" in existing_cols and "trip_weekay" not in existing_cols:
|
|
94
|
+
lf = lf.with_columns(
|
|
95
|
+
trip_weekday=pl.col("trip_date").dt.weekday().replace_strict(WEEKDAY_MAP)
|
|
96
|
+
)
|
|
97
|
+
return lf
|
|
98
|
+
|
|
99
|
+
|
|
100
|
+
def add_purpose_groups(lf: pl.LazyFrame, existing_cols: list[str]):
|
|
101
|
+
"""Add all `*_purpose_group` columns (if the `*_purpose` column exists)."""
|
|
102
|
+
for col in (
|
|
103
|
+
"origin_purpose",
|
|
104
|
+
"origin_escort_purpose",
|
|
105
|
+
"destination_purpose",
|
|
106
|
+
"destination_escort_purpose",
|
|
107
|
+
):
|
|
108
|
+
if col in existing_cols:
|
|
109
|
+
group_col = f"{col}_group"
|
|
110
|
+
lf = lf.with_columns(
|
|
111
|
+
pl.col(col).cast(pl.String).str.extract("(\w+):?").alias(group_col)
|
|
112
|
+
)
|
|
113
|
+
return lf
|
|
114
|
+
|
|
115
|
+
|
|
116
|
+
def add_home_sequence_index(lf: pl.LazyFrame):
|
|
117
|
+
"""Add `home_sequence_index` column."""
|
|
118
|
+
return lf.with_columns(
|
|
119
|
+
home_sequence_index=pl.col("origin_purpose_group").eq("home").cum_sum().over("person_id")
|
|
120
|
+
)
|
|
121
|
+
|
|
122
|
+
|
|
123
|
+
def add_lng_lat(
|
|
124
|
+
lf: pl.LazyFrame,
|
|
125
|
+
existing_cols: list[str],
|
|
126
|
+
special_locations: pl.DataFrame | None,
|
|
127
|
+
detailed_zones: pl.DataFrame | None,
|
|
128
|
+
):
|
|
129
|
+
for coords, name in (
|
|
130
|
+
(special_locations, "special_location"),
|
|
131
|
+
(detailed_zones, "detailed_zone"),
|
|
132
|
+
):
|
|
133
|
+
if coords is not None and (
|
|
134
|
+
f"origin_{name}" in existing_cols or f"destination_{name}" in existing_cols
|
|
135
|
+
):
|
|
136
|
+
lf = add_lng_lat_columns(lf, existing_cols, coords, prefix="origin", name=name)
|
|
137
|
+
lf = add_lng_lat_columns(lf, existing_cols, coords, prefix="destination", name=name)
|
|
138
|
+
return lf
|
|
139
|
+
|
|
140
|
+
|
|
141
|
+
def add_insee_columns(lf: pl.LazyFrame, existing_cols: list[str]):
|
|
142
|
+
"""Add `origin_insee` and `destination_insee` columns (if they do not exist already), by reading
|
|
143
|
+
the origin and destination longitudes and latitudes.
|
|
144
|
+
"""
|
|
145
|
+
for prefix in ("origin", "destination"):
|
|
146
|
+
if (
|
|
147
|
+
f"{prefix}_insee" in existing_cols
|
|
148
|
+
or f"{prefix}_lng" not in existing_cols
|
|
149
|
+
or f"{prefix}_lat" not in existing_cols
|
|
150
|
+
):
|
|
151
|
+
continue
|
|
152
|
+
lf = find_insee(lf, prefix, "trip_id")
|
|
153
|
+
existing_cols.append(f"{prefix}_insee")
|
|
154
|
+
return lf
|
|
155
|
+
|
|
156
|
+
|
|
157
|
+
def add_insee_data_columns(lf: pl.LazyFrame, existing_cols: list[str], year: int):
|
|
158
|
+
"""Add all insee data for the origin and destination municipalities."""
|
|
159
|
+
for prefix in ("origin", "destination"):
|
|
160
|
+
if f"{prefix}_insee" in existing_cols:
|
|
161
|
+
# If the corresponding `*_dep` column already exists, then it is not added again.
|
|
162
|
+
lf = add_insee_data(lf, prefix, year=year, skip_dep=f"{prefix}_dep" in existing_cols)
|
|
163
|
+
existing_cols.append(f"{prefix}_insee_name")
|
|
164
|
+
existing_cols.append(f"{prefix}_dep")
|
|
165
|
+
if year is not None:
|
|
166
|
+
existing_cols.append(f"{prefix}_aav")
|
|
167
|
+
return lf
|
|
168
|
+
|
|
169
|
+
|
|
170
|
+
def add_nuts_columns(lf: pl.LazyFrame, existing_cols: list[str]):
|
|
171
|
+
"""Add all département and NUTS-related columns."""
|
|
172
|
+
for prefix in ("origin", "destination"):
|
|
173
|
+
if f"{prefix}_dep" in existing_cols:
|
|
174
|
+
lf = add_nuts_data(lf, prefix)
|
|
175
|
+
return lf
|
|
176
|
+
|
|
177
|
+
|
|
178
|
+
def add_intra_zones(lf: pl.LazyFrame, existing_cols: list[str]):
|
|
179
|
+
"""Add `intra_municipality`, `intra_aav`, and `intra_dep` columns (if possible)."""
|
|
180
|
+
for suffix, col in (
|
|
181
|
+
("insee", "intra_municipality"),
|
|
182
|
+
("aav", "intra_aav"),
|
|
183
|
+
("dep", "intra_dep"),
|
|
184
|
+
):
|
|
185
|
+
orig_col = f"origin_{suffix}"
|
|
186
|
+
dest_col = f"destination_{suffix}"
|
|
187
|
+
if orig_col in existing_cols and dest_col in existing_cols:
|
|
188
|
+
lf = lf.with_columns((pl.col(orig_col) == pl.col(dest_col)).alias(col))
|
|
189
|
+
return lf
|
|
190
|
+
|
|
191
|
+
|
|
192
|
+
def add_main_mode_groups(lf: pl.LazyFrame, existing_cols: list[str]):
|
|
193
|
+
"""Add `main_mode_group` columns (if the `main_mode` column exists)."""
|
|
194
|
+
if "main_mode" in existing_cols:
|
|
195
|
+
lf = lf.with_columns(main_mode_group=pl.col("main_mode").replace_strict(MODE_TO_GROUP))
|
|
196
|
+
existing_cols.append("main_mode_group")
|
|
197
|
+
return lf
|
|
198
|
+
|
|
199
|
+
|
|
200
|
+
def add_intermodality_column(lf: pl.LazyFrame):
|
|
201
|
+
# A trip is intermodal if there is at least two legs from different mode groups (excluding all
|
|
202
|
+
# walking legs).
|
|
203
|
+
lf = lf.with_columns(
|
|
204
|
+
intermodality=sum(
|
|
205
|
+
pl.col(f"nb_legs_{mode_group}") > 0
|
|
206
|
+
for mode_group in TRIP_SCHEMA["main_mode_group"].categories
|
|
207
|
+
if mode_group != "walking"
|
|
208
|
+
)
|
|
209
|
+
>= 2
|
|
210
|
+
)
|
|
211
|
+
return lf
|
|
212
|
+
|
|
213
|
+
|
|
214
|
+
def add_trip_perimeter(
|
|
215
|
+
lf: pl.LazyFrame,
|
|
216
|
+
existing_cols: list[str],
|
|
217
|
+
perimeter_insees: list[str] | None = None,
|
|
218
|
+
perimeter_deps: list[str] | None = None,
|
|
219
|
+
):
|
|
220
|
+
if perimeter_insees is None and perimeter_deps is None:
|
|
221
|
+
# Perimeter is not defined.
|
|
222
|
+
return lf
|
|
223
|
+
if perimeter_insees is not None:
|
|
224
|
+
assert perimeter_deps is None, (
|
|
225
|
+
"Only one of `perimeter_insees` and `perimeter_deps` should be given"
|
|
226
|
+
)
|
|
227
|
+
if "origin_insee" not in existing_cols and "destination_insee" not in existing_cols:
|
|
228
|
+
# Cannot identify trip perimeters.
|
|
229
|
+
return lf
|
|
230
|
+
lf = lf.with_columns(
|
|
231
|
+
origin_in_perimeter=pl.col("origin_insee").is_in(perimeter_insees),
|
|
232
|
+
destination_in_perimeter=pl.col("destination_insee").is_in(perimeter_insees),
|
|
233
|
+
)
|
|
234
|
+
else:
|
|
235
|
+
if "origin_dep" not in existing_cols and "destination_dep" not in existing_cols:
|
|
236
|
+
# Cannot identify trip perimeters.
|
|
237
|
+
return lf
|
|
238
|
+
lf = lf.with_columns(
|
|
239
|
+
origin_in_perimeter=pl.col("origin_dep").is_in(perimeter_deps),
|
|
240
|
+
destination_in_perimeter=pl.col("destination_dep").is_in(perimeter_deps),
|
|
241
|
+
)
|
|
242
|
+
lf = lf.with_columns(
|
|
243
|
+
trip_perimeter=pl.when(
|
|
244
|
+
pl.col("origin_in_perimeter").is_null() | pl.col("destination_in_perimeter").is_null()
|
|
245
|
+
)
|
|
246
|
+
.then(None)
|
|
247
|
+
.when("origin_in_perimeter", "destination_in_perimeter")
|
|
248
|
+
.then(pl.lit("internal"))
|
|
249
|
+
.when(pl.col("origin_in_perimeter") | pl.col("destination_in_perimeter"))
|
|
250
|
+
.then(pl.lit("crossing"))
|
|
251
|
+
.otherwise(pl.lit("external"))
|
|
252
|
+
)
|
|
253
|
+
return lf
|
|
@@ -0,0 +1,43 @@
|
|
|
1
|
+
import geopandas as gpd
|
|
2
|
+
import polars as pl
|
|
3
|
+
|
|
4
|
+
|
|
5
|
+
def get_coords(gdf: gpd.GeoDataFrame, name: str):
|
|
6
|
+
centroids = gdf.geometry.centroid.to_crs("EPSG:4326")
|
|
7
|
+
df = pl.DataFrame(
|
|
8
|
+
{
|
|
9
|
+
f"{name}_id": gdf[f"{name}_id"],
|
|
10
|
+
"lng": centroids.x,
|
|
11
|
+
"lat": centroids.y,
|
|
12
|
+
}
|
|
13
|
+
)
|
|
14
|
+
return df
|
|
15
|
+
|
|
16
|
+
|
|
17
|
+
def add_lng_lat_columns(
|
|
18
|
+
lf: pl.LazyFrame, existing_columns: list[str], coords: pl.DataFrame, prefix: str, name: str
|
|
19
|
+
):
|
|
20
|
+
"""Add longitude, latitude columns from zone coordinates."""
|
|
21
|
+
zone_col = f"{prefix}_{name}"
|
|
22
|
+
lng_col = f"{prefix}_lng"
|
|
23
|
+
lat_col = f"{prefix}_lat"
|
|
24
|
+
if zone_col in existing_columns:
|
|
25
|
+
lf = lf.with_columns(
|
|
26
|
+
tmp_lng=pl.col(zone_col).replace_strict(
|
|
27
|
+
coords[f"{name}_id"], coords["lng"], default=None
|
|
28
|
+
),
|
|
29
|
+
tmp_lat=pl.col(zone_col).replace_strict(
|
|
30
|
+
coords[f"{name}_id"], coords["lat"], default=None
|
|
31
|
+
),
|
|
32
|
+
)
|
|
33
|
+
if lng_col in existing_columns:
|
|
34
|
+
lf = lf.with_columns(pl.col(lng_col).fill_null(pl.col("tmp_lng"))).drop("tmp_lng")
|
|
35
|
+
else:
|
|
36
|
+
lf = lf.rename({"tmp_lng": lng_col})
|
|
37
|
+
existing_columns.append(lng_col)
|
|
38
|
+
if lat_col in existing_columns:
|
|
39
|
+
lf = lf.with_columns(pl.col(lat_col).fill_null(pl.col("tmp_lat"))).drop("tmp_lat")
|
|
40
|
+
else:
|
|
41
|
+
lf = lf.rename({"tmp_lat": lat_col})
|
|
42
|
+
existing_columns.append(lat_col)
|
|
43
|
+
return lf
|
|
@@ -0,0 +1 @@
|
|
|
1
|
+
from .survey import standardize as standardize
|
|
@@ -0,0 +1,170 @@
|
|
|
1
|
+
from datetime import timedelta
|
|
2
|
+
|
|
3
|
+
import polars as pl
|
|
4
|
+
|
|
5
|
+
from mobisurvstd.common.trips import clean
|
|
6
|
+
|
|
7
|
+
SCHEMA = {
|
|
8
|
+
"NQUEST": pl.UInt32, # Identifiant du ménage
|
|
9
|
+
"NP": pl.UInt8, # Numéro de personne dans le ménage
|
|
10
|
+
"ND": pl.UInt8, # Numéro de déplacement de la personne
|
|
11
|
+
"POIDSP": pl.Float64, # Poids de la personne réalisant le déplacement
|
|
12
|
+
"JDEP": pl.UInt8, # Jour de la semaine où le déplacement est effectué
|
|
13
|
+
"RESCOUR": pl.UInt8, # Couronne de résidence de la personne effectuant le déplacement
|
|
14
|
+
"RESDEP": pl.String, # Département de résidence de la personne effectuant le déplacement
|
|
15
|
+
"RESSECT": pl.String, # Secteur de résidence de la personne effectuant le déplacement
|
|
16
|
+
"RESCOMM": pl.String, # Commune de résidence de la personne effectuant le déplacement
|
|
17
|
+
"RESC": pl.String, # Carreau de résidence de la personne effectuant le déplacement
|
|
18
|
+
"ORCOUR": pl.UInt8, # Couronne d'origine du déplacement
|
|
19
|
+
"ORDEP": pl.String, # Département d'origine du déplacement
|
|
20
|
+
"ORSECT": pl.String, # Secteur d'origine du déplacement
|
|
21
|
+
"ORCOMM": pl.String, # Commune d'origine du déplacement
|
|
22
|
+
"ORC": pl.String, # Carreau d'origine du déplacement
|
|
23
|
+
"ORH": pl.UInt16, # Heure de départ
|
|
24
|
+
"ORM": pl.UInt16, # Minute de départ
|
|
25
|
+
"ORMOT": pl.UInt8, # Motif au départ
|
|
26
|
+
"ORMOT_H9": pl.UInt8, # Motif au départ (regroupé en 9 catégories)
|
|
27
|
+
"DESTCOUR": pl.UInt8, # Couronne de destination du déplacement
|
|
28
|
+
"DESTDEP": pl.String, # Département de destination du déplacement
|
|
29
|
+
"DESTSECT": pl.String, # Secteur de destination du déplacement
|
|
30
|
+
"DESTCOMM": pl.String, # Commune de destination du déplacement
|
|
31
|
+
"DESTC": pl.String, # Carreau de destination du déplacement
|
|
32
|
+
"DESTH": pl.UInt16, # Heure d'arrivée
|
|
33
|
+
"DESTM": pl.UInt16, # Minute d'arrivée
|
|
34
|
+
"DESTMOT": pl.UInt8, # Motif à l'arrivée
|
|
35
|
+
"DESTMOT_H9": pl.UInt8, # Motif à l'arrivée (regroupé en 9 catégories)
|
|
36
|
+
"DESTMOT_IAURIF02": pl.UInt8, # Motif à l'arrivée (définition IAURIF)
|
|
37
|
+
"MOTIF_COMBINE": pl.UInt8, # Motif combiné origine / destination
|
|
38
|
+
"DPORTEE": pl.Float64, # Portée du déplacement en kilomètres (pour interne IdF)
|
|
39
|
+
"DUREE": pl.UInt16, # Durée du déplacement en minutes (pour interne IdF)
|
|
40
|
+
"ACCMOT": pl.UInt8, # Motif de la personne accompagnée
|
|
41
|
+
"ACCMOT_H9": pl.UInt8, # Motif de la personne accompagnée (regroupé en 9 catégories)
|
|
42
|
+
"ACCNP": pl.UInt8, # Numéro de la personne accompagnée si personne du ménage
|
|
43
|
+
"TLT": pl.UInt8, # Type de lieu de travail (si destination = lieu de travail)
|
|
44
|
+
"TLA": pl.UInt8, # Type de lieu d'achat (si destination = lieu d'achat)
|
|
45
|
+
"NBAT": pl.UInt8, # Nombre d'arrêts dans la tournée
|
|
46
|
+
"TRP": pl.UInt8, # Avez-vous traversé Paris intra muros pendant le déplacement
|
|
47
|
+
"MODP_STRICT": pl.UInt8, # Mode principal strict détaillé
|
|
48
|
+
"MODP_H6": pl.UInt8, # Mode principal en 6 modalités
|
|
49
|
+
"MODP_H7": pl.UInt8, # Mode principal en 7 modalités
|
|
50
|
+
"MODP_H12": pl.UInt8, # Mode principal en 12 modalités
|
|
51
|
+
"MODP_H19": pl.UInt8, # Mode principal en 19 modalités
|
|
52
|
+
"NBTRAJ": pl.UInt8, # Nombre de trajets réalisés dans le déplacement
|
|
53
|
+
"NBTRAJVP": pl.UInt8, # Nombre de trajets réalisés en voiture (passager ou conducteur) dans le déplacement
|
|
54
|
+
"NBTRAJVPC": pl.UInt8, # Nombre de trajets réalisés en voiture (conducteur) dans le déplacement
|
|
55
|
+
"NBTRAJTC": pl.UInt8, # Nombre de trajets réalisés en transports collectifs dans le déplacement
|
|
56
|
+
"NBTRAJVELO": pl.UInt8, # Nombre de trajets réalisés à vélo dans le déplacement
|
|
57
|
+
"NBTRAJ2RM": pl.UInt8, # Nombre de trajets réalisés en deux roues-motorisé dans le déplacement
|
|
58
|
+
"IDM": pl.UInt8, # Indicateur de déplacement motorisé
|
|
59
|
+
"NBCO": pl.UInt8, # Nombre de correspondances si déplacement effectué en transports collectifs
|
|
60
|
+
"RAB_TC": pl.UInt8, # Mode principal de rabattement vers les transports collectifs (avant d'emprunter la première ligne de transports collectifs du déplacement)
|
|
61
|
+
"DIFF_TC": pl.UInt8, # Mode principal de diffusion depuis les transports collectifs (après avoir emprunté la dernière ligne de transports collectifs du déplacement)
|
|
62
|
+
}
|
|
63
|
+
|
|
64
|
+
PURPOSE_MAP = {
|
|
65
|
+
"1": "home:main", # Domicile habituel (celui où la personne est enquêtée)
|
|
66
|
+
"2": "home:secondary", # Un des domiciles correspondant à une garde alternée
|
|
67
|
+
"3": "home:secondary", # Résidence secondaire, logement occasionnel, hôtel, autre domicile
|
|
68
|
+
# Motifs professionnels
|
|
69
|
+
"11": "work:declared", # Travail sur le lieu de travail déclaré dans la fiche personne
|
|
70
|
+
"12": "work:secondary", # Travail sur un autre lieu (hors affaires professionnelles)
|
|
71
|
+
"13": "work:other", # Affaires professionnelles hors lieu de travail habituel (RV professionnel, réunion, etc.)
|
|
72
|
+
"14": "work:professional_tour", # Tournée professionnelle
|
|
73
|
+
# Restauration hors domicile
|
|
74
|
+
"15": "work:business_meal", # Repas d’affaires, déjeuner professionnel
|
|
75
|
+
"16": "leisure:lunch_break", # Pause déjeuner durant la journée de travail (cantine, cafétéria, restaurant situés hors du lieu de travail…)
|
|
76
|
+
"17": "leisure:restaurant", # Autre restauration hors domicile (restaurant, bar, café, cybercafé…)
|
|
77
|
+
# Etudes -Garde d’enfants
|
|
78
|
+
"21": "education:childcare", # Nourrice, crèche, garde d’enfants
|
|
79
|
+
"22": "education:declared", # Études sur le lieu d'études déclaré (école maternelle et primaire)
|
|
80
|
+
"23": "education:declared", # Études sur le lieu d'études déclaré (enseignement secondaire : collège et lycée)
|
|
81
|
+
"24": "education:declared", # Études sur le lieu d'études déclaré (enseignement supérieur, universités et grandes écoles)
|
|
82
|
+
"25": "education:other", # Études sur un autre lieu (école maternelle et primaire)
|
|
83
|
+
"26": "education:other", # Études sur un autre lieu (enseignement secondaire : collège et lycée)
|
|
84
|
+
"27": "education:other", # Études sur un autre lieu (enseignement supérieur, universités et grandes écoles)
|
|
85
|
+
# Achats
|
|
86
|
+
"31": "shopping:daily", # Achats quotidiens (pain, journal, …)
|
|
87
|
+
"32": "shopping:weekly", # Achats hebdomadaires ou bi hebdomadaires
|
|
88
|
+
"33": "shopping:specialized", # Achats occasionnels (livres, vêtements, électroménager, musique, meubles etc.)
|
|
89
|
+
# Loisirs
|
|
90
|
+
"41": "leisure:sport_or_culture", # Participation à une activité sportive, culturelle, associative ou religieuse
|
|
91
|
+
"42": "leisure:walk_or_driving_lesson", # Promenade, lèche-vitrines (sans achat), leçons de conduite
|
|
92
|
+
"43": "leisure:visiting:parents", # Visite à des parents
|
|
93
|
+
"44": "leisure:visiting:friends", # Visite à des amis
|
|
94
|
+
"45": "leisure:sport_or_culture", # Spectacle, exposition, cinéma, musée, théâtre, concert, match de foot…
|
|
95
|
+
"46": "leisure:sport_or_culture", # Voyage, sortie touristique
|
|
96
|
+
"47": "leisure:other", # Autres loisirs
|
|
97
|
+
# Démarches administratives/ Affaires personnelles
|
|
98
|
+
"50": "task:procedure", # Démarches administratives
|
|
99
|
+
"51": "task:job_search", # Recherche d’emploi (y. entretiens)
|
|
100
|
+
"52": "task:healthcare", # Aide ou soins à des proches
|
|
101
|
+
"53": "task:healthcare:hospital", # Santé (hôpital, clinique)
|
|
102
|
+
"54": "task:healthcare:doctor", # Santé autres (consultation professionnel de la santé hors hôpital : médecin, dentiste, kiné, etc.)
|
|
103
|
+
"55": "task:other", # Affaires personnelles autres (avocat, notaire, garage, réunion parents d’élèves, réunion de copropriétaires etc.)
|
|
104
|
+
# Accompagnement
|
|
105
|
+
"61": "escort:transport:drop_off", # Dépose d’une personne à un mode de transport (station, gare, arrêt de bus, aéroport…)
|
|
106
|
+
"62": "escort:transport:pick_up", # Reprise d’une personne à un mode de transport (station, gare, arrêt de bus, aéroport…)
|
|
107
|
+
"63": "escort:activity:drop_off", # Accompagner quelqu’un dans un lieu autre qu’un mode de transport (école, garderie, amis, cinéma, sport, travail etc.)
|
|
108
|
+
"64": "escort:activity:pick_up", # Aller chercher quelqu’un (dans un lieu autre qu’un mode de transport (école, garderie, amis, cinéma, sport, travail etc.)
|
|
109
|
+
"98": "other", # Autre motif
|
|
110
|
+
}
|
|
111
|
+
|
|
112
|
+
|
|
113
|
+
def scan_trips(filename: str):
|
|
114
|
+
lf = pl.scan_csv(filename, separator=";", schema_overrides=SCHEMA)
|
|
115
|
+
return lf
|
|
116
|
+
|
|
117
|
+
|
|
118
|
+
def standardize_trips(filename: str, persons: pl.LazyFrame, households: pl.LazyFrame):
|
|
119
|
+
lf = scan_trips(filename)
|
|
120
|
+
# Add household_id and person_id.
|
|
121
|
+
lf = lf.with_columns(original_person_id=pl.struct("NQUEST", "NP")).join(
|
|
122
|
+
persons.select("original_person_id", "person_id", "household_id"),
|
|
123
|
+
on="original_person_id",
|
|
124
|
+
how="left",
|
|
125
|
+
coalesce=True,
|
|
126
|
+
)
|
|
127
|
+
# Add interview_date.
|
|
128
|
+
lf = lf.join(
|
|
129
|
+
households.select("household_id", "interview_date"),
|
|
130
|
+
on="household_id",
|
|
131
|
+
how="left",
|
|
132
|
+
coalesce=True,
|
|
133
|
+
)
|
|
134
|
+
lf = lf.rename(
|
|
135
|
+
{
|
|
136
|
+
"ORC": "origin_detailed_zone",
|
|
137
|
+
"ORSECT": "origin_draw_zone",
|
|
138
|
+
"ORCOMM": "origin_insee",
|
|
139
|
+
"DESTC": "destination_detailed_zone",
|
|
140
|
+
"DESTSECT": "destination_draw_zone",
|
|
141
|
+
"DESTCOMM": "destination_insee",
|
|
142
|
+
"NBAT": "nb_tour_stops",
|
|
143
|
+
"DPORTEE": "trip_euclidean_distance_km",
|
|
144
|
+
}
|
|
145
|
+
)
|
|
146
|
+
lf = lf.with_columns(
|
|
147
|
+
trip_index="ND",
|
|
148
|
+
original_trip_id=pl.struct("NQUEST", "NP", "ND"),
|
|
149
|
+
origin_purpose=pl.col("ORMOT").replace_strict(PURPOSE_MAP),
|
|
150
|
+
destination_purpose=pl.col("DESTMOT").replace_strict(PURPOSE_MAP),
|
|
151
|
+
origin_escort_purpose=pl.col("ACCMOT").replace_strict(PURPOSE_MAP),
|
|
152
|
+
destination_escort_purpose=pl.col("ACCMOT").replace_strict(PURPOSE_MAP),
|
|
153
|
+
departure_time=pl.col("ORH") * 60 + pl.col("ORM"),
|
|
154
|
+
arrival_time=pl.col("DESTH") * 60 + pl.col("DESTM"),
|
|
155
|
+
# The trip took place the day before the interview.
|
|
156
|
+
trip_date=pl.col("interview_date") - timedelta(days=1),
|
|
157
|
+
).with_columns(
|
|
158
|
+
# Set escort purpose to null when the purpose is not escort.
|
|
159
|
+
# (EGT 2010 uses a single column for escort purpose at origin and at destination)
|
|
160
|
+
origin_escort_purpose=pl.when(pl.col("origin_purpose").str.starts_with("escort:")).then(
|
|
161
|
+
"origin_escort_purpose"
|
|
162
|
+
),
|
|
163
|
+
destination_escort_purpose=pl.when(
|
|
164
|
+
pl.col("destination_purpose").str.starts_with("escort:")
|
|
165
|
+
).then("destination_escort_purpose"),
|
|
166
|
+
)
|
|
167
|
+
# For EGT2010, we use the AAV and density data from 2010.
|
|
168
|
+
# The survey perimiters cover excatly the 8 départements of the IDF region.
|
|
169
|
+
lf = clean(lf, 2010, perimeter_deps=["75", "77", "78", "91", "92", "93", "94", "95"])
|
|
170
|
+
return lf
|