[Analytics] 미국 택시로 생존하는 방법 (1) feat. TLC

 

당신은 NEWYORK에서 택시 기사로 일하고 있다.

택시는 Yellow Taxi이다.

택시 기사로 생존하기 위해선 다음과 같은 노력이 필요하다.

 

 

1) 근무 시간 동안, 손님을 최대한 많이 태울 것 (손님)

2) 많은 요금 + 풍부한 팁 (요금)

3) 현금 결제는 소득에 포함시키지 않고 슬쩍하기 (세금 절약)

 

 

두 가지는 단순히 노력만으론 이뤄지지 않는다.

빅데이터를 이용해 손님이 많은 장소와 시간을 특정하고, 미리 대기하고 있어야 한다.

또한 손님이 특정 장소를 요구해도, 그곳이 데이터 상 손님이 많은 장소가 아니라면 용기 있게 Pass 할 필요도 있다.

그렇다면 지금부터 데이터를 살펴보며 전략을 구축해보자.

 

 

 

[Data]

데이터는 SparkSQL 포스팅에서 전처리한 Yellow Taxi 데이터(cleaned)를 사용하도록 하겠다.

NEWYORK Yellow Taxi의 운행을 2021.01~2021.07까지 모두 모아놓은 데이터다.

[Yellow Taxi Data: https://mengu.tistory.com/50]

[SparkSQL] 택시 데이터 다운/전처리/분석 feat. TLC

 

 

 

 

 

 

Basic Setting

 

from matplotlib import font_manager, rc
font_path = 'C:\\WINDOWS\\Fonts\\HBATANG.TTF'
font = font_manager.FontProperties(fname=font_path).get_name()
rc('font', family=font)

import os
import findspark
findspark.init(os.environ.get("SPARK_HOME"))
import pyspark
from pyspark import SparkConf, SparkContext
import pandas as pd
import faulthandler
faulthandler.enable()
from pyspark.sql import SparkSession

spark = SparkSession.builder.master('local').appName("taxi-analysis").getOrCreate()

# 데이터가 있는 파일
zone_data = "C:/DE study/data-engineering/01-spark/data/taxi_zone_lookup.csv"
trip_files = "C:/DE study/data-engineering/01-spark/data/trips/*"

# 데이터 로드
trips_df = spark.read.csv(f"file:///{trip_files}", inferSchema = True, header = True)
zone_df = spark.read.csv(f"file:///{zone_data}", inferSchema = True, header = True)

# 데이터 스키마
trips_df.printSchema()
zone_df.printSchema()

# 데이터 createOrReplaceTempView()
trips_df.createOrReplaceTempView("trips")
zone_df.createOrReplaceTempView("zone")


# 쓸만한 column만 모아놓자.
query = '''
SELECT
    t.VendorID,
    TO_DATE(t.tpep_pickup_datetime) AS pickup_date,
    HOUR(t.tpep_pickup_datetime) AS pickup_time,
    TO_DATE(t.tpep_dropoff_datetime) AS dropoff_date,
    HOUR(t.tpep_dropoff_datetime) AS dropoff_time,
    t.passenger_count,
    t.trip_distance,
    t.payment_type,
    t.fare_amount,
    t.tip_amount,
    t.tolls_amount,
    t.total_amount,
    pz.Zone as pzone,
    dz.Zone as dzone
FROM
    trips t
    LEFT JOIN 
        zone pz
    ON
        t.PULocationID == pz.LocationID
    LEFT JOIN 
        zone dz
    ON
        t.DOLocationID == dz.LocationID
'''
taxi_df = spark.sql(query)
taxi_df.createOrReplaceTempView("taxi")


spark.sql('select * from taxi').show(5)


+--------+-----------+-----------+------------+------------+---------------+-------------+------------+-----------+----------+------------+------------+-----------------+--------------+
|VendorID|pickup_date|pickup_time|dropoff_date|dropoff_time|passenger_count|trip_distance|payment_type|fare_amount|tip_amount|tolls_amount|total_amount|            pzone|         dzone|
+--------+-----------+-----------+------------+------------+---------------+-------------+------------+-----------+----------+------------+------------+-----------------+--------------+
|       2| 2021-03-01|          0|  2021-03-01|           0|              1|          0.0|           2|        3.0|       0.0|         0.0|         4.3|               NV|            NV|
|       2| 2021-03-01|          0|  2021-03-01|           0|              1|          0.0|           2|        2.5|       0.0|         0.0|         3.8|   Manhattanville|Manhattanville|
|       2| 2021-03-01|          0|  2021-03-01|           0|              1|          0.0|           2|        3.5|       0.0|         0.0|         4.8|   Manhattanville|Manhattanville|
|       1| 2021-03-01|          0|  2021-03-01|           0|              0|         16.5|           1|       51.0|     11.65|        6.12|       70.07|LaGuardia Airport|            NA|
|       2| 2021-03-01|          0|  2021-03-01|           0|              1|         1.13|           1|        5.5|      1.86|         0.0|       11.16|     East Chelsea|            NV|
+--------+-----------+-----------+------------+------------+---------------+-------------+------------+-----------+----------+------------+------------+-----------------+--------------+
only showing top 5 rows



# cleaning -------------------------------------------------------------------

# data clearning
# fare, tip, tolls 에 대한 것은 나중에 df 만들때 전처리해주자.
query = '''
SELECT
    *
FROM
    taxi t
WHERE
    t.total_amount < 2000
    AND t.total_amount > 0
    AND t.trip_distance < 100
    AND t.passenger_count < 6
    AND t.pickup_date >= '2021-01-01'
    AND t.pickup_date < '2021-08-01'
    AND t.dropoff_date >= '2021-01-01'
    AND t.dropoff_date < '2021-08-03'
'''

df_c = spark.sql(query)
df_c.createOrReplaceTempView('cleaned')

 

 

 

 

 

 

 

 

전략 1. 손님을 최대한 많이 태울 것

---

손님을 많이 태우려면 어떻게 해야할까?

손님이 많은 장소, 시간에 대기하고 있어야 한다. 더하여 손님이 Pick 한 장소에도 손님이 많아야 한다. 그래야 다음 손님을 받기가 수월해지기 때문이다. Pick up이 많이 발생하는 장소와 시간을 알아내고, 하루의 근무 경로를 어떻게 잡아야 할지 계획을 짜 보자.

 

 

 

A. Pick up이 많이 발생하는 장소 Top 5

 

# cleaned 데이터에서 원하는 데이터만 추출하기
query = '''
SELECT
    c.pzone,
    COUNT(*) AS trips
FROM
    cleaned c
GROUP BY
    c.pzone
'''
df_pzone = spark.sql(query).toPandas()


# pick-up Top 5
pzone = df_pzone[df_pzone['trips'] > 30000].sort_values('trips', ascending=False)
pzone.head()

 

 

 

1,2등은 Upper East Side South, Upper East Side North으로 둘을 합친 trips 수가 무려 144만이다. 3등은 Midtown, 4등은 Penn Station 부근, 5등은 링컨 스퀘어다. 각각의 장소를 지도에 표시했다.

 

GOOGLE MAP - 'New York' 검색

 

 

각각 장소들의 특징을 나열해보자면 다음과 같다.

1-2등. Upper East Side South/North: 품격 높은 주택가. 부유층 거주민들이 엄청 많다. 고급 레스토랑, 매디슨가의 명품 매장으로 유명하다. 여기서 택시를 탄다면 Tip을 많이 받을 수 있지 않을까라고 가설을 세워두자.

3등. Midtown Center: 뉴욕시에 있는 4개의 Center로 다양한 여가와 수업들을 누릴 수 있다.

4등. Penn Station/Madison Sq West: 매디슨 스퀘어 가든 아래를 지나는 주요 도시 및 도시 간 도시철도의 중심지. 식당과 상점이 당연히 즐비해 있다.

5등. Lincoln Square East: Upper East Side에 있는 광장과 주변 지역의 이름이다. 관광 명소로 다양한 상점과 미술관, 음악관들이 위치해 있다.

 

 

당신이 뉴욕의 택시 기사라면, 위의 지역을 돌아다녀야 부귀한 손님들을 태울 수 있을 것이다.

하지만 이 지역들은 교통이 막혀 오히려 비효율을 초래할 수 있다. 따라서 비효율을 감소할만한 가치가 있는지 확인하고 접근해야 할 것이다.

 

 

 

 

B. Pick up이 많이 발생하는 시간대

 

# 시간대별 trips 빈도
query = '''
SELECT
    c.pickup_time,
    COUNT(*) AS trips
FROM
    cleaned c
GROUP BY
    c.pickup_time
'''
df_time = spark.sql(query).toPandas()


# 시간대별 출퇴근 plot 그리기
fig, ax = plt.subplots(figsize=(16,6))
plt.title('trips count by time', fontsize = 30)
sns.barplot(
    x = 'pickup_time',
    y = 'trips',
    data = df_time
)

 

 

새벽 1시-5시까진 택시 Pick-up이 현저히 낮다. 따라서 할증을 붙여서 운영을 해야 한다. 하지만 굳이 새벽에 1시간 운전하는 것보다 낮에 2 시간 하는 것이 건강, 이익 측면에서 좋을 수 있다. 

Trips 빈도는 6시부터 계속해서 올라가다가 18시에 Peak를 찍고 내려간다. 14시-18시 사이에는 무조건 운전대를 잡고 있어야 한다는 결론이 나온다. 만약 Top 5 장소들이 각각 다른 시간대 특성을 가지고 있다면 어떨까? Upper East Side는 아침에 Peak를 찍고, Penn Station은 저녁에 Peak를 찍는다면, 당신은 아침엔 Upper East Side로 출근하고 Penn Station에서 퇴근하면 될 것이다.

 

 

 

 

C. Top 5 장소별 시간대 Trips 빈도수

 

# query
query = '''
SELECT
    pickup_time,
    COUNT(*) AS trips
FROM
    c
GROUP BY
    pickup_time
'''

# 장소별 시간대별 특징
for i in ['Upper East Side South', 'Upper East Side North', 'Midtown Center', 'Penn Station/Madison Sq West', 'Lincoln Square East']:
    c = df_c[df_c['pzone'] == i]
    c.createOrReplaceTempView('c')
    df_time = spark.sql(query).toPandas()
    # A. 시간대별 출퇴근 plot 그리기
    fig, ax = plt.subplots(figsize=(16,6))
    plt.title(f'trips count at {i}', fontsize = 30)
    sns.barplot(
        x = 'pickup_time',
        y = 'trips',
        data = df_time
    )

 

 

[1등 Upper East Side South]

특징: 아침엔 trips 저조. 14시에 최고점을 찍고 하락한다.

 

[2등 Upper East Side North]

특징: 8시부터 trips가 활발. 15시에 정점을 찍고 하락.

 

[3등 Midtown Center]

특정: 오전에는 많이 저조하다. 저녁 16-19시에 활발하다.

 

[4등 Penn Station/Madison Sq West]

특징: 아침 6시에도 활발하다. 출/퇴근 영향 많이 받는다. 18시에 정점.

 

[5등 Lincoln Square East]

특징: 8-9시부터 활발. 14시-18시까지 준수한 trips 빈도를 보인다.

 

 

Pick up이 제일 많이 발생하는 지역 Top 5를 알아보고, 각 장소별 시간대 상황을 살펴보았다.

이로써 '손님을 많이 받기 위한' 당신의 근무 경로가 얼추 짜였다.

 

 

 

 

[Penn Station -> Upper East Side]

아침에 출근하면, 먼저 Penn Station으로 달려가서 출근자들을 Pick up 해야 한다. Penn Station 지역은 다른 지역에 비해 아침부터 이용자가 압도적으로 많이 때문이다.

그러다가 슬슬 점심시간이 다가오면, 다른 지역에서 간단하게 밥을 먹는다. 식곤증이 몰려올 때 즈음, Upper East Side에서 저녁까지 돌아다녀야 한다.

 

 

 

 

하지만 실제 상황에선 다를 수 있다. 교통이 막혀서 오히려 손님을 못 받거나, 경쟁자(택시 공급자)가 너무 많아 오히려 손님 잡기가 빠듯할 수 있다. 데이터를 이용하되 실제 상황과 잘 조화하여 전략을 짜야할 것이다.

지금까지 손님을 많이 받는 전략을 데이터를 통해 짜보았다. 

다음 포스팅에선 팁과 요금, 거리를 바탕으로 전략을 더 세세하게 짜 보도록 하겠다.