๐งช Data Science/Analytics(4)
-
[Analytics] ๋ฏธ๊ตญ ํ์๋ก ์์กดํ๋ ๋ฐฉ๋ฒ (2) feat. TLC
๋น์ ์ NEWYORK์์ ํ์ ๊ธฐ์ฌ๋ก ์ผํ๊ณ ์๋ค. ํ์๋ Yellow Taxi์ด๋ค. ํ์ ๊ธฐ์ฌ๋ก ์์กดํ๊ธฐ ์ํด์ ๋ค์๊ณผ ๊ฐ์ ๋ ธ๋ ฅ์ด ํ์ํ๋ค. 1) ๊ทผ๋ฌด ์๊ฐ ๋์, ์๋์ ์ต๋ํ ๋ง์ด ํ์ธ ๊ฒ (์๋) 2) ๋ง์ ์๊ธ + ํ๋ถํ ํ (์๊ธ) 3) ํ๊ธ ๊ฒฐ์ ๋ ์๋์ ํฌํจ์ํค์ง ์๊ณ ์ฌ์ฉํ๊ธฐ (์ธ๊ธ ์ ์ฝ) ์ฒซ ๋ฒ์งธ ๋ ธ๋ ฅ์ ์ด์ ํฌ์คํ ์์ ๋ค๋ค๋ค. ์ด๋ฒ ํฌ์คํ ์์ ๋ง์ ์๊ธ๊ณผ ํ์ ๋ฐ๋ ๋ฐฉ๋ฒ, ํ๊ธ ๊ฒฐ์ ํ๋ ์๋์ ๋ฐ๋ ๋ฐฉ๋ฒ์ ์์๋ณด๊ฒ ๋ค. [Data] ๋ฐ์ดํฐ๋ SparkSQL ํฌ์คํ ์์ ์ ์ฒ๋ฆฌํ Yellow Taxi ๋ฐ์ดํฐ(cleaned)๋ฅผ ์ฌ์ฉํ๋๋ก ํ๊ฒ ๋ค. NEWYORK Yellow Taxi์ ์ดํ์ 2021.01~2021.07๊น์ง ๋ชจ๋ ๋ชจ์๋์ ๋ฐ์ดํฐ๋ค. [Yellow Taxi Data: http..
2022.05.25 -
[Analytics] ๋ฏธ๊ตญ ํ์๋ก ์์กดํ๋ ๋ฐฉ๋ฒ (1) feat. TLC
๋น์ ์ NEWYORK์์ ํ์ ๊ธฐ์ฌ๋ก ์ผํ๊ณ ์๋ค. ํ์๋ Yellow Taxi์ด๋ค. ํ์ ๊ธฐ์ฌ๋ก ์์กดํ๊ธฐ ์ํด์ ๋ค์๊ณผ ๊ฐ์ ๋ ธ๋ ฅ์ด ํ์ํ๋ค. 1) ๊ทผ๋ฌด ์๊ฐ ๋์, ์๋์ ์ต๋ํ ๋ง์ด ํ์ธ ๊ฒ (์๋) 2) ๋ง์ ์๊ธ + ํ๋ถํ ํ (์๊ธ) 3) ํ๊ธ ๊ฒฐ์ ๋ ์๋์ ํฌํจ์ํค์ง ์๊ณ ์ฌ์ฉํ๊ธฐ (์ธ๊ธ ์ ์ฝ) ๋ ๊ฐ์ง๋ ๋จ์ํ ๋ ธ๋ ฅ๋ง์ผ๋ก ์ด๋ค์ง์ง ์๋๋ค. ๋น ๋ฐ์ดํฐ๋ฅผ ์ด์ฉํด ์๋์ด ๋ง์ ์ฅ์์ ์๊ฐ์ ํน์ ํ๊ณ , ๋ฏธ๋ฆฌ ๋๊ธฐํ๊ณ ์์ด์ผ ํ๋ค. ๋ํ ์๋์ด ํน์ ์ฅ์๋ฅผ ์๊ตฌํด๋, ๊ทธ๊ณณ์ด ๋ฐ์ดํฐ ์ ์๋์ด ๋ง์ ์ฅ์๊ฐ ์๋๋ผ๋ฉด ์ฉ๊ธฐ ์๊ฒ Pass ํ ํ์๋ ์๋ค. ๊ทธ๋ ๋ค๋ฉด ์ง๊ธ๋ถํฐ ๋ฐ์ดํฐ๋ฅผ ์ดํด๋ณด๋ฉฐ ์ ๋ต์ ๊ตฌ์ถํด๋ณด์. [Data] ๋ฐ์ดํฐ๋ SparkSQL ํฌ์คํ ์์ ์ ์ฒ๋ฆฌํ Yellow Taxi ๋ฐ์ดํฐ(cleane..
2022.05.12 -
[Analytics] ์ฃผ๊ฐ๋ณดํธ์ผํฐ ๊ณ ๊ฐ, ์์น ๋ฐ์ดํฐ ๋ถ์ [2]
์ฃผ๊ฐ๋ณดํธ์ผํฐ๋? ์ฅ๊ธฐ์์ ๋ฑ๊ธ์ ๋ฐ์ ์ด๋ฅด์ ๋ค์ ๋ฎ ์๊ฐ ๋์์ ๋ณดํธํ๋ฉฐ, ๊ฑฐ๋์ด ๋ถํธํ ์ด๋ฅด์ ๋ค์๊ฒ ๊ธฐ๋ฅ ๊ฐํ, ์ ์์ง์, ๊ฑด๊ฐ์ฆ์ง, ์ฌํ์ฌํ ๋ฑ์ ์ ๋ฌธํ๋ ์๋น์ค๋ฅผ ์ ๊ณตํ๋ ๊ณณ์ด๋ค. ๋ถ์์ ์ด์ฉํ ์๋ฃ๋ ๋ค์๊ณผ ๊ฐ๋ค. 1. ์ฐ๋ น๋ณ ์ธ๊ตฌํํฉ(ํ์ ์์ ๋ถ) 2. ์ฃผ๊ฐ๋ณดํธ์ผํฐ(๋ณด๊ฑด๋ณต์ง๋ถ) 3. ๋ ธ์ธ๋ณต์ง์์คํํฉ(e-๋๋ผ์งํ) 4. ์๋ฃ๊ธฐ๊ด ํํฉ(๋ณด๊ฑด๋ณต์ง๋ถ) 5. ๋ ผ๋ฌธ '๋ ธ์ธ์ฃผ๊ฐ๋ณดํธ์์ค์ ๋ํ ์ ์ฌ ์ด์ฉ์์ ์ด์ฉ์๊ตฌ ๋ฐ ๋ฐ์ ๋ฐฉํฅ, ์ ์ง๋, 2020' 6. ๋ ผ๋ฌธ '๋ ธ์ธ ์ฃผ๊ฐ๋ณดํธ์์ค์ ์ด์, ์ธ๋ ฅ, ์๋น์ค ํํฉ, ๋ฐ์ฐํ, 2007' 2. ์์น ๋ฐ์ดํฐ ๋ถ์ - ์ฃผ๊ฐ๋ณดํธ์ผํฐ(๋ณด๊ฑด๋ณต์ง๋ถ) - ์๋ฃ๊ธฐ๊ด ํํฉ(๋ณด๊ฑด๋ณต์ง๋ถ) ์ ๊ตญ์ ๋ชจ๋ ์ฃผ๊ฐ๋ณดํธ์ผํฐ(2022.02)์ ๋ณ์(2022) ๋ฐ์ดํฐ๋ฅผ ๋ฐ์์๋ค. ์ฅ๊ธฐ์์ ๋ฑ๊ธ ํ์ ์ ๋ฐ..
2022.03.26 -
[Analytics] ์ฃผ๊ฐ๋ณดํธ์ผํฐ ๊ณ ๊ฐ, ์์น ๋ฐ์ดํฐ ๋ถ์ [1]
์ฃผ๊ฐ๋ณดํธ์ผํฐ๋? ์ฅ๊ธฐ์์ ๋ฑ๊ธ์ ๋ฐ์ ์ด๋ฅด์ ๋ค์ ๋ฎ ์๊ฐ ๋์์ ๋ณดํธํ๋ฉฐ, ๊ฑฐ๋์ด ๋ถํธํ ์ด๋ฅด์ ๋ค์๊ฒ ๊ธฐ๋ฅ ๊ฐํ, ์ ์์ง์, ๊ฑด๊ฐ์ฆ์ง, ์ฌํ์ฌํ ๋ฑ์ ์ ๋ฌธํ๋ ์๋น์ค๋ฅผ ์ ๊ณตํ๋ ๊ณณ์ด๋ค. ๋ถ์์ ์ด์ฉํ ์๋ฃ๋ ๋ค์๊ณผ ๊ฐ๋ค. 1. ์ฐ๋ น๋ณ ์ธ๊ตฌํํฉ(ํ์ ์์ ๋ถ) 2. ์ฃผ๊ฐ๋ณดํธ์ผํฐ(๋ณด๊ฑด๋ณต์ง๋ถ) 3. ๋ ธ์ธ๋ณต์ง์์คํํฉ(e-๋๋ผ์งํ) 4. ์๋ฃ๊ธฐ๊ดํํฉ(๋ณด๊ฑด๋ณต์ง๋ถ) 5. ๋ ผ๋ฌธ '๋ ธ์ธ์ฃผ๊ฐ๋ณดํธ์์ค์ ๋ํ ์ ์ฌ ์ด์ฉ์์ ์ด์ฉ์๊ตฌ ๋ฐ ๋ฐ์ ๋ฐฉํฅ, ์ ์ง๋, 2020' 6. ๋ ผ๋ฌธ '๋ ธ์ธ ์ฃผ๊ฐ๋ณดํธ์์ค์ ์ด์, ์ธ๋ ฅ, ์๋น์ค ํํฉ, ๋ฐ์ฐํ, 2007' 1. ๊ณ ๊ฐ ๋ถ์ - ์ฐ๋ น๋ณ ์ธ๊ตฌํํฉ(ํ์ ์์ ๋ถ) - ๋ ผ๋ฌธ '๋ ธ์ธ์ฃผ๊ฐ๋ณดํธ์์ค์ ๋ํ ์ ์ฌ์ด์ฉ์์ ์ด์ฉ์๊ตฌ ๋ฐ ๋ฐ์ ๋ฐฉํฅ, ์ ์ง๋, 2020' - ๋ ผ๋ฌธ '๋ ธ์ธ ์ฃผ๊ฐ๋ณดํธ์์ค์ ์ด์, ์ธ๋ ฅ, ์๋น..
2022.03.23