[혼공분석] 3주차_데이터 정제하기

혼공분석 3주차. 

 

API, 웹 스크래핑, 데이터베이스 등으로 수집한 데이터는 불완전할 수 있기 때문에 분석하기 위해서 테이터 정제가 필요하다. 

 

새로운 용어가 나와서 정리하자면,

 

데이터 정제란, 데이터에서 손상되거나 부정확한 부분을 수정하고, 불필요한 데이터 삭제/교체 등을 작업을 말한다. 데이터 랭글링(data wrangling) 또는 데이터 먼징(data munging)은 데이터를 정제하는 과정 + 데이터 분석 및 머신러닝에 적합한 형태로 데이터를 변환하는 과정이다.

 

 

확인문제 풀고 숙제 인증.... 이번 주도 틀린 문제가 많다..ㅠㅠ

 

 

틀린 3번째 문제를 보면 'loc 메소드에 슬라이싱을 사용하면 마지막 인덱스를 포함한다'라는 힌트가 있었다. 근데 3번째 행을 골라내는데 어떻게 df.loc[2:2]랑 df.loc[2:3] 이 정답일 될 수 있지? 모르겠으니까 직접 코랩에서 실습해봤다.

 

 

 

우선 책의 df 데이터프레임처럼 세팅을 해주고 차례대로 문제의 답 실행해서 결과 출력해보기. 

1번은 인덱스가 2라고 나온 3번째 행만 잘 가져온다. 

df[2:3] 1번 실행 결과

 

2번을 실행했을 때는 col3에 100 초과인 값이 없어서 아무것도 조회되지 않는다. 

df[df['col3'] > 100] 2번 실행 결과

 

3번을 실행하면 2:2 까지 마지막 인덱스를 포함하니까 3번째 행만 잘 가져온다.

df.loc[2:2] 3번 실행 결

 

4번을 실행해도 3번째 행만 잘 가져오네?? 마지막 인덱스를 포함해서 가져오는데 3번째 인덱스가 없으면 자바를 생각했을 때 indexOutOfBound처럼 exception이 생길 것 같았는데 왜 잘되지..?

df.loc[2:3] 4번 실행 결과

 

우선 df에서는 인덱스 3이 없었기 때문에 너그러운 판다스는 없는 인덱스를 제외하고 인덱스 2만 잘 가져왔다는 건데 

 

 

그래도 궁금해서 판다스 공식 홈페이지 찾아보니까 

 

"when present in the index!" 라고 나와있다. 인덱스에 있으면 가져오는 거니까 

 

이런식으로 없는 인덱스만 접근해서 가져오려고 하는게 아니면 잘 가져와준다. 

 

 

 

챕터 3이 분량도 길고 틀린 문제 답 찾아보느라 생각보다 시간이 많이 걸렸지만 그래도 loc 메소드는 이제 gpt 참고하지 않고 사용할 수 있을 것 같다. :D