[혼공분석] 2주차_데이터 수집하기

 

챕터 2는 "데이터 수집하기"로 웹 서비스 API에서 데이터를 가져오는 방법과 웹 페이지를 웹 스크래핑하여 데이터를 가져오는 방법을 알려준다. 데이터 전달 포맷인 json과 xml 파일에 대한 설명과 API, HTTP 같은 애플리케이션 통신을 하려면 알아야 할 정보들이 나와있어서 개념을 정리하기 좋았다. 

 

 

 

확인 문제에서 틀렸던 부분

 

웹 기반 API 에서 널리 사용하는 데이터 형식

- CSV

- JSON

- XML

(HTML은 웹 페이지를 위한 마크업 언어)

 

json.dumps() : 파이썬 객체를 -> JSON 객체로 변환해주는 함수

json.loads() : JSON 객체 -> 파이썬 객체 변환 함수

 

read_json() : 판다스에서 JSON 문자열을 데이터프레임으로 변환하는 함수

 

데이터프레임에서 loc를 사용할 때 df.loc[::2, 'col1':'col2'] 이렇게 작성하면 행이 2칸씩 건너뛰면서 선택됨

 

 

뷰티블수프에서

find(), find_all() 메소드에 태그 이름을 지정해서 HTML에서 원하는 태그를 찾을 수 있음. id 매개변수를 사용하면 태그의 id 속성을 기준으로 태그를 찾음

 <div id='header' class='highlight'></div> 태그를 찾으려면 아래와 같은 명령을 사용할 수 있음

tag.find(attrs={'class':'highlight'})

 

 

 

숙제 인증

 

 

2주차는 내용이 좀 많았다. 그래도 항상 파이썬을 활용해서 어떻게 웹 스크래핑을 해오는지 궁금했었어서 괜찮았다. 다만, 1주차때는 못 느꼈는데 내용이 좀 어려워지니까 파이썬 문법을 어느정도 아는게 중요한 것 같다. 

 

혼공학습단에 1주차 인증글을 올렸는데 혼공족장님이 블로그 글을 읽고 코멘트를 남겨주셔서 감동이였다... 인증차 올린 글을 누군가 읽을 거라고는 생각하지 않았는데 심지어 댓글 + 질문에 대한 답까지 친절히 해주시다니... 덕분에 확인문제를 풀면서 답을 체크해볼 수 있었다. 혼공커뮤니티의 서로 답변해주고 도와주는 분위기 너무 좋다 ㅎㅎ.