본문 바로가기
TIL

230507~230508 TIL - 조금 더 익숙해진 셀레니움 한 페이지 스크래핑 성공, 노트북 수리, 프로그래머스 다시 시작

by aimaimee 2023. 5. 9.

230507

- 셀레니움 : 다음 페이지 클릭, 한 페이지 스크래핑 반복문 수정 및 구현

  • 부스트캠프 때 첫 번째 팀 미션 주제가 '웹 스크래핑' 이었다. 그 때는 페이지를 넘기거나, 스크래핑 코드를 작성하는게 혼돈이었다. 지금은 그래도 영상을 보고, 공부하고, 이해를 해서 어디 부분을 수정해야 내가 원하는 결과가 나올지 건드려볼 수는 있게 되었다.
  • 1페이지 내에서, 상단의 첫 번째 기사 리스트만 출력되던 것을 for문이 newsList라는 클래스 이름을 가진 태그를 반복해서 돌면서 출력할 수 있도록 수정 => 성공
  • 다음 페이지를 클릭할 수 있도록 반복문 수정

- 이력서, 자기소개서 노션 pdf 수정 완료

 

230508

- 스터디

  • 셀레니움 : 어제까지 잘 되던 코드가 newslists_df가 정의되지 않았다고 오류를 뱉어낸다. 다시 보니 newslists를 스크래핑 하는 함수에 pd.DataFrame코드를 누락했고, 어제는 아마 위에 있던 연습 코드 중 데이터프레임 코드가 동작해서 된 것 같다. > 수정 후 깃헙 커밋 완료
  • 셀레니움 목표
    • '기사 목록들 1~29 페이지까지' 스크래핑
    • '기사를 클릭 > 기사 본문 스크래핑 > 나와서 그 다음 기사 클릭 > 기사 본문 스크래핑' 구현

- 노트북 수리

  • 드디어 액정 수리하고 돌아왔다. 자료들을 좀 정리해서 하드 용량이 과부하 되지 않도록 관리해야겠다.

- 오랜만의 프로그래머스

  • 일주일 정도 손을 못대고 있었는데 다시 시작
  • 바로 실행이 되어서 기분이 좋았다.
  • if문일 때 조건 설정과, list에 append하는게 굳이 필요하지 않는 경우를 구분하자.

댓글