요구사항
이마트 제품정보 동적크롤링 - 매일 자동으로 크롤링하여 DB업데이트
서버에서 자동크롤링 돌리려면 어떻게 환경을 설정해야하는지
(MAC)
https://velog.io/@haeny01/AWS-EC2-인스턴스-생성-및-접속-for-Mac
셀레니움 우분투에 설치해서 사용하기
https://somjang.tistory.com/entry/Ubuntu-Ubuntu-서버에-Selenium-설치하고-사용하기
https://dvpzeekke.tistory.com/1
정적크롤링 테스트 - 제품 카테고리별 ID 정리 필요
동적 크롤링 테스트 - 정적크롤링이 힘들면 동적으로 - 시간 오래걸림
크롤링 시고려할 점
크롤링 시 ~ 표시 있는 행사상품은 제외
과일, 채소는 이미지 제외하고 크롤링
이마트몰 쓱배송 상품만 크롤링
hidiSQL 을 이용해서 csv를 SQL로 변환하는 방법