728x90
selenium.common.exceptions.WebDriverException: Message: unknown error: session deleted because of page crash from unknown error: cannot determine loading status from tab crashed
셀레니움을 이용해 크롬브라우져로 크롤링을 하다보면 위와 같은 오류 메시지가 출현 할 수 있다
이유는 크롬드라이버에 shm 메모리가 부족하여 나오는 문제인데 아래와 같이 option에 파라미터로 추가해주면 된다.
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
driver = webdriver.Chrome(executable_path=settings.CHROMEDRIVER_PATH, chrome_options=chrome_options)
저는 heroku 헤로쿠에서 셀레니움을 이용하는데 무료 버전이라서 그런지 메모리가 상당히 부족했습니다.
셀레니움 작업이 많아 메모리 사용이 많다면 dyno 업그레이드를 한번 고려해봐야 겠네요 ㅎㅎ(본질적인 문제 해결)
728x90
'괴발개발 > Crawling' 카테고리의 다른 글
| 네이버 주식 데이터 크롤링(crawling)에 대한 이해 (할수있을까?) (0) | 2023.01.03 |
|---|---|
| beautifulsoup와 selenium을 이용하여 스크롤이동 후 크롤링하기 (0) | 2021.08.31 |