괴발개발/Crawling

beautifulsoup와 selenium을 이용하여 스크롤이동 후 크롤링하기

이태원프리덤# 2021. 8. 31. 21:37
728x90

제곧내 입니다~

element로 스크롤 이동 하는 코드 입니다~

html = driver.page_source
        soup = BeautifulSoup(html, 'html.parser')
        count = len(soup.select('.list_basis > div > div > li'))
        for idx, li in enumerate(soup.select('.list_basis > div > div > li'), start=1):
            this_li = driver.find_element_by_xpath('//*[@id="__next"]/div/div[2]/div[2]/div[3]/div[1]/ul/div/div['+str(idx)+']/li')
            # location = this_li.location_once_scrolled_into_view
            # print(location)

            # element로 스크롤 이동
            driver.execute_script('arguments[0].scrollIntoView(true);', this_li)

            # 이미지 가져오기
            img = this_li.find_element_by_class_name("thumbnail_thumb__3Agq6").find_element_by_tag_name('img')
            print(img.get_attribute('src'))
728x90