[selenium] 셀레니움으로 크롤링 해보기 - 크롬 드라이버(Chrome driver)

이번에는 크롤링을 해볼까 합니다. 크롤링이라는 단어를 많이 들어봤을테지만 정작 정확한 뜻을 모르는 분도 많을 텐데요.

크롤링이란 간단하게 말하자면 웹페이지에 있는 데이터를 추출해오는 것을 의미합니다. 

 

스포츠 데이터를 예로 들어보면 경기야 얼마든지 볼 수 있지만, 팀과 선수의 기록들을 가지고 재밌게 놀기에는 이와 관련된 회사를 가지 않곤 쉬운 일이 아닌데요. 그러나 크롤링을 할 수 있게 된다면 스포츠 통계 사이트에 있는 데이터를 추출해 저장해서 다양하게 씹고 뜯고 맛보고 즐길 수 있습니다.

 

그렇다면 지금 바로 크롤링에 대해 알아보도록하겠습니다. 

 

크롤링 라이브러리는 BeautifulSoup4, requests 등 다양하게 있지만 전 selenium을 사용해보려고 합니다. 우선 selenium 라이브러리를 설치해야 합니다. 설치 코드는 다음과 같습니다. 

 

pip install selenium

selenium 라이브러리를 설치한 이후에 해야 할 것은 크롬 드라이버를 설치해야 합니다. 크롬 드라이버를 설치하기 위해서는 본인 컴퓨터에 설치된 크롬의 버전을 먼저 파악해야 합니다. 

 

<크롬 버전 확인 경로>

1. 컴퓨터에서 Chrome을 엽니다.
2. 오른쪽 상단에서 더보기(:)를 클릭합니다.
3. 도움말을 클릭합니다. 
4. Chrome  정보를 클릭합니다.

이 과정을 거치면 자신의 크롬 정보를 확인할 수 있습니다.  저는 102.0.5005.63 버전이네요. 버전을 확인했으니 이제 버전에 맞는 크롬 드라이버를 설치해야 합니다. 크롬 드라이버 설치 경로입니다.

 

<크롬 드라이버 설치 링크>

https://chromedriver.chromium.org/downloads

ChromeDriver - WebDriver for Chrome - Downloads

자 이제 크롬 드라이버까지 설치했으니 기반은 다 마련 했습니다. 이제 크롤링을 하기 위해서는 크롬 드라이버를 코드로 실행 시켜야 하는데요. 이와 관련된 코딩을 확인해보겠습니다. 

from selenium import webdriver
    
#open webdriver
chrome_driver = './chromedriver.exe'
driver = webdriver.Chrome(chrome_driver)

chrome_driver 변수에는 크롬 드라이버의 파일 경로를 적어놓은 건데요. './chromedriver.exe' 에서 './'는 크롤링 코드를 실행시킬 파일과 같은 공간에 있다는 것을 표현한 겁니다. 만약에 같은 공간이 아닌 공간 밖에 있다고 하면 '../'이라고 표현하면 됩니다. 아니면 정확한 경로를 입력하기 위해서는 아래와 같이 표현하면 됩니다. 

chrome_driver = webdriver.Chrome("c:/경로/chromedriver.exe")

이렇게 셀레니움과 크롬 드라이버에 대해 알아봤습니다. 다음 편에서는 본격적인 크롤링 과정을 적어보도록 하겠습니다.