个人Python编程练习,熟悉selenium的使用过程,了解selenium的优势,加深对Python爬虫的理解,selenium适用于加入了对Python爬虫进行了反爬操作的网页,如案例网页若直接利用爬虫抓取网页内容会被创宇盾拦截,利用selenium能够处理大多数反爬操作,增强了python爬虫的可操作范围。
先从selenium模块导入webdriver,By等模块,之后创建一个浏览器对象,进而访问指定的网址打开相应的网页,抓取所需要的内容,需要注意的是浏览器的打开及网址访问需要时间,因此需要利用time模块进行强制等待,从而能够通过By.XPATH进行元素定位并成功抓取数据