首页 > 上网技巧 > 电脑小技巧 > Python使用selenium + headless chrome获取网页...

Python使用selenium + headless chrome获取网页内容

时间:2019-10-30 17:22 作者:QQ地带 我要评论

使用python写爬虫时,优选selenium,由于PhantomJS因内部原因已经停止更新,最新版的selenium已经使用headless chrome替换掉了PhantomJS,所以建议将selenium更新到最新版,使用selenium + headless chrome
 
准备工作:
安装chrome、chrome driver、selenium
 
一、安装chrome
配置yum下载源,在目录/etc/yum.repos.d/下新建文件google-chrome.repo
 
> cd /ect/yum.repos.d/
> vim google-chrome.repo
编辑google-chrome.repo,内容如下,保存退出
 
[google-chrome]
name=google-chrome
baseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearch
enabled=1
gpgcheck=1
gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub
安装google chrome浏览器:
 
> yum -y install google-chrome-stable
PS: Google官方源可能在中国无法使用,导致安装失败或者在国内无法更新,可以添加以下参数来安装:
 
> yum -y install google-chrome-stable --nogpgcheck
这样,google chrome即可安装成功。
 
二、安装chrome driver
查看上述安装的chrome版本,根据版本选择对应的chrome driver下载,下载之后放到/usr/local/bin目录
 
三、安装selenium
 
> pip install selenium
上述准备工作完成后,就可以开始写代码了
 
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options
 
 
options = Options()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
options.add_argument('lang=zh_CN.UTF-8')
 
# 在linux上需要添加一下两个参数
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
 
browser = Chrome(chrome_options=options)
browser.set_page_load_timeout(30)
browser.set_script_timeout(30)
browser.get(url)
 
# 获取返回内容
print browser.page_source
 
# 查找元素
print browser.find_element_by_tag_name('pre').text
备注:如果访问一些详情页有cookie验证,可以先访问主页,然后再访问详情页,webdriver会自动携带cookie
 

标签: Python
顶一下
(0)
0%
踩一下
(0)
0%

Google提供的广告