Pyppeteer爬虫神器详解

2021-03-04

launch

使用Pyppeteer的第一步就是启动浏览器，就是相当于我们点击桌面上的浏览器图标一样，把它运行起来。用Pyppeteer完成同样的操作，只需要调用launch方法就行了。

先看一下launch方法的API定义：

pyppeteer.launcher.launch(options: dict = None, **kwargs)

从官方文档和定义当中我们可以看到它处于launcher模块中，返回一个Brower对象，从源码中可以看出这个方法是通过async修饰的，所以调用的时候需要使用await。

下面我们看看它的参数：

ignoreHTTPSErrors(bool)：是否要忽略HTTPS的错误，默认是False。
headless(bool)：是否启用Headless模式，即无界面模式，如果devtools这个参数是True，那么该参数就会被设置为False，否则为True，默认是开启无界面模式。
executablePath(str)：可执行文件的路径，如果指定之后就不需要使用默认的Chromium了，可以指定为已有的Chrome或者Chromium。
slowMo(int|float)：通过传入指定的时间，可以减缓Pyppeteer的一些模拟操作。
args(List[str])：在执行过程中可以传入的额外参数。
ignoreDefaultArgs(bool)：不使用Pyppeteer的默认参数，如果使用了这个参数，最好通过args参数来设定一些参数，否则可能会出现一些意想不到的问题。慎用此参数。
handleSIGINT(bool)：是否享有SIGINT信号，也就是用Ctrl+C来关闭浏览器，默认是True。
handleSIGTERM(bool)：是否享有SIGTERM信号，一般是kill命令，默认为True。
handleSIGHUP (bool)：是否响应SIGHUP信号，即挂起信号，比如终端退出操作，默认是 True。
dumpio (bool)：是否将 Pyppeteer 的输出内容传给 process.stdout 和 process.stderr 对象，默认是 False。
userDataDir (str)：即用户数据文件夹，即可以保留一些个性化配置和操作记录。
env (dict)：环境变量，可以通过字典形式传入。
devtools (bool)：是否为每一个页面自动开启调试工具，默认是 False。如果这个参数设置为 True，那么 headless 参数就会无效，会被强制设置为 False。
logLevel (int|str)：日志级别，默认和 root logger 对象的级别相同。
autoClose (bool)：当一些命令执行完之后，是否自动关闭浏览器，默认是 True。
loop (asyncio.AbstractEventLoop)：事件循环对象。

了解了这些参数，我们可以试一些常用的参数。

无头模式

一般情况下我们都使用的是无头模式，将参数headless设置为True或者不设置它，这个时候我们是看不到任何界面的。一般我们都使用无头模式进行运行调试，那么我们可以尝试关闭headless模式看看效果：

import asyncio
from pyppeteer import launch
async def main():
   await launch(headless=False)
   await asyncio.sleep(100)
asyncio.get_event_loop().run_until_complete(main())

运行之后看不到任何控制台输出，但是这时候就会出现一个空白的 Chromium 界面了：

这个时候我们看到在任务栏中显示了一个蓝色Chrome图标。

调试模式

我们在写爬虫的时候，经常需要分析网页结构和网络请求，所以打开调试工具是很有必要的，将devtools参数设置为True，这样每开启一个就弹出一个调试窗口

import asyncio
from pyppeteer import launch


async def main():
    browser = await launch(devtools=True)
    page = await browser.newPage()
    await page.goto('https://www.baidu.com')
    await asyncio.sleep(100)
asyncio.get_event_loop().run_until_complete(main())

如果devtools这个参数设置为True，那么headless就不起作用了，界面始终会显示出来。

禁用提示条

使用Pyppeteer操作网页的时候，我们可以看到上面的一条提示："Chrome 正受到自动测试软件的控制"，这个提示条有点烦，那该怎样关闭呢？这时候就需要用到 args 参数了，禁用操作如下：

browser = await launch(headless=False, args=['--disable-infobars'])

防止检测

现在很多网站的反爬已经可以检测自动化操作浏览器的爬虫了，主要就是检测webdriver，因为我们使用的是selenium+webdriver的方式去驱动浏览器，所以都会留下webdriver的痕迹，会被平台识别。那么如何规避呢？就要通过将webdriver隐藏来达到防止检测的目的。Pyppeteer为我们提供了一个方法叫做evaluateOnnewDocument，意思就是在每次加载页面的时候执行某个语句，所以我们可以在这里执行以下隐藏webdriver的命令。

async def main():
    browser = await launch(headless=False, args=['--disable-infobars'])
    page = await browser.newPage()
    await page.evaluateOnNewDocument('Object.defineProperty(navigator, "webdriver", {get: () => undefined})')
    await page.goto('https://movie.douban.com/chart')
    await asyncio.sleep(100)

页面大小设置

在之前的显示窗口中，我们会发现窗口显示并不完全，在某些页面会出现BUG，因此我们应该尽量保证窗口完全显示。这个时候就用到了设置窗口大小的方法，通过Page对象的setViewport方法设置就可以了。

async def main():
    width = 1366
    height = 768
    browser = await launch(headless=False, args=['--disable-infobars'])
    page = await browser.newPage()
    await page.setViewport({'width': width, 'height': height})
    await page.goto('https://movie.douban.com/chart')
    await asyncio.sleep(100)

用户数据持久化

通过前面的例子，我们发现一个问题，每次使用Pyppeteer打开浏览器的时候都是一个空白页，这样会有什么问题呢？如果遇到一个需要登录的网页，这次我们登录了，下一次启动又得登录一次，这就是一个问题。

比如淘宝，平时我们浏览完淘宝后，关闭浏览器再打开，依然还是登录状态。大家都知道，这是因为浏览器本地保存了Cookies的缘故，下次打开可以直接读取并保持登录状态。这些信息一般保存在我们的用户目录下，如果我们能在浏览器启动的时候读取这些信息，那么启动的时候就可以恢复一些历史记录甚至是登录状态信息了。

我们在使用Selenium或者Pyppeteer的时候，每次打开都是一个全新的浏览器，原因就是我们没有设置用户目录，如果设置了，那就可以读取一些信息在启动的时候加载上来。Pyppeteer为我们提供了一个userDataDir参数来设置用户目录，这样就可以保持我们的访问状态了。

async def main():
    width = 1366
    height = 768
    browser = await launch(headless=False, userDataDir='userdata', args=['--disable-infobars'])
    page = await browser.newPage()
    await page.setViewport({'width': width, 'height': height})
    await page.goto('https://mp.weixin.qq.com/')
    await asyncio.sleep(100)

这里我们用微信公众号进行测试，首先运行一下，登陆一次公众号，然后我们可以打开当前目录下生成的userdata文件夹，里面内容如下：

在此运行一下上面的代码，就直接进入我们的公众号管理界面，已经是登录状态了，就跳过了登录的流程。当然了，我们知道Cookies基本都是有期限的，如果过期了就需要再次登录。

Browser

上面我们介绍了launch方法，它会返回一个Browser对象，我们来看看Browser类的定义：

class pyppeteer.browser.Browser(connection: pyppeteer.connection.Connection, contextIds: List[str], ignoreHTTPSErrors: bool, setDefaultViewport: bool, process: Optional[subprocess.Popen]=None, closeCallback: Callable[[], Awaitable[None]]=None, **kwargs)

我们看到这个类的初始化参数有很多，但是我们上面基本上都是使用launch方法直接创建使用。但是Browser类还是用于很多操作浏览器本身的方法，下面我们来介绍一些常用的。

开启无痕模式

Chrome浏览器本身是有一个无痕模式的，它的好处就是干净，不加载Cache、Cookies等内容，可以通过方法createIncogniteBrowserContext来开启：

async def main():
    width = 1366
    height = 768
    browser = await launch(headless=False, args=['--disable-infobars', f'--window-size={width}, {height}'])
    context = await browser.createIncogniteBrowserContext()
    page = await context.newPage()
    await page.setViewport({'width': width, 'height': height})
    await page.goto('https://mp.weixin.qq.com/')
    await asyncio.sleep(100)

这里我们还使用了一个新的参数设置--window-size，这个是用来设置浏览器的窗口大小，与下面的setViewport相比，一个是设置窗口大小，一个是设置页面大小。我们这里调用了createIncogniteBrowserContext方法，返回了一个context对象，然后用这个对象打开网页，就进入了无痕模式。

在执行这段代码的时候，我先执行了一次上面那一次代码，发现依然是处于登录状态，然后我们执行本次代码后发现显示如下：

发现出现了两层窗口，一个是launch创建的browser窗口，一个是通过createIncogniteBrowserContext创建的无痕窗口。

关闭

很多时候我们忘记关闭浏览器，就会导致它一直存在内存中。如果是可视模式下，我们还能从任务栏看到它，但是在后台模式下，我们只能在任务管理器里去找它，这时候就很容易被忽略掉。所以一定要记住，使用完毕调用一下close方法：

async def main():
    width = 1366
    height = 768
    browser = await launch(headless=False, args=['--disable-infobars', f'--window-size={width}, {height}'])
    context = await browser.createIncogniteBrowserContext()
    page = await context.newPage()
    await page.setViewport({'width': width, 'height': height})
    await page.goto('https://mp.weixin.qq.com/')
    await asyncio.sleep(100)
    await browser.close()

Page

Page就是页面，每一个选项卡就是一个页面，它的类定义如下：

class pyppeteer.page.Page(client: pyppeteer.connection.CDPSession, target: Target, frameTree: Dict[KT, VT], ignoreHTTPSErrors: bool, screenshotTaskQueue: list = None)

我们上面在使用的过程中都是通过browser对象创建一个新页面，这也是我们经常使用它的方式，接下来我们看一下它的常用方法。

选择器

Page对象内置了一些用于选取节点的选择器方法，比如J方法传入一个选择器Selector，则能返回对应匹配的第一个节点，相当于querySelector。JJ方法则是返回符合Selector的列表，相当于querySelectorAll。

下面我们就来看看它的用法：

async def main():
    browser = await launch()
    page = await browser.newPage()
    await page.goto('https://movie.douban.com/chart')
    await page.waitForSelector('table .item')
    j1 = await page.J('table .item')
    j2 = await page.querySelector('table .item')
    jj1 = await page.JJ('table .item')
    jj2 = await page.querySelectorAll('table .item')
    print('J Result: ', j1)
    print('querySelector Result: ', j2)
    print('JJ Result: ', jj1)
    print('querySelectorAll Result: ', jj2)
    await browser.close()

我们分别使用J、JJ、querySelector、querySelectorAll四个方法，看一下他们的输出结果：

J Result:  <pyppeteer.element_handle.ElementHandle object at 0x1147734d0>
querySelector Result:  <pyppeteer.element_handle.ElementHandle object at 0x114788c50>
JJ Result:  [<pyppeteer.element_handle.ElementHandle object at 0x1147324d0>, <pyppeteer.element_handle.ElementHandle object at 0x114732a50>, <pyppeteer.element_handle.ElementHandle object at 0x11472aa90>, <pyppeteer.element_handle.ElementHandle object at 0x11472a110>, <pyppeteer.element_handle.ElementHandle object at 0x11472a0d0>, <pyppeteer.element_handle.ElementHandle object at 0x11478d210>, <pyppeteer.element_handle.ElementHandle object at 0x11478d290>, <pyppeteer.element_handle.ElementHandle object at 0x11478d2d0>, <pyppeteer.element_handle.ElementHandle object at 0x11478d250>, <pyppeteer.element_handle.ElementHandle object at 0x11478d310>]
querySelectorAll Result:  [<pyppeteer.element_handle.ElementHandle object at 0x114786690>, <pyppeteer.element_handle.ElementHandle object at 0x114786750>, <pyppeteer.element_handle.ElementHandle object at 0x114781610>, <pyppeteer.element_handle.ElementHandle object at 0x114781fd0>, <pyppeteer.element_handle.ElementHandle object at 0x114781b10>, <pyppeteer.element_handle.ElementHandle object at 0x11478dd50>, <pyppeteer.element_handle.ElementHandle object at 0x11478ddd0>, <pyppeteer.element_handle.ElementHandle object at 0x11478de10>, <pyppeteer.element_handle.ElementHandle object at 0x11478dd90>, <pyppeteer.element_handle.ElementHandle object at 0x11478de50>]

从结果中可以看出来，J和querySelector返回单个对象，JJ和querySelectorAll返回多个对象

选项卡操作

前面我们说过，Page对象就是一个选项卡，我们均使用newPage方法创建了，那么新建之后怎么获取和切换呢，下面看一个例子：

async def main():
    browser = await launch(headless=False, args=['--disable-infobars'])
    page = await browser.newPage()
    await page.goto('https://mp.weixin.qq.com/')
    page = await browser.newPage()
    await page.goto('https://www.baidu.com')
    pages = await browser.pages()
    print('Pages: ', pages)
    page1 = pages[1]
    await page1.bringToFront()
    await asyncio.sleep(20)
    await browser.close()

我们在这里调用了两次newPage，访问了两个网站，当切换选项卡的时候，我们只要用对应页面的page对象调用其bringToFront方法即可。

常见操作

下面我们再看一些页面的常用操作：加载、前进、后退、关闭、保存

async def main():
    browser = await launch(headless=False, args=['--disable-infobars'])
    page = await browser.newPage()
    await page.goto('https://www.baidu.com')
    await page.goto('https://pan.baidu.com')
    # 后退
    await page.goBack()
    # 前进
    await page.goForward()
    #保存PDF
    await page.pdf(path='test.pdf')
    #截图
    await page.screenshot()
    # 设置页面
    await page.setContent('<h1>Hello World</h1>')
    # 设置User-Agent
    await page.setUserAgent('Python')
    # 设置Headers
    await page.setExtraHTTPHeaders(headers={})
    # 关闭
    await page.close()
    await browser.close()

这里有一个PDF保存真的非常方便，我之前用selenium保存网页成PDF，找了很多处理方式，还比较麻烦，Pyppeteer这里就调用一个函数就OK了，但是要注意两点，否则保存不成功：1. 必须使用无头模式。2.要指定保存路径path，否则不会保存在本地。

输入并点击

模拟鼠标点击和键盘输入事件。

async def main():
    browser = await launch(headless=False)
    page = await browser.newPage()
    await page.goto('https://www.baidu.com')
    await page.waitForSelector('#su')
    await page.type('#kw', 'python')
    await page.click('#su', options={
        'button': 'left',
        'clickCount': 1,
        'delay': 300
    })
    await asyncio.sleep(10)
    await browser.close()

click就是点击事件，第一个参数是选择器，第二个参数是几项配置：

button：鼠标按钮，分为left、middle、right

clickCount: 点击类型，如双击、单击

delay：延迟点击

type方法为输入方法，第一个参数传入选择器，第二个参数传入内容。

获取网页源码和cookies

content = await page.content()
cookies = await page.cookies()

执行js脚本

out_content = await page.evaluate('''() => {
                                  return {
                                          width: document.documentElement.clientWidth,
                                          height: document.documentElement.clientHeight,
                                          deviceScaleFactor: window.devicePixelRatio
                                      }
                                  }''')

延时等待

这个部分相比于selenium又方便了很多，可以让页面等待符合某些条件后，再向下执行，这在我们等待页面加载是非常有用，除了我们之前使用过的waitForXPath、waitForSelector还有以下几个：

waitForFunction：等待某个JAVAScript方法执行完毕或返回结果

waitForNavigation：等待页面跳转，如果没加载出来就会报错

waitForRequest：等待某个特定请求被发出

waitForResponse：等待某个特定请求收到了回应

waitFor：通用的等待方法

通过等待条件，我们就能控制页面加载的情况了。

除了以上我们介绍的东西，还有鼠标模拟拖动也是比较重要的，这在模拟滑动验证码的时候是非常有用的，我们后面再开一篇吧。