Playwright 是微软出的一款自动化测试工具，在做爬虫的时候，只需要点点点操作就能将代码录下来，用 python 脚本运行。有非常强大的 API，完全满足爬虫的需要。

安装

需要安装 playwright 第三方模块和 Chromium、Firefox、WebKit 等浏览器的驱动文件。

pip install playwright

python -m playwright install

录制

playwright 在抓取页面的时候是不需要太多写代码的，录制就完事了。首先看看有哪些命令参数：

python -m playwright codegen --help

这里有好几个选项：

• -o：输出的代码文件的名称
• –target：语言：默认为 python，python-async 自动生成的是异步模块的代码
• -b：用的浏览器
• –time：页面超时时间

将脚本文件存放在 D 盘的 playwright_demo.py 中。

# 命令行键入
python -m playwright codegen -o D:playwright_demo.py

打开 D:playwright_demo.py 在代码中可以看到：

browser = playwright.chromium.launch(headless=False)

headless 是 False 的时候会出现浏览器，如果是 True 就以没有浏览器的方式启动。

Page

Page 就是单独的一个浏览器 tab 标签（第一种）创建，也可以是 a 标签中 target=”_blank” 打开的 tab 标签（第二种）创建。

# 1
page = context.new_page()

page.goto("https://www.jd.com/")

# 2
with page.expect_popup() as popup_info:
    page.click("[aria-label=\"OPPO A96 8+256GB 琉璃幻彩 小星环 呼吸灯 高通八核 5G 芯片 33W 快充 OLED 超清护眼屏 拍照 5G 手机 oppoa96\"] >> text=¥")
page3 = popup_info.value

page3.wait_for_load_state()
print(page3.title())

方法

page 有多个常用的方法：on、goto、fill、inner_html、content、query_selector、query_selector_all 等等。

一、goto()：用于跳转网址。

二、on()：事件的监听，可以用来监听浏览器中发生的任何事件，如：close、console、download、request、response 等等。

用来监听 request 请求，打印出 post 的提交数据和请求地址：

def on_request(request):
    print('--------start---------')
    print(request.url)
    print(request.post_data)
    print('--------start---------')

def run(playwright: Playwright) -> None:
    browser = playwright.chromium.launch(headless=False)
    context = browser.new_context()
    
    # Open new page
    page = context.new_page()

    page.on('request', on_request)

    page.goto("https://www.baidu.com/")

    context.close()
    browser.close()

用来监听 response 响应，并打印出百度中的 png 结尾的图片：

from playwright.sync_api import Playwright, sync_playwright
import time

def on_response(response):
    if '.png' in response.url:
        with open('D:\image\\'+str(int(time.time()))+ '.png', 'wb') as f:
            f.write(response.body())

def run(playwright: Playwright) -> None:
    browser = playwright.chromium.launch(headless=False)
    context = browser.new_context()
    
    # Open new page
    page = context.new_page()

    page.on('response', on_response)

    page.goto("https://www.baidu.com/")


    context.close()
    browser.close()

三、fill() 用于填写 input 框，在百度搜索框中写入 111：

page.fill("input[name=\"wd\"]", "111")

四、inner_html()、content() 获取页面源代码：

page.inner_html('//html')
page.content()

五、query_selector 选择一个节点，当匹配到多个节点，只会返回第一个，获取 class=’toindex’ 的文本：

handle = page.query_selector('.toindex')
print(handle.text_content())

六、query_selector_all 选择所有的节点，获取百度页面上所有 input 的 name：

handles = page.query_selector_all('input')
for item in handles:
    print(item.get_attribute('name'))

选择器

Text 选择器

以 jd 网站为例：下面两行可以选择登录或者注册。

page.click("text=你好，请登录")
    
page.click("text=免费注册")

text=后面也可以写正则表达式，比如：text=/Log\s*in/i 就可以匹配 Login 或者 log IN

如果不确定是否存在某个 text 也可以使用 :has-text(‘Log’)

CSS 选择器

CSS 选择器就是使用的默认 CSS 引擎。Playwright 也自定义了一些伪类：:visible、:text、:has 等等。

用 id 的方式登录到京东网站：

page.click('#loginsubmit')

根据节点的属性选择：

page.click('[aria-label="搜索"]')

根据 CSS 和文本选择：

page.click('a:has-text("电脑")')

page.click("[aria-label=\"OPPO A96 8+256GB 琉璃幻彩 小星环 呼吸灯 高通八核 5G 芯片 33W 快充 OLED 超清护眼屏 拍照 5G 手机 oppoa96\"] >> text=¥")

根据 CSS 和子节点选择，li、img 是标签， seckill_mod_goods_link_img 是 img 的 class 值：

page.click('li:has(img.seckill_mod_goods_link_img)')

XPath

Playwright 支持 XPath 选择元素，自动化录制 python 脚本一般是使用的 text 而不是 Xpath。

点击第一个按钮

page.click("//span[contains(@class, 'spinner__loading')]|//div[@id='confirmation']")

N-th

N-th 选择第几个：

点击第一个按钮

page.click("button >> nth=0")

点击最后一个按钮

page.click("button >> nth=-1")

总结

本文介绍了 Playwright 的用法和部分 api，抓取一个网站主要的操作就是获取 url 地址、参考 post 数据、request、response、元素，本篇文章都有涉及。还有大量的 api 可以参考官方网站。

参考

• https://playwright.dev/python/docs/api/class-playwright

来源：Python 技术