
本文介绍在 webscraper.io 中实现自动填写搜索框与触发下拉菜单选择的操作方法,包括 selectorelementclick 配置技巧、实际 json 代码示例及替代方案建议,助你高效抓取 alberta 地区脊医列表。
WebScraper.io 是一款功能强大的浏览器扩展型爬虫工具,适用于结构化网页的可视化采集,但其原生能力不支持直接模拟键盘输入(如 typing into a text field)或动态交互式表单提交。不过,它提供了 SelectorElementClick 类型选择器,可模拟真实点击行为——这正是解决你问题的关键突破口。
✅ 正确思路:绕过“输入”,改用预设筛选项触发结果
目标网站
- 文本输入框(如 #search-city 或类似)
- 半径下拉框(如
- 提交按钮(或回车/自动搜索)
由于 WebScraper 无法执行 .sendKeys() 类操作,我们应优先检查该页面是否支持URL 参数驱动筛选(例如 ?city=Edmonton&radius=25),或是否存在静态可点击的区域链接/筛选卡片(如“Edmonton”、“Calgary”等城市标签)。若存在,推荐优先使用 URL 参数 + 分页组合方式,最稳定可靠。
若必须通过表单交互,则需借助 SelectorElementClick 模拟点击已渲染的
{
"id": "select-radius-25km",
"parentSelectors": ["_root"],
"type": "SelectorElementClick",
"clickActionType": "real",
"clickElementSelector": "select[name='radius'] option[value='25']",
"clickElementUniquenessType": "uniqueCSSSelector",
"clickType": "clickOnce",
"delay": 1500,
"discardInitialElements": "do-not-discard",
"multiple": false,
"selector": "body"
}⚠️ 注意事项:
- clickElementSelector 必须精准匹配页面加载完成后已存在的 DOM 节点;建议先在 Chrome DevTools 中验证 document.querySelector("select[name='radius'] option[value='25']") 是否返回有效元素;
- 若下拉框使用 JS 动态渲染(如 React/Vue 组件),原生 WebScraper 可能无法捕获,此时需切换至 Playwright 或 Selenium + Python 方案;
- 输入城市名称无法直接模拟?可尝试:① 查看是否有“热门城市”可点击区域;② 检查网络请求,找到 /api/search?city=... 类接口,直接构造 API 请求(WebScraper 支持 JSON API 抓取);③ 改用 Playwright(推荐)编写自动化脚本,完整支持 page.fill(), page.selectOption() 和显式等待。
? 推荐进阶方案(当 WebScraper 不足时)
对于需要强交互的场景(如输入+回车+等待 AJAX 加载+翻页),建议迁移到 Playwright(Python),代码简洁且稳定性高:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(headless=False)
page = browser.new_page()
page.goto("https://chiropractic.ca/find-a-chiro/alberta/")
# 输入城市
page.fill("#search-city", "Edmonton")
# 选择半径(支持 value/text 多种方式)
page.select_option("select[name='radius']", value="25")
# 触发搜索(可能为按钮或回车)
page.press("#search-city", "Enter")
# 等待结果加载
page.wait_for_selector(".chiropractor-list-item", timeout=10000)
# 提取数据(示例)
chiropractors = page.eval_on_selector_all(
".chiropractor-list-item",
"els => els.map(el => ({name: el.querySelector('h3')?.innerText, phone: el.querySelector('.phone')?.innerText}))"
)
print(chiropractors)? 小结:WebScraper.io 适合静态或简单交互页面;涉及输入框+下拉+异步加载的复合操作,建议转向 Playwright/Selenium。同时务必查阅 WebScraper 官方论坛 和 Dropdown Variation 教程视频,获取最新 selector 配置实践。










