使用Selenium从Iframe中提取表单信息：Python网页抓取实战-html教程-PHP中文网

使用Selenium从Iframe中提取表单信息：Python网页抓取实战

本教程旨在解决使用Selenium进行网页抓取时，从Iframe内部表单提取信息的核心问题。文章将详细阐述如何正确切换到Iframe上下文，避免常见的InvalidSelectorException，并通过示例代码演示如何定位并提取Iframe内特定元素（如姓名、职位、公司）的文本内容，确保数据抓取的准确性和稳定性。

1. 理解Iframe及其对网页抓取的影响

iframe（内联框架）是html文档中嵌入另一个html文档的元素。在网页抓取中，iframe常常会带来挑战，因为它们创建了一个独立的浏览上下文。这意味着，当你的selenium webdriver在主页面上时，它无法直接“看到”或操作iframe内部的元素。尝试直接使用xpath或其他选择器定位iframe内的元素会导致找不到元素或抛出错误。

原始问题中遇到的selenium.common.exceptions.InvalidSelectorException: Message: invalid selector: The result of the xpath expression "/html/body/div[1]/text()[1]" is: [object Text]. It should be an element.错误，正是因为试图使用XPath的text()函数直接选择文本节点，而Selenium的find_element方法期望返回一个DOM元素对象，而非文本节点本身。此外，即使XPath正确，如果未切换到Iframe上下文，也无法定位到Iframe内部的任何元素。

2. 正确切换到Iframe上下文

要与Iframe内部的元素进行交互，首先必须将Selenium WebDriver的焦点切换到该Iframe。这是抓取Iframe内容的关键第一步。

2.1 识别Iframe

通常，Iframe可以通过其ID、name、XPath、CSS选择器或作为Web元素来定位。在大多数情况下，使用ID是最可靠的方法，因为ID在页面中通常是唯一的。

立即学习“Python免费学习笔记（深入）”；

根据提供的HTML片段，Iframe的ID是content210835787_ifr：

<iframe id="content210835787_ifr" ...></iframe>

登录后复制

2.2 切换命令

使用browser.switch_to.frame()方法来切换到Iframe。它可以接受三种类型的参数：

ID或Name属性值：直接传入Iframe的ID或name字符串。
Web元素：先定位到Iframe元素本身，然后将其作为参数传入。
索引：Iframe在页面中的索引（从0开始），但这种方法不推荐，因为页面的Iframe顺序可能变化。

最推荐的方式是使用ID，因为它既稳定又直观。

from selenium import webdriver
from selenium.webdriver.common.by import By

# 假设 browser 已经被初始化并导航到包含 Iframe 的页面
# browser = webdriver.Chrome()
# browser.get("your_page_with_iframe_url")

# 切换到 Iframe
try:
    browser.switch_to.frame(By.ID, "content210835787_ifr")
    print("成功切换到Iframe。")
except Exception as e:
    print(f"切换到Iframe失败: {e}")
    # 可以在此处添加错误处理逻辑，例如重试或退出

登录后复制

注意事项：

在切换到Iframe之前，确保Iframe已经加载完成。如果Iframe是动态加载的，可能需要使用显式等待（WebDriverWait）来等待Iframe元素可见或可交互。
一旦切换到Iframe，所有后续的find_element或find_elements操作都将在Iframe的上下文中执行。

3. 在Iframe内部提取数据

成功切换到Iframe后，现在可以像在主页面上一样，使用各种定位策略（XPath, CSS选择器, ID等）来查找Iframe内部的元素。

表单大师AI

一款基于自然语言处理技术的智能在线表单创建工具，可以帮助用户快速、高效地生成各类专业表单。

查看详情

根据提供的Iframe内部HTML结构：

<body id="tinymce" ...>
    <h2><strong>Formulário - Confecção de usuário de acesso</strong></h2>
    <div>Nome Completo:   Solicitação aberta para teste<br><br>Matrícula:  2354<br><br>Centro de Custo:  VS | 123 </div>
    <div>  <br><br>Cargo:   Analista de Teste</div>
    <div><br></div>
    <div><br><br>  <br><br>  <br><br>Tipo de Acesso:   Rede<br><br>Empresa que o colaborador foi cadastrado pelo RH?   VS EMpresarial</div>
</body>

登录后复制

我们看到所有的信息（姓名、Matrícula、Cargo、公司等）都包含在Iframe内部的body元素下的一些div元素中。最简单的方法是定位包含所有这些信息的父div元素，然后提取其完整的文本内容。

3.1 定位并提取文本内容

我们可以通过body元素的ID tinymce来定位它，然后找到其下的div元素。由于目标信息分散在多个div中，且结构不完全一致，最直接的方式是获取包含这些信息的整个div块的文本。

# 确保已经切换到 Iframe
# browser.switch_to.frame(By.ID, "content210835787_ifr")

try:
    # 找到 Iframe 内部的 body 元素，然后找到其下的第一个 div 元素（或包含所有信息的 div）
    # 这里我们假设所有相关信息都在 body 下的第一个或几个 div 中
    # 如果信息分散在多个 div 中，可以尝试获取所有 div 的文本或一个包含所有信息的父 div

    # 示例中，信息分散在多个相邻的 div 中，但第一个 div 包含了姓名、Matrícula等
    # 更稳妥的做法是找到包含所有这些信息的共同祖先元素，或者遍历所有 div

    # 获取包含所有信息的 body 元素下的所有 div
    # elem = browser.find_element(By.XPATH, "//body[@id='tinymce']/div") # 如果所有信息在一个div中

    # 为了获取所有div中的信息，我们可以选择获取 body 的 innerHTML 或者遍历 div
    # 鉴于问题中给出的解决方案是获取第一个 div 的文本，我们先按此操作
    elem = browser.find_element(By.XPATH, "//body[@id='tinymce']/div[1]") # 获取第一个 div
    full_text_content = elem.text
    print("从Iframe中提取的完整文本内容:")
    print(full_text_content)

    # 如果需要获取所有div中的文本，可以这样做：
    # divs_in_iframe = browser.find_elements(By.XPATH, "//body[@id='tinymce']/div")
    # all_extracted_text = []
    # for div in divs_in_iframe:
    #     if div.text.strip(): # 避免提取空 div 的文本
    #         all_extracted_text.append(div.text.strip())
    # print("\n所有div中提取的文本:")
    # print("\n".join(all_extracted_text))

    # 进一步解析提取的文本以获取具体字段（姓名、Matrícula、Cargo、公司）
    # 这通常需要使用字符串处理方法，如 split(), replace(), 正则表达式等
    # 例如，从 full_text_content 中提取 "Nome Completo"

    # 假设我们已经获取了所有相关的文本，并将其合并成一个大字符串
    combined_text = "\n".join(all_extracted_text) # 如果使用了遍历所有 div 的方法
    # 或者直接使用第一个 div 的文本，如果它足够包含所需信息

    # 示例解析：
    name_start = full_text_content.find("Nome Completo:")
    if name_start != -1:
        name_end = full_text_content.find("\n", name_start)
        name = full_text_content[name_start + len("Nome Completo:"):name_end].strip()
        print(f"姓名: {name}")

    # 对于 "Cargo" 和 "Empresa"，它们可能在不同的 div 中，需要更精细的定位或解析
    # 如果是获取所有 div 的文本并合并，则可以统一解析

    # 假设 "Cargo" 在第二个有内容的 div 中
    # cargo_elem = browser.find_element(By.XPATH, "//body[@id='tinymce']/div[2]")
    # cargo_text = cargo_elem.text
    # cargo_start = cargo_text.find("Cargo:")
    # if cargo_start != -1:
    #     cargo = cargo_text[cargo_start + len("Cargo:"):].strip()
    #     print(f"职位: {cargo}")

    # 假设 "Empresa" 在第四个有内容的 div 中
    # company_elem = browser.find_element(By.XPATH, "//body[@id='tinymce']/div[4]")
    # company_text = company_elem.text
    # company_start = company_text.find("Empresa que o colaborador foi cadastrado pelo RH?")
    # if company_start != -1:
    #     company = company_text[company_start + len("Empresa que o colaborador foi cadastrado pelo RH?"):].strip()
    #     print(f"公司: {company}")

except Exception as e:
    print(f"在Iframe内部提取数据失败: {e}")

登录后复制

3.2 获取innerHTML

除了text属性，你也可以使用get_attribute('innerHTML')来获取元素的完整HTML内容，这在需要进一步解析HTML结构时非常有用。

# elem = browser.find_element(By.XPATH, "//body[@id='tinymce']/div")
# inner_html_content = elem.get_attribute('innerHTML')
# print("\n从Iframe中提取的HTML内容:")
# print(inner_html_content)

登录后复制

4. 返回主页面上下文

完成Iframe内部的操作后，如果需要继续与主页面上的元素进行交互，必须将WebDriver的焦点切换回主页面。

# 切换回主页面
browser.switch_to.default_content()
print("\n已切换回主页面。")

# 现在可以继续在主页面上执行操作
# browser.find_element(By.ID, "some_element_on_main_page").click()

登录后复制

5. 完整示例代码

下面是一个整合了上述步骤的完整示例代码框架：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import re # 用于正则表达式解析

# 假设已经设置好 WebDriver，例如 Chrome
# driver = webdriver.Chrome()
# driver.get("your_url_containing_the_iframe") # 替换为实际的URL

# 为了演示，我们创建一个模拟的 WebDriver 对象和行为
class MockWebElement:
    def __init__(self, tag_name, text="", inner_html="", id="", class_name=""):
        self.tag_name = tag_name
        self._text = text
        self._inner_html = inner_html
        self.id = id
        self.class_name = class_name

    def get_attribute(self, name):
        if name == 'innerHTML':
            return self._inner_html
        elif name == 'id':
            return self.id
        elif name == 'class':
            return self.class_name
        return None

    @property
    def text(self):
        return self._text

class MockWebDriver:
    def __init__(self):
        self.current_context = "default" # "default" or "iframe_id"
        self.iframe_content = {
            "content210835787_ifr": {
                "body": {
                    "tinymce": [
                        MockWebElement("div", text="Nome Completo:   Solicitação aberta para teste\n\nMatrícula:  2354\n\nCentro de Custo:  VS | 123 ",
                                       inner_html="Nome Completo:   Solicitação aberta para teste<br><br>Matrícula:  2354<br><br>Centro de Custo:  VS | 123 "),
                        MockWebElement("div", text="  \n\nCargo:   Analista de Teste",
                                       inner_html="  <br><br>Cargo:   Analista de Teste"),
                        MockWebElement("div", text="\n\n\n\n  \n\n  \n\nTipo de Acesso:   Rede\n\nEmpresa que o colaborador foi cadastrado pelo RH?   VS EMpresarial",
                                       inner_html="<br><br>  <br><br>  <br><br>Tipo de Acesso:   Rede<br><br>Empresa que o colaborador foi cadastrado pelo RH?   VS EMpresarial")
                    ]
                }
            }
        }

    def find_element(self, by, value):
        if self.current_context == "default":
            if by == By.ID and value == "content210835787_ifr":
                return MockWebElement("iframe", id="content210835787_ifr")
            else:
                raise Exception(f"Element not found in default context: {value}")
        elif self.current_context == "content210835787_ifr":
            if by == By.XPATH and value.startswith("//body[@id='tinymce']"):
                body_content = self.iframe_content["content210835787_ifr"]["body"]["tinymce"]
                if value == "//body[@id='tinymce']/div[1]":
                    return body_content[0]
                elif value == "//body[@id='tinymce']/div[2]":
                    return body_content[1]
                elif value == "//body[@id='tinymce']/div[3]":
                    return body_content[2]
                elif value == "//body[@id='tinymce']/div": # Find first div if multiple exist
                     return body_content[0]
            raise Exception(f"Element not found in iframe context: {value}")
        raise Exception("Invalid context")

    def find_elements(self, by, value):
        if self.current_context == "content210835787_ifr":
            if by == By.XPATH and value == "//body[@id='tinymce']/div":
                return self.iframe_content["content210835787_ifr"]["body"]["tinymce"]
        return []

    def get(self, url):
        print(f"Navigating to {url}")

    def switch_to(self):
        return self # Allows chaining .frame() and .default_content()

    def frame(self, by, value):
        if by == By.ID and value == "content210835787_ifr":
            self.current_context = value
            print(f"Switched to iframe: {value}")
        else:
            raise Exception(f"Could not switch to frame by {by}, {value}")
        return self

    def default_content(self):
        self.current_context = "default"
        print("Switched back to default content.")
        return self

    def quit(self):
        print("Browser quit.")

# 使用模拟的 WebDriver 进行演示
driver = MockWebDriver()

# 1. 等待 Iframe 可见并切换到 Iframe
try:
    # 实际场景中，这里会使用 WebDriverWait
    # iframe_element = WebDriverWait(driver, 10).until(
    #     EC.presence_of_element_located((By.ID, "content210835787_ifr"))
    # )
    # driver.switch_to.frame(iframe_element)

    # 模拟切换
    driver.switch_to.frame(By.ID, "content210835787_ifr")

    # 2. 在 Iframe 内部提取数据
    print("\n--- 在Iframe内部提取数据 ---")

    # 提取所有 div 的文本内容
    all_divs = driver.find_elements(By.XPATH, "//body[@id='tinymce']/div")
    combined_text = ""
    for div_elem in all_divs:
        if div_elem.text.strip(): # 避免添加空行
            combined_text += div_elem.text.strip() + "\n"

    print("Iframe内所有div合并后的文本内容:\n", combined_text)

    # 3. 解析提取的文本以获取具体字段
    print("\n--- 解析提取的字段 ---")

    # 姓名
    match_name = re.search(r"Nome Completo:\s*(.*?)(?:\n|Matrícula:|$)", combined_text)
    name = match_name.group(1).strip() if match_name else "N/A"
    print(f"姓名: {name}")

    # Matrícula
    match_matricula = re.search(r"Matrícula:\s*(\d+)", combined_text)
    matricula = match_matricula.group(1).strip() if match_matricula else "N/A"
    print(f"Matrícula: {matricula}")

    # 职位
    match_cargo = re.search(r"Cargo:\s*(.*?)(?:\n|Tipo de Acesso:|$)", combined_text)
    cargo = match_cargo.group(1).strip() if match_cargo else "N/A"
    print(f"职位: {cargo}")

    # 公司
    match_empresa = re.search(r"Empresa que o colaborador foi cadastrado pelo RH\?.*?(\w+ EMpresarial)", combined_text)
    empresa = match_empresa.group(1).strip() if match_empresa else "N/A"
    print(f"公司: {empresa}")

except Exception as e:
    print(f"发生错误: {e}")

finally:
    # 4. 切换回主页面
    driver.switch_to.default_content()
    # driver.quit() # 实际场景中，最后关闭浏览器

登录后复制

6. 注意事项与最佳实践

等待机制： 在实际应用中，Iframe及其内部元素可能需要时间加载。务必使用Selenium的显式等待（WebDriverWait结合expected_conditions）来等待Iframe本身以及Iframe内部的元素出现，以避免NoSuchElementException。
XPath的鲁棒性： 尽量避免使用过于绝对的XPath（如/html/body/div[1]/text()[1]），因为页面结构微小的变化就可能导致其失效。优先使用ID、name、class或更具语义化的CSS选择器。如果必须使用XPath，尝试使用相对XPath或包含独特属性的XPath。
错误处理： 使用try-except块来捕获可能发生的Selenium异常，如NoSuchElementException、TimeoutException等，增强代码的健壮性。
返回主上下文： 养成在完成Iframe操作后立即切换回主页面上下文的好习惯，以避免后续操作在错误的上下文中执行。
文本解析： 从元素中提取的文本可能包含多余的空格、换行符或非结构化信息。使用字符串的strip()方法、split()方法或正则表达式来清洗和解析这些文本，以获得所需的确切数据。

通过遵循这些步骤和最佳实践，您可以有效地使用Selenium从Iframe中提取复杂的表单信息，从而提高网页抓取项目的成功率和稳定性。

以上就是使用Selenium从Iframe中提取表单信息：Python网页抓取实战的详细内容，更多请关注php中文网其它相关文章！