UniProt动态内容抓取：利用REST API高效获取生物序列条目ID教程

理解动态网页与传统抓取的局限性

在现代web应用中，许多网站为了提供更丰富的用户体验，会采用javascript动态加载内容。这意味着当您使用requests库获取一个网页的html内容时，它可能只返回初始的、未经过javascript渲染的html骨架。页面的实际数据（如uniprot搜索结果中的条目id）往往是在浏览器加载完初始html后，通过javascript向后端api发出请求，再将获取的数据填充到页面中。

例如，以下代码尝试通过requests和BeautifulSoup从UniProt搜索结果页面抓取条目ID：

import requests
from bs4 import BeautifulSoup

url = "https://www.uniprot.org/uniprotkb?query=wound+healing"
res = requests.get(url)
res.raise_for_status()
soup = BeautifulSoup(res.text, "html.parser")

# 尝试查找具有特定class的链接元素
links = soup.find_all("a", class_="BqBnJ")

uniprot_ids = [link.get_text(strip=True) for link in links]
for uniprot_id in uniprot_ids:
    print(uniprot_id)
# 预期会返回一个空列表，因为数据尚未被BeautifulSoup“看到”
print(f"找到的UniProt ID数量: {len(uniprot_ids)}")

这段代码执行后会发现links列表为空，即使res.text确实包含了页面的初始HTML。这是因为BeautifulSoup解析的是requests获取到的原始HTML字符串，而UniProt页面上带有class="BqBnJ"的<a>标签及其包含的条目ID，是在页面加载完成后由JavaScript异步请求数据并渲染到DOM中的。因此，传统的静态HTML解析方法无法捕获这些动态生成的内容。

UniProt REST API：生物信息数据获取的专业途径

为了克服动态网页抓取的局限性，并更高效、稳定地获取生物信息数据，最佳实践是利用UniProt官方提供的RESTful API。API（Application Programming Interface）是网站或服务提供给外部程序访问其数据和功能的接口。UniProt的REST API提供了结构化、易于解析的数据，避免了前端页面结构变化可能导致的抓取失败问题。

UniProt REST API的主要优势包括：

• 结构化数据： 直接返回JSON或XML等格式的数据，易于解析。
• 稳定性： API接口相对稳定，不易受前端UI改动影响。
• 高效性： 避免了渲染整个页面的开销，直接获取所需数据。
• 可编程性： 方便集成到自动化脚本和应用程序中。

下面将介绍两种利用UniProt REST API获取条目ID的方法。

方法一：基于搜索接口的精确查询

UniProt提供了一个搜索API端点，允许用户通过各种参数进行精确查询，并指定返回的数据字段。这是获取特定搜索结果条目ID的常用方法。

API端点: https://rest.uniprot.org/uniprotkb/search

关键参数:

• query: 搜索关键词，例如 (wound healing)。
• fields: 指定需要返回的字段，例如 accession,id,protein_name 等。accession字段对应我们需要的条目ID。

示例代码:

import requests
import json

api_url = "https://rest.uniprot.org/uniprotkb/search"

params = {
    "fields": "accession,reviewed,id,protein_name,gene_names,organism_name,length",
    "query": "(wound healing)",
}

try:
    response = requests.get(api_url, params=params)
    response.raise_for_status()  # 检查HTTP请求是否成功
    data = response.json()

    print("通过搜索接口获取的UniProt条目ID:")
    for r in data.get("results", []):
        print(r["primaryAccession"])

except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")
except json.JSONDecodeError as e:
    print(f"JSON解析失败: {e}")

输出示例:

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

0

查看详情

O00622
Q15746
Q04912
P08581
Q61176
Q9VKV5
...

这段代码直接向UniProt的搜索API发送请求，并指定了查询关键词和需要返回的字段。API返回的数据是JSON格式，我们可以轻松地遍历results列表，提取每个条目的primaryAccession字段，这就是我们所需的UniProt条目ID。

方法二：模拟下载流获取完整结果集

如果需要获取某个查询的所有结果，UniProt还提供了模拟“下载”功能的流式API端点。这个端点通常用于获取大量数据，可以指定下载格式（如JSON、FASTA等）。

API端点: https://rest.uniprot.org/uniprotkb/stream

关键参数:

• query: 搜索关键词。
• format: 下载数据的格式，例如 json。
• download: 设置为 true 以触发下载行为。
• compressed: 是否压缩，通常设置为 false 以便直接处理。

示例代码:

import requests
import json

api_url = "https://rest.uniprot.org/uniprotkb/stream"

params = {
    "compressed": "false",
    "download": "true",
    "format": "json",
    "query": "(wound healing)",
}

try:
    response = requests.get(api_url, params=params)
    response.raise_for_status()  # 检查HTTP请求是否成功
    data = response.json()

    print("\n通过模拟下载流接口获取的UniProt条目ID:")
    for r in data.get("results", []):
        print(r["primaryAccession"])

except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")
except json.JSONDecodeError as e:
    print(f"JSON解析失败: {e}")

输出示例:

O00622
Q15746
Q04912
P08581
Q61176
Q9VKV5
...

此方法与第一个方法类似，但更侧重于获取完整的结果集，其返回结构也是一个包含results列表的JSON对象，每个结果中同样包含primaryAccession字段。

注意事项与最佳实践

在使用UniProt REST API时，请注意以下几点：

1. 查阅官方文档： UniProt API文档是获取最新信息和详细参数说明的最佳资源。在进行任何复杂的查询或数据提取之前，务必查阅官方文档。
2. 速率限制： API通常会有速率限制（Rate Limiting），即在一定时间内允许的请求次数。频繁或大量的请求可能会导致您的IP被暂时封禁。请遵守API的使用政策，并在需要时引入请求间隔（例如使用time.sleep()）。
3. 错误处理： 编写健壮的代码时，应包含错误处理机制。例如，使用try-except块捕获requests.exceptions.RequestException（网络错误、HTTP错误等）和json.JSONDecodeError（JSON解析失败）。
4. 选择合适的API端点和参数： 根据您的具体需求（是精确查询少量字段，还是获取完整数据集），选择最合适的API端点和参数。
5. 数据字段： UniProt API提供了丰富的字段供查询。通过fields参数可以精确控制返回哪些数据，避免传输不必要的信息。

总结

从UniProt等动态加载内容的网站抓取数据时，传统的requests结合BeautifulSoup方法往往会失效，因为它们无法执行JavaScript并渲染页面。此时，利用网站提供的官方REST API是获取数据的最佳、最可靠途径。UniProt的REST API提供了强大的功能，允许用户以结构化、高效的方式查询和下载生物序列数据。通过掌握API的使用，不仅能解决动态网页抓取难题，还能为生物信息学研究和数据分析工作打下坚实的基础。

以上就是UniProt动态内容抓取：利用REST API高效获取生物序列条目ID教程的详细内容，更多请关注php中文网其它相关文章！