使用Python模拟API请求抓取Yahoo Finance历史财报数据-Python教程-PHP中文网

使用Python模拟API请求抓取Yahoo Finance历史财报数据

本教程旨在解决使用python抓取yahoo finance动态加载财报数据的问题。由于yahoo finance的财报页面内容通过javascript动态加载，传统的beautifulsoup直接解析html的方法往往无法获取完整数据。我们将深入探讨如何通过模拟浏览器api请求，直接从yahoo finance的后端接口获取结构化的历史财报数据，包括构建请求头、url参数、json载荷以及处理日期筛选等关键步骤。

1. 动态内容抓取的挑战与API模拟

在尝试从Yahoo Finance等现代网站抓取数据时，一个常见的问题是页面内容并非全部包含在初始HTML响应中。特别是像财报日历这样的数据，通常会通过JavaScript在页面加载后异步地从后端API获取并渲染。这意味着，如果直接使用requests库获取页面HTML并结合BeautifulSoup进行解析，很可能只能得到一个空的或不完整的数据集。

原始尝试中，使用requests和BeautifulSoup去解析https://finance.yahoo.com/calendar/earnings?day={yesterday}页面，发现获取到的并非预期中的“昨日”财报数据，而是当前日期（如周日）的少量信息，这正是动态内容加载的典型表现。

解决这类问题的核心方法是模拟浏览器行为，直接调用网站后端用于获取数据的API接口。通过浏览器开发者工具（Network标签页），我们可以观察到页面加载过程中发出的XHR（XMLHttpRequest）请求，这些请求通常会返回JSON格式的结构化数据，这比解析HTML要高效和稳定得多。

2. 识别并模拟Yahoo Finance的财报API请求

通过分析Yahoo Finance财报页面的网络请求，我们可以发现其财报数据是通过向https://query2.finance.yahoo.com/v1/finance/visualization这个URL发送POST请求来获取的。这个请求的特点是：

立即学习“Python免费学习笔记（深入）”；

请求方法： POST
请求URL： https://query2.finance.yahoo.com/v1/finance/visualization
请求头 (Headers)： 包含User-Agent等，模拟浏览器行为。
URL参数 (Params)： 包含crumb、lang、region等。
请求体 (JSON Payload)： 这是一个复杂的JSON对象，定义了需要查询的实体类型、包含的字段、日期范围、排序方式等。
Cookie： 可能需要特定的Cookie（如A3）来维持会话或通过认证。

3. 构建API请求参数

为了成功模拟这个API请求，我们需要精确地构建上述各项参数。

3.1 请求头 (Headers)

User-Agent是必不可少的，它让服务器认为我们是一个合法的浏览器请求。

headers = {
    "User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:120.0) Gecko/20100101 Firefox/120.0",
}

登录后复制

3.2 URL参数 (Params)

crumb是一个安全令牌，通常用于防止CSRF攻击，它的值可能会动态变化。lang和region定义了语言和地区。

超级简历WonderCV

免费求职简历模版下载制作，应届生职场人必备简历制作神器

150

查看详情

params = {
    "crumb": "EwuCwsPbKM2", # 注意：此crumb可能随时间变化，需要动态获取或更新
    "lang": "en-US",
    "region": "US",
    "corsDomain": "finance.yahoo.com",
}

登录后复制

3.3 请求体 (JSON Payload - query)

这是最关键的部分，它定义了我们想要获取的数据。

entityIdType: 指定查询类型，这里是"earnings"。
includeFields: 一个列表，包含我们希望在结果中看到的字段，例如股票代码、公司名称、EPS估值、实际EPS等。
offset 和 size: 用于分页，offset是偏移量，size是每页返回的条目数。
query: 定义了筛选条件。其中operands是一个列表，每个元素是一个条件。
- 例如，{"operands": ["startdatetime", "2023-12-15"], "operator": "gte"}表示开始日期大于等于2023-12-15。
- {"operands": ["startdatetime", "2023-12-16"], "operator": "lt"}表示开始日期小于2023-12-16。
- 这两个条件结合起来，就精确筛选出2023-12-15这一天的财报数据。
- "operator": "and"表示多个条件之间是“与”的关系。
sortField 和 sortType: 定义了结果的排序字段和排序方式。

from datetime import date, timedelta

# 假设我们要获取2023年12月15日的财报数据
target_date = date(2023, 12, 15)
# 如果要获取“昨天”的财报，且确保是工作日，需要更复杂的日期逻辑
# 例如：
# today = date.today()
# target_date = today - timedelta(days=1)
# while target_date.weekday() > 4: # 0-Mon, 1-Tue, ..., 4-Fri, 5-Sat, 6-Sun
#     target_date -= timedelta(days=1)

query_payload = {
    "entityIdType": "earnings",
    "includeFields": [
        "ticker",
        "companyshortname",
        "eventname",
        "startdatetime",
        "startdatetimetype",
        "epsestimate",
        "epsactual",
        "epssurprisepct",
        "timeZoneShortName",
        "gmtOffsetMilliSeconds",
    ],
    "offset": 0,
    "query": {
        "operands": [
            {"operands": ["startdatetime", f"{target_date}T00:00:00.000Z"], "operator": "gte"},
            {"operands": ["startdatetime", f"{target_date + timedelta(days=1)}T00:00:00.000Z"], "operator": "lt"},
            {"operands": ["region", "us"], "operator": "eq"},
        ],
        "operator": "and",
    },
    "size": 100, # 可以根据需要调整，获取更多数据
    "sortField": "companyshortname",
    "sortType": "ASC",
}

登录后复制

3.4 Cookie

某些情况下，Yahoo Finance会检查特定的Cookie来验证会话。A3 Cookie就是其中之一。它的值也是动态的，可能会过期。

# 注意：此cookie可能随时间变化，需要动态获取或更新
cookie_value = "d=AQABBK8KXmQCEA8-VE0dBLqG5QEpQ7OglmEFEgABCAHCeWWpZfNtb2UB9qMAAAcIqgpeZJj7vK8&S=AQAAAqhyTAOrxcxONc4ktfzCOkg"

登录后复制

4. 完整示例代码

结合上述所有参数，我们可以构建一个完整的Python脚本来抓取指定日期的Yahoo Finance财报数据。

import requests
from datetime import date, timedelta

def get_yahoo_earnings(target_date: date):
    """
    从Yahoo Finance API获取指定日期的财报数据。

    Args:
        target_date (date): 目标日期，例如 date(2023, 12, 15)。

    Returns:
        list: 包含财报数据的列表，每个元素是一个字典。
    """
    headers = {
        "User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:120.0) Gecko/20100101 Firefox/120.0",
    }

    # URL参数，crumb可能需要定期更新
    params = {
        "crumb": "EwuCwsPbKM2", # 示例值，实际使用时可能需要更新
        "lang": "en-US",
        "region": "US",
        "corsDomain": "finance.yahoo.com",
    }

    # 构建JSON请求体，用于指定查询条件
    query_payload = {
        "entityIdType": "earnings",
        "includeFields": [
            "ticker",
            "companyshortname",
            "eventname",
            "startdatetime",
            "startdatetimetype",
            "epsestimate",
            "epsactual",
            "epssurprisepct",
            "timeZoneShortName",
            "gmtOffsetMilliSeconds",
        ],
        "offset": 0,
        "query": {
            "operands": [
                {"operands": ["startdatetime", f"{target_date}T00:00:00.000Z"], "operator": "gte"},
                {"operands": ["startdatetime", f"{target_date + timedelta(days=1)}T00:00:00.000Z"], "operator": "lt"},
                {"operands": ["region", "us"], "operator": "eq"},
            ],
            "operator": "and",
        },
        "size": 100, # 每页获取的最大条目数
        "sortField": "companyshortname",
        "sortType": "ASC",
    }

    # Cookie，A3值也可能需要定期更新
    cookie_value = "d=AQABBK8KXmQCEA8-VE0dBLqG5QEpQ7OglmEFEgABCAHCeWWpZfNtb2UB9qMAAAcIqgpeZJj7vK8&S=AQAAAqhyTAOrxcxONc4ktfzCOkg" # 示例值，实际使用时可能需要更新

    url = "https://query2.finance.yahoo.com/v1/finance/visualization"

    try:
        with requests.Session() as s:
            s.headers.update(headers)
            s.cookies["A3"] = cookie_value # 设置会话cookie

            response = s.post(url, params=params, json=query_payload)
            response.raise_for_status() # 检查HTTP请求是否成功

            data = response.json()

            # 解析结果
            earnings_data = []
            if data and "finance" in data and "result" in data["finance"] and \
               data["finance"]["result"] and data["finance"]["result"][0]["documents"]:
                for doc in data["finance"]["result"][0]["documents"]:
                    if "rows" in doc:
                        for r in doc["rows"]:
                            # r[0]是ticker, r[1]是companyshortname, r[2]是eventname, r[3]是startdatetime
                            earnings_data.append({
                                "ticker": r[0],
                                "company_name": r[1],
                                "event_name": r[2],
                                "start_datetime": r[3],
                                # 其他字段可以根据includeFields的顺序和实际返回的r[]索引添加
                            })
            return earnings_data
    except requests.exceptions.RequestException as e:
        print(f"请求失败: {e}")
        return []
    except KeyError as e:
        print(f"解析JSON数据失败，可能数据结构发生变化: {e}")
        return []

if __name__ == "__main__":
    # 示例：获取2023年12月15日的财报数据
    # 请注意，crumb和cookie_value可能已经失效，需要从浏览器开发者工具中获取最新的值。
    target_date_example = date(2023, 12, 15)
    print(f"正在获取 {target_date_example} 的财报数据...")
    earnings = get_yahoo_earnings(target_date_example)

    if earnings:
        print(f"成功获取到 {len(earnings)} 条财报数据：")
        for item in earnings:
            print(f"公司: {item['company_name']:<40} 事件: {item['event_name'] or '':<40} 时间: {item['start_datetime']}")
    else:
        print("未能获取到财报数据。请检查crumb和cookie是否有效，或日期是否有数据。")

    print("\n--- 尝试获取上一个工作日的财报数据 ---")
    today = date.today()
    last_weekday = today - timedelta(days=1)
    # 循环直到找到一个工作日 (周一到周五)
    while last_weekday.weekday() > 4: # 5是周六，6是周日
        last_weekday -= timedelta(days=1)

    print(f"正在获取上一个工作日 ({last_weekday}) 的财报数据...")
    last_weekday_earnings = get_yahoo_earnings(last_weekday)
    if last_weekday_earnings:
        print(f"成功获取到 {len(last_weekday_earnings)} 条财报数据：")
        for item in last_weekday_earnings[:5]: # 仅打印前5条
            print(f"公司: {item['company_name']:<40} 事件: {item['event_name'] or '':<40} 时间: {item['start_datetime']}")
    else:
        print("未能获取到上一个工作日的财报数据。")

登录后复制

5. 数据解析与处理

API返回的数据是JSON格式，结构清晰。在get_yahoo_earnings函数中，我们通过response.json()获取到Python字典，然后可以根据其结构进行解析。

核心数据位于data["finance"]["result"][0]["documents"][0]["rows"]。每个row是一个列表，其中的元素对应于includeFields中定义的字段顺序。例如，r[0]是ticker，r[1]是companyshortname。为了提高可读性和健壮性，可以将这些列表项映射到字典中，如示例代码所示。

6. 注意事项

动态参数 (crumb 和 cookie)： crumb和A3 Cookie的值是动态生成的，并且可能具有时效性。示例代码中的值可能很快失效。在实际应用中，你可能需要：
- 定期手动更新： 每次运行脚本前，从浏览器开发者工具中获取最新的crumb和A3 Cookie值。
- 自动化获取（高级）： 使用Selenium或其他自动化工具模拟浏览器访问Yahoo Finance页面，然后从页面源码或网络请求中提取这些动态值。这超出了本教程的范围，但对于生产环境的爬虫是必要的。
频率限制与IP封禁： 频繁或过快的请求可能会导致你的IP地址被Yahoo Finance暂时或永久封禁。建议在请求之间添加适当的延迟（例如，使用time.sleep()），并考虑使用代理IP池。
API结构变化： Yahoo Finance的API结构可能会在未来发生变化。如果脚本突然失效，请检查其网站的网络请求，看是否有新的API端点、参数或数据结构调整。
错误处理： 示例代码中包含了基本的try-except块来处理网络请求失败和JSON解析错误。在实际项目中，应增加更详细的错误日志记录和重试机制。
日期处理： 确保日期格式（YYYY-MM-DDTHH:mm:ss.sssZ）符合API要求。使用datetime模块进行日期计算可以避免许多常见错误。对于获取“上一个工作日”的需求，需要额外的逻辑来跳过周末。

7. 总结

通过模拟API请求，我们成功绕过了Yahoo Finance财报页面动态加载内容的限制，直接获取到了结构化的历史财报数据。这种方法比传统的HTML解析更加稳定和高效，尤其适用于处理JavaScript动态渲染的网站。尽管存在crumb和cookie等动态参数的挑战，但理解其工作原理并采取相应的更新策略，是构建健壮网络爬虫的关键。掌握这种API模拟技术，将极大地扩展你在数据抓取方面的能力。

以上就是使用Python模拟API请求抓取Yahoo Finance历史财报数据的详细内容，更多请关注php中文网其它相关文章！