Python requests库获取原始HTTP重定向状态码的教程

import requests
import csv

def check_url_status(url, allow_redirects_flag=True):
    """
    检查URL状态，并根据allow_redirects_flag参数控制是否跟随重定向。
    :param url: 待检查的URL。
    :param allow_redirects_flag: 是否允许requests库自动跟随重定向，默认为True。
                                 设置为False将捕获原始重定向状态码。
    :return: 描述URL状态的字符串。
    """
    try:
        # 关键在于设置 allow_redirects 参数
        response = requests.get(url, timeout=5, allow_redirects=allow_redirects_flag)
        status_code = response.status_code

        if 200 <= status_code < 300:
            return f"Alive ({status_code})"
        elif 300 <= status_code < 400:
            # 当allow_redirects_flag=False时，这里会捕获到3xx状态码
            # 如果allow_redirects_flag=True，则通常不会进入此分支，除非重定向链条最终返回3xx
            return f"Redirected ({status_code})"
        elif 400 <= status_code < 500:
            return f"Client Error ({status_code})"
        elif 500 <= status_code < 600:
            return f"Server Error ({status_code})"
        else:
            return f"Unknown Status ({status_code})"
    except requests.exceptions.Timeout:
        return "Error: Timeout"
    except requests.exceptions.ConnectionError:
        return "Error: Connection Failed"
    except requests.exceptions.RequestException as e:
        return f"Error: {e}"

# 模拟一个包含重定向URL的CSV文件
# urls.csv 内容示例:
# http://example.com
# http://httpbin.org/redirect-to?url=http://example.com
# http://httpbin.org/status/404
# http://www.google.com
# http://httpbin.org/absolute-redirect/1
# http://nonexistent-domain-12345.com

# 假设从CSV读取URL列表
# 为了演示，我们直接定义一个列表
urls_to_check = [
    "http://example.com",
    "http://httpbin.org/redirect-to?url=http://example.com", # 这是一个会返回302的测试URL
    "http://httpbin.org/status/404",
    "http://www.google.com",
    "http://httpbin.org/absolute-redirect/1", # 会返回302
    "http://nonexistent-domain-12345.com"
]

print("--- 场景一：允许自动重定向 (默认行为) ---")
print("此时，重定向URL将显示最终状态码 (通常是200)。")
results_default = []
for url in urls_to_check:
    status = check_url_status(url, allow_redirects_flag=True)
    results_default.append((url, status))
    print(f"URL: {url}, Status: {status}")

print("\n--- 场景二：禁用自动重定向 (allow_redirects=False) ---")
print("此时，重定向URL将显示原始的3xx状态码。")
results_no_redirect = []
for url in urls_to_check:
    status = check_url_status(url, allow_redirects_flag=False)
    results_no_redirect.append((url, status))
    print(f"URL: {url}, Status: {status}")

# 将结果写入CSV文件的逻辑可以根据需要添加
# 例如：
# with open("url_status_default.csv", "w", newline="") as outfile:
#     writer = csv.writer(outfile)
#     writer.writerow(["URL", "Status"])
#     writer.writerows(results_default)
# print("\nURL状态 (默认重定向) 已写入 url_status_default.csv")

# with open("url_status_no_redirect.csv", "w", newline="") as outfile:
#     writer = csv.writer(outfile)
#     writer.writerow(["URL", "Status"])
#     writer.writerows(results_no_redirect)
# print("URL状态 (禁用重定向) 已写入 url_status_no_redirect.csv")