必须使用 requests.Session() 复用连接池以避免重复 TCP/TLS 握手，配合 aiohttp.AsyncResolver 和超时拆分（connect/read）可显著降低高频请求延迟。
requests.Session() 必须用，别每次 new 一个 client
HTTP 连接建立开销远大于发送请求本身，反复创建 requests.get() 会触发 TCP 三次握手 + TLS 握手（HTTPS），尤其在高频请求时延迟飙升。用 Session 复用底层连接池，自动保持 Keep-Alive。
- 默认
Session启用连接池（pool_connections=10,pool_maxsize=10），足够多数爬虫场景 - 若并发高（如 >50 路请求），显式调大
pool_maxsize，否则会阻塞在连接获取上 - 别在循环里反复
session = requests.Session()—— 这等于没用
session = requests.Session()
session.mount('https://', requests.adapters.HTTPAdapter(pool_maxsize=20))
for url in urls:
resp = session.get(url, timeout=5) # 复用连接，非新建异步 HTTP（aiohttp）比多线程 requests 更省资源
当目标站点响应快、IO 密集（比如爬 1000 个轻量 API），用 threading + requests 会因 GIL 和线程切换反而拖慢；而 aiohttp 单线程即可并发数百请求，内存和 CPU 占用更低。
-
aiohttp.ClientSession同样复用连接，但需配合async/await - 注意 DNS 解析默认是同步阻塞的，加
connector = aiohttp.TCPConnector(resolver=aiohttp.AsyncResolver())避免卡住 - 别混用
time.sleep()—— 必须用await asyncio.sleep()
import aiohttp import asyncioasync def fetch(session, url): async with session.get(url, timeout=5) as resp: return await resp.text()
async def main(): connector = aiohttp.TCPConnector(resolver=aiohttp.AsyncResolver()) async with aiohttp.ClientSession(connector=connector) as session: tasks = [fetch(session, url) for url in urls] results = await asyncio.gather(*tasks)
别让 DNS 查询成为瓶颈
每次请求都走系统 DNS 解析？尤其用 IP 池或固定域名时，重复查 example.com → 93.184.216.34 很浪费。requests 和 aiohttp 默认不缓存解析结果。
- requests：用
requests-toolbelt的HostHeaderSSLAdapter不解决问题；更直接的是预解析 +headers={'Host': 'example.com'}+ 直连 IP - aiohttp：启用
use_dns_cache=True（默认已开），但首次仍需解析；可手动socket.gethostbyname('example.com')后拼http://IP/并设Host头 - 注意 HTTPS 直连 IP 会校验失败，得关 SSL 验证（不推荐）或用 SNI 手动指定 —— 大多数情况不如用域名 + DNS 缓存
超时与重试必须精细控制，否则 IO 卡死
没设 timeout？一个慢接口就能让整个线程/协程挂住几十秒；盲目重试？可能放大服务压力或触发封禁。
立即学习“Python免费学习笔记（深入）”；
- 拆分 timeout：
requests.get(url, timeout=(3.05, 27))表示 connect ≤ 3.05s，read ≤ 27s —— 避免 DNS 慢+连接快但响应慢的误判 - requests：用
urllib3.util.Retry控制重试逻辑，禁用对 POST 的自动重试（非幂等） - aiohttp：无内置重试，需自己封装，注意别用
while True无限重试，加指数退避和最大次数 - 别全局设
timeout=0.1—— 网络抖动时大量失败，实际吞吐反而下降
真正卡性能的地方，往往不是解析 HTML，而是连接建立、DNS 查询、TLS 握手这些“看不见”的环节。把 Session 复用、DNS 缓存、超时拆分这三件事做扎实，比优化 XPath 表达式有用十倍。
