引言与问题剖析

在使用aiohttp进行大量并发http请求时，尤其是当每个请求的载荷（payload）较大（例如5mb）时，开发者可能会遇到性能瓶颈。常见的挑战包括：

1. JSON序列化阻塞事件循环：aiohttp提供了一个便捷的json参数用于发送JSON数据，例如session.post(json=data_obj)。然而，对于大型Python对象到JSON字符串的序列化过程（json.dumps），这是一个CPU密集型操作。当此操作在主事件循环中执行时，它会阻塞事件循环，导致所有后续的I/O操作（包括其他请求的准备和发送）被延迟。例如，如果存在50个请求，每个请求的JSON序列化耗时30-40毫秒，那么第一个请求可能需要等待50 * 30ms = 1500ms后才能被发送，并且所有请求可能在同一时刻被释放到网络中，而非按准备就绪的顺序发送。
2. DNS解析延迟：在进行网络请求时，域名解析（DNS resolution）是不可避免的一步。aiohttp在建立连接时会进行DNS查询，如果此过程效率低下，也会引入显著的延迟，尤其对于对延迟敏感的API而言。

这些问题会严重影响应用程序的并发性能和响应速度。

策略一：优化大型JSON数据的序列化

为了解决JSON序列化阻塞事件循环的问题，核心思想是将CPU密集型的序列化操作从事件循环中剥离出来，使其不会阻塞异步I/O。

问题根源：aiohttp内部使用json.dumps()将json参数传递的对象转换为字符串，然后编码为字节。当数据量庞大时，这个过程会耗费大量CPU时间，从而阻塞异步事件循环。

解决方案：预编码JSON并利用线程池

最佳实践是手动在请求发送前完成JSON的序列化和编码，并利用asyncio.to_thread将此阻塞操作移至单独的线程中执行。

1. 手动序列化和编码： 不要使用aiohttp的json参数。而是先使用json.dumps()将Python对象转换为JSON字符串，再使用.encode()将其转换为字节流。

   import json
   
   def prepare_data(obj: dict) -> bytes:
       """
       将Python对象序列化为JSON字符串并编码为字节。
       此操作可能耗时，适合在单独的线程中执行。
       """
       return json.dumps(obj).encode('utf-8')

   登录后复制

2. 利用asyncio.to_thread将操作移出事件循环：asyncio.to_thread是Python 3.9+引入的一个非常有用的工具，它允许我们将同步的、CPU密集型或阻塞型函数在单独的线程中运行，而不会阻塞主事件循环。

   import asyncio
   import aiohttp
   
   async def send_large_post_request(session: aiohttp.ClientSession, url: str, data_obj: dict):
       """
       异步发送大型POST请求，通过将JSON序列化移至单独线程来优化性能。
       """
       # 将JSON序列化操作移至单独的线程，避免阻塞事件循环
       # 注意：data_obj在传递给prepare_data后不应被修改，
       # 最好使用不可变对象或确保在序列化期间不发生并发修改。
       data_bytes = await asyncio.to_thread(prepare_data, data_obj)
   
       # 使用data参数发送预编码的字节流，并显式设置Content-Type头
       headers = {"Content-Type": "application/json"}
       async with session.post(url, data=data_bytes, headers=headers) as resp:
           resp.raise_for_status() # 检查HTTP响应状态
           response_data = await resp.read()
           print(f"请求 {url} 完成，状态码：{resp.status}")
           return response_data
   
   async def main():
       async with aiohttp.ClientSession() as session:
           # 示例：创建50个大型请求的数据
           large_payload = {"key": "value" * 1000000, "data": [i for i in range(100000)]} # 约5MB的数据
           requests_to_send = 50
           tasks = [
               send_large_post_request(session, "https://www.php.cn/link/fd605345abc18248f2fb95c3f4e32707", large_payload)
               for _ in range(requests_to_send)
           ]
           await asyncio.gather(*tasks)
           print(f"所有 {requests_to_send} 个请求已发送并处理完成。")
   
   if __name__ == "__main__":
       asyncio.run(main())

   登录后复制

注意事项：

• 数据不可变性：当将data_obj传递给asyncio.to_thread中的函数时，请确保data_obj在prepare_data执行期间不会被主事件循环或任何其他协程修改。使用不可变对象（如元组、冻结集合）或在传递前创建深拷贝是更安全的做法。
• Content-Type头：当使用data参数发送字节流时，aiohttp不会自动设置Content-Type头。因此，必须手动在headers中指定"Content-Type": "application/json"，以确保服务器正确解析请求体。

策略二：加速DNS解析

DNS解析是网络请求的另一个潜在瓶颈，尤其是在高并发或对延迟敏感的场景中。

商汤商量

商汤科技研发的AI对话工具，商量商量，都能解决。

36

查看详情

问题根源：aiohttp默认的DNS解析器可能不是最高效的，或者在某些环境下可能引入延迟。在aiohttp的连接器（connector）层面，DNS解析是建立连接前的阻塞点。

解决方案：

1. 安装aiohttp[speedups]：aiohttp提供了一个名为speedups的额外依赖包，它会安装aiodns。aiodns是一个基于c-ares的异步DNS解析库，通常比Python标准库或操作系统默认的解析器更快。

   pip install aiohttp[speedups]

   登录后复制

   安装后，aiohttp会自动检测并使用aiodns进行DNS解析，无需额外配置。

2. 直接使用IP地址： 如果你的应用程序允许，并且你能够预先获取目标服务的IP地址，那么直接在请求URL中使用IP地址而非域名可以完全跳过DNS解析步骤，从而消除这部分延迟。

   # 示例：直接使用IP地址
   async with session.post("http://192.168.1.100/upload", data=data_bytes, headers=headers) as resp:
       # ...

   登录后复制

   这种方法虽然能提供极致的DNS解析速度，但会牺牲灵活性（如服务IP变更时的维护成本）和负载均衡能力（如果后端有多个IP）。

3. 复用ClientSession： 这是最基本也是最重要的性能优化实践。每次创建aiohttp.ClientSession实例都会涉及连接池的初始化、DNS缓存的清空等操作。复用同一个ClientSession实例，可以：

   • 复用底层TCP连接：减少TCP握手和SSL/TLS协商的开销。
   • 复用DNS缓存：aiohttp会在会话内部缓存DNS解析结果，避免重复查询。

     # 错误示例：每次请求都创建新的session
     # for _ in range(50):
     #     async with aiohttp.ClientSession() as session:
     #         await session.post(...)

     登录后复制

   正确示例：复用session

   async def main(): async with aiohttp.ClientSession() as session: # session只创建一次 tasks = [ send_large_post_request(session, "https://www.php.cn/link/fd605345abc18248f2fb95c3f4e32707", largepayload) for in range(requests_to_send) ] await asyncio.gather(*tasks)

   登录后复制

总结与最佳实践

在处理aiohttp大量并发大型请求时，以下是关键的性能优化策略：

• 避免阻塞事件循环：对于CPU密集型操作（如大型JSON序列化），使用asyncio.to_thread将其移至单独的线程执行，确保主事件循环保持响应。
• 手动管理数据：对于大型JSON载荷，手动进行json.dumps().encode()操作，并通过data参数而非json参数传递字节流，同时确保设置正确的Content-Type头。
• 优化DNS解析：安装aiohttp[speedups]以利用aiodns加速DNS查询，或在可行的情况下直接使用IP地址。
• 始终复用ClientSession：这是提升aiohttp性能的基础，它能够有效地复用网络连接和DNS缓存，显著减少开销。
• 监控与剖析：在实际部署中，持续监控应用程序的性能指标，并使用Python的性能剖析工具（如cProfile、asyncio.run(main(), debug=True)）来识别和优化潜在的瓶颈。

通过综合运用上述策略，可以显著提升aiohttp处理高并发、大载荷请求场景下的性能和响应能力。

以上就是优化aiohttp处理大量并发请求的性能：避免阻塞与加速DNS解析的详细内容，更多请关注php中文网其它相关文章！