本文详细介绍了如何利用python的`multiprocessing`模块结合`python-whois`库，高效地批量查询大量域名的可用性。针对传统串行查询速度慢的问题，文章提出了并行处理方案，通过代码示例展示了如何创建进程池、抑制`whois`输出、以及使用`tqdm`跟踪进度，最终实现每秒处理数十个域名的高性能查询，并提供了关键注意事项。
在处理大规模域名列表（例如数万个甚至更多）时，逐个查询其可用性是一个常见的需求。然而，传统的串行查询方法，尤其是依赖于网络I/O的WHOIS查询，效率极低，可能需要数天甚至数周才能完成。本教程将深入探讨如何利用Python的多进程并行处理能力，显著提升域名可用性查询的速度和效率。
域名可用性查询通常依赖于WHOIS协议。每次查询都需要向相应的WHOIS服务器发送请求，等待响应，这是一个典型的I/O密集型操作。如果以串行方式执行，程序必须等待前一个查询完成后才能开始下一个，这导致大量时间浪费在网络延迟上。对于包含数万个域名的列表，这种方法是不可行的。
Python的multiprocessing模块允许程序创建并管理多个进程，从而实现真正的并行计算。通过将域名列表分割成小块，并让不同的进程同时处理这些小块，我们可以大幅减少总查询时间。
以下是一个完整的Python脚本，演示了如何使用multiprocessing来高效地查询域名可用性：
立即学习“Python免费学习笔记（深入）”；
import os
import sys
from multiprocessing import Pool
import pandas as pd
from tqdm import tqdm
from whois import whois
# 函数：抑制标准输出
def blockPrint():
"""将标准输出重定向到空设备，以抑制whois库的冗余输出。"""
sys.stdout = open(os.devnull, "w")
# 函数：恢复标准输出
def enablePrint():
"""恢复标准输出到原始设置。"""
sys.stdout = sys.__stdout__
# 函数：检查单个域名的可用性
def check_domain(domain):
"""
检查单个域名的WHOIS状态。
在查询期间抑制标准输出，并在查询后恢复。
返回域名和其可用性状态。
"""
try:
blockPrint() # 抑制whois的输出
result = whois(domain)
except Exception:
# 捕获任何whois查询异常，返回None表示无法确定状态
return domain, None
finally:
enablePrint() # 确保在任何情况下都恢复标准输出
# 根据WHOIS结果判断域名是否可用
# 如果status字段为空或为None，通常表示域名未注册
# 注意：'free' 或类似的明确状态可能不总是出现，需要根据实际WHOIS响应解析
# 这里简化判断：如果status存在且非空，则认为已被注册
is_registered = bool(result.status)
return domain, not is_registered # True表示可用，False表示已注册
if __name__ == "__main__":
# 模拟一个包含大量域名的列表
# 实际应用中，这里会加载你的50k域名列表
domains_to_check = [
"google.com",
"yahoo.com",
"facebook.com",
"xxxnonexistentzzz.domain", # 这是一个假想的、通常未注册的域名
"example.com",
"python.org",
"not-a-real-domain-123456.com"
] * 100 # 扩大列表以模拟大规模查询
results = []
# 使用进程池，processes参数指定同时运行的进程数量
# 建议根据CPU核心数和网络带宽调整此参数
with Pool(processes=16) as pool:
# imap_unordered可以无序地获取结果，提高效率，并与tqdm结合显示进度
for domain, status in tqdm(
pool.imap_unordered(check_domain, domains_to_check),
total=len(domains_to_check),
desc="Checking Domains"
):
results.append((domain, status))
# 将结果转换为DataFrame并去重，方便查看和分析
df = pd.DataFrame(results, columns=["domain", "is_free"])
print("\n--- 查询结果 ---")
print(df.drop_duplicates().sort_values(by='domain').reset_index(drop=True))
使用上述方法，配合合理的进程数，可以显著提高查询速度。例如，在多核CPU和稳定网络环境下，该示例可以达到每秒处理50-60个域名甚至更高的速度。对于50,000个域名，理论上可以在15-20分钟内完成查询，这比串行查询的数天时间有了质的飞跃。
通过巧妙地结合Python的multiprocessing模块和python-whois库，我们可以构建一个高效、可扩展的域名可用性批量查询工具。该方法克服了串行查询的性能瓶颈，使得处理大规模域名列表成为可能。然而，在实际部署时，务必考虑WHOIS服务器的限速策略和数据解析的复杂性，并做好充分的错误处理和资源管理。
以上就是高效批量查询域名可用性：Python多进程与WHOIS实践的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
318
收藏
