Python爬取可用的代理IP-Python教程-PHP中文网

前言

就以最近发现的一个免费代理IP网站为例：http://www.xicidaili.com/nn/。在使用的时候发现很多IP都用不了。

所以用Python写了个脚本，该脚本可以把能用的代理IP检测出来。

脚本如下：

#encoding=utf8
import urllib2
from bs4 import BeautifulSoup
import urllib
import socket
 
User_Agent = 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0'
header = {}
header['User-Agent'] = User_Agent
 
'''
获取所有代理IP地址
'''
def getProxyIp():
 proxy = []
 for i in range(1,2):
  try:
   url = 'http://www.xicidaili.com/nn/'+str(i)
   req = urllib2.Request(url,headers=header)
   res = urllib2.urlopen(req).read()
   soup = BeautifulSoup(res)
   ips = soup.findAll('tr')
   for x in range(1,len(ips)):
    ip = ips[x]
    tds = ip.findAll("td")
    ip_temp = tds[1].contents[0]+"\t"+tds[2].contents[0]
    proxy.append(ip_temp)
  except:
   continue
 return proxy
  
'''
验证获得的代理IP地址是否可用
'''
def validateIp(proxy):
 url = "http://ip.chinaz.com/getip.aspx"
 f = open("E:\ip.txt","w")
 socket.setdefaulttimeout(3)
 for i in range(0,len(proxy)):
  try:
   ip = proxy[i].strip().split("\t")
   proxy_host = "http://"+ip[0]+":"+ip[1]
   proxy_temp = {"http":proxy_host}
   res = urllib.urlopen(url,proxies=proxy_temp).read()
   f.write(proxy[i]+'\n')
   print proxy[i]
  except Exception,e:
   continue
 f.close()
 
    
if __name__ == '__main__':
 proxy = getProxyIp()
 validateIp(proxy)

立即学习“Python免费学习笔记（深入）”；

慧博商城系统HuiboShop2011

慧博商城系统HuiboShop2011系统特色：1、上百套模板随意下载切换、模板定时更新；2、csv数据导入、数据定向读取，一键导入商品信息，省时、省力； 3、多会员等级管理，一站搞定零售、批发、代销；4、可集成网站分销功能模块，缔造庞大的代理业务链，代理客户一键铺货；5、代码严谨，防SQL注入；前后台用户分开管理，密码不可逆加密；6、简单易操作、只需几分钟搞定一个商城网站；商城后台帐号admin

下载

运行成功后，打开E盘下的文件，可以看到如下可用的代理IP地址和端口：

Python爬取可用的代理IP