python - beautifulsoup 怎样抓取 select 标签里面的 option 的文本？-PHP中文网问答

我要抓取的页面的内容是在如下标签内的

<script language=javascript>parent.theZNPKT_CJJS1.innerHTML='<select id=T_CJJS1 name=T_CJJS1 style="HEIGHT: 20px;WIDTH:115"><option value=0000258>[0000789]Andrew</option></select>';</script>

我写的代码：

import urllib2
from bs4 import BeautifulSoup
url = 'xxx'
html = urllib2.urlopen(url)

soup = BeautifulSoup(html, from_encoding = 'gbk')
option = soup.findAll('option')
f = open("out.txt", "w")
print >> f, option
f.close()
print option

抓取出来的结果全都是 <option value="0000049">[0000049]ANNA</option> 这样的，我想提取 [0000049]ANNA 这个内容怎样做呀？

很多东西都不懂，经过搜索换了一种方法提取出来了。用的是正则的方法：

import urllib2
import re
url = 'xxx'
html = urllib2.urlopen(url).read()

patt = re.compile(r'<option.+?>(.+?)</option>')
option = patt.findall(html)
f = open("out.txt", "w")
for value in option:
    print value
    f.writelines(value + '\n')
f.close()

全部回复(4)

伊谢尔伦2017-04-17 11:43:14 4楼

1.你要抓取的option等内容，很明显，是标签script内部的内容(content/text）

-》所以没法用BeautifulSoup当做标签(的属性）去抓取

2.想要当做属性处理

一种办法：

在获得你所说的：

<option value="0000049">[0000049]ANNA</option>

后，再去把（用html标签括起来）组合成html，然后再用BeautifulSoup去当做html处理

-> 就可以获得option这个标签了

-> 就可以获得option的string了

3.当然，对于你这样的情况，相对来说，用（你已经用了的）正则，比用bs，效率更高。

4.关于beautifulSoup，可参考：

Python专题教程：BeautifulSoup详解

赞 +0

添加回复

巴扎黑2017-04-17 11:43:14 3楼

option也是个元素，不是属性，你是不是应该写为soup.findAll('select option')呢？我太久没有用BeautifulSoup了，具体的不记得怎么写。

黄舟2017-04-17 11:43:14 2楼

option = soup.findAll('option')
print option.string

大家讲道理2017-04-17 11:43:14 1楼

你这个用BS还是很好的选择，之时在打印的时候选择.string就可以了。
例如：

soup = BeautifulSoup(html, from_encoding = 'gbk')
option = soup.findAll('option')
print option.string