python 如何进行以下list 元素去重-PHP中文网问答

如何将以下list去重

url_list = [
        {'path': ['jy5', 'xhr', 'compose', 'init.do'], 'host': 'cwebmail.mail.163.com', 'method': 'POST', 'query': ['cType', 'sid']},
        {'path': ['jy5', 'xhr', 'user', 'refresh.do'], 'host': 'cwebmail.mail.163.com', 'method': 'POST', 'query': ['sid']},
        {'path': ['jy5', 'xhr', 'compose', 'compose.do'], 'host': 'cwebmail.mail.163.com', 'method': 'POST', 'query': ['action', 'sid']},
        {'path': ['jy5', 'data', 'analytics.s'], 'host': 'cwebmail.mail.163.com', 'method': 'GET', 'query': ['product', 'uid', 'host', 'fun', 'data', '_']},
        {'path': ['jy5', 'swf', 'upload2.swf'], 'host': 'cwebmail.mail.163.com', 'method': 'GET', 'query': []},
        {'path': ['jy5', 'data', 'analytics.s'], 'host': 'cwebmail.mail.163.com', 'method': 'GET', 'query': ['product', 'uid', 'host', 'fun', 'data', '_']},
        {'path': ['jy5', 'xhr', 'user', 'refresh.do'], 'host': 'cwebmail.mail.163.com', 'method': 'POST', 'query': ['sid']},
        {'path': ['jy4-app', 'xhr', 'dropbox', 'account', 'check.do'], 'host': 'jy4-app.mail.163.com', 'method': 'POST', 'query': ['utoken', 'sid']}
]

转换成以下的list

url_list = [
        {'path': ['jy5', 'xhr', 'compose', 'init.do'], 'host': 'cwebmail.mail.163.com', 'method': 'POST', 'query': ['cType', 'sid']},
        {'path': ['jy5', 'xhr', 'user', 'refresh.do'], 'host': 'cwebmail.mail.163.com', 'method': 'POST', 'query': ['sid']},
        {'path': ['jy5', 'xhr', 'compose', 'compose.do'], 'host': 'cwebmail.mail.163.com', 'method': 'POST', 'query': ['action', 'sid']},
        {'path': ['jy5', 'data', 'analytics.s'], 'host': 'cwebmail.mail.163.com', 'method': 'GET', 'query': ['product', 'uid', 'host', 'fun', 'data', '_']},
        {'path': ['jy5', 'swf', 'upload2.swf'], 'host': 'cwebmail.mail.163.com', 'method': 'GET', 'query': []},
        {'path': ['jy4-app', 'xhr', 'dropbox', 'account', 'check.do'], 'host': 'jy4-app.mail.163.com', 'method': 'POST', 'query': ['utoken', 'sid']}
]

全部回复(4)

ringa_lee2017-04-17 11:59:20 4楼

此list中元素为dict，是unhashable对象，使用直接set之后再list的方法去重会报错

TypeError: unhashable type: 'dict'

可以用下面的方法。

f = lambda x,y:x if y in x else x + [y]
url_list = reduce(f, [[], ] + url_list)

关于reduce()，请看http://docs.python.org/2/library/functions.html#reduce

赞 +0

添加回复

大家讲道理2017-04-17 11:59:20 3楼

想到一个办法，不知道有没有更好的方法？欢迎回答

url_list_uniq = []
for url in url_list:
        if url not in url_list_uniq:
                url_list_uniq.append(url)
print url_list_uniq

阿神2017-04-17 11:59:20 2楼

把问题抽象一下更好，主要是代码段。抽象一下会更容易看。
用 set

阿神2017-04-17 11:59:20 1楼

urlListNew = []
while url_list:
    url = url_list.pop()
    if url not in urlListNew:
        urlListNew.append(url)

print urlListNew

貌似我这个没第一个答案好...还破坏了原列表