python去重脚本

可以用来去除字典、漏洞数量等

使用方法,将要去重的部分保存成为csv格式,并命名为all.csv,直接执行后,会在当前目录下生成qc.csv的文件!

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#coding:utf-8

ciku=open(r'all.csv','r') #打开需要去重文件
xieci=open(r'qc.csv','w') #打开处理后存放的文件
cikus=ciku.readlines()
list2 = {}.fromkeys(cikus).keys() #列表去重方法,将列表数据当作字典的键写入字典,依据字典键不可重复的特性去重
i=1
for line in list2:
if line[0]!=',':
# print line[0:-1].decode('utf-8').encode('gbk')
# print u"writing"+i
i+=1
xieci.writelines(line)
xieci.close()