详解小程序的python和bash版本比较

百变鹏仔 4小时前 #前端问答

文章标签详解

最近有一个小需求：在一个目录下有很多文件，每个文件的第一行是begin开头的，最后一行是end开头的，中间每一行有多列，数量不等，第一列称为"dn", 第二列称为"cv"，dn和cv的联合作为主键，现在需要检测文件中是否有重复的dn-cv。

于是写了个简单的python程序

#! /usr/bin/pythonimport osimport syscmd = "cat /home/zhangj/hosts/* | grep -v BEGIN | grep -v END"def check_dc_line(): has_duplicate = False dc_set = set() for dc_line in os.popen(cmd, 'r').readlines():  dc_token = dc_line.split()  dn = dc_token[0]  cv = dc_token[1]  dc = dn + "," + cv  if dc in dc_set:   print "duplicate dc found:", dc   has_duplicate = True  else:   dc_set.add(dc) return has_duplicateif not check_dc_line():    print "no duplicate dc"

对于250个文件，共60万行的数据，过滤一遍约1.67秒

有点不甘心这个效率，于是又写了一个同样功能的shell脚本

#! /bin/bashcat /home/zhangj/hosts/* | grep -v BEGIN | grep -v END | awk ' BEGIN {  has_duplicate = 0 } {  dc = $1","$2;   if (dc in dc_set)   {   print "duplicate dc found", dc    has_duplicate = 1  }   else {   dc_set[dc] = 1  } } END {  if (has_duplicate ==0)  {   print "no duplicate dc found"  } }'

为了进一步比较，重复了10次实验。

立即学习“Python免费学习笔记（深入）”；

文章推荐

详解小程序的python和bash版本比较

python基于itchat实现微信群消息同步机器人

C#开发微信门户及应用使用语音处理

C#开发微信门户及应用微信菜单的多种表现方式介绍

微信小程序中处理图片遇到的问题小结

个人获取微信小程序的APPID的步骤介绍