一文了解大文件排序/外存排序问题

#!/usr/bin/python2.7import timedef readline_by_yield(bfile):    with open(bfile, 'r') as rf:        for line in rf:            yield linedef quick_sort(lst):    if len(lst) = pivot ]    return quick_sort(left) + [pivot,] + quick_sort(right)def split_bfile(bfile):    count = 0    nums = []    for line in readline_by_yield(bfile):        num = int(line)        if num not in nums:            nums.append(num)        if 10000 == len(nums):            nums = quick_sort(nums)            with open('subfile/subfile{}.txt'.format(count+1),'w') as wf:                wf.write(''.join([ str(i) for i in nums ]))            nums[:] = []            count += 1            print countnow = time.time()split_bfile('total.txt')run_t = time.time()-nowprint 'Runtime : {}'.format(run_t)

#!/usr/bin/python2.7# -*- coding: utf-8 -*-import osimport timetestdir = '/ssd/subfile'now = time.time() # Step 1 : 获取全部文件描述符fds = []for f in os.listdir(testdir):    ff = os.path.join(testdir,f)    fds.append(open(ff,'r'))# Step 2 : 每个文件获取第一行，即当前文件最小值nums = []tmp_nums = []for fd in fds:    num = int(fd.readline())    tmp_nums.append(num)# Step 3 : 获取当前最小值放入暂存区，并读取对应文件的下一行；循环遍历。count = 0while 1:    val = min(tmp_nums)    nums.append(val)    idx = tmp_nums.index(val)    next = fds[idx].readline()    # 文件读完了    if not next:        del fds[idx]        del tmp_nums[idx]    else:        tmp_nums[idx] = int(next)    # 暂存区保存1000个数，一次性写入硬盘，然后清空继续读。    if 1000 == len(nums):        with open('final_sorted.txt','a') as wf:            wf.write(''.join([ str(i) for i in nums ]) + '')        nums[:] = []    if 499999999 == count:        break    count += 1   with open('runtime.txt','w') as wf:    wf.write('Runtime : {}'.format(time.time()-now))

# 方法一：手动计算 In [62]: ipOut[62]: '10.3.81.150' In [63]: ip.split('.')[::-1]Out[63]: ['150', '81', '3', '10'] In [64]: [ '{}-{}'.format(idx,num) for idx,num in enumerate(ip.split('.')[::-1]) ]Out[64]: ['0-150', '1-81', '2-3', '3-10'] In [65]: [256**idx*int(num) for idx,num in enumerate(ip.split('.')[::-1])]Out[65]: [150, 20736, 196608, 167772160] In [66]: sum([256**idx*int(num) for idx,num in enumerate(ip.split('.')[::-1])])                     Out[66]: 167989654 In [67]: # 方法二：使用C扩展库来计算In [71]: import socket,structIn [72]: socket.inet_aton(ip)Out[72]: b'Q�' In [73]: struct.unpack("!I", socket.inet_aton(ip))# !表示使用网络字节顺序解析, 后面的I表示unsigned int, 对应Python里的integer or long Out[73]: (167989654,) In [74]: struct.unpack("!I", socket.inet_aton(ip))[0]Out[74]: 167989654 In [75]: socket.inet_ntoa(struct.pack("!I", 167989654))              Out[75]: '10.3.81.150' In [76]:

def readline_by_yield(bfile):    with open(bfile, 'r') as rf:        for line in rf:            yield linedef split_bfile(bfile):    count = 0    d = {}    for line in readline_by_yield(bfile):        line = line.strip()        if line not in d:            d[line] = 0        d[line] += 1        if 10000 == len(d):            text = ''            for string in sorted(d):                text += '{}	{}'.format(string,d[string])            with open('subfile/subfile{}.txt'.format(count+1),'w') as wf:                wf.write(text.strip())            d.clear()            count += 1    text = ''    for string in sorted(d):        text += '{}	{}'.format(string,d[string])    with open('subfile/subfile_end.txt','w') as wf:        wf.write(text.strip())split_bfile('bigfile.txt')

import osimport jsonimport timeimport tracebacktestdir = '/ssd/subfile'now = time.time() # Step 1 : 获取全部文件描述符fds = []for f in os.listdir(testdir):    ff = os.path.join(testdir,f)    fds.append(open(ff,'r'))# Step 2 : 每个文件获取第一行tmp_strings = []tmp_count = []for fd in fds:    line = fd.readline()    string,count = line.strip().split('	')    tmp_strings.append(string)    tmp_count.append(int(count))# Step 3 : 获取当前最小值放入暂存区，并读取对应文件的下一行；循环遍历。result = []need2del = []while True:    min_str = min(tmp_strings)    str_idx = [i for i,v in enumerate(tmp_strings) if v==min_str]    str_count = sum([ int(tmp_count[idx]) for idx in str_idx ])    result.append('{}	{}'.format(min_str,str_count))    for idx in str_idx:        next = fds[idx].readline()  # IndexError: list index out of range        # 文件读完了        if not next:            need2del.append(idx)        else:            next_string,next_count = next.strip().split('	')            tmp_strings[idx] = next_string            tmp_count[idx] = next_count    # 暂存区保存10000个记录，一次性写入硬盘，然后清空继续读。    if 10000 == len(result):        with open('merged.txt','a') as wf:            wf.write(''.join(result))        result[:] = []    # 注意: 文件读完需要删除文件描述符的时候, 需要逆序删除    need2del.reverse()    for idx in need2del:        del fds[idx]        del tmp_strings[idx]        del tmp_count[idx]    need2del[:] = []    if 0 == len(fds):        breakwith open('merged.txt','a') as wf:    wf.write(''.join(result))result[:] = []

import timedef read_line(filepath):    with open(filepath,'r') as rf:        for line in rf:            yield linestart_ts = time.time()max_str = Nonemax_count = 0for line in read_line('merged.txt'):    string,count = line.strip().split('	')    if int(count) > max_count:        max_count = int(count)        max_str = stringprint(max_str,max_count)print('Runtime {}'.format(time.time()-start_ts))