Python实现多线程HTTP下载器示例

#解析host和pathdef analyHostAndPath(totalUrl):  protocol,s1 = urllib.splittype(totalUrl)  host, path = urllib.splithost(s1)  if path == '':    path = '/'  return host, path#解析portdef analysisPort(host):  host, port = urllib.splitport(host)  if port is None:    return 80  return port#解析filenamedef analysisFilename(path):  filename = path.split('/')[-1]  if '.' not in filename:    return None  return filename

import socketfrom analysisUrl import port,hostip = socket.gethostbyname(host)s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)s.connect((ip, port))print "success connected webServer！！"

from analysisUrl import path, host, portpacket = 'GET ' + path + ' HTTP/1.1Host: ' + host + ''　

def getLength(self):    s.send(packet)    print "send success!"    buf = s.recv(1024)    print buf    p = re.compile(r'Content-Length: (d*)')    length = int(p.findall(buf)[0])    return length, buf

def download(self):    file = open(self.filename,'wb')    length,buf = self.getLength()    packetIndex = buf.index('')    buf = buf[packetIndex+4:]    file.write(buf)    sum = len(buf)    while 1:      buf = s.recv(1024)      file.write(buf)      sum = sum + len(buf)      if sum >= length:        break    print "Success!!"if __name__ == "__main__":  start = time.time()  down = downloader()  down.download()  end = time.time()  print "The time spent on this program is %f s"%(end - start)

def getLength(self):    opener = urllib2.build_opener()    req = opener.open(self.url)    meta = req.info()    length = int(meta.getheaders("Content-Length")[0])    return length

def get_range(self):    ranges = []    length = self.getLength()    offset = int(int(length) / self.threadNum)    for i in range(self.threadNum):      if i == (self.threadNum - 1):        ranges.append((i*offset,''))      else:        ranges.append((i*offset,(i+1)*offset))    return ranges

def downloadThread(self,start,end):    req = urllib2.Request(self.url)    req.headers['Range'] = 'bytes=%s-%s' % (start, end)    f = urllib2.urlopen(req)    offset = start    buffer = 1024    while 1:      block = f.read(buffer)      if not block:        break      with lock:        self.file.seek(offset)        self.file.write(block)        offset = offset + len(block)  def download(self):    filename = self.getFilename()    self.file = open(filename, 'wb')    thread_list = []    n = 1    for ran in self.get_range():      start, end = ran      print 'starting:%d thread '% n      n += 1      thread = threading.Thread(target=self.downloadThread,args=(start,end))      thread.start()      thread_list.append(thread)    for i in thread_list:      i.join()    print 'Download %s Success!'%(self.file)    self.file.close()

from distutils.core import setupimport py2exesetup(console=["multiThreadDownload.py"])