python爬虫代码示例分享

#encoding=utf-8import urllib2 import re  class neihanba():  def spider(self):    '''    爬虫的主调度器    '''    isflow=True#判断是否进行下一页    page=1    while isflow:      url="http://www.neihanpa.com/article/list_5_"+str(page)+".html"      html=self.load(url)      self.deal(html,page)      panduan=raw_input("是否继续(y/n)!")      if panduan=="y":        isflow=True        page+=1      else:        isflow=False  def load(self,url):    '''    针对url地址进行全部爬去    :param url: url地址    :return: 返回爬去的内容    '''    header = {      "User-Agent": " Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36"    }    request = urllib2.Request(url, headers=header)    response = urllib2.urlopen(request)    html = response.read()    return html  def deal(self,html,page):    '''    对之前爬去的内容进行正则匹配，匹配出标题和正文内容    :param html:之前爬去的内容    :param page: 正在爬去的页码    '''    parrten=re.compile('

#encoding=utf-8import urllibimport urllib2 import re  class zhiLian():  def spider(self,position,workPlace):    '''    爬虫的主调度器    :param position: 职位    :param workPlace: 工作地点    '''    url="http://sou.zhaopin.com/jobs/searchresult.ashx?"    url+=urllib.urlencode({"jl":workPlace})    url+="&amp;"    url+=urllib.urlencode({"kw":position})    isflow=True#是否进行下一页的爬去    page=1    while isflow:      url+="&amp;"+str(page)      html=self.load(url)      self.deal1(html,page)      panduan = raw_input("是否继续爬虫下一页(y/n)!")      if panduan == "y":        isflow = True        page += 1      else:        isflow = False  def load(self,url):    '''    针对url地址进行全部爬去    :param url: url地址    :return: 返回爬去的内容    '''    header = {      "User-Agent": " Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36"    }    request = urllib2.Request(url, headers=header)    response = urllib2.urlopen(request)    html = response.read()    return html  def deal1(self,html,page):    '''     对之前爬去的内容进行正则匹配，匹配职位所对应的链接    :param html:之前爬去的内容    :param page: 正在爬去的页码    '''    parrten=re.compile('<a>.*?</a>',re.S)    til=parrten.findall(html)#爬去链接    for t in til:      self.deal2(t,page)  def deal2(self,t,page):    '''    进行二次爬虫，然后在新的页面中对公司、薪资、工作经验进行匹配    :param t: url地址    :param page: 当前匹配的页数    '''    html=self.load(t)#返回二次爬虫的内容    parrten1=re.compile('<a>(.*?)s+.*?@@##@@</a>',re.S)    parrten2=re.compile('

#encoding=utf-8import urllibimport urllib2 import re  class teiba():  def spider(self,name,startPage,endPage):    url="http://tieba.baidu.com/f?ie=utf-8&amp;"    url+=urllib.urlencode({"kw":name})    for page in range(startPage,endPage+1):      pn=50*(page-1)      urlFull=url+"&amp;"+urllib.urlencode({"pn":pn})      html=self.loadPage(url)      self.dealPage(html,page)   def loadPage(self,url):    header={      "User-Agent":" Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36"    }    request=urllib2.Request(url,headers=header)    response=urllib2.urlopen(request)    html=response.read()    return html  def dealPage(self,html,page):    partten=re.compile(r'<a>(.*?)</a>',re.S)    titleList=partten.findall(html)    rstr=r'<span>#(.*?)#</span>'    for title in titleList:      title=re.sub(rstr,"",title)      self.writePage(title,page)  def writePage(self,context,page):    fileName="di"+str(page)+"yehtml.txt"    with open(fileName,"a") as file:      file.writelines(context+"")if __name__ == '__main__':  name=raw_input("请输入贴吧名：")  startPage=raw_input("请输入起始页：")  endPage=raw_input("请输入终止页：")  t=teiba()  t.spider(name,int(startPage),int(endPage))