python实现爬虫统计学校BBS男女比例（一）

一、项目需求

前言：BBS上每个id对应一个用户，他们注册时候会填写性别（男、女、保密三选一）。

经过检查，BBS注册用户的id对应1-300000，大概是30万的用户

笔者想用Python统计BBS上有多少注册用户，以及这些用户的性别分布

顺带可以统计最近活动用户是多少，其中男、女、保密各占多少

立即学习“Python免费学习笔记（深入）”；

活动用户的限定为“上次活动时间”为 2015年

二、最终结果

性别信息保存在文本里，一行表示一个用户的信息，各列分别表示
【行数，id（涂掉了），性别，最后活跃时间】

三、实现思路

用户性别信息在哪个页面?

得到下面个人主页

把后面的uid=256730数字改成其他数字，就可以得到其他人的主页。

另外，如果上面的链接无法得到性别，可以再通过这个链接，也是修改uid可以访问其他人主页。

http://rs.xidian.edu.cn/home.php?mod=space&uid=256730&do=profile

四、数据如何存储?

用数据库还是其他方案？

为了阅读方便，我们考虑用文本文件存储。

30万的用户存储在一个文本里会导致文本过大。如果程序被意外终止，30 万的用户数据需要重新爬取。

我们我们考虑一个文本里存放1000条记录，理论上可以用30个文本来存放30万条数据。

文本名称为correct1-1001.txt correct47001-48001.txt，注意：1-1001是[1,1001)，包含1，不包含1001

1、使用正则匹配找出性别

查看网页源代码

<!-- 找出性别这一栏-->

sexRe = re.compile(u'em&gt;u6027u522b(.*?)')timeRe = re.compile(u'em&gt;u4e0au6b21u6d3bu52a8u65f6u95f4(.*?)')notexistRe = re.compile(u'(p&gt;)u62b1u6b49uff0cu60a8u6307u5b9au7684u7528u6237u7a7au95f4u4e0du5b58u5728<p>因为中文的原因，需要Unicode 转换 中文工具，可以用站长工具 Unicode 转换 ASCII，ASCII 转换 Unicode，比如下面这个链接：<strong><span style="color: #3366ff"> http://tool.chinaz.com/Tools/Unicode.aspx</span></strong></p>

#对myurl页面进行seWord匹配查找#seWord是用unicode表示def getInfo(myurl, seWord):  headers = {    'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'  }  req = urllib2.Request(    url=myurl,    headers=headers  )  time.sleep(0.3)  response = urllib2.urlopen(req)  html = response.read()  html = unicode(html, 'utf-8') #需要进行编码，否则找不到信息  timeMatch = seWord.search(html) #因为seWord是用unicode表示  if timeMatch:    s = timeMatch.groups()    return s[0]  else:    return None

import sysprint sys.getdefaultencoding()

reload(sys)# sys.setdefaultencoding('utf-8')

# -*- coding: UTF-8 -*-  html = response.read()  sexRe = re.compile('em>性别(.*?)')  timeMatch = sexRe.search(html)  if timeMatch:    s = timeMatch.groups()    print "字符串 "+s[0]  html = unicode(html, 'utf-8')  sexRe = re.compile(u'em>u6027u522b(.*?)')  timeMatch = sexRe.search(html)  if timeMatch:    s = timeMatch.groups()    print "unicode " +s[0]

字符串 女unicode 女  html = response.read()  print len(html)  html = unicode(html, 'utf-8') #  print len(html)

html = response.read()  print len(html)  html = unicode(html, 'utf-8') #  print len(html)

3542333658