接下来准备用糗百做一个爬虫的小例子。但是在这之前，先详细的整理一下Python中的正则表达式的相关内容。正则表达式在Python爬虫中的作用就像是老师点名时用的花名册一样，是必不可少的神兵利器。一、 正则表达式基础1.1.概念介绍正则表达式...
这里就不给大家废话了，直接上代码，代码的解释都在注释里面，看不懂的也别来问我，好好学学基础知识去！ 代码如下:# -*- coding: utf-8 -*-#---------------------------------------# ...
版本号：Python2.7.5，Python3改动较大，各位另寻教程。所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端， 然后读...
聊一聊python与网络爬虫。1、爬虫的定义爬虫：自动抓取互联网数据的程序。2、爬虫的主要框架爬虫程序的主要框架如上图所示，爬虫调度端通过URL管理器获取待爬取的URL链接，若URL管理器中存在待爬取的URL链接，爬虫调度器调用网页下载器下...
python是支持多线程的，主要是通过thread和threading这两个模块来实现的。thread模块是比较底层的模块，threading模块是对thread做了一些包装的，可以更加方便的使用。虽然python的多线程受GIL限制，并...
网络爬虫（web crawler, spider）就是一个在网络上乱爬的机器人。当然它通常并不是一个实体的机器人，因为网络本身也是虚拟的东西，所以这个“机器人”其实也就是一段程序，并且它也不是乱爬，而是有一定目的的，并且在爬行的时候会搜集一...
本文主要介绍了数据处理方面的内容，希望大家仔细阅读。一、数据分析得到了以下列字符串开头的文本数据，我们需要进行处理二、回滚我们需要对httperror的数据进行再处理立即学习“Python免费学习笔记（深入）”；因为代码的原因，具体可见本系...
接着第一篇继续学习。一、数据分类正确数据：id、性别、活动时间三者都有放在这个文件里file1 = 'ruisi\correct%s-%s.txt' % (startNum, endNum)数据格式为293001 男 2015-5-1 19...
一、项目需求前言：BBS上每个id对应一个用户，他们注册时候会填写性别（男、女、保密三选一）。经过检查，BBS注册用户的id对应1-300000，大概是30万的用户笔者想用Python统计BBS上有多少注册用户，以及这些用户的性别分布顺带可...
百度贴吧的爬虫制作和糗百的爬虫制作原理基本相同，都是通过查看源码扣出关键数据，然后将其存储到本地txt文件。项目内容：用Python写的百度贴吧的网络爬虫。使用方法：新建一个BugBaidu.py文件，然后将代码复制到里面后，双击运行。程序...
