这周从一开始就比较郁闷，郁闷的原因就是花了一晚上的时间，写了篇博客，然后用云笔记同步之后写的内容全部丢失了。 这段时间在学习urllib2的源码，博客上大家可以看到的已经有三篇了，第四篇在周末的时候写好了，然后周一到公司用云笔记同步了一下，发现没有同步过来，想到可能是因为在家的

先来说下场景，需要写一个爬虫，定时从某个接口地址获取数据，然后存入本地数据库。 因此就需要一个可定时执行的东西，之前在the5fire的知识体系中除了可以在数据库中定时执行某个存储过程或者sql语句，如何在系统中定时执行某个任务还没有概念。 于是，请教了同事。知道在ub

之前有提过，因为修改博客文章的链接导致百度收录变为2,当时费了好多时间在研究怎么才能解决这个问题，百度的站长规范看了又看，也没啥帮助，然后就放弃了。没想到过了这么久，来自百度搜索引擎的访问逐渐升高了，我表示很欣慰。上两张图留个纪念。

OpenerDirector是怎么把这些handler分类的 上篇文章说到，在build_opener中只是调用了OpenerDirector的add_handler方法，并不是直接操作的属性来完成handler的添加的。那么来看看OpenerDirector.add_hand

对上面的几个对象有个基本概念之后，再来深究下代码，从一个最普通的urllib2.urlopen()开始，先来熟悉下第一个重点对象：build_opener这个函数。 大家最为熟悉的一段代码： res = urllib2.urlopen('

开始有读urllib2源码的这个想法是在某个午饭后的时光，刷了会微博发现：与其无聊的刷微博，不如找点源码读，想了想，就找到urllib2。 原因是urllib2这个模块是从一开始写python到很久以后都会用到的东西，我想大多数人都会有这样的感觉，因为它很好用，而且pyth

这周前三天处于高速的忙碌之中，一直没来的及对我部的那十台服务器进行压力测试。今天稍得空闲，想起这事，觉得不能再拖了。不然这服务器老是报障发短信也不个事，得从根本上解决才行。 十台服务器上部了二十个tornado进程，每台上两个。前面用nginx做负载，目

在使用python的urllib2模拟post时的一个问题，目前还搞不清楚是urlencode的bug还是php对于post支持的问题。各位看官不妨帮我分析下。 情景是这样的，我需要往一个php开发的api接口上post数据，数据格式如下：

这本书读的时间很长，前一半内容在7月份就读完了，后来因为工作的事没有接着读，前几天又想起来，有拿起来接着读，今天算是读完了。时间上跨度比较大，因此整体感觉上不够流畅。前半部分的内容在记忆中也不是那么清晰了。 除了在阅读上时间的跨度，这本书内容上的跨度也很

有网友留言想知道我在写知道创宇面试题的爬虫中怎么使用日志的，这里给贴出来，大家讨论下，不是很优雅的方式，只是能解决问题的方式。 具体功能就是，定义记录日志的级别，级别从低到高打出来的日志越来越详细。这个程序中只是写了1～5个级别。只是使用了python的logging模块。 来