写爬虫的时候其实一开始都是从写一个命令行程序开始的，然后慢慢的扩展，扩展到一个完整的系统，当然根据现在的经验，这样扩展起来的系统，不如直接设计好系统的整体结构来的漂亮。 说到命令行爬虫，其实需要很多参数，通过命令行传参数，估计大家也都常用，尤其是linux用户。比如我用的ub