urllib与urllib2的学习

学习python写爬虫,刚开始离不开urllib、urllib2两个和处理URL的相关的模块。每次写程序都要import这两个库,时间长了,总是在想,这两个库有什么区别?urllib2是urllib的升级版么?带着疑问,开始查看手册、查找资料。

Python实现程序并行

Python程序可以分为单进程、单线程、多进程、多线程程序。我们接触更多的是单进程多线程程序,即一个主进程中只有一个线程。当我们需要进行频繁的相似操作时,比如爬取分析1000个网页时,串行执行往往速度不尽人意。我们就要考虑把程序改造为多线程或者多进程多线程。