python的爬虫相关模块有很多，除了requests模块，再如urllib和pycurl以及tornado等。相比而言，我个人觉得requests模块是相对简单易上手的了。通过文本，大家可以迅速学会使用python的requests模块爬...

最近网站从HTTPS转为HTTP，更换了网址，旧网址做了301重定向，折腾有点大，于是在百度站长平台提交网址，不管是主动推送还是手动提交，前提都是要整理网站的链接，手动添加太麻烦，效率低，于是就想写个脚本直接抓取全站链接并导出，本文就和大家...