多个图表统计的网站怎么做,大良o2o网站建设,怎么学网站建设,信息产业部网站备案系统一直有爱看美剧的习惯#xff0c;一方面锻炼一下英语听力#xff0c;一方面打发一下时间。之前是能在视频网站上面在线看的#xff0c;可是自从广电总局的限制令之后#xff0c;进口的美剧英剧等貌似就不在像以前一样同步更新了。 但是#xff0c;作为一个宅diao的我又怎甘…一直有爱看美剧的习惯一方面锻炼一下英语听力一方面打发一下时间。之前是能在视频网站上面在线看的可是自从广电总局的限制令之后进口的美剧英剧等貌似就不在像以前一样同步更新了。 但是作为一个宅diao的我又怎甘心没剧追呢所以网上随便查了一下就找到一个能用迅雷下载的美剧下载网站【天天美剧】各种资源随便下载最近迷上的BBC的高清纪录片大自然美得不要不要的。 虽说找到了资源网站可以下载了但是每次都要打开浏览器输入网址找到该美剧然后点击链接才能下载。时间长了就觉得过程好繁琐而且有时候网站链接还会打不开会有点麻烦。正好一直在学习Python爬虫所以今天就心血来潮来写了个爬虫抓取该网站上所有美剧链接并保存在文本文档中想要哪部剧就直接打开复制链接到迅雷就可以下载啦。 其实一开始打算写那种发现一个url使用requests打开抓取下载链接从主页开始爬完全站。但是好多重复链接还有其网站的url不是我想的那么规则写了半天也没有写出我想要的那种发散式的爬虫也许是自己火候还不到吧继续努力。。。 后来发现其电视剧链接都是在文章里面然后文章url后面有个数字编号就像这样的http://cn163.net/archives/24016/所以机智的我又用了之前写过的爬虫经验解决方法就是自动生成url其后面的数字不是可以变的吗而且每部剧的都是唯一的所以尝试了一下大概有多少篇文章然后用range函数直接连续生成数来构造url。 但是很多url是不存在的所以会直接挂掉别担心我们用的可是requests其自带的status_code就是用来判断请求返回的状态的所以只要是返回的状态码是404的我们都把它跳过其他的都进去爬取链接这就解决了url的问题了。 以下就是上述步骤的实现代码。 def get_urls(self): try: for i in range(2015,25000): base_urlhttp://cn163.net/archives/ urlbase_urlstr(i)/ if requests.get(url).status_code 404: continue else: self.save_links(url) except Exception,e: pass 其余的就进行的很顺利了网上找到前人写的类似的爬虫但是只是爬取一篇文章的所以借鉴了一下其正则表达式。自己用了BeautifulSoup还没有正则效果好所以果断弃了学海无涯啊。但是效果也不是那么理想有一半左右的链接不能正确抓取还需继续优化。 # -*- coding:utf-8 -*- import requests import re
import sys
import threading
import time
reload(sys)
sys.setdefaultencoding(utf-8)
class Archives(object): def save_links(self,url): try: datarequests.get(url,timeout3) contentdata.text link_pat(ed2k://\|file\|[^]?\.(S\d)(E\d)[^]?1024X\d{3}[^]?) name_patre.compile(rh2 classentry_title(.*?)/h2,re.S) links set(re.findall(link_pat,content)) namere.findall(name_pat,content) links_dict {} countlen(links) except Exception,e: pass for i in links: links_dict[int(i[1][1:3]) * 100 int(i[2][1:3])] i#把剧集按s和e提取编号 try: with open(name[0].replace(/, ).txt,w) as f: print name[0] for i in sorted(list(links_dict.keys())):#按季数集数排序顺序写入 f.write(links_dict[i][0] \n) print Get links ... , name[0], count except Exception,e: pass def get_urls(self): try: for i in range(2015,25000): base_urlhttp://cn163.net/archives/ urlbase_urlstr(i)/ if requests.get(url).status_code 404: continue else: self.save_links(url) except Exception,e: pass def main(self): thread1threading.Thread(targetself.get_urls()) thread1.start() thread1.join() if __name__ __main__: starttime.time() aArchives() a.main() endtime.time() print end-start 完整版代码其中还用到了多线程但是感觉没什么用因为Python的GIL的缘故吧看似有两万多部剧本以为要很长时间才能抓取完成但是除去url错误的和没匹配到的总共抓取时间20分钟不到。搞得我本来还想使用Redis在两台Linux上爬取但是折腾了一番之后感觉没必要所以就这样吧后面需要更大数据的时候再去弄。 还有过程中遇到一个很折磨我的问题是文件名的保存必须在此抱怨一下txt文本格式的文件名能有空格但是不能有斜线、反斜线、括号等。就是这个问题一早上的时间都花在这上面的一开始我以为是抓取数据的错误后面查了半天才发现是爬取的剧名中带有斜杠这可把我坑苦了。转载于:https://www.cnblogs.com/paisenpython/p/10271854.html
