做app 的模板下载网站有哪些内容,青岛谁做网站多少钱,服务平台是什么意思,太原域名注册1、安装Python requests模块#xff08;通过pip#xff09;#xff1a; 环境搭建好了#xff01; 2、测试一下抓取URL的过程#xff1a; 抓取出来的URL有JavaScript代码#xff0c;正则上还有待更加完善#xff0c;有兴趣的可以研究下~#xff01; 工具源代码: #coding…1、安装Python requests模块通过pip 环境搭建好了 2、测试一下抓取URL的过程 抓取出来的URL有JavaScript代码正则上还有待更加完善有兴趣的可以研究下~ 工具源代码: #coding:utf-8 import sys import re import requests #获取输入URL并获取网页text input raw_input(please input URL format like this(http://www.baidu.com):) print input : %s % input r requests.get(input) data r.text #利用正则查找所有URL link_list re.findall(r(?href\).?(?\)|(?href\).?(?\) ,data) count 0 for url in link_list: file open(c:\\test.txt, a) file.write(url\n) count count 1 print url print \n print total URL is: str(count) print \n print crawling achieve... file.close()
