湖北随州市城乡建设官方网站,广州最新封闭封控区域,公司网站建设管理意见,ipv6在家做网站引子#xff1a; 使用python爬虫对爬取网页进行解析的时候#xff0c;如果使用正则表达式#xff0c;有很多局限#xff0c;比如标签中出现换行#xff0c;或者标签的格式不规范#xff0c;都有可能出现取不到数据#xff0c;BeautifulSoup作为一个专门处理html格式的py…引子 使用python爬虫对爬取网页进行解析的时候如果使用正则表达式有很多局限比如标签中出现换行或者标签的格式不规范都有可能出现取不到数据BeautifulSoup作为一个专门处理html格式的python第三方库在格式处理上要明显优与正则表达式而且使用简便。 安装 下载beautifulsoup4-4.5.0,打开cmd进入beautifulsoup文件目录执行python setup.py install 进行安装 打开python命令行执行from bs4 import BeautifulSoup 成功则安装成功 使用 获取指定标签及内容 soupBeautifulSoup(text,html.parser) #text为html文本html.parser指按html格式进行解析 li soup.find_all(nameli,attrs{class:rlbh}) #查找所有li标签class类型为rlbh find只返回第一个标签find_all返回所有标签findAll是beautifulsoup3 的方法在bs4中也可以用find_all是bs4中的方法。 find_all返回结果为list类型如果需要在返回结果中继续匹配可以这样 li soup.find_all(nameli,attrs{class:rlbh})for i in li: #get count lbdji.find_all(namespan,attrs{class:lbdj}) #匹配li结果中的所有span标签且class类型为lbdj 获取链接 aspan[0].find_all(namea,attrs{target:_blank}) #获取a标签hrefa[0].get(href) #获取a标签中href属性的内容也可以直接a[0][href] 获取 获取内容 titlea[0].getText() #获取a标签中的文本 如a hrefhttp:127.0.0.1localhost/a获取到的就是localhost 转载于:https://www.cnblogs.com/taurusfy/p/6867281.html
