手机电影网站怎样做,域名解析服务器,怎么在浏览器上面建网站,手机网页版qqBeautiful Soup网站#xff1a;https://www.crummy.com/software/BeautifulSoup/ 作用#xff1a;它能够对HTML.xml格式进行解析#xff0c;并且提取其中的相关信息。它可以对我们提供的任何格式进行相关的爬取#xff0c;并且可以进行树形解析。 使用原理#xff1a;它能… Beautiful Soup网站https://www.crummy.com/software/BeautifulSoup/ 作用它能够对HTML.xml格式进行解析并且提取其中的相关信息。它可以对我们提供的任何格式进行相关的爬取并且可以进行树形解析。 使用原理它能够把任何我们给它的文档当作一锅汤任何给我们煲制这锅汤。
一、安装 目前最常用的版本是Beautiful Soup 4也就是 bs4 所以在导入时 import bs4就是在导入Beautiful Soup 1.使用管理员权限打开command命令台 2.运行pip install beautifulsoup4 二、Beautiful Soup的安装小测 以下链接为测试链接This is a python demo page (python123.io) 1.打开该链接查看页面 2.浏览器打开页面后右击打开“查看页面源代码”edge,其他浏览器也可任何将源代码拷贝下来放在我们的程序当中或者使用上一博文所说的requests库。r.text就是html代码相关的内容。 3.为了简化我们可以定义一个变量叫做demo,表示这个页面的所有代码的内容 4.导入beautiful soup库from bs4 import BeautifulSoup 5.除了给出html还要给出解析demo的解释器soup BeautifulSoup(demo,html.parser 6.看看安装是否正确print(soup.prettify()) 三、Beautiful Soup库的基本元素 Beautiful Soup库也叫beautifulsoupb4或bs4。bs4库是解析、遍历、维护“标签树”的功能库只要我们提供的文件是标签类型那么bs库都能给它做很好的解析。 这个属性是用来定义标签的特点的。 bs库的引用from bs4 import BeautifulSoup。这说明我们从bs库引入了一个BeautifulSoup模型。如果我们需要bs库里面的一些基本变量进行判断的时候我们可以直接引用bs库:import bs4. 理解bsbs本身解析的是html和xml文档那么这个文档和标签树是一一对应的那么经过了bs类的处理把标签树理解为一个字符串bs就可以把它转化为一个bs类bs类是一个能代表标签树的类型。事实上我们认为html文档标签树和bs类这三者是等价的bs对应一个html/xml文档的全部内容。 实际上每一种解析器它都是可以有效解析html和xml文档的这里面我们主要使用的是html解析器。 这时候soup表示我们解析后的demo页面。title标签就是我们页面在浏览器左上方显示位置信息的地方。事实上所有html语法上的标签都可以使用soup.tag方式访问获得。 当html文档中存在多个相同的tag标签时我们用soup.tag只能返回其中的第一个。比如刚刚访问的a标签页面中有两个a标签却只返回第一个。 获取标签名字的方法 a.parent表示包裹a的上一级标签。 标签的属性是在标签中标明标签特点的相关区域它以字典的形式来组织。因为它是字典我们可以对属性做信息的提取如下图。 查看标签属性的类型type(tag.attrs) 需注意tag标签可以有零个或者多个属性那么如果没有属性存在的时候我们使用attrs获得的字典是个空字典但是无论有属性还是没有属性我们总能获得一个字典。 获得标签之间的内容 注释 我们分别对p和b标签分别用.string的时候我们都能产生一段文本但是当这个文本是注释形式的时候它并没有标明它是注释所以我们分析文档的时候我们需要对其中的注释部分做相关的判断而判断的依据就是它的类型这种情况在我们分析文本中并不常用所以做一个基本了解即可。
四、基于bs库的html内容遍历方法 遍历方式:上行遍历、下行遍历、平行遍历
1.下行遍历 对于一个标签的儿子节点并不仅仅包括标签节点也包括字符串节点比如像是\n的回车它也是一个body标签的儿子节点类型,我们可以用len函数获得儿子节点的数量或者给定数组下标获得对应数据。 2.上行遍历 soup的父亲是空的。 上行遍历代码如下 3.平行遍历 使用条件平行遍历发生在同一个付节点的各节点间不是同一个父节点下的标签之间不构成平行遍历关系。 需注意在标签树中尽管数形结构采用的是标签的形式来组织但是标签之间的navigableString也构成了标签树的节点也就是说任何一个节点它的平行标签它的父亲标签它的儿子标签是可能存在navigableString类型的。 平行遍历代码如下 总结: 五、基于bs库的html格式化和编码
1.格式化 目的让html内容更加友好的显示 方案利用BS库的prettify()方法 prettify()作用能够为html文本的标签以及内容增加换行符它也可以对每一个标签来做相关的处理 2.编码 注意bs4库将任何读入的html文件或者字符串都转换成utf-8编码 可以看见当我们输入中文的时候它的结果可以很好的显示出来。
六、信息标记的三种形式 作用1.标记后的信息可形成信息组织结构增加信息维度 2.标记后的信息可用于通讯、存储和展示 3.标记的结构与信息用于具有价值 4.标记后的信息更有利于程序理解和运用 HTML的信息标记HTML是WWW的信息组织方式可以把声音图像视频等超文本的信息嵌入到文本当中。HTML通过预定义的.../标签形式组织不同类型的信息 现在国际公认的三种信息标记种类xml、ison、yaml
1.xml xml拓展标记语言与html很接近的标记语言它采用了以标签为主来构建信息和表达信息。 2.json json有类型的键值对 key:value。当一个键值有多个值时采用[]和逗号隔开。 好处对于javascript等编程语言来说可以直接将json格式作为程序的一部分简化编程。 3.yaml yaml,无类型的键值对 key:value。通过缩进表示包含关系。 七、三种信息标记形式的比较
表示形式 实例 xml:有效信息占比不高大多数信息被标签占用
比较 八、信息的提取的一般方法 方法一 我们需要什么信息去解析标签树就可以了。好处是你需要什么信息就能找到这部分的位置。缺点是需要对整个文件的信息组织形式有清楚的认识和理解 方法二就好像我们使用word一样根本不需要关心整个word文档具有什么样的标题形式和格式只需要我们对信息的文本利用函数去查找就可以。 实例提取HTML中所有URL链接 思路1.搜索到所有a标签 2.解析a标签格式提取href后的链接内容。 九、基于bs4库的html内容查找方法 如果我们给出的标签名是true的话将显示当前soup的所有标签信息。 当我们需要查询b开头的b和body标签这需要我们引入正则表达式库import re)。 soup.find_all(idlink1)表示包含的元素就是属性中id域等于link1的标签元素当查找的内容html不包含时则返回空数组。 也就是当进行属性查找的时候我们必须准确地赋值这个信息如果我们想查找属性的部分信息可以考虑引入正则表达式否则就需要准确查找不多也不能少。 soup.find_all(a,recursiveFalse)返回空值表示它的儿子节点层面上是没有a标签的 查找更多信息 简写方式: tag(..) 等价于 tag.find_all(..) soup(..) 等价于 soup.find_all(..) 扩展方法 十、实例中国大学排名定向爬虫 基本情况我们将采取由上海交通大学设计研发的最好大学排名。
【软科排名】2023年最新软科中国大学排名|中国最好大学排名 (shanghairanking.cn) 功能描述 输入大虚的排名URL链接 输出排名、名称、总分 技术路线requests-bs4 定向爬虫仅对输入url进行爬取不拓展爬取其他url。 注意如果有些数据是通过javascript等脚本语言生成的也就是说当你访问一个网页的时候它的信息是动态提取和生成的在这种情况下用requests和bs4是无法获取它的信息的。 程序的结构设计与步骤1.从网络上获取大学排名网页内容可以定义一个getHTMLText()函数 2.提取网页内容中信息到合适的数据结构定义fillUnivList()) 3.利用数据结构展示并输出结果定义printUnivList())
实现
关于在IDLE中怎么换行继续敲写代码而不执行语句 按ctrln弹出新窗口在新窗口里面写。 先写主函数由于实现了网络请求我们要import requests库和bs4库 刚才我们定义了三个函数分别对应三个步骤我们将这三个函数写进来但由于此时我们还没有对每个函数的内部功能进行设计和实现所以我们只要写出函数的定义就可以。pass语句表示不做任何操作。 我们将大学信息放在unifo中给出刚刚页面的链接https://www.shanghairanking.cn/rankings/bcur/202311
然后调用刚刚的三个函数先将url转换成html然后信息提取后将html放在unifo中 接着填充第一个函数设置timeout时间是30秒然后用raise_for_status来产生异常信息接着修改编码然后把网页内容返回给程序的其他部分。 接着填充第二个函数通过BeautifulSoup库解析网页将需要的信息加入到一个列表中。if isinstance(tr, bs4.element.Tag): 判断tr标签是不是bs4定义的tag标签过滤掉不是bs4定义的tag标签为了使这个代码能够运行我们需引入一个叫bs4的库
所有代码如下
import requests
import bs4
from bs4 import BeautifulSoup
def getHTMLText(url):try:r requests.get(url,timeout30)r.raise_for_status()r.encoding r.apparent_encodingreturn r.textexcept:return def fillUnivList(ulist,html):soup BeautifulSoup(html, html.parser)for tr in soup.find(tbody).children:if isinstance(tr, bs4.element.Tag): tds tr(td) n tds[1].find(a).string # 因为大学名字在td标签的子标签a中所以需要单独提取ulist.append([tds[0].string, n, tds[4].string])def printUnivList(ulist,num):tplt {0:^10}{1:{3}^10}{2:^10}print(tplt.format(序号, 学校名称, 总分, chr(12288))) for i in range(num):u ulist[i]a u[0].strip() # 去掉字符串类两边的空格b u[1].strip()c u[2].strip()print(tplt.format(a, b, c, chr(12288)))def main():unifo[]urlhttps://www.shanghairanking.cn/rankings/bcur/202311htmlgetHTMLText(url)fillUnivList(unifo,html)printUnivList(unifo,20)main()美化采用中文字符的空格进行填充--chr(12288)
