国外哪些网站可以注册域名,亚马逊关键词优化怎么做,如何高效率的建设网站,wordpress 小工具 调用Python3 爬虫学习笔记第九章 —— 【数据储存系列 — 文件储存】文章目录【9.1】TXT 文本存储【9.1.1】基本示例【9.1.2】打开方式【9.2】JSON 文件存储【9.2.1】对象和数组【9.2.2】读取 JSON【9.2.3】写入 JSON 文件【9.3】CSV 文本存储【9.3.1】写入【9.3.2】读取用解析器解… Python3 爬虫学习笔记第九章 —— 【数据储存系列 — 文件储存】 文章目录【9.1】TXT 文本存储【9.1.1】基本示例【9.1.2】打开方式【9.2】JSON 文件存储【9.2.1】对象和数组【9.2.2】读取 JSON【9.2.3】写入 JSON 文件【9.3】CSV 文本存储【9.3.1】写入【9.3.2】读取用解析器解析出数据之后还需要对数据进行保存。保存的形式多种多样最简单的形式是直接保存为文本文件如 TXT、JSON、CSV 等。
【9.1】TXT 文本存储
TXT 文本存储的优点操作非常简单TXT 文本几乎兼容任何平台缺点不利于检索。
【9.1.1】基本示例
import requests
from lxml import etreeheaders {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36,
}
url https://blog.csdn.net/qq_36759224request requests.get(url, headersheaders)
tree etree.HTML(request.text)
title_list tree.xpath(//h4/a/text())
for title in title_list:with open(blog.txt, a, encodingutf8) as fp:fp.write(title)代码实现了我的 CSDN 博客首页所有博文标题的爬取利用 requests 请求库发送请求获取响应用 XPath 获取每一篇博文的标题然后写入 blog.txt 文件中 帝都的凛冬最新屏蔽 CSDN 广告方法专注阅读学习 使用Github Pages和Hexo搭建自己的独立博客【超级详细的小白教程】 Python3 爬虫学习笔记 C08【解析库 Beautiful Soup】 Python3 爬虫学习笔记 C07 【解析库 lxml】 Python3 爬虫学习笔记 C06 【正则表达式】 Python3 爬虫学习笔记 C05 【Selenium 无界面浏览器】 Python3 已经安装相关库Pycharm 仍然报错 ModuleNotFoundError: No module named xxxxxx 的解决办法 Windows/Android/iOS 等常见 User-Agent 大全 Selenium 显式等待条件及其含义 Python3 爬虫学习笔记 C04 【自动化测试工具 Selenium】 Python3 爬虫学习笔记 C03 【Ajax 数据爬取】 Python3 爬虫学习笔记 C02 【基本库 requests 的使用】 Python3 爬虫学习笔记 C01 【基本库 urllib 的使用】 利用官方支持为基于GitHub Pages的Hexo博客启用HTTPS 光学字符识别 Tesseract-OCR 的下载、安装和基本用法 GithubjsDelivrPicGo 打造稳定快速、高效免费图床 利用Cloudflare为基于GitHub Pages的Hexo博客添加HTTPS支持 Python 中 if __name__ __main__: 的理解 Hexo 博客本地预览报错Error: listen EADDRINUSE 0.0.0.0:4000 谷歌浏览器检查更新时出错无法启动更新检查错误代码为 3: 0x80080005 -- system level 【9.1.2】打开方式
open() 方法的第二个参数为打开方式不同的打开方式如下
读写方式可否读写若文件不存在写入方式r读取报错不可写入rb以二进制方式读取报错不可写入r读取 写入报错覆盖写入rb以二进制方式读取写入报错覆盖写入w写入创建覆盖写入wb以二进制方式写入创建覆盖写入w读取 写入创建覆盖写入wb以二进制方式读取写入创建覆盖写入a写入创建附加写入ab以二进制方式写入创建附加写入a读取 写入创建附加写入ab以二进制方式读取写入创建附加写入
【9.2】JSON 文件存储
JSON全称为 JavaScript Object Notation, 即 JavaScript 对象标记它通过对象和数组的组合来表示数据构造简洁但是结构化程度非常高是一种轻量级的数据交换格式。
【9.2.1】对象和数组
在 JavaScript 语言中一切都是对象。因此任何支持的类型都可以通过 JSON 来表示例如字符串、数字、对象、数组等但是对象和数组是比较特殊且常用的两种类型 对象它在 JavaScript 中是使用花括号 {} 包裹起来的内容数据结构为 {key1value1, key2value2, …} 的键值对结构。在面向对象的语言中key 为对象的属性value 为对应的值。键名可以使用整数和字符串来表示。值的类型可以是任意类型。 数组数组在 JavaScript 中是方括号 [] 包裹起来的内容数据结构为 [“java”, “javascript”, “vb”, …] 的索引结构。在 JavaScript 中数组是一种比较特殊的数据类型它也可以像对象那样使用键值对但还是索引用得多。同样值的类型可以是任意类型。
示例一个 JSON 对象
[{name: TRH,gender: male,birthday: 1999-01-25
}, {name: XXX,gender: female,birthday: 1999-10-18
}]【9.2.2】读取 JSON
Python 里面的 JSON 库可以实现对 JSON 文件的读写操作调用 JSON 库的 loads 方法将 JSON 文本字符串转为 JSON 对象、 dumps() 方法将 JSON 对象转为文本字符串
import jsonstr
[{name: TRH,gender: male,birthday: 1999-01-25
}, {name: XXX,gender: female,birthday: 1999-10-18
}]data json.loads(str)
print(data)
print(data[0][name])
print(data[0].get(name))
print(data[0].get(age))
print(data[0].get(age, 25))使用 loads 方法将字符串转为 JSON 对象通过索引来获取对应的内容获取键值时有两种方式一种是中括号加键名另一种是通过 get 方法传入键名。使用 get 方法如果键名不存在则不会报错会返回 Noneget 方法还可以传入第二个参数即默认值尝试获取一个原字典中不存在的键名此时默认会返回 None。如果传入第二个参数即默认值那么在不存在的情况下返回该默认值。
[{name: TRH, gender: male, birthday: 1999-01-25}, {name: XXX, gender: female, birthday: 1999-10-18}]
TRH
TRH
None
25【9.2.3】写入 JSON 文件
调用 dumps 方法可以将 JSON 对象转化为字符串然后再调用文件的 write 方法即可写入文本
import jsondata [{name: TRH,gender: male,birthday: 1999-01-25
}]
with open(data.json, w) as fp:fp.write(json.dumps(data))data.json 文件
[{name: TRH, gender: male, birthday: 1999-01-25}]添加参数 indent代表缩进字符个数将会格式化输出
import jsondata [{name: TRH,gender: male,birthday: 1999-01-25
}]
with open(data.json, w) as file:file.write(json.dumps(data, indent2))输出结果
[{name: TRH,gender: male,birthday: 1999-01-25}
]如果 JSON 中包含中文字符需要指定参数 ensure_ascii 为 False另外还要规定文件输出的编码
import jsondata [{name: 小明,gender: 男,birthday: 1999年01月25日
}]
with open(data.json, w, encodingutf-8) as file:file.write(json.dumps(data, indent2, ensure_asciiFalse))输出结果
[{name: 小明,gender: 男,birthday: 1999年01月25日}
]【9.3】CSV 文本存储
CSVComma-Separated Values是逗号分隔值或字符分隔值的文件格式其文件以纯文本的形式储存表格数据数字和文本CSV 文件的行与行之间用换行符分隔列与列之间用逗号分隔
【9.3.1】写入
import csvwith open(data.csv, w) as csvfile:writer csv.writer(csvfile)writer.writerow([id, name, age])writer.writerow([10001, TRHX, 20])writer.writerow([10002, Bob, 22])writer.writerow([10003, Jordan, 21])打开 data.csv 文件调用 CSV 库的 writer 方法初始化写入对象然后调用 writerow 方法传入每行的数据即可完成写入用 Excel 打开 data.csv 文件将是表格形式
id,name,age10001,TRHX,2010002,Bob,2210003,Jordan,21默认每一行之间是有一行空格的可以使用参数 newline 来去除空行
import csvwith open(data.csv, w, newline) as csvfile:writer csv.writer(csvfile)writer.writerow([id, name, age])writer.writerow([10001, TRHX, 20])writer.writerow([10002, Bob, 22])writer.writerow([10003, Jordan, 21])输出结果
id,name,age
10001,TRHX,20
10002,Bob,22
10003,Jordan,21列与列之间的分隔符是可以修改的只需要传入 delimiter 参数即可
import csvwith open(data.csv, w) as csvfile:writer csv.writer(csvfile, delimiter )writer.writerow([id, name, age])writer.writerow([10001, TRHX, 20])writer.writerow([10002, Bob, 22])writer.writerow([10003, Jordan, 21])输出结果
id name age10001 TRHX 2010002 Bob 2210003 Jordan 21调用 writerows 方法也可以同时写入多行此时参数就需要为二维列表
import csvwith open(data.csv, w) as csvfile:writer csv.writer(csvfile, delimiter )writer.writerow([id, name, age])writer.writerows([[10001, TRHX, 20], [10002, Bob, 22], [10003, Jordan, 21]])输出结果仍与原来的一样
此外 CSV 库中也提供了字典的写入方式
import csvwith open(data.csv, w) as csvfile:fieldnames [id, name, age]writer csv.DictWriter(csvfile, fieldnamesfieldnames)writer.writeheader()writer.writerow({id: 10001, name: TRHX, age: 20})writer.writerow({id: 10002, name: Bob, age: 22})writer.writerow({id: 10003, name: Jordan, age: 21})首先定义 3 个字段用 fieldnames 表示然后将其传给 DictWriter 来初始化一个字典写入对象接着可以调用 writeheader 方法先写入头信息然后再调用 writerow 方法传入相应字典即可
id,name,age10001,TRHX,2010002,Bob,2210003,Jordan,21【9.3.2】读取
有写入方法同样也可以使用 csv 库来读取 CSV 文件
import csvwith open(data.csv, r, encodingutf-8) as csvfile:reader csv.reader(csvfile)for row in reader:print(row)构造 Reader 对象遍历输出每行的内容每一行都是一个列表形式。如果 CSV 文件中包含中文的话还需要指定文件编码读取结果
[id, name, age]
[10001, TRHX, 20]
[10002, Bob, 22]
[10003, Jordan, 21]此外还可以利用 pandas 的 read_csv 方法将数据从 CSV 中读取出来pandas 是基于NumPy 的一种工具该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型提供了高效地操作大型数据集所需的工具
import pandas as pddf pd.read_csv(data.csv)
print(df)读取结果 id name age
0 10001 TRHX 20
1 10002 Bob 22
2 10003 Jordan 21
