百家利网站开发,搜索引擎分哪三类,长春市建设工程交易中心网站,wordpress管理员账号当下如果需要批量处理文件#xff0c;爬虫网页和图片的时候使用Python是最为简单和高效的。但是在处理过程中还是有一些细节问题#xff0c;比如在爬虫中文名称和处理中文文件URL的时候会出现乱码。实际上就是因为编码的问题。我们在使用的Python3版本默认编码是utf-8。爬虫到…当下如果需要批量处理文件爬虫网页和图片的时候使用Python是最为简单和高效的。但是在处理过程中还是有一些细节问题比如在爬虫中文名称和处理中文文件URL的时候会出现乱码。实际上就是因为编码的问题。我们在使用的Python3版本默认编码是utf-8。爬虫到的所有的数据他都会以utf-8进行编码。
这样的话Python3处理文件的时候会将目标网站爬取进行utf-8编码如果我们爬取的目标网站是GB2312编码这样编码不同就会造成乱码。那我们如何处理呢
第一种、授予编码
import requests
req requests.get(http://example.com)
req_textreq.text.encode(latin1).decode(GBK)
print(req_text)
第二种、添加字体
参考https://www.ywowl.com/prolan/python/2018/03/550.html
上传字体simhei.ttf到
/opt/python3.5/lib/python3.5/site-packages/matplotlib/mpl-data/fonts/ttf
然后修改matplotlibrc配置
/opt/python3.5/lib/python3.5/site-packages/matplotlib/mpl-data/matplotlibrc
然后将backend的TkAgg换成Agg、注释掉font.family : sans-serif添加font.sans-serif : SimHei。最后清理清除~/.cache/matplotlib目录缓存。解决图片中文乱码问题的。
