跨境电商网站建设方案书,江门网页制作,漳州企业网站建设制作,linux tomcat 网站目录文章目录 一、爬取目标1.1 效果截图1.2 演示视频1.3 软件说明 二、代码讲解2.1 爬虫采集模块2.2 软件界面模块2.3 日志模块 三、附完整源码及软件 一、爬取目标
您好#xff01;我是马哥python说 #xff0c;一名10年程序猿。
我用python开发了一个爬虫采集软件#xff0c… 文章目录 一、爬取目标1.1 效果截图1.2 演示视频1.3 软件说明 二、代码讲解2.1 爬虫采集模块2.2 软件界面模块2.3 日志模块 三、附完整源码及软件 一、爬取目标
您好我是马哥python说 一名10年程序猿。
我用python开发了一个爬虫采集软件可自动抓取小红书评论数据并且含二级评论数据。
为什么有了源码还开发界面软件呢方便不懂编程代码的小白用户使用无需安装python无需改代码双击打开即用
1.1 效果截图
软件界面截图
结果截图1
结果截图2
结果截图3
1.2 演示视频
软件运行演示 【视频演示】小红书评论采集工具可爬取上万条含二级评论 1.3 软件说明
几点重要说明
Windows用户可直接双击打开使用无需Python运行环境非常方便需要填入cookie和爬取目标笔记链接支持同时爬多个笔记的评论可爬取10个关键字段含笔记链接,页码,评论者昵称,评论者id,评论者主页链接,评论时间,评论IP属地,评论点赞数,评论级别,评论内容。评论中包含二级评论及二级展开评论。
二、代码讲解
2.1 爬虫采集模块
通过把已有代码部分封装成class类供tkinter界面调用。
详细爬虫实现逻辑请见
【爬虫实战】用Python采集任意小红书笔记下的评论爬了10000多条含二级评论
2.2 软件界面模块
软件界面采用tkinter开发。 主窗口部分
# 创建日志目录
work_path os.getcwd()
if not os.path.exists(work_path /logs):os.makedirs(work_path /logs)
# 创建主窗口
root tk.Tk()
root.title(小红书评论采集软件 | 马哥python说)
# 设置窗口大小
root.minsize(width850, height650)填写cookie控件
# 【填入Cookie】
tk.Label(root, justifyleft, font(微软, 14), text个人Cookie:).place(x30, y75)
entry_ck tk.Text(root, bg#ffffff, width110, height2, )
entry_ck.place(x30, y100, anchornw) # 摆放位置填写笔记链接控件
# 【笔记链接】
tk.Label(root, justifyleft, font(微软, 14), text笔记链接:).place(x30, y145)
note_ids tk.StringVar()
note_ids.set()
entry_nt tk.Text(root, bg#ffffff, width110, height14, )
entry_nt.place(x30, y170, anchornw) # 摆放位置底部软件版权说明
# 版权信息
copyright tk.Label(root, text马哥python说 All rights reserved., font(仿宋, 10), fggrey)
copyright.place(x290, y625)以上。
2.3 日志模块
好的日志功能方便软件运行出问题后快速定位原因修复bug。 核心代码
def get_logger(self):self.logger logging.getLogger(__name__)# 日志格式formatter [%(asctime)s-%(filename)s][%(funcName)s-%(lineno)d]--%(message)s# 日志级别self.logger.setLevel(logging.DEBUG)# 控制台日志sh logging.StreamHandler()log_formatter logging.Formatter(formatter, datefmt%Y-%m-%d %H:%M:%S)# info日志文件名info_file_name time.strftime(%Y-%m-%d) .logcase_dir r./logs/info_handler TimedRotatingFileHandler(filenamecase_dir info_file_name,whenMIDNIGHT,interval1,backupCount7,encodingutf-8)日志文件截图
三、附完整源码及软件
附完整源码及软件【GUI软件开发】小红书评论采集自动采集1w多条含二级评论 我是马哥python说 一名10年程序猿持续分享python干货中
