石家庄做外贸网站推广,外包公司的优势和劣势,网站与手机app是一体吗,域名备案一定要服务器吗嗨喽~大家好呀#xff0c;这里是魔王呐 ❤ ~! python更多源码/资料/解答/教程等 点击此处跳转文末名片免费获取
环境使用: Python 3.10 解释器 Pycharm 编辑器
模块使用: requests re csv pandas
爬虫实现第一步:
一. 抓包分析 找到对应数据链接地址 套用代码: 修改…嗨喽~大家好呀这里是魔王呐 ❤ ~! python更多源码/资料/解答/教程等 点击此处跳转文末名片免费获取
环境使用: Python 3.10 解释器 Pycharm 编辑器
模块使用: requests re csv pandas
爬虫实现第一步:
一. 抓包分析 找到对应数据链接地址 套用代码: 修改链接 请求方式 (大部分get) 请求头模拟伪装 (复制) 根据响应返回的数据, 选择对应数据获取方式 文字: 评论 / 弹幕 / 小说内容 / 房源数据 / 电商平台数据 保存: txt 表格文件中 (csv / Excel)
二. 代码实现步骤 发送请求 获取数据 解析数据 保存数据
代码
# 导入数据请求模块
import requests
# 导入正则表达式模块
import re
# 导入csv模块
import csv
# 导入pandas
import pandas as pd“”“保存csv”“”
csv_file open(data.csv, modea, encodingutf-8, newline)
csv_writer csv.DictWriter(csv_file, fieldnames[链接, 书名])
csv_writer.writeheader()“”“保存Excel”“”
content_list [] # 创建空列表“”“爬虫代码模板”“” 遇到问题没人解答小编创建了一个Python学习交流QQ群926207505
寻找有志同道合的小伙伴互帮互助,群里还有不错的视频学习教程和PDF电子书# 请求网址 可修改
url https://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-recent7-0-0-1-1
# 模拟浏览器 可修改 只加ua得不到数据,考虑加其他的内容 cookie
headers {# Cookie:cookie21cc1a1d71b55c70f06a967cf6928e38f; tbd212cd7985fc01620072c32d0c75e63; _tb_token_f3b1be8e3571e; _m_h5_tk4864b7435c237379bd0672766256fd82_1700664128902; _m_h5_tk_enc6d437a80c2f37003b6a959efefe1ee65; cnaUuLkHVk6/GoCAa8N4mgNBHoR; xlly_s1; _samesite_flag_true; sgcookieE100yzzme9pkL0eYBuODsheO6oym4V1a7ylpVuQTOkCGO76sQKdX2qtiPLXKp0Sb8zjJ%2FqStCUkOK1MfrNdepq45tpO3eeak6QWmpUJCskUPy9g%3D; unb2253332812; uc3vt3F8dD3CN7RI1WgzeB9LA%3Dnk2EFHQgqY%2FYVpGAB3Alg2VFC%2FuZ9ayeYq2g%3D%3Did2UUpkuyL4JX%2FEYg%3D%3D; csg6c1f510f; lgcsonglin12355; cancelledSubSitesempty; cookie17UUpkuyL4JX%2FEYg%3D%3D; dnksonglin12355; skt8ae0cfff23ab7492; existShopMTcwMDY1NjIzMw%3D%3D; uc4nk40%40EohdjXbja%2BcD2pXliwckLCTyc578V0Q%3Did40%40U2guM2WFlHhG0KgHRZNn6toWs%2BQA; tracknicksonglin12355; _cc_U%2BGCWk%2F7og%3D%3D; _l_g_Ug%3D%3D; sg526; _nk_songlin12355; cookie1WvZkvpyfdEVhZc7D4YCP4CnB%2BS2ARzymB83V5PHKTvs%3D; isgBIeH6YlcrkNR5irPvfaakVLtFjtRjFtuCLgwzFl0cZYfyKaKYFniv_nJaoiWIDPm; tfstkdKODvFa23KWf10jDdmCjgygLZ-DRco11xhFOX1IZUgS7H1HXWNvkRhjx5x1vEGxyqiPxlEKl7hY6Hq6tcP4XZHVTMmMX75fO_DnK9XLbh11tvsAHExgFsrHF4dGplE1_olupUXFMwyTdjYy05QzHMqflxPwY6dvET0sHugVHPQ74GMcC455eaZWD_K6wE8yFOiN1zVdzCR6VPajd_-PZs; lfBIlxQSlPuu7D7pTBO5CPurza779UIRb8sPzaNbMiIEGa1yPTd8piNCTdGTM7dtjgT50keKyMAhYGdUyrRz38AkDBeYIpIqLALv68eM3N7AN.; mtci68_1; uc1cookie16UIHiLt3xCS3yM2h4eKHS9lpEOw%3D%3Dcookie21V32FPkk%2FgPzWexistShopfalsecookie15VFC%2FuZ9ayeYq2g%3D%3Dcookie14UoYelQxCxISYZA%3D%3Dpas0; thwcn,User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36
}
# 发送请求 请求方式可修改
response requests.get(urlurl, headersheaders)
获取响应数据- response.text 获取响应文本数据 (字符串)获取html网页数据- response.json() 获取响应json数据 (json字典){} 花括号包裹起来数据 必须是完整json数据格式- response.content 获取响应二进制数据 (保存图片/视频/音频/特定格式文件...)html response.text
解析数据- 数据源: 字符串数据- 数据: 需要的数据直接复制粘贴 需要提取内容(.*?)re.findall(数据, 数据源)比如: info re.findall(creativeTitle:(.*?),hotSale, html)为了防止被封IP 换IP代理 换账号 设置延时info re.findall(div classnamea href(.*?) target_blank title(.*?), html)
保存数据
1. txt: 保存字符串数据# file 可以修改 文件路径 / 文件名 / 格式 modea 追加保存 w 写入数据(会覆盖)with open(filedemo.txt, modea, encodingutf-8) as f:# 写入内容f.write(link) # 写入链接f.write(title) # 写入标题f.write(\n) # 写一个换行符
2. 表格: csv / excel# for循环遍历
for link, title in info:# 创建字典dit {链接: link,书名: title}# 写入csvcsv_writer.writerow(dit)# 写入Excel 把字典添加到列表中content_list.append(dit)print(link, title)# 传入列表
df pd.DataFrame(content_list)
# 保存Excel
df.to_excel(data.xlsx, indexFalse)尾语
最后感谢你观看我的文章呐~本次航班到这里就结束啦
希望本篇文章有对你带来帮助 有学习到一点知识~
躲起来的星星也在努力发光你也要努力加油让我们一起努力叭。 最后宣传一下呀~更多源码、资料、素材、解答、交流皆点击下方名片获取呀
