在门户网站做产品seo,新能源电动车,百度统计网站速度诊断工具,中卫网站建设报价前言
随着互联网时代的到来#xff0c;人们更加倾向于互联网购物#xff0c;某宝又是电商行业的巨头#xff0c;在某宝平台中有很多商家数据#xff0c;今天带大家使用pythonselenium工具获取这些公开的商家数据
环境介绍#xff1a;
python 3.6pycharmseleniumcsvtime…前言
随着互联网时代的到来人们更加倾向于互联网购物某宝又是电商行业的巨头在某宝平台中有很多商家数据今天带大家使用pythonselenium工具获取这些公开的商家数据
环境介绍
python 3.6pycharmseleniumcsvtimerandom
这次的受害者淘宝购物平台
1. 创建一个浏览器对象
from selenium import webdriver
driver webdriver.Chrome()
1.2.2. 执行自动化页面操作
driver.get(https://www.taobao.com/)
driver.maximize_window() # 最大化浏览器
driver.implicitly_wait(10) # 设置浏览器的隐式等待, 智能化的等待
1.2.3.到这一步你就可以自己运行代码看看可不可以自动打开你的浏览器进入淘宝的首页
3. 根据关键字搜索商品, 解决登录 复制它的xpath用xpath语法提取页面标签的元素
def search_product(keyword):# 输入框的标签对象driver.find_element_by_xpath(//*[idq]).send_keys(keyword)word input(请输入你要搜索商品的关键字:)
1.2.3.4.5.运行代码 前面搞定了搜索框的现在来写点击搜索按钮的,同样复制它的xpath # 为了避免被检测
import time # 时间模块 内置模块
time.sleep(random.randint(1, 3)) # 随机休眠1到3秒
driver.find_element_by_xpath(//*[idJ_TSearchForm]/div[1]/button).click()
1.2.3.4.4. 解决登录
点击了搜索按钮以后会弹出登录界面给你那就继续解决登录
driver.find_element_by_xpath(//*[idfm-login-id]).send_keys(TAO_USERNAME)
time.sleep(random.randint(1, 2))
driver.find_element_by_xpath(//*[idfm-login-password]).send_keys(TAO_PASSWORD)
time.sleep(random.randint(1, 2))
driver.find_element_by_xpath(//*[idlogin-form]/div[4]/button).click()
1.2.3.4.5.5. 解析数据
获取目标数据的div标签 def parse_data():# 所有div标签divs driver.find_elements_by_xpath(//div[classgrid g-clearfix]/div/div)
1.2.3.用for循环遍历取值
for div in divs: # 二次提取title div.find_element_by_xpath(.//div[classrow row-2 title]/a).textprice div.find_element_by_xpath(.//strong).text 元 # 商品价格 # 手写deal div.find_element_by_xpath(.//div[classdeal-cnt]).text # 付款人数 # 手写name div.find_element_by_xpath(.//div[classshop]/a/span[2]).text # 店铺名称 # 手写location div.find_element_by_xpath(.//div[classlocation]).text # 店铺地址 # 手写detail_url div.find_element_by_xpath(.//div[classpic]/a).get_attribute(href) # 详情页地址 # 手写print(title, price, deal, name, location, detail_url)
1.2.3.4.5.6.7.8.9.运行代码可以看到获取的数据了 6. 最后一步保存数据
import csvwith open(淘宝.csv, modea, encodingutf-8, newline) as f:csv_write csv.writer(f) # 实例化csv模块写入对象csv_write.writerow([title, price, deal, name, location, detail_url])
1.2.3.4.5.如果你对Python感兴趣想要学习python这里给大家分享一份Python全套学习资料都是我自己学习时整理的希望可以帮到你一起加油
有需要的小伙伴可以V扫描下方二维码免费领取 ## 1️⃣零基础入门
① 学习路线
对于从来没有接触过Python的同学我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。
② 路线对应学习视频
还有很多适合0基础入门的学习视频有了这些视频轻轻松松上手Python~
③练习题
每节视频课后都有对应的练习题哦可以检验学习成果哈哈
2️⃣国内外Python书籍、文档
① 文档和书籍资料 3️⃣Python工具包项目源码合集
①Python工具包
学习Python常用的开发软件都在这里了每个都有详细的安装教程保证你可以安装成功哦
②Python实战案例
光学理论是没用的要学会跟着一起敲代码动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。100实战案例源码等你来拿
③Python小游戏源码
如果觉得上面的实战案例有点枯燥可以试试自己用Python编写小游戏让你的学习过程中增添一点趣味
4️⃣Python面试题
我们学会了Python之后有了技能就可以出去找工作啦下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂并且有阿里大佬给出了权威的解答刷完这一套面试资料相信大家都能找到满意的工作。
上述所有资料 ⚡️ 朋友们如果有需要的可以扫描下方二维码免费领取
