网站建设的市场有多大,刷赞网站推广空间免费,可以做外贸私单的网站,深度网络科技有限公司作者 | AJ Gordon责编 | 李雪敬出品 | CSDN#xff08;ID#xff1a;CSDNnews#xff09;当你手头有一件闲置的物品时#xff0c;最好的办法不是放在家里积灰#xff0c;而是拿到二手网站上进行拍卖#xff0c;例如淘宝的闲鱼#xff0c;京东的拍拍等等。有这方面经验的… 作者 | AJ Gordon责编 | 李雪敬出品 | CSDNIDCSDNnews当你手头有一件闲置的物品时最好的办法不是放在家里积灰而是拿到二手网站上进行拍卖例如淘宝的闲鱼京东的拍拍等等。有这方面经验的小伙伴都知道这两个平台都会自动给出一个最佳的售价。假设我现在有一堆旧手机想二手转让但又不知道定价多少合适时最好的办法是上网查查相同配置的二手手机价格后再进行定价。京东平台上有专门的二手手机分类因此选择它作为定价参考。为了方便进行分析最省时的方法就是直接把数据都抓取到本地再进行分析。下面一起看看如何用程序的方式获取我们想要的数据获取由于京东的防爬措施直接用requests去读取链接是不行的我的抓取方式是这样的首先获取详情页链接前均是采用selenium进行无界面访问。先获取各手机品牌的ID再用手机品牌的ID构建二级链接获取各手机品牌的总页码数Page。再用IDPage构建三级链接获取二手手机的详情页链接。最后用requests读取详情页链接获取具体数据。# 获取手机型号id
def get_mobile_model_id():# 浏览器设置option webdriver.ChromeOptions()# 防拦截option.add_experimental_option(excludeSwitches, [enable-automation])# 不加载图片option.add_experimental_option(prefs, {profile.managed_default_content_settings.images: 2})# 无界面option.add_argument(--headless)option.add_argument(--disable-gpu)#browser webdriver.Chrome(optionsoption)browser.get(https://list.jd.com/list.html?cat13765%2C13767)#获取浏览器当前打开页面的页面源码数据page_text browser.page_sourcebrowser.quit()# 获取手机型号IDsoup BeautifulSoup(page_text,lxml)model_type soup.find_all(ul,{class:J_valueList clearfix})[1].find_all(li)for i in model_type:# 手机型号名称# type i.find(a).get_text()# 手机型号idtype_id i.find(a)[href].split(ev)[-1].split(cid2)[0]redis_db.sadd(jd_mobile_model_id, type_id)截止至2020年6月22日总共抓取了2.2万件二手手机商品27.7万条评论数据。总体上分为三个部分商品基本信息店铺评论信息和商品评论信息。商品基本信息商品ID店铺ID新旧程度品牌机型颜色内存和单价等等。店铺评论信息店铺ID好评率总评论数默认好评数和好评数等等。商品评论信息商品ID用户ID打分评论内容评论时间和下单时间。数据描述接下来对清洗后的数据进行描述性统计。图1 日期与销售量的关系根据历史买家下单时间从图1可以看出每年的峰值都是出现在618双11双12这些电商节日并且每年销售量同比增长了300%。图2 时间与销售量的关系根据历史买家下单时间从图2可以看出每天的销量趋势早上4:00 – 12:00一路飙升下午12:00 – 16:00保持平缓傍晚16:00 – 19:00有所下降晚上19:00 – 22:00回到下午水平22:00 – 4:00逐渐下降到最低点。图3 颜色与销量的关系根据图3可知在售的二手手机颜色主要是金色黑色和银色而销售出去的颜色主要是金色黑色和玫瑰金。虽然在售的红色手机也挺多的但是销量却很低。图4 价格与销量的关系根据图4可知在售的二手手机价格主要是2000元以下5000元以上的二手手机也是有不少的。而销量最高的1000元以下的二手手机价格越高销量越低。图5 品牌与销量的关系从图5可以看出来京东上的手机品牌有19个。苹果的产品数量和销售量远远超过了其它品牌的总和。国产品牌中主要卖的是华为、小米、OPPO和Vivo。其它牌子的机型产品数量少销售量就也很少。图6 各品牌机型销量TOP3目前二手手机市场上的品牌主要有苹果OPPOVivo小米华为和三星所以可以了解一下每个品牌销量最好的前三名机型分别是什么。苹果主要是iphone 6s、iphone x和iphone 7。华为主要是mate20、p20和p20pro。图7 差评词云图图7是将评论信息中打分分数1和2的归为差评然后利用jieba分词将文本内容截成若干个词再用词云图展示。从这个差评词云图可以看出大多数用户对二手手机的不满主要是客服、屏幕和电池这三个原因。首先商家对买家的态度就是“买前是上帝买后置之不理”购买前会很热情地接待但售后又变成另一副嘴脸。其次原装屏幕和组装屏幕的利润差的是一副二手手机的价格所以很多二手手机用的都是组装屏幕效果自然没有新机好。最后手机用久了就会出现电池老化的问题耗电量特别快这个也是部分人更换新手机的原因。数据建模经过前面的数据获取和数据描述之后对二手手机已经大致了解。现在可以开始对这些二手手机数据进行建模因为现在是需要进行定价属于回归模型。1) 导入库和数据首先导入需要用到的库和数据。import pandas as pd
import numpy as np
from scipy.special import boxcox1p,inv_boxcox1p
from sklearn.preprocessing import MinMaxScaler,StandardScaler,RobustScaler
from sklearn.model_selection import GridSearchCV,RandomizedSearchCV
from sklearn.decomposition import PCA
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error,r2_score
from sklearn.metrics import make_scorer
import seaborn as sns
import matplotlib.pyplot as plt
pd.set_option(display.max_columns, None)
pd.set_option(display.max_rows, None)
plt.rcParams[font.sans-serif][SimHei]
plt.rcParams[axes.unicode_minus] False #负号显示def load_data():data pd.read_csv(result.csv,dtype{skuId:str})data data[[skuId,old_new_degree, brand, model, color,version, Double_card_machine_type, Front_card_machine_type,Rear_camera_pixel,Battery_capacity, Running_memory,screen_size, price]].drop_duplicates(skuId)return data
2) 清洗数据对部分字段进行缺失值填充以及将类似的分类合并为同一个。def clean_data(data):# 缺失值填充data[model].fillna(Missing, inplaceTrue)data[color].fillna(Missing, inplaceTrue)# 修改字段data[old_new_degree] data.apply(lambda x: str(x[old_new_degree]),axis1)data[version] data.apply(lambda x:0 if x[version]Missing else str(x[version]),axis1)data[Front_card_machine_type] data.apply(lambda x:0 if x[Front_card_machine_type]Missing else str(x[Front_card_machine_type][:4].replace(万,)),axis1)data[Rear_camera_pixel] data.apply(lambda x:0 if x[Rear_camera_pixel]Missing else str(x[Rear_camera_pixel][:4].replace(万,)),axis1)data[Battery_capacity] data.apply(lambda x:0 if x[Battery_capacity]Missing else str(x[Battery_capacity]),axis1)data[Running_memory] data.apply(lambda x:0 if x[Running_memory]Missing else str(x[Running_memory].replace(GB,)),axis1)data[screen_size] data.apply(lambda x:0 if x[screen_size]Missing else str(x[screen_size].replace(英寸,)),axis1)return data3) 离散变量-独热编码离散变量分为有序和无序两种变量例如手机的内存越高越好属于有序离散变量。颜色属于无序离散变量。这里我都是用pandas自带的get_dummy()进行独热编码sklearn也有一个独热编码OnehotEncoder()两者的区别在于get_dummy()无法适用于新类别并且每次都要重新执行只适用于数据量小的模型。def get_dummy(df):cols [version, Front_card_machine_type, Rear_camera_pixel, Battery_capacity, Running_memory,screen_size,old_new_degree, brand, model, color,Double_card_machine_type]dummy_cols df[cols].copy()df df.drop(cols,axis1)dummy_cols pd.get_dummies(dummy_cols,prefixcols)df pd.concat([df,dummy_cols],axis1)return df
4) 拆分数据将原始数据集拆分成两部分训练集和测试集后100条由于回归模型要求标签满足正态分布所以对训练集的标签进行boxcox1p正态变换使其满足正态分布。def cut_data(df):# 拆分数据all_rows df.shape[0]## 训练集X_train df[:all_rows-100]y_train X_train[price].copy()y_train boxcox1p(y_train, 0)X_train X_train.drop([skuId,price],axis1)## 测试集X_test df[all_rows-100:]y_test X_test[[skuId,price]].copy()X_test X_test.drop([skuId,price],axis1)return X_train,y_train,X_test,y_test
5) 数据降维由于独热编码后的特征会增加很多所以需要进行降维。def value_pca(X_train,X_test):pca PCA(n_components0.9)X_train pca.fit_transform(X_train)X_test pca.transform(X_test)#variance pd.DataFrame(pca.explained_variance_ratio_)#np.cumsum(pca.explained_variance_ratio_)return X_train,X_test
6) 数据建模将特征都处理好之后就可以套用模型了这里我用随机森林回归模型。并且用GridSearchCV()网格搜索,自定义RMSE作为其判断标准。最后用最佳参数进行预测并用R2比较真实值和预测值的效果R2越接近1效果越好这次的模型R2值是0.912。def model(X_train,y_train,X_test,y_test):# 设置自定义评分函数def my_custom_loss_func(y_true, y_pred):return np.sqrt(mean_squared_error(y_true, y_pred))rmse make_scorer(my_custom_loss_func, greater_is_betterFalse) # 以_error结尾的函数返回一个最小值越小越好如果使用make_scorer来创建scorer时将greater_is_better设为False# 设置自定义参数rfr_param_test {n_estimators: [10,20,30,40,50,60],max_depth: [5,6,7,8,9,10]}# 进行网格搜索grid_search GridSearchCV(estimatorRandomForestRegressor(), param_gridrfr_param_test, cv5, scoringrmse)grid_search.fit(X_train,y_train)print(grid_search.best_params_) # 预测结果rft_model grid_search.best_estimator_rft_model.fit(X_train, y_train)y_pred rft_model.predict(X_test)y_pred inv_boxcox1p(y_pred, 0)# 输出R2值R2 r2_score(y_test[price], y_pred)print(R2{}.format(R2))# 输出结果result pd.DataFrame({skuID:y_test[skuID],price_old:y_test[price],price_pred:y_pred})result.to_csv(Regress_result.csv,indexFalse,encodingutf_8_sig)return result总结通过上述分析我发现目前二手手机市场上最热卖的是iphone虽然国产机近几年的知名度越来越高但是店家或者消费者都更倾向于iphone。此外二手手机的价格越低销量就会越高。但便宜所带来的弊端就是店家的售后差屏幕效果不佳电池损耗快等等。当你有二手手机转让的需求时用数据建模的方法也能为你提供一个定价的标准。更多阅读推荐下一代 IDEEclipse Che 究竟有什么奥秘窃隐私、放高利贷输入法的骚操作真不少进入编译器后一个函数经历了什么程序员离职后收到原公司 2400 元被告违反竞业协议赔 18 万
