做360网站官网还是百度,四川平台网站建设方案,试述建设一个网站的具体步骤,上海广告公司薪资原标题#xff1a;手把手教你用Python玩转时序数据#xff0c;从采样、预测到聚类丨代码原作 Arnaud Zinflou郭一璞 编译时序数据#xff0c;也就是时间序列的数据。像股票价格、每日天气、体重变化这一类#xff0c;都是时序数据#xff0c;这类数据相当常见#xff0c;…原标题手把手教你用Python玩转时序数据从采样、预测到聚类丨代码原作 Arnaud Zinflou郭一璞 编译时序数据也就是时间序列的数据。像股票价格、每日天气、体重变化这一类都是时序数据这类数据相当常见也是所有数据科学家们的挑战。所以如果你有朝一日碰到了时序数据该怎么用Python搞定它呢时序数据采样 数据集这里用到的例子是2011年11月到2014年2月期间伦敦家庭的用电量。可以看出这个数据集是按照每半小时统计一次的节奏记下每家每户用了多少电。可以根据这些数据生成一些图表分析。当然因为我们考虑的数据主要是时间和用电量两个维度所以可以把其他的维度删掉。重采样我们先从重采样开始。重采样意味着改变时序数据中的时间频率在特征工程中这个技能非常有用给监督学习模型补充一些结构。依靠pandas进行重采样的方法类似groupby通过下面的例子可以更方便的理解。首先需要把采样周期变成每周· data.resample() 用来重采样数据帧里的电量(kWh)那一列。· The ‘W’ 表示我们要把采样周期变为每周(week)。· sum()用来求得这段时间里的电量之和。当然我们也可以依葫芦画瓢把采样周期变成每天。pandas里内置了很多重采样的选项比如不同的时间段还有不同的采样方式这些你可以直接用也可以自己定义。用Prophet建模Facebook Prophet诞生于2017年可以用Python和R语言操作。Prophet天生就是分析时序数据的一把好手适配任何时间尺度还能很好的处理异常值和缺失数据对趋势变化非常敏感还考虑到了假期等特殊时间的影响可以自定义变更点。在使用Prophet之前我们先重命名一下数据集中的每列。数据列为ds我们要预测的值列为y。下面的例子就是以每天为间隔的时序数列。导入Prophet创建模型填充数据。在Prophet里changeprior prior scale这个参数可以控制对趋势变化的敏感程度参数越高越敏感设置为0.15比较合适为了实现预测功能我们创建未来数据帧设置预测未来多少时间和频率然后Prophet就可以开始预测了。这里设置的是预测两周以天为单位。搞定了可以预测未来两个月的家庭用电量了。图中黑点为实际值蓝点为预测值浅蓝色阴影区域表示不确定性。当然如果预测的时间很长不确定性也会增大。利用Prophet我们还可以简单地看到可视化的趋势图。看上面第二张图以年份为单位可以明显看出秋冬家庭耗电量增大春夏则减少周日耗电量要比一周里的其他六天多。LSTM预测LSTM-RNN可以进行长序列观察这是LSTM内部单元的架构图LSTM似乎很适合时序数据预测让它来处理一下我们按照一天为周期的数据LSTM对输入数据的规模很敏感特别是在使用sigmoid或tanh激活函数时。你也可以把数据标准化也就是将数据重新调整到[0,1]或[-1,1]的范围可以使用scikit-learn库中的MinMaxScaler预处理类轻松地标准化数据集。现在把数据集分成训练集和测试集。下面的代码把80%的数据分成训练集剩下的20%留着当测试集。定义一个函数来创建新的数据集用这个函数来准备建模。LSTM网络的输入数据需要设置成特定的阵列结构[样本时间步长特征]。现在用的是[样本特征]我们需要加上时间步长通过下面的方法把训练集和测试集变成我们想要的样子搞定现在设计调试LSTM网络。从损失图中我们可以看到该模型在训练集和测试集上的表现相似。看下图LSTM在拟合测试集的时候表现的非常好。聚类最后我们还要用我们例子中的数据集进行聚类。聚类的方法很多其中一种是分层聚类(clusters hierarchically)。方法很简单导入原始数据然后为一年中的某一天和一天中的某一小时添加两列。连接和树形图连接函数将距离信息和分组对象根据相似性聚类他们相互连接创造更大的聚类。这个进程一直迭代直到原始数据集中的所有对象都在分层树里相互连接在一起。这样完成我们数据的聚类搞定是不是很简单不过代码里的ward是啥这是一种新的聚类方法关键词ward让连接函数使用ward方差最小化算法。现在看一下聚类树形图x轴上就是标签或者说是样本索引y轴上是距离竖线是聚类合并横线表示哪些集群/标签是合并的一部分形成新聚类竖线的长度是形成新聚类的距离。简化一下更清楚传送门https://towardsdatascience.com/playing-with-time-series-data-in-python-959e2485bff8— 完—量子位AI社群开始招募啦欢迎对AI感兴趣的同学在量子位公众号(QbitAI)对话界面回复关键字“交流群”获取入群方式此外量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募面向正在从事相关领域的工程师及研究人员。进专业群请在量子位公众号(QbitAI)对话界面回复关键字“专业群”获取入群方式。(专业群审核较严敬请谅解)返回搜狐查看更多责任编辑
