做装修有什么好网站可以做,wordpress 站点换域名,广告策划与营销,wordpress网站从零Pandas-如何轻松处理时间序列数据
时间序列数据在数据分析建模中很常见#xff0c;例如天气预报#xff0c;空气状态监测#xff0c;股票交易等金融场景。此处选择巴黎、伦敦欧洲城市空气质量监测 N O 2 NO_2 NO2数据作为样例。
python数据分析-数据表读写到pandas
经典…Pandas-如何轻松处理时间序列数据
时间序列数据在数据分析建模中很常见例如天气预报空气状态监测股票交易等金融场景。此处选择巴黎、伦敦欧洲城市空气质量监测 N O 2 NO_2 NO2数据作为样例。
python数据分析-数据表读写到pandas
经典算法-遗传算法的python实现
经典算法-遗传算法的一个简单例子
大模型查询工具助手之股票免费查询接口
Falcon构建轻量级的REST API服务
决策引擎-利用Drools实现简单防火墙策略
Python技巧-终端屏幕打印光标和文字控制
监测的时间序列数据
比如air quality no2 数据表中主要是巴黎伦敦等城市的每小时环境监测数据
In [2]: air_quality.head()
Out[2]: city country datetime location parameter value unit
0 Paris FR 2019-06-21 00:00:0000:00 FR04014 no2 20.0 µg/m³
1 Paris FR 2019-06-20 23:00:0000:00 FR04014 no2 21.8 µg/m³
2 Paris FR 2019-06-20 22:00:0000:00 FR04014 no2 26.5 µg/m³
3 Paris FR 2019-06-20 21:00:0000:00 FR04014 no2 24.9 µg/m³
4 Paris FR 2019-06-20 20:00:0000:00 FR04014 no2 21.4 µg/m³In [3]: air_quality.city.unique()
Out[3]: array([Paris, Antwerpen, London], dtypeobject)转换为日期时间对象
默认读取的日期数据实际上是字符串string 类型无法进行日期时间的操作可以转换为datetime数据对象类型可以用to_datetime() 函数这样操作
In [5]: air_quality[datetime] pd.to_datetime(air_quality[datetime])In [6]: air_quality[datetime]
Out[6]:
0 2019-06-21 00:00:0000:00
1 2019-06-20 23:00:0000:00
2 2019-06-20 22:00:0000:00
3 2019-06-20 21:00:0000:00
4 2019-06-20 20:00:0000:00...
2063 2019-05-07 06:00:0000:00
2064 2019-05-07 04:00:0000:00
2065 2019-05-07 03:00:0000:00
2066 2019-05-07 02:00:0000:00
2067 2019-05-07 01:00:0000:00
Name: datetime, Length: 2068, dtype: datetime64[ns, UTC]当然也可以在pandas.read_csv(), 和 pandas.read_json()函数中直接就解析转换为datetime类型parse_dates 参数
pd.read_csv(../data/air_quality_no2_long.csv, parse_dates[datetime])时间操作的典型问题
如何找到序列中的时间开始和时间结束
In [7]: air_quality[datetime].min(), air_quality[datetime].max()
Out[7]:
(Timestamp(2019-05-07 01:00:000000, tzUTC),Timestamp(2019-06-21 00:00:000000, tzUTC))通过min函数找到时间最小值也就是开始时间max函数找到时间序列最大值也就是结束时间。
如何比较两个时间点如何计算时间跨度或者持续时间
In [8]: air_quality[datetime].max() - air_quality[datetime].min()
Out[8]: Timedelta(44 days 23:00:00)pandas.Timestamp 可以直接计算差值结果为pandas.Timedelta 类型类似于python库的时间跨度datetime.timedelta
如何仅关注某个时间单位
比如年月日比如增加一列表示月份
In [11]: air_quality[month] air_quality[datetime].dt.monthIn [12]: air_quality.head()
Out[12]: city country datetime ... value unit month
0 Paris FR 2019-06-21 00:00:0000:00 ... 20.0 µg/m³ 6
1 Paris FR 2019-06-20 23:00:0000:00 ... 21.8 µg/m³ 6
2 Paris FR 2019-06-20 22:00:0000:00 ... 26.5 µg/m³ 6
3 Paris FR 2019-06-20 21:00:0000:00 ... 24.9 µg/m³ 6
4 Paris FR 2019-06-20 20:00:0000:00 ... 21.4 µg/m³ 6[5 rows x 8 columns]使用timestamp的 dt.month属性提取月份数值。类似的也可以提取年日季节等等时间属性。
如何计算每周每个城市的No2浓度平均值
In [13]: air_quality.groupby(....: [air_quality[datetime].dt.weekday, location])[value].mean()....:
Out[13]:
datetime location
0 BETR801 27.875000FR04014 24.856250London Westminster 23.969697
1 BETR801 22.214286FR04014 30.999359...
5 FR04014 25.266154London Westminster 24.977612
6 BETR801 21.896552FR04014 23.274306London Westminster 24.859155
Name: value, Length: 21, dtype: float64使用groupby函数按照周为时间单位按城市分组然后合并归集计算组内均值。
如何把时间Datetime作为索引
In [18]: no_2 air_quality.pivot(indexdatetime, columnslocation, valuesvalue)In [19]: no_2.head()
Out[19]:
location BETR801 FR04014 London Westminster
datetime
2019-05-07 01:00:0000:00 50.5 25.0 23.0
2019-05-07 02:00:0000:00 45.0 27.7 19.0
2019-05-07 03:00:0000:00 NaN 50.4 19.0
2019-05-07 04:00:0000:00 NaN 61.9 16.0
2019-05-07 05:00:0000:00 NaN 72.4 NaNpivot()函数指定索引 index列属性columns和数值values生成二维表。
另外也可以通过set_index函数。
如何更新频度的重采样
比如把当前每小时的采样频度更新为每个月取最大值作为采样值。
In [22]: monthly_max no_2.resample(M).max()In [23]: monthly_max
Out[23]:
location BETR801 FR04014 London Westminster
datetime
2019-05-31 00:00:0000:00 74.5 97.0 97.0
2019-06-30 00:00:0000:00 52.5 84.7 52.0resample()函数类似于groupby分组聚合函数。
以上代码只是一个简单示例示例代码中的表达式可以根据实际问题进行修改。
觉得有用 收藏 收藏 收藏
点个赞 点个赞 点个赞
End GPT专栏文章
GPT实战系列-ChatGLM3本地部署CUDA111080Ti显卡24G实战方案
GPT实战系列-LangChain ChatGLM3构建天气查询助手
大模型查询工具助手之股票免费查询接口
GPT实战系列-简单聊聊LangChain
GPT实战系列-大模型为我所用之借用ChatGLM3构建查询助手
GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型到底做了什么(二)
GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型到底做了什么(一)
GPT实战系列-ChatGLM2模型的微调训练参数解读
GPT实战系列-如何用自己数据微调ChatGLM2模型训练
GPT实战系列-ChatGLM2部署UbuntuCuda11显存24G实战方案
GPT实战系列-Baichuan2本地化部署实战方案
GPT实战系列-Baichuan2等大模型的计算精度与量化
GPT实战系列-GPT训练的PretrainingSFTReward ModelingRLHF
GPT实战系列-探究GPT等大模型的文本生成-CSDN博客
