深圳网站建设公司乐云seo,手机qq空间登录网页入口,网站页面设计说明,wordpress基础开发教程 pdf文章目录 第1关#xff1a;基本统计编程要求测试说明答案代码 第2关#xff1a;回归编程要求测试说明参考资料答案代码 第3关#xff1a;分类编程要求测试说明参考资料答案代码 第4关#xff1a;协同过滤编程要求测试说明参考资料答案代码 第5关#xff1a;聚类编程要求测… 文章目录 第1关基本统计编程要求测试说明答案代码 第2关回归编程要求测试说明参考资料答案代码 第3关分类编程要求测试说明参考资料答案代码 第4关协同过滤编程要求测试说明参考资料答案代码 第5关聚类编程要求测试说明参考资料答案代码 第6关降维编程要求测试说明参考资料答案代码 第7关特征提取与转化编程要求测试说明答案代码 第8关频繁模式挖掘编程要求测试说明参考资料答案代码 第9关评估指标编程要求测试说明答案代码 第1关基本统计
编程要求
根据提示在右侧编辑器补充代码计算所给数据的 pearson 相关系数和 spearman 相关系数。
测试说明
平台会对你编写的代码进行测试
预期输出
DenseMatrix([[1. , 0.05564149, nan, 0.40047142],[0.05564149, 1. , nan, 0.91359586],[ nan, nan, 1. , nan],[0.40047142, 0.91359586, nan, 1. ]])
DenseMatrix([[1. , 0.10540926, nan, 0.4 ],[0.10540926, 1. , nan, 0.9486833 ],[ nan, nan, 1. , nan],[0.4 , 0.9486833 , nan, 1. ]])答案代码
from pyspark.ml.linalg import Vectors
from pyspark.ml.stat import Correlation
from pyspark.sql import SparkSessiondef trainingModel(spark):# 自定义数据集data [(Vectors.sparse(4, [(0, 1.0), (3, -2.0)]),),(Vectors.dense([4.0, 5.0, 0.0, 3.0]),),(Vectors.dense([6.0, 7.0, 0.0, 8.0]),),(Vectors.sparse(4, [(0, 9.0), (3, 1.0)]),)]########## Begin ########### 将 data 转化为 DataFramedata spark.createDataFrame(data, [features])# 计算 df 的 pearson 相关系数pearsonCorr Correlation.corr(data, features, pearson).collect()[0][0]# 计算 df 的 spearman 相关系数spearmanCorr Correlation.corr(data, features, spearman).collect()[0][0]# 返回 pearson 相关系数和 spearman 相关系数return pearsonCorr, spearmanCorr########## End ##########
第2关回归
编程要求
根据提示在右侧编辑器补充代码实现线性回归的过程函数trainingModel(spark) 函数返回训练好的模型。其中LinearRegression 只需设置以下三个参数
maxIter10
regParam0.3
elasticNetParam0.8所需数据在 /data/workspace/myshixun/project/src/step2/linear.txt 中。
测试说明
平台会对你编写的代码进行测试最终会输出该模型的 RMSE 指标: R M S E 1 m ∑ i ( f ( x i ) − y i ) 2 RMSE\sqrt{\frac1m\sum_i(f(x_i)-y_i)^2} RMSEm1i∑(f(xi)−yi)2 如果该指标在规定的范围内则通过测试测试代码将会输出 success如果没有通过测试将会输出 fail。 预期输出 success
参考资料
Spark 官方文档
答案代码
from pyspark.ml.regression import LinearRegression
from pyspark.sql import SparkSessiondef trainingModel(spark):########## Begin ########### 读取数据data spark.read.format(libsvm).load(/data/workspace/myshixun/project/src/step2/linear.txt)# 建立模型lr LinearRegression(maxIter10, regParam0.3, elasticNetParam0.8)# 训练模型model lr.fit(data)# 返回模型return model########## end ##########
第3关分类
编程要求
根据提示在右侧编辑器补充代码实现逻辑回归的过程函数trainingModel(spark) 函数返回训练好的模型。其中LogisticRegression 只需设置以下三个参数
maxIter10
regParam0.3
elasticNetParam0.8所需数据在 /data/workspace/myshixun/project/src/step3/logistic.txt 中。
测试说明
平台会对你编写的代码进行测试最终会输出该模型的 roc 指标如果该指标在规定的范围内则通过测试测试代码将会输出 success如果没有通过测试将会输出 fail。 预期输出 success
参考资料
Spark 官方文档
答案代码
from pyspark.ml.classification import LogisticRegression
from pyspark.sql import SparkSessiondef trainingModel(spark):########## Begin ########### 读取数据data spark.read.format(libsvm).load(/data/workspace/myshixun/project/src/step3/logistic.txt)# 建立模型lr LogisticRegression(maxIter10, regParam0.3, elasticNetParam0.8)# 训练模型model lr.fit(data)# 返回模型,数据集return model########## End ##########
第4关协同过滤
编程要求
根据提示在右侧编辑器补充代码实现协同过滤的过程函数trainingModel(spark) 函数返回训练好的模型。 所需数据在 /data/workspace/myshixun/project/src/step4/movie.txt 中读取数据后请按如下要求命名列
第一列userID 数据类型int第二列movieID 数据类型int第三列rating 数据类型float第四列timestamp 数据类型int
其中ALS 除了要设置 userCol , itemCol 和 rating 还需要设置以下三个参数
maxIter5
regParam0.01
coldStartStrategydrop测试说明
平台会对你编写的代码进行测试最终会输出该模型的 RMSE 指标如果该指标在规定的范围内则通过测试测试代码将会输出 success如果没有通过测试将会输出 fail。 预期输出 success
参考资料
Spark 官方文档
答案代码
from pyspark.ml.evaluation import RegressionEvaluator
from pyspark.ml.recommendation import ALS
from pyspark.sql import SparkSession,Rowdef trainingModel(spark):########## Begin ########### 读取数据data spark.read.text(/data/workspace/myshixun/project/src/step4/movie.txt)# 数据预处理处理分隔符为每一列添加索引data data.rdd.map(lambda line: line.value.split(::))\.map(lambda p: Row(userIDint(p[0]), movieIDint(p[1]), ratingfloat(p[2]), timestampint(p[3])))# 创建数据框ratings spark.createDataFrame(data)# 划分训练集和测试集 82(train, test) ratings.randomSplit([0.8, 0.2], seed0)# 在训练集上使用 ALS 建立推荐系统als ALS(maxIter5, regParam0.01, coldStartStrategydrop, userColuserID, itemColmovieID, ratingColrating)# 训练模型model als.fit(train)########## End ########### 计算测试集上的 RMSE 值predictions model.transform(test)rmse RegressionEvaluator(metricNamermse, labelColrating,predictionColprediction).evaluate(predictions)# 返回 rmsereturn rmse
第5关聚类
编程要求
根据提示在右侧编辑器补充代码实现聚类的过程函数trainingModel(spark) 函数返回训练好的模型对于模型你只需要设置以下两个参数
k 2
seed 1所需数据在 /data/workspace/myshixun/project/src/step5/k-means.txt 中
测试说明
平台会对你编写的代码进行测试最终会输出该模型的 Silhouette score 如果该指标在规定的范围内则通过测试测试代码将会输出 success如果没有通过测试将会输出 fail。 预期输出 success
参考资料
Spark 官方文档
答案代码
from pyspark.ml.clustering import KMeans
from pyspark.ml.evaluation import ClusteringEvaluator
from pyspark.sql import SparkSessiondef trainingModel(spark):########## Begin ########### 读取数据data spark.read.format(libsvm).load(/data/workspace/myshixun/project/src/step5/k-means.txt)# 建立 kmeans 模型kmeans KMeans(k2)kmeans.setSeed(1)# 训练模型model kmeans.fit(data)########## End ##########predictions model.transform(data)# 返回 模型、预测值return model, predictions第6关降维
编程要求
根据提示在右侧编辑器补充代码实现降维的过程函数trainingModel(spark) 其中PCA 只需要设置以下三个参数
k3
inputColfeatures,
outputColpcaFeatures测试说明
平台会对你编写的代码进行测试测试代码将会输训练好的矩阵。 预期输出
-----------------------------------------------------------
|pcaFeatures |
-----------------------------------------------------------
|[1.6485728230883807,-4.013282700516296,-5.524543751369388] |
|[-4.645104331781534,-1.1167972663619026,-5.524543751369387]|
|[-6.428880535676489,-5.337951427775355,-5.524543751369389] |
-----------------------------------------------------------参考资料
Spark 官方文档
答案代码
from pyspark.ml.feature import PCA
from pyspark.ml.linalg import Vectors
from pyspark.sql import SparkSessiondef trainingModel(spark):# 自定义数据集data [(Vectors.sparse(5, [(1, 1.0), (3, 7.0)]),),(Vectors.dense([2.0, 0.0, 3.0, 4.0, 5.0]),),(Vectors.dense([4.0, 0.0, 0.0, 6.0, 7.0]),)]########## Begin ########### 创建数据框df spark.createDataFrame(data, [features])# 建立模型pca PCA(k3, inputColfeatures, outputColpcaFeatures)# 训练模型model pca.fit(df)########## End ########### 返回计算结果result model.transform(df).select(pcaFeatures)return result
第7关特征提取与转化
编程要求
根据提示在右侧编辑器补充代码输出经过ml.feature.FeatureHasher 的特征输出的特征命名为 features。注意只需输出 feature 特征列。
测试说明
平台会对你编写的代码进行测试测试代码将会输训练好的特征矩阵。 预期输出
--------------------------------------------------------
|features |
--------------------------------------------------------
|(262144,[174475,247670,257907,262126],[2.2,1.0,1.0,1.0])|
|(262144,[70644,89673,173866,174475],[1.0,1.0,1.0,3.3]) |
|(262144,[22406,70644,174475,187923],[1.0,1.0,4.4,1.0]) |
|(262144,[70644,101499,174475,257907],[1.0,1.0,5.5,1.0]) |
--------------------------------------------------------答案代码
from pyspark.ml.feature import FeatureHasher
from pyspark.sql import SparkSessiondef trainingModel(spark):# 自定义数据集data spark.createDataFrame([(2.2, True, 1, foo),(3.3, False, 2, bar),(4.4, False, 3, baz),(5.5, False, 4, foo)], [real, bool, stringNum, string])########## Begin ########### 特征提取使用 FeatureHasherhasher FeatureHasher()hasher.setInputCols([real, bool, stringNum, string])hasher.setOutputCol(features)hashed_df hasher.transform(data)# 返回特征return hashed_df.select(features)########## End ##########
第8关频繁模式挖掘
编程要求
根据提示在右侧编辑器补充代码实现频繁模式挖掘的过程函数trainingModel(spark) 在设置 FPGrowth 只需要设置以下三个参数
itemsColitems,
minSupport0.5,
minConfidence0.6测试说明
平台会对你编写的代码进行测试最终会输出训练后的结果 预期输出
-------------------------
| id| items|prediction|
-------------------------
| 0| [1, 2, 5]| []|
| 1|[1, 2, 3, 5]| []|
| 2| [1, 2]| [5]|
-------------------------参考资料
Spark 官方文档
答案代码
from pyspark.ml.fpm import FPGrowth
from pyspark.sql import SparkSessiondef trainingModel(spark):# 自定义数据集df spark.createDataFrame([(0, [1, 2, 5]),(1, [1, 2, 3, 5]),(2, [1, 2])], [id, items])########## Begin ########### 建立模型fp FPGrowth(minSupport0.5, minConfidence0.6, itemsColitems)# 训练模型fpm fp.fit(df)# 返回模型,数据集return fpm, df########## End ##########
第9关评估指标
编程要求
根据提示在右侧编辑器补充代码在逻辑回归实例中返回 areaUnderROC 指标和 acc 指标。
测试说明
平台会对你编写的代码进行测试最终会返回逻辑回归实例中的 areaUnderROC 指标和 acc 指标如果这两个值在设定范围内将输出 success否则输出 fail 。 预期输出 success
答案代码
from pyspark.ml.classification import LogisticRegression
from pyspark.ml.evaluation import BinaryClassificationEvaluator, MulticlassClassificationEvaluator
from pyspark.sql import SparkSessiondef trainingModel(spark):# 读取数据集data spark.read.format(libsvm).load(/data/workspace/myshixun/project/src/step9/data.txt)# 建立模型lr LogisticRegression(maxIter10, regParam0.3, elasticNetParam0.8)# 训练模型model lr.fit(data)########## Begin ########### 使用模型进行预测predictions model.transform(data)# 创建 BinaryClassificationEvaluator 来计算 areaUnderROCevaluator_roc BinaryClassificationEvaluator(rawPredictionColrawPrediction, labelCollabel, metricNameareaUnderROC)areaUnderROC evaluator_roc.evaluate(predictions)# 创建 MulticlassClassificationEvaluator 来计算 accuracyevaluator_acc MulticlassClassificationEvaluator(predictionColprediction, labelCollabel, metricNameaccuracy)accuracy evaluator_acc.evaluate(predictions)# 返回 areaUnderROC 指标和 acc 指标return areaUnderROC, accuracy########## End ##########
