软工1902 (广州商学院)

  • 班级所有博文发布时间分布(24小时制):
  • 2、安装Spark与Python练习 6.RDD综合练习:更丰富的操作

    一、安装Spark 1、检查基础环境hadoop、jdk 2、下载Spark(略) 3、解压、文件夹重命名、权限(略) 4、配置文件 5、环境变量 6、试运行Python代码 二、Python编程练习:英文文本的词频统计 1、准备文本 2、编写代码 3、运行结果 6.RDD练习 集合运算练习 uni
    闻风Wioshgau   2022-06-08 10:17   0   8
  • 4.RDD操作4.RDD操作

    4.RDD操作 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 2.1启动hdfs 2.2上传文件 2.3查看文件 2.4加载 2.5停止hdfs 3.通过并行集合(列表)创建RDD 3.1输入列表 3.2字符串 3.3numpy生成数组 二、 RDD操作
    050张自强   2022-06-07 22:58   0   9
  • 8. SparkSQL综合作业

    ## 综合练习:学生课程分数 网盘下载sc.txt文件,创建RDD,并转换得到DataFrame。 分别用**RDD操作**、**DataFrame操作**和**spark.sql执行SQL语句**实现以下数据分析: ## 预处理 (1)RDD:生成RDD ```shellsc_stu = sc.t
    一晚上两本寒假作业   2022-06-07 20:47   0   20
  • 6. RDD综合练习:更丰富的操作

    网盘下载sc.txt文件,通过RDD操作实现以下数据分析:一、集合运算练习 1.union(),intersection(),subtract(), cartesian() 二、内连接与外连接 1.join(), leftOuterJoin(), rightOuterJoin(), fullOute
    yyyy/\   2022-06-07 20:32   0   7
  • 8. SparkSQL综合作业

    网盘下载sc.txt文件,创建RDD,并转换得到DataFrame。 分别用DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 总共有多少学生? 开设了多少门课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程>95分的学生人数 有多少个100分? Tom选修
    yqy_fyl   2022-06-07 20:04   0   19
  • 5.RDD操作综合实例

    A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 分词 排除大小写lower(),map() 标点符号re.split(pattern,str),flatMap(), 停用词,可网盘下载stopwords.txt,filter(), 长度小于2的词filter() 统计词频 按词频
    yikw   2022-06-07 18:10   0   8
  • 7.Spark SQL

    1.分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 SparkSQL出现的原因 hive是shark的前身,shark是sparkSQL的前身,sparkSQL产生的根本原因是其完全脱离了hive的限制,hive是hive SQL转换成MapReduce然后提交到集群上执行,大
    why、小王   2022-06-07 17:31   0   4
  • 5.RDD操作综合实例

    一、词频统计 A. 分步骤实现 1、准备文件 下载小说或长篇新闻稿 上传到hdfs上 2、读文件创建RDD 3、分词 4、排除大小写lower(),map() 标点符号re.split(pattern,str),flatMap(), 停用词,可网盘下载stopwords.txt,filter(),
    但许星辰月123   2022-06-07 17:02   0   8
  • SparkSQL综合作业

    综合练习:学生课程分数 网盘下载sc.txt文件,分别创建RDD、DataFrame和临时表/视图; 分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 1.总共有多少学生? 2.总共开设了多少门课程? 3.每个学生选修了多少门课? 4.每门课程有多少个学生
    故gugu   2022-06-07 11:13   0   26
  • 8. SparkSQL综合作业

    ## 综合练习:学生课程分数 网盘下载sc.txt文件,创建RDD,并转换得到DataFrame。 分别用**RDD操作**、**DataFrame操作**和**spark.sql执行SQL语句**实现以下数据分析: ## 预处理 (1)RDD:生成RDD ```shellsc_stu = sc.t
    川久保玲球   2022-06-05 16:13   0   184