软工1903 (广州商学院)

  • 班级所有博文发布时间分布(24小时制):
  • 7.Spark SQL

    1.分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 SparkSQL的前身Shark对于Hive的太多依赖(如采用Hive的语法解析器、查询优化器等等),制约了Spark的One Stack Rule Them All的既定方针,制约了Spark各个组件的相互集成,所以提出了S
    涌ysy   2022-06-08 00:58   0   1
  • 补交作业5

    一、词频统计 A. 分步骤实现 1.准备文件 1.下载小说或长篇新闻稿 2.上传到hdfs上 2.读文件创建RDD 3.分词 4.排除大小写lower(),map() 标点符号re.split(pattern,str),flatMap(), 先输入import re 长度小于2的词filter()
    苏广龙201906120111   2022-06-07 22:55   0   5
  • 第七次作业(补交)

    1.分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 2. 简述RDD 和DataFrame的联系与区别。 3.DataFrame的创建与保存 3.1 PySpark-DataFrame创建: spark.read.text(url) spark.read.json(url) s
    yanguanx   2022-06-07 17:20   0   5
  • 8. SparkSQL综合作业

    总共有多少学生? 总共开设了多少门课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程>95分的学生人数 课程'Python'有多少个100分? Tom不及格的课程数? Tom的成绩按分数大小排序。 Tom选修了哪几门课? Tom的平均分。 'OperatingSystem'不及格人
    桃花雨诺   2022-06-07 15:20   0   18
  • 补实验2、4、7

    2.安装Spark与Python练习(电脑未配置好环境漏交) 一、安装Spark 检查基础环境 下载spark 解压,文件夹重命名、权限 4.配置文件与环境变量 5.试运行Python代码 二、Python编程练习:英文文本的词频统计 准备文本文件 2、读文件、预处理、分词、统计每个单词出现的次数、
    东张西望   2022-06-07 13:39   0   3
  • SparkSQL综合作业

    19..每门课的选修人数、平均分、不及格人数、通过率 20.优秀、良好、通过和不合格各有多少人? 21.同时选修了DataStructure和 DataBase 的学生 22.选修了DataStructure 但没有选修 DataBase 的学生 23.选修课程数少于3门的同学 24.选修6门及以上
    Hushub桓   2022-06-06 20:49   0   26
  • 作业7:Spark SQL

    1.分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 SparkSQL出现的原因:为了替代Mapreduce,解决Mapreduce计算短板。 SparkSQL的起源与发展:Hadoop刚开始出来的时候,使用的是hadoop自带的分布式计算系统MapReduce,但是MapRed
    tt理   2022-06-06 13:51   0   4
  • 7.Spark SQL

    补交缘由:不好意思老师,交实验七那段时间刚好要考软考,平时都在复习就把提交时间错过了,作业之前先做好了的但是这软考这段时间忘记提交了 1.分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个叫作Data Fra
    辜枫畅   2022-06-01 10:40   0   16
  • 7.Spark SQL

    补交作业7 1.分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 Spark SQL的数据,不是使用Java对象的方式来进行存储,而是使用面向列的内存存储的方式来进行存储。每一列作为一个数据存储的单位。从而大大优化了内存使用的效率。采用了内存列存储之后,减少了对内存的消耗,也就避
    湘伦籽   2022-06-01 10:27   0   13
  • 补交作业6作业7

    作业7补交 1.分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 答:hive是shark的前身,shark是sparkSQL的前身,sparkSQL产生的根本原因是其完全脱离了hive的限制,hive是hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写
    谢林展   2022-06-01 10:17   0   9