• 2月5日学习记录


    1,背诵单词:outlook:前景,展望  operate:做手术  peach:桃子  rank:排列  oxygen:氧气  overseas:海外的  particular:特别的  paste:粘贴  patch:眼罩  pack:包裹  participate:参加  overtake:追上  modern:现代的  merchant:商人  path:小路  likewise:同样的  ministry:部门  Pacific:太平洋  minority:少数

    2,学习spark视频https://www.bilibili.com/video/av62881491      第59到65集

        keys的功能:Pair  RDD指键值对RDD

          

        values的功能:

              

        sortByKey()方法:常用,根据key进行排序,默认升序排序(默认参数为true)

        sortBy()方法:根据value进行排序

        

     文件数据读写:

      1,本地数据文件读写:输入错误语句,不会报错,只有遇到一次动作类型操作才会报错(惰性机制)

        读操作:当读取的是一个目录时,会把目录下所有文件都读进去生成一个RDD

        写操作:指定的目录中writeback文件必须是不存在的,执行写操作时才创建

        写入后会在指定目录下会生成的,当只有一个分区时,只会生成part-00000开头文件和_SUCCESS开头文件

       2,hdfs文件内容读写:与读取本地文件的操作一致

      3,JSON文件内容读写:scala中与json解析操作有关的库(scala.util.parsing.json.JSON

        

      4,读取HBASE数据:HBASE通过(表名,行键,列族,列限定符)确定一个单元格,一个数据

         

    3,遇到的问题:对用spark读写HBASE的数据不太熟练,按照教程没有执行通过

    4,明天计划继续学习Spark和学习爬取动态数据

  • 相关阅读:
    Oracle 10g R2 Transparent Data Encryption 透明数据加密
    Spark之Task原理分析
    一个Spark job的生命历程
    Spark调优秘诀——超详细
    NLP文本相似度(TF-IDF)
    Spark 参数配置的几种方法
    Spark提交应用程序之Spark-Submit分析
    spark_flume_mysql 整合
    Spark Programming Guide《翻译》
    windows下Idea结合maven开发spark和本地调试
  • 原文地址:https://www.cnblogs.com/lq13035130506/p/12267309.html
Copyright © 2020-2023  润新知