Spark程序使用groupByKey后数据存入HBase出现重复的现象

Spark程序使用groupByKey后数据存入HBase出现重复的现象

　　最近在一个项目中做数据的分类存储，在spark中使用groupByKey后存入HBase，发现数据出现双份（所有记录的 rowKey 是随机唯一的）。经过不断的测试，发现是spark的运行参数配置的问题：

spark.speculation=true ，将其改为false，问题就解决了。哎， spark运行参数得修改要慎重...
相关阅读:
Django——froms渲染错误信息,参数配置,局部钩子和全局钩子
 Django——forms组件（form校验字段功能，渲染模板功能）
Django——完美的分页器
 delphi 判断目录是否存在
 UniGUI学习之UniMemo行距控制(41)
UniGUI学习之UniDBComboBox怎么实现“模糊查询？(40)
Javaday13(基础数据结构)
Javaday12(Lambda，枚举，异常，断言)
Javaday11（final、static、内部类）
javaday10（类与类的关系、访问修饰符、抽象和接口）
原文地址：https://www.cnblogs.com/jechedo/p/5114152.html