• spark.read.csv读取CSV文件 ArrayIndexOutOfBoundsException报错


    通过 spark.read.csv读取CSV文件时,遇到 到 ArrayIndexOutOfBoundsException报错,初步判断是缺少参数导致,放百度看看,没找引起问题相关的参数。

    第一个看到的可能是null值导致,以前的字段也有空值,但无此问题啊。

    另有说是paranamer包太旧与JDK1.8有问题,升级到最新版本可以解决,操作后,发现问题依旧。

    再次放百度,没找到相关的,其中有一个说是内部表与外部表关联时,如果外部表的字段不一样,会有这个报错。那么会不会是文件的问题呢?

    删除文件,只保留几行,并且都是非Null,重跑可以正常显示,明显是文件的问题。

    再加多几条记录,带有null,重跑,还是正常,说明不是null值导致的。

    不停加记录然后重跑,最后定位到有问题的那条记录,文件格式没问题,那为什么会报错呢?

    这个文件因为是csv,为了方便可以直接使用excel打开,我设置存储编码为gbk,会不会是编码问题?

    修改为UTF-8,重跑,问题解决。

  • 相关阅读:
    memcached连接说明
    在win下启动memcached
    Memcached 查看帮助
    HTTP请求信息和响应信息的格式
    购买服务器配置带宽算法
    PHP删除数组指定下标的值
    tp5 验证器使用
    tp5 验证码功能实现
    layui 关闭当前窗口,刷新父级页面
    layui icon样式1到7
  • 原文地址:https://www.cnblogs.com/chenzechao/p/11118798.html
Copyright © 2020-2023  润新知