• 执行spark-shell时遇到的主机地址的错误


    下载了spark 1.4,执行spark-shell时遇到以下错误:

    java.net.UnknownHostException: UKON-M-Q0EP: UKON-M-Q0EP: nodename nor servname provided, or not known
    at java.net.InetAddress.getLocalHost(InetAddress.java:1473)

    这并非spark特有的错误,而是Mac上使用java常见的一个问题,是application在查询主机相应的ip地址时无法查询到ip地址。

    当中UKON-M-Q0EP是我Mac的主机名,可以通过Mac terminal的hostname命令查询到:

    UKON-M-Q0EP:~ ukon$ hostname
    UKON-M-Q0EP

    可是系统却不能找到此主机名的ip地址,(事实上我是不太能理解为什么不能找到。系统就不能智能一点吗?但的确是不能),这可以通过以下的命令来验证:

    UKON-M-Q0EP:~ ukon$ ping UKON-M-Q0EP
    ^C

    可是假设我在/etc/hosts文件里增加此主机名与127.0.0.1就行ping到了:

    UKON-M-Q0EP:~ ukon$ ping UKON-M-Q0EP
    PING ukon-m-q0ep (127.0.0.1): 56 data bytes
    64 bytes from 127.0.0.1: icmp_seq=0 ttl=64 time=0.056 ms
    64 bytes from 127.0.0.1: icmp_seq=1 ttl=64 time=0.133 ms
    64 bytes from 127.0.0.1: icmp_seq=2 ttl=64 time=0.121 ms
    64 bytes from 127.0.0.1: icmp_seq=3 ttl=64 time=0.134 ms
    ^C

    可见,系统的确须要我们手动的在/etc/hosts中配置才可以找到主机的ip地址。

    再次执行./bin/spark-shell,就行成功了

    UKON-M-Q0EP:spark-1.4.0-bin-hadoop2.6 ukon$ ./bin/spark-shell
    2015-07-04 00:12:04.604 java[31755:1803488] Unable to load realm info from SCDynamicStore
    Welcome to
    __
    / / _ _/ /__
    / / _ `/ _/ ‘/
    // ./_,// //_ version 1.4.0
    /_/

    Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_45)
    Type in expressions to have them evaluated.
    Type :help for more information.
    Spark context available as sc.
    SQL context available as sqlContext.

    scala>

    DONE!

    然后。成功的执行了一段spark代码,统计一个本地文件的行数和查询第一行的文本内容:

    scala> val textFile = sc.textFile(“README.md”)
    textFile: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[1] at textFile at :21

    scala> textFile.count()
    res0: Long = 98

    scala> textFile.first()
    res1: String = # Apache Spark

    非常酷!

  • 相关阅读:
    数据库基础——EXISTS和IN
    C#基础——加密
    C#基础——派生和继承
    SQL Server——报表服务
    SQL Server——SQL Server Profiler
    UML基础——UML简介和历史
    C#基础——密码加密
    C#(ASP.NET)错误: 无法获取属性“0”的值: 对象为 null 或未定义 关键字 'user' 附近有语法错误。
    SQL Server——存储过程
    链表的声明及操作
  • 原文地址:https://www.cnblogs.com/jzssuanfa/p/6984254.html
Copyright © 2020-2023  润新知