• tachyon 配置项



    Tachyon 配置参数分为4类:Master,Worker, Common (Master and Worker), and User configurations。

    环境变量配置文件在$TACHYON_HOME/conf/tachyon-env.sh,这些变量将会被TACHYON_JAVA_OPTS调用,这个文件的配置模版为$TACHYON_HOME/conf/tachyon-env.sh.template

    额外的Java VM选项可以添加到TACHYON_MASTER_JAVA_OPTS和TACHYON_WORKER_JAVA_OPTS配置中。在模板文件,TACHYON_JAVA_OPTS将会被TACHYON_MASTER_JAVA_OPTS和TACHYON_WORKER_JAVA_OPTS调用


    二、Tachyon常用配置

    属性名 默认值 含义
    tachyon.home "/mnt/tachyon_default_home" Tachyon的安装目录
    tachyon.underfs.address $tachyon.home + "/underfs" Tachyon底层文件系统目录
    tachyon.data.folder $tachyon.underfs.address + "/tachyon/data" Tachyon底层文件系统数据目录
    tachyon.workers.folder $tachyon.underfs.address + "/tachyon/workers"
    Tachyon worke目录
    tachyon.usezookeeper false 是否使用zookeeper来进行master容错
    tachyon.zookeeper.address null Zookeeper地址
    tachyon.zookeeper.election.path "/election" Zookeeper选举文件夹
    tachyon.zookeeper.leader.path "/leader" Zookeeperleader文件夹
    tachyon.underfs.hdfs.impl "org.apache.hadoop.hdfs.DistributedFileSystem" HDFS底层文件系统实现类
    tachyon.max.columns
    1000 RawTable允许的最大列数,必须在客户端和服务器端设置
    tachyon.table.metadata.byte 5242880 RawTable的元数据中最大允许多少字节
    fs.s3n.awsAccessKeyId null S3 AWS访问密钥ID
    fs.s3n.awsSecretAccessKey null S3 aws 加密访问Key ID
    tachyon.underfs.glusterfs.mounts null Glusterfs卷装入点,如/卷
    tachyon.underfs.glusterfs.volumes null Glusterfs卷名,如tachyon_vol
    tachyon.underfs.glusterfs.mapred.system.dir glusterfs:///mapred/system 根据需要指定GLusterfs中MapReduce的数据子目录

    三、Master配置

    tachyon.master.journal.folder $tachyon.home +"/journal/" master journal log 存储目录
    tachyon.master.hostname localhost Master主机名
    tachyon.master.port 19998 Master节点运行端口
    tachyon.master.web.port 19999 WEB接口运行端口
    tachyon.master.whitelist / 缓存路径

    四、Wroker配置

    tachyon.worker.port 29998 Worker节点运行端口
    tachyon.worker.data.port 29999 Worker数据服务运行端口
    tachyon.worker.data.folder /mnt/ramdisk Worker节点数据目录
    tachyon.worker.memory.size 128 MB Worker几点内存容量

    五、用户配置

    tachyon.user.failed.space.request.limits 3 文件系统终止之前的时间
    tachyon.user.quota.unit.bytes 8 MB 客户端请求Worker几点的最小大小
    tachyon.user.file.buffer.bytes 1 MB 文件缓冲区大小
    tachyon.user.default.block.size.byte 1 GB Tachyon文件默认的block size
    tachyon.user.remote.read.buffer.size.byte 1 MB 从远程worker读取数据的缓冲区大小

    欲为大树,何与草争;心若不动,风又奈何。
  • 相关阅读:
    [洛谷P1507]NASA的食物计划 以及 对背包问题的整理
    [洛谷P3811]【模板】乘法逆元
    56级信息奥赛12学子汇总
    [洛谷U63006]导函数最小系数
    [洛谷U62364]三次函数极值
    [洛谷U62358]求导函数
    Nagios 请检查HTTP服务器关于该CGI的访问权限设置
    安装Cacti-plugin
    解压安装Cacti在apache中的补充
    64位操作系统下IIS报“试图加载格式不正确的程序”错误
  • 原文地址:https://www.cnblogs.com/admln/p/tachyon-configuration.html
Copyright © 2020-2023  润新知